WO2016088409A1 - 画像送信装置、画像送信方法、画像送信プログラム、画像送信制御装置、画像送信制御方法、画像送信制御プログラム - Google Patents

画像送信装置、画像送信方法、画像送信プログラム、画像送信制御装置、画像送信制御方法、画像送信制御プログラム Download PDF

Info

Publication number
WO2016088409A1
WO2016088409A1 PCT/JP2015/073479 JP2015073479W WO2016088409A1 WO 2016088409 A1 WO2016088409 A1 WO 2016088409A1 JP 2015073479 W JP2015073479 W JP 2015073479W WO 2016088409 A1 WO2016088409 A1 WO 2016088409A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
moving image
encoding
transmission
unit
Prior art date
Application number
PCT/JP2015/073479
Other languages
English (en)
French (fr)
Inventor
智 坂爪
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2014242867A external-priority patent/JP6375901B2/ja
Priority claimed from JP2014242870A external-priority patent/JP6375902B2/ja
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Publication of WO2016088409A1 publication Critical patent/WO2016088409A1/ja
Priority to US15/605,229 priority Critical patent/US10554978B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/214—Specialised server platform, e.g. server located in an airplane, hotel, hospital
    • H04N21/2146—Specialised server platform, e.g. server located in an airplane, hotel, hospital located in mass transportation means, e.g. aircraft, train or bus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/25—Flow control; Congestion control with rate being modified by the source upon detecting a change of network conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/38—Flow control; Congestion control by adapting coding or compression rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2404—Monitoring of server processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/04—Arrangements for maintaining operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/0226—Traffic management, e.g. flow control or congestion control based on location or mobility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/06—Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information

Definitions

  • the present disclosure relates to an image transmission apparatus, an image transmission method, an image transmission program, an image transmission control apparatus that controls the image transmission apparatus, an image transmission control method, and the like that transmit moving image data to an image reception apparatus via a wireless communication line.
  • the present invention relates to an image transmission control program.
  • the transmission rate when transmitting image data is low. Then, the encoded moving image data cannot be transmitted from the image transmitting device to the image receiving device in real time, and the image receiving device cannot receive the encoded moving image data necessary for reproducing the moving image in real time. There is.
  • the radio wave intensity may vary depending on the location where the moving body travels. Therefore, there is a problem that real-time transmission of encoded moving image data is likely to fail.
  • the present invention can reduce the possibility of failure of real-time transmission of encoded moving image data, an image transmission device, an image transmission method, an image transmission program, an image transmission control device, and image transmission control. It is an object to provide a method and an image transmission control program.
  • the encoding unit that encodes moving image data to generate encoded moving image data
  • the transmission buffer that accumulates the encoded moving image data
  • the transmission buffer that stores the encoded moving image data.
  • the transmitting unit that transmits the encoded moving image data to the image receiving device via a wireless communication line, the position information, the speed information, and the direction information of the moving body, and at least the wireless communication in the path along which the moving body moves
  • the encoded moving image data is transmitted based on line radio wave intensity distribution information, an encoding bit rate in the encoding unit, and state information indicating a storage state of the encoded moving image data in the transmission buffer.
  • a time until the failure occurs by predicting whether or not a failure of real-time transmission, which is a state in which the image reception device is not transmitted in real time from the unit, occurs
  • a failure detection unit to detect, and when the failure detection unit predicts that the failure occurs, the encoding unit reduces the target bit rate for encoding the moving image data within the time period.
  • an encoding control unit that controls the image transmission apparatus.
  • the moving image data is encoded to generate encoded moving image data
  • the encoded moving image data is accumulated in a transmission buffer
  • the encoding is accumulated in the transmission buffer.
  • Moving image data is transmitted to the image receiving device via a wireless communication line, and position information, speed information, and direction information of the moving body, and at least radio wave intensity distribution information of the wireless communication line in a path along which the moving body moves
  • the encoded moving image data is received on the basis of the encoding bit rate at the time of generating the encoded moving image data and the state information indicating the storage state of the encoded moving image data in the transmission buffer.
  • the encoding unit that encodes moving image data to generate encoded moving image data
  • the transmission buffer that accumulates the encoded moving image data
  • the transmission buffer that stores the encoded moving image data.
  • the computer mounted in the image transmission device including a transmission unit that transmits the encoded moving image data to the image reception device via a wireless communication line, the position information, the velocity information, and the direction information of the moving body, Radio wave intensity distribution information of the wireless communication line on at least a path along which the mobile body moves, an encoding bit rate when generating the encoded moving image data, and an accumulation state of the encoded moving image data in the transmission buffer
  • the state information indicating the real-time transmission which is a state in which the encoded moving image data is not transmitted to the image receiving device in real time.
  • a failure of real-time transmission which is a state in which the encoded moving image data is not transmitted to the image receiving device in real time, and a failure to detect a time until the failure occurs
  • the position information, speed information, and direction information of the moving object, at least the radio wave intensity distribution information of the wireless communication line in the path along which the moving object moves, and the image transmission apparatus The encoding bit rate at which the encoding unit encodes the moving image data to generate the encoded moving image data, and the storage state of the encoded moving image data in the transmission buffer for storing the encoded moving image data Based on the status information indicating whether or not a failure of real-time transmission, which is a state in which the encoded moving image data is not transmitted to the image receiving device in real time, occurs, and a time until the failure occurs is determined. And detecting a target bit rate when the encoding unit encodes the moving image data when the failure is predicted to occur. It generates a coded control signal for lowering the inner, image transmission control program, characterized in that and a step of controlling so as to transmit to said image transmission apparatus is provided.
  • the possibility of failure of real-time transmission of encoded moving image data is reduced. Can do.
  • FIG. 1 is a block diagram illustrating an image transmission apparatus constituting the transmission / reception system of the first embodiment.
  • FIG. 2 is a block diagram illustrating an image receiving apparatus that constitutes the transmission / reception system of the first embodiment.
  • FIG. 3 is a block diagram illustrating a configuration example in a case where the image transmission apparatus acquires the radio wave intensity distribution information from the server.
  • FIG. 4 is a diagram conceptually illustrating an example of the radio wave intensity distribution information.
  • FIG. 5 is a diagram conceptually illustrating another example of the radio wave intensity distribution information.
  • FIG. 6 is a diagram illustrating an example when a failure in real-time transmission of encoded moving image data occurs.
  • FIG. 7 is a diagram illustrating an example of target bit rate control and moving image compression method switching in the encoding unit.
  • FIG. 1 is a block diagram illustrating an image transmission apparatus constituting the transmission / reception system of the first embodiment.
  • FIG. 2 is a block diagram illustrating an image receiving apparatus that constitutes the transmission / reception
  • FIG. 8 is a diagram schematically illustrating a bit stream transmitted from the image transmission apparatus illustrated in FIG. 1 to the image reception apparatus illustrated in FIG.
  • FIG. 9 is a block diagram illustrating an image transmission apparatus constituting the transmission / reception system of the second embodiment.
  • FIG. 10 is a block diagram illustrating an image receiving device and a dispatcher that constitute the transmission / reception system of the second embodiment.
  • 11 is a diagram schematically showing encoded information transmitted from the image transmission apparatus shown in FIG. 9 to the image reception apparatus shown in FIG. 12 is a diagram schematically showing position / direction / velocity information transmitted from the image transmission apparatus shown in FIG. 9 to the image reception apparatus shown in FIG. 13 is a diagram schematically showing transmission buffer information transmitted from the image transmission apparatus shown in FIG. 9 to the image reception apparatus shown in FIG.
  • the image transmission apparatus 101 shown in FIG. 1 and the image reception apparatus 201 shown in FIG. 2 constitute the transmission / reception system of the first embodiment.
  • the image transmitting apparatus 101 is configured as follows, and transmits encoded moving image data (hereinafter sometimes abbreviated as encoded data) to the image receiving apparatus 201. Assume that the image transmission apparatus 101 is mounted on a vehicle as an example of a moving object.
  • Camera 1 captures the subject and outputs moving image data.
  • the camera 1 may be converted into digital moving image data by an A / D converter (not shown).
  • the camera 1 is an example of a moving image data generation unit.
  • the moving image data generation unit may be a playback device that plays back moving image data recorded on a recording medium.
  • the moving image data is input to the encoding unit 3a via the terminal Ta of the switch 2.
  • moving image data may be input to the encoding unit 3b via the terminal Tb of the switch 2.
  • the encoding units 3a and 3b encode moving image data using different moving image compression methods.
  • the encoding units 3a and 3b may be configured by an encoding circuit.
  • the moving image compression method employed by the encoding units 3a and 3b may be MPEG-4, H.264 / MPEG-4 AVC / MPEG-4 SVC, H.265 / HEVC / SHVC, or the like.
  • the compression rate of the moving image compression method adopted by the encoding unit 3b is larger than the compression rate of the moving image compression method adopted by the encoding unit 3a.
  • the encoding units 3a and 3b may employ Motion JPEG, Motion JPEG2000, or the like that does not use correlation between images having different times as a moving image compression method.
  • the encoding units 3a and 3b may be a moving image compression method capable of realizing hierarchical encoding.
  • the encoding units 3a and 3b adopt a moving image compression method that can realize hierarchical encoding, the following encoded moving image data is generated.
  • the encoding units 3a and 3b perform a predetermined encoding process so that the target bit rate falls within the target bit rate when the target bit rate is lower than the normal transmission rate, and the encoded moving image as the base layer is obtained. Image data is generated.
  • the encoding units 3a and 3b generate extended encoded moving image data as an extension layer to make up for the difference between the encoding quality of the base layer and the encoding quality to be originally transmitted.
  • encoded moving image data corresponding to a code amount that cannot be transmitted when the target bit rate is lowered can be generated as extended encoded moving image data as an enhancement layer.
  • the image transmitting apparatus 101 preferably includes a plurality of encoding units that encode moving image data using different moving image compression methods, but includes a plurality of encoding units that encode moving image data using a single moving image compression method. It is good also as a structure provided with the structure provided, and one encoding part which encodes moving image data with one moving image compression system.
  • the encoded data output from the encoding unit 3a (or 3b) is input to the transmission buffer 4 and temporarily accumulated.
  • the transmission signal of the bit stream including the encoded data stored in the transmission buffer 4 is transmitted to the image reception device 201 by the transmission / reception unit 6 via the wireless communication line.
  • the encoded data accumulated in the transmission buffer 4 is input to the storage unit 5 and stored.
  • the transmission buffer 4 may be configured by a storage such as a predetermined memory or HDD (hard disk drive).
  • the transmission / reception unit 6 includes a transmission unit (transmission circuit) and a reception unit (reception circuit).
  • the storage unit 5 may be configured by a storage such as a predetermined memory or HDD.
  • the enhancement layer extended encoded data which is a part of the encoded data, may be stored in the storage unit 5 via the transmission buffer 4 and accumulated in the transmission buffer 4 as necessary. Further, the extension layer extended encoded data may be directly supplied to the storage unit 5 from the encoding unit 3a (or 3b).
  • the image transmitting apparatus 101 may transmit / receive a signal or data to / from the image receiving apparatus 201 by a half-duplex communication method, or may transmit / receive a signal or data by a full-duplex communication method.
  • the image receiving apparatus 201 may transmit a predetermined signal to the image transmitting apparatus 101.
  • the half-duplex communication method is adopted, if the image receiving apparatus 201 transmits a predetermined signal to the image transmitting apparatus 101 at a timing when the image transmitting apparatus 101 does not transmit encoded data to the image receiving apparatus 201. Good.
  • the position detector 7 receives radio waves from a satellite for the Global Navigation Satellite System (Global Navigation Satellite System: GNSS), for example, and detects position information of the vehicle (image transmission device 101).
  • GNSS Global Navigation Satellite System
  • GNSS is GPS (Global Positioning System) as an example.
  • the position information detected by the position detection unit 7 is input to the failure detection unit 111 in the control unit 11.
  • the position information detected by the navigation device may be supplied to the failure detection unit 111.
  • the position detection unit 7 may be provided in the control unit 11.
  • the speed acquisition unit 8 acquires vehicle travel speed information by a predetermined method.
  • the speed acquisition unit 8 may acquire travel speed information based on vehicle speed pulses generated by the vehicle.
  • the speed acquisition unit 8 may acquire travel speed information based on the amount of change in position information detected by the position detection unit 7 per unit time.
  • the travel speed information acquired by the speed acquisition unit 8 is input to the failure detection unit 111.
  • the gyro sensor 9 detects direction information when the vehicle travels.
  • the direction information detected by the gyro sensor 9 is input to the failure detection unit 111.
  • the navigation device includes a gyro sensor
  • the direction information output from the gyro sensor of the navigation device may be supplied to the failure detection unit 111.
  • the radio wave intensity distribution information holding unit 10 holds the radio wave intensity distribution information of the wireless communication line.
  • the radio wave intensity distribution information holding unit 10 holds in advance radio wave intensity distribution information including at least a region where the vehicle moves.
  • the radio wave intensity distribution information holding unit 10 can be configured by a predetermined memory.
  • the radio wave intensity distribution information holding unit 10 may acquire necessary radio wave intensity distribution information from, for example, radio wave intensity distribution information held in an external server (cloud).
  • the image transmission apparatus 101 may be configured as shown in FIG.
  • the server 50 holds the radio wave intensity distribution information.
  • the transmission / reception unit 6 requests the server 50 to transmit the radio wave intensity distribution information and receives the radio wave intensity distribution information.
  • the control unit 11 holds the received radio wave intensity distribution information in the radio wave intensity distribution information holding unit 10.
  • control unit 11 refers to the position information of the vehicle detected by the position detection unit 7 and performs control so as to acquire the radio field intensity distribution information in a predetermined range including the point where the vehicle is located. May be.
  • the holding of the radio wave intensity distribution information by the radio wave intensity distribution information holding unit 10 includes not only the continuous holding of the radio wave intensity distribution information but also the temporary holding of the radio wave intensity distribution information acquired from the server 50.
  • the radio wave intensity distribution information is generated based on data measured by a transmission / reception system provider or a third party.
  • FIG. 4 conceptually shows the radio wave intensity distribution information held by the radio wave intensity distribution information holding unit 10.
  • the area Ar ⁇ b> 1 indicates an area where the radio wave intensity is relatively strong
  • the area Ar ⁇ b> 2 indicates an area where the radio wave intensity is relatively weak.
  • the radio wave intensity distribution information can be composed of data indicating the radio wave intensity at a plurality of points Ps obtained by dividing the region into, for example, a mesh shape.
  • the radio wave intensity distribution information holding unit 10 may only hold data indicating the radio wave intensity at a plurality of points Ps on the travel route R0.
  • control unit 11 obtains information on the travel route R0 of the vehicle from the navigation device, obtains the radio field intensity at a plurality of points Ps on the travel route R0 from the server 50, and causes the radio field intensity distribution information holding unit 10 to hold it. Good.
  • the radio wave intensity at a plurality of points Ps on the plurality of travel routes may be acquired from the server 50 and held in the radio wave intensity distribution information holding unit 10. Good.
  • the travel route information is acquired from the navigation device in order of priority, and a plurality of points Ps on the travel route with high priority are obtained.
  • the radio wave intensity distribution information holding unit 10 may hold them in order from the radio wave intensity.
  • the radio wave intensity distribution information holding unit 10 may not hold the radio wave intensity at a plurality of points Ps on the travel route with low priority.
  • the control unit 11 includes a failure detection unit 111, an encoding control unit 112, and an extension information transmission control unit 113.
  • the request signal extraction unit 12 is connected to the extended information transmission control unit 113. The operations of the request signal extraction unit 12 and the extended information transmission control unit 113 will be described together with the operation description of the image reception device 201.
  • control unit 11 may be configured by a predetermined memory and a processor.
  • failure detection unit 111, the encoding control unit 112, and the extended information transmission control unit 113 may each be configured by a predetermined memory and a processor, share the memory of the control unit 11, and Each unit may be controlled by a processor.
  • the encoding control unit 112 instructs the encoding unit 3a on a target bit rate when the encoding unit 3a encodes moving image data.
  • the failure detection unit 111 receives information indicating an encoding bit rate that is a generated code amount when the encoding unit 3a actually encodes moving image data.
  • the encoding control unit 112 encodes a target bit rate when the encoding unit 3b encodes moving image data. Instruct the unit 3b.
  • the failure detection unit 111 receives information indicating an encoding bit rate that is a generated code amount when the encoding unit 3b actually encodes moving image data.
  • the failure detection unit 111 receives state information indicating the storage state of the encoded data in the transmission buffer 4.
  • the storage state of the transmission buffer 4 can be, for example, a margin that is a capacity capable of further storing encoded data at a certain point in time.
  • the image transmitting apparatus 101 transmits encoded data to the image receiving apparatus 201
  • the radio wave intensity is weak
  • the encoded data stored in the transmission buffer 4 is not sufficiently transmitted to the image receiving apparatus 201. It becomes. Then, there is no room for storing the encoded data in the transmission buffer 4, and real-time transmission of the encoded data fails.
  • the failure detection unit 111 uses the vehicle position information, the traveling speed information, the direction information, the radio wave intensity distribution information, the encoding bit rate of the encoding unit 3a (or 3b), and the state information of the transmission buffer 4. Based on this, it is predicted whether or not a real-time transmission failure will occur. When the failure detection unit 111 predicts that a failure of real-time transmission will occur, it detects the time until the failure occurs.
  • the failure detection unit 111 determines when the vehicle is at the boundary point P12 between the areas Ar1 and Ar2 based on the above information. Can be detected.
  • the failure detection unit 111 detects a time T012 from the current position P0 until reaching the boundary point P12.
  • the failure detection unit 111 predicts that real-time transmission will fail after the elapse of time T012, and notifies the encoding control unit 112 of it.
  • the encoding control unit 112 controls the encoding unit 3a so as to continuously lower the target bit rate in the encoding unit 3a from the target bit rate Br1 to the target bit rate Br2 from time t1 to time t2, for example.
  • the target bit rate Br2 is a bit rate that is lower than the target bit rate Br1 and does not fail in real-time transmission even in the area Ar2 where the radio field intensity is weak.
  • the encoding control unit 112 may control the encoding unit 3a to decrease the target bit rate from time t0.
  • the time t2 may be before time t12 when the vehicle reaches the boundary point P12. Since it is not easy to accurately obtain the time t12 and includes an error, the encoding control unit 112 controls the encoding unit 3a to set the target bit rate Br2 at the time t2 that is a predetermined time before the time t12. Is good.
  • the encoding control unit 112 controls the encoding unit 3a not to rapidly decrease the target bit rate in the encoding unit 3a but to decrease from the target bit rate Br1 to the target bit rate Br2 within the time T012.
  • the encoding control unit 112 may control the encoding unit 3a to lower the target bit rate from the target bit rate Br1 to the target bit rate Br2 based on a predetermined rule within the time T012. For example, the encoding control unit 112 may control the encoding unit 3a to decrease the target bit rate continuously or stepwise over a predetermined time.
  • the encoding control unit 112 increases the target bit rate in the encoding unit 3a from the target bit rate Br2 to the target bit rate Br1 based on a predetermined rule. Can be controlled.
  • the encoding control unit 112 may control the encoding unit 3a to increase the target bit rate continuously or stepwise over a predetermined time.
  • the time t3 should just be after the time which moved to the area where radio field intensity is strong.
  • the target bit rate shown in FIG. when the maximum transmission rate is greatly reduced to 1/5, such as the maximum transmission rate in the area Ar1 is 5 Mbps and the maximum transmission rate in the area Ar2 is 1 Mbps, the target bit rate shown in FIG. In some cases, it is not possible to avoid the failure of real-time transmission only by reducing this.
  • the encoding control unit 112 switches the switch 2 to the terminal Tb and replaces the encoding unit 3a with an encoding unit 3b having a large compression rate.
  • the switch 2 and the encoding unit 3b may be controlled so as to encode the moving image data.
  • the encoding control unit 112 switches the switch 2 so as to switch from the encoding unit 3a to the encoding unit 3b at time t2 and to switch from the encoding unit 3b to the encoding unit 3a at time t3.
  • the encoders 3a and 3b are controlled.
  • the timing for switching from the encoding unit 3a to the encoding unit 3b may be between time t0 and time t12.
  • the timing to switch from the encoding unit 3b to the encoding unit 3a may be after the time when the radio wave intensity is shifted to an area.
  • the encoding control unit 112 does not execute the control for lowering the target bit rate in the encoding unit 3a, but only performs control for switching the encoding unit that encodes moving image data from the encoding unit 3a to the encoding unit 3b. You may let them.
  • the encoding control unit 112 may avoid a real-time transmission failure by any of the following methods. As a first method, the encoding control unit 112 controls the encoding unit so as to lower the target bit rate when encoding moving image data.
  • the encoding control unit 112 controls the switch 2 to switch the encoding unit that encodes moving image data to an encoding unit that employs a moving image compression method with a higher compression rate.
  • the coding control unit 112 controls the coding unit to lower the target bit rate, and switches the coding unit to a coding unit that employs a moving image compression method with a higher compression rate. 2 is controlled.
  • FIG. 1 two encoding units having different video compression schemes are provided, but three or more encoding units are provided, and an encoding unit that encodes moving image data between the three or more encoding units is provided. You may switch.
  • the bit stream transmitted from the transmission / reception unit 6 has a format as schematically shown in FIG.
  • the bit stream includes a header at the beginning, an encoded image data area following the header, and a user area following the encoded image data.
  • the user area may be provided between the header and the encoded image data area. Further, when there is no information stored in the user area, the user area is not necessarily provided. If there is a possibility that information to be stored in the user area exists, a flag for identifying the presence or absence of the user area may be included in the header.
  • the header includes a flag F1 for identifying the type of the video compression method.
  • a flag F2 indicating that the target bit rate has been lowered is set in the user area.
  • the flag F2 may be set in the user area in the header.
  • the flag F2 when the extended encoded data of the enhancement layer is not generated. In the following description, it is assumed that the flag F2 is set.
  • the image receiving apparatus 201 can receive encoded data necessary for reproducing a moving image in real time, and can reproduce the moving image in real time without interruption.
  • control unit 11 can be configured by a microcomputer, and portions corresponding to the failure detection unit 111 and the encoding control unit 112 can be configured by an image transmission program.
  • the image transmission program may be recorded on a non-temporary recording medium.
  • the image transmission program causes the computer to predict whether or not a real-time transmission failure will occur and to execute a step of detecting the time until the failure occurs.
  • the image transmission program controls the computer to cause the encoding unit 3a to lower the target bit rate when the encoding unit 3a encodes moving image data within the time T012. Is executed.
  • Each unit of the image transmission apparatus 101 may be configured by hardware or may be configured by software.
  • the use of hardware and software is arbitrary, and both may be mixed.
  • the encoding units 3a and 3b can be configured by software, and the encoding units 3a and 3b can be used as an image transmission program.
  • the control unit 25 may include a flag determination unit 251, a display control unit 252, an instruction reception unit 253, and a request signal generation unit 254.
  • control unit 25 may be configured by a predetermined memory and a processor.
  • flag determination unit 251, the display control unit 252, the instruction reception unit 253, and the request signal generation unit 254 may each be configured by a predetermined memory and a processor, or the memory of the control unit 25 is shared and controlled.
  • the processor of the unit 25 may be configured to control each unit.
  • the transmission / reception unit 21 receives a transmission signal transmitted from the image transmission apparatus 101.
  • the bit stream acquisition unit 22 acquires a bit stream included in the received signal.
  • the transmission / reception unit 21 includes a transmission unit (transmission circuit) and a reception unit (reception circuit).
  • the bitstream acquisition unit 22 may be configured with a predetermined memory and a processor.
  • the bit stream acquired by the bit stream acquisition unit 22 is input to the decoding unit 24 a, the flag determination unit 251 in the control unit 25, and the storage unit 23.
  • the decoding unit 24 a decodes the input bit stream and supplies the decoded bit stream to the display control unit 252 in the control unit 25.
  • the flag determination unit 251 determines whether or not the flag F2 is included in the bitstream.
  • the storage unit 23 stores the bit stream.
  • the decoding unit 24a and a decoding unit 24b to be described later may be configured by a predetermined memory and a processor, or may be configured by a decoding circuit.
  • the storage unit 23 may be configured by a storage such as a predetermined memory or HDD.
  • the display control unit 252 displays the decoded moving image data on the display unit 26. Accordingly, the moving image encoded and transmitted by the image transmission apparatus 101 is displayed on the display unit 26 in real time.
  • the display unit 26 may be any display device.
  • the display control unit 252 causes the display unit 26 to display image or character information indicating that the target bit rate has been lowered.
  • the user can know that the target bit rate has been lowered by the image or character information displayed on the display unit 26 and the image quality has deteriorated.
  • the encoded data corresponding to the amount of code that has not been transmitted to the image transmission apparatus 101 during the period when the target bit rate has been reduced is sent to the image transmission apparatus 101. You can request transmission.
  • the instruction receiving unit 253 in the control unit 25 sends a request signal generation unit 254 to the request signal generation unit 254. And instructing the image transmission apparatus 101 to generate a request signal.
  • the request signal generation unit 254 supplies the request signal to the transmission / reception unit 21.
  • the operation unit 27 may be a predetermined switch or an operation terminal such as a PC (personal computer).
  • the transmission / reception unit 21 transmits a request signal to the image transmission apparatus 101 at a timing when a transmission signal is not received from the image transmission apparatus 101 when the half-duplex communication method is adopted.
  • the transmission / reception unit 21 transmits a request signal to the image transmission apparatus 101 at an appropriate timing.
  • the request signal is transmitted to the image transmission apparatus 101.
  • the flag F2 is included in the bitstream
  • the request signal is automatically transmitted. You may comprise so that it may transmit to the image transmission apparatus 101.
  • the request signal generation unit 254 is instructed to generate a request signal for the image transmission apparatus 101. May be.
  • the request signal extraction unit 12 extracts the request signal from the reception signal.
  • the request signal extraction unit 12 supplies the request signal to the extended information transmission control unit 113.
  • the request signal extraction unit 12 may be configured by a predetermined memory and processor for temporarily accumulating and analyzing the bitstream.
  • the extended information transmission control unit 113 performs control so that the encoded data corresponding to the code amount that has not been transmitted in the period when the target bit rate is lowered is read from the storage unit 5 and supplied to the transmission buffer 4.
  • the encoded data corresponding to the code amount that has not been transmitted is referred to as extended encoded data.
  • the extended encoded data stored in the transmission buffer 4 is transmitted from the transmission / reception unit 6 to the image reception device 201.
  • the transmission / reception unit 6 may transmit the extended encoded data to the image receiving apparatus 201 when there is a margin for storing the extended encoded data in the transmission buffer 4 and there is a sufficient transmission rate.
  • the transmission / reception unit 21 receives a transmission signal of a bit stream including extended encoded data transmitted from the image transmission apparatus 101.
  • the bit stream acquisition unit 22 stores the extended encoded data in the storage unit 23.
  • the user operates the operation unit 27 to input an instruction to display a moving image with a high image quality during a period when the target bit rate is lowered.
  • the instruction receiving unit 253 instructs the storage unit 23 to read out both the encoded data and the extended encoded data during the period when the target bit rate is lowered from the storage unit 23.
  • the decoding unit 24a decodes the encoded data during the period when the target bit rate is lowered as the base layer.
  • the base layer is supplied to the decoding unit 24b.
  • the decoding unit 24b decodes the extension encoded data as an extension layer.
  • the decoding unit 24b supplies moving image data in which the base layer and the enhancement layer are combined to the display control unit 252.
  • the display control unit 252 causes the display unit 26 to display moving image data with high image quality.
  • the display control unit 252 may display the past moving image with high image quality instead of the moving image transmitted in real time, or the moving image transmitted in real time and the past moving image with high image quality. For example, may be displayed on two screens.
  • the moving image of the portion where the image quality is deteriorated Can be displayed with high image quality.
  • Each unit of the image receiving apparatus 201 may be configured by hardware or may be configured by software.
  • the use of hardware and software is arbitrary, and both may be mixed.
  • the image transmission apparatus 102 illustrated in FIG. 9 and the image reception apparatus 202 and the dispatcher 302 illustrated in FIG. 10 constitute a transmission / reception system according to the second embodiment.
  • the dispatcher 302 is connected to the image receiving device 202 and controls one or a plurality of image receiving devices 202.
  • the dispatcher 302 includes a function of an image transmission control device that controls an operation when the image transmission device 102 encodes moving image data. 9 and 10, the same parts as those in FIGS. 1 and 2 are denoted by the same reference numerals, and the description thereof may be omitted.
  • the control unit 11 in the image transmission apparatus 102 includes an encoding information generation unit 114, a position / direction / speed information generation unit 115, and a transmission buffer information generation unit 116.
  • the image transmission apparatus 102 includes a multiplexer 13 and an encoding control signal extraction unit 14.
  • the encoding information generation unit 114 generates encoding information indicating an encoding bit rate when the encoding unit 3a (or 3b) actually encodes moving image data.
  • the encoded information generally includes an identification flag indicating encoded information and encoded bit rate data.
  • the encoded information generation unit 114 may be configured by a predetermined memory and a processor.
  • the position / direction / speed information generation unit 115 Generate position, direction and speed information. As shown in FIG. 12, the position / direction / speed information roughly includes an identification flag indicating position / direction / speed information and position / direction / speed data.
  • the position / direction / velocity information generation unit 115 may be configured by a predetermined memory and a processor.
  • the transmission buffer information generation unit 116 generates transmission buffer information based on the state information indicating the accumulation state of the encoded data from the transmission buffer 4. As shown in FIG. 13, the transmission buffer information generally includes an identification flag indicating transmission buffer information and transmission buffer status data.
  • the transmission buffer information generation unit 116 may be configured by a predetermined memory and a processor.
  • the timing to perform is not necessarily the same timing. However, each piece of information corresponding to the encoded data to be transmitted may be generated at least by the timing of reading the encoded data to be transmitted from the transmission buffer 4.
  • Encoding information, position / direction / speed information and transmission buffer information are input to the multiplexer 13.
  • the multiplexer 13 time-division multiplexes the encoded data read from the transmission buffer 4, the encoded information, the position / direction / speed information, and the transmission buffer information, and supplies them to the transmission / reception unit 6.
  • the multiplexer 13 may be configured by a predetermined memory and a processor for multiplexing each data or information as a bit stream, or may be configured by a predetermined multiplexing circuit.
  • the transmission / reception unit 6 transmits a bit stream transmission signal including time-division multiplexed encoded data, encoding information, position / direction / speed information, and transmission buffer information to the image reception device 202.
  • the image receiving apparatus 202 receives a transmission signal from the image transmitting apparatus 102.
  • the demultiplexer 28 separates the encoded data included in the bitstream, the encoded information, the position / direction / speed information, and the transmission buffer information from each other.
  • the encoded data is input to the decoding unit 24 and decoded.
  • the decoded moving image data is supplied to the display unit 26 via the display control unit 29. Since the display control unit 29 may be the same as the display control unit 252, description thereof is omitted here.
  • the demultiplexer 28 may be configured by a predetermined memory and processor for demultiplexing the bitstream, or may be configured by a predetermined demultiplexing circuit.
  • Encoding information, position / direction / speed information, and transmission buffer information are input to the failure detection unit 31 in the dispatcher 302.
  • the image transmission device side not the image transmission device side but the image reception device side includes a failure detection unit.
  • the image receiving apparatus 202 and the dispatcher 302 are separately configured, but may be configured integrally.
  • the entire image receiving apparatus 202 and the dispatcher 302 may be used as the image receiving apparatus.
  • the dispatcher 302 includes a failure detection unit 31, a radio wave intensity distribution information holding unit 32, and an encoding control signal generation unit 33.
  • the radio wave intensity distribution information holding unit 32 holds the radio wave intensity distribution information as described with reference to FIG. In a configuration in which information indicating the travel route of the vehicle is not transmitted to the image receiving device 202, the radio wave intensity distribution information holding unit 32 may hold the radio wave intensity distribution information including a region in a range where the vehicle may move.
  • the radio wave intensity distribution information holding unit 32 may hold at least the radio wave intensity distribution information on the route along which the vehicle moves, as in FIG.
  • the radio wave intensity distribution information holding unit 32 may be configured by a storage such as a predetermined memory or HDD.
  • the failure detection unit 31 performs real-time processing by the image transmission device 102 based on the encoded information, position / direction / speed information, transmission buffer information, and radio wave intensity distribution information. Predict whether a transmission failure will occur.
  • the failure detection unit 31 detects the time until the failure occurs when it is predicted that a failure in real-time transmission will occur.
  • the failure detection unit 31 may be configured by a predetermined memory and a processor.
  • the encoding control signal generation unit 33 generates an encoding control signal for controlling to reduce the target bit rate in the encoding unit 3a when it is predicted by the failure detection unit 31 that a real-time transmission failure will occur.
  • the encoding control signal generation unit 33 controls the transmission / reception unit 21 to transmit the encoding control signal to the image transmission apparatus 102.
  • the transmission / reception unit 21 transmits the encoding control signal to the image transmission apparatus 102.
  • the transmission / reception unit 21 may transmit the encoding control signal to the image transmission apparatus 102 at a timing when the image transmission apparatus 102 does not transmit the encoded data.
  • the encoding control signal generation unit 33 may generate an encoding control signal for switching the switch 2 so that the moving image data is encoded by the encoding unit 3b instead of the encoding unit 3a.
  • the encoding control signal generation unit 33 may be configured by a predetermined memory and a processor.
  • the encoding control signal extraction unit 14 extracts the encoding control signal from the reception signal.
  • the encoding control signal extraction unit 14 supplies the encoding control signal to the encoding control unit 112.
  • the encoding control signal extraction unit 14 may be configured by a predetermined memory and a processor.
  • the encoding control unit 112 controls the target bit rate in the encoding unit 3a and encodes an encoding unit that encodes moving image data as necessary, as in (a) and (b) of FIG.
  • the switch 2 is controlled to switch from the encoding unit 3a to the encoding unit 3b.
  • the image receiving apparatus 202 can receive encoded data necessary for reproducing a moving image in real time, and can reproduce the moving image in real time without interruption.
  • Each unit of the image receiving device 202 and the dispatcher 302 may be configured by hardware or may be configured by software.
  • the use of hardware and software is arbitrary, and both may be mixed.
  • the failure detection unit 31 and the encoding control signal generation unit 33 in the dispatcher 302 can be configured by a computer program (image transmission control program) that causes a computer to execute the above-described processing.
  • the image transmission control program may be recorded on a non-temporary recording medium.
  • the present invention is not limited to the first or second embodiment described above, and various modifications can be made without departing from the scope of the present invention.
  • the configuration for displaying the moving image of the portion where the image quality deteriorates in FIGS. 1 and 2 with high image quality may be omitted.
  • a configuration for displaying a moving image of a portion where the image quality has deteriorated with high image quality may be added.
  • the present invention can be used when encoded moving image data is transmitted in real time to an image receiving apparatus via a wireless communication line.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

　符号化部（３ａ）は、動画像データを符号化して符号化動画像データを生成する。送信バッファ（４）は、符号化動画像データを蓄積する。送受信部（６）は、符号化動画像データを、無線通信回線を介して画像受信装置に送信する。破綻検出部（１１１）は、符号化動画像データのリアルタイム送信の破綻が発生するか否かを予測して、破綻が発生するまでの時間を検出する。符号化制御部（１１２）は、破綻が発生すると予測されたとき、符号化部（３ａ）が動画像データを符号化する際のターゲットビットレートを、検出された時間内で下げるよう符号化部（３ａ）を制御する。

Description

画像送信装置、画像送信方法、画像送信プログラム、画像送信制御装置、画像送信制御方法、画像送信制御プログラム
　本開示は、動画像データを、無線通信回線を介して画像受信装置へと送信する画像送信装置、画像送信方法、画像送信プログラム、画像送信装置を制御する画像送信制御装置、画像送信制御方法、画像送信制御プログラムに関する。
　近年、無線通信回線の伝送帯域が広帯域化され、画像データのデータ容量を大幅に削減できる画像圧縮技術が開発されたことに伴い、動画像データを、無線通信回線を介して送受信することが頻繁に行われている。
特開２００８－１１０７７号公報
　ところが、電波強度が弱い状態では、画像データを伝送する際の伝送レートが低くなる。すると、画像送信装置から画像受信装置へと符号化動画像データをリアルタイムに送信することができず、画像受信装置は動画像をリアルタイムに再生するのに必要な符号化動画像データを受信できないことがある。
　画像送信装置が車両等の移動体に設けられている場合には、移動体が走行する場所によって電波強度が変動することがある。よって、符号化動画像データのリアルタイム送信が破綻しやすいという問題点がある。
　本発明はこのような問題点に鑑み、符号化動画像データのリアルタイム送信の破綻の可能性を低減させることができる画像送信装置、画像送信方法、画像送信プログラム、画像送信制御装置、画像送信制御方法、画像送信制御プログラムを提供することを目的とする。
　実施形態の第１の態様によれば、動画像データを符号化して符号化動画像データを生成する符号化部と、前記符号化動画像データを蓄積する送信バッファと、前記送信バッファに蓄積された前記符号化動画像データを、無線通信回線を介して画像受信装置に送信する送信部と、移動体の位置情報と速度情報と方向情報と、少なくとも前記移動体が移動する経路における前記無線通信回線の電波強度分布情報と、前記符号化部における符号化ビットレートと、前記送信バッファにおける前記符号化動画像データの蓄積状態を示す状態情報とに基づいて、前記符号化動画像データが前記送信部から前記画像受信装置にリアルタイムに送信されない状態であるリアルタイム送信の破綻が発生するか否かを予測して、前記破綻が発生するまでの時間を検出する破綻検出部と、前記破綻検出部によって前記破綻が発生すると予測されたとき、前記符号化部が前記動画像データを符号化する際のターゲットビットレートを前記時間内で下げるよう前記符号化部を制御する符号化制御部とを備えることを特徴とする画像送信装置が提供される。
　実施形態の第２の態様によれば、動画像データを符号化して符号化動画像データを生成し、前記符号化動画像データを送信バッファに蓄積し、前記送信バッファに蓄積された前記符号化動画像データを、無線通信回線を介して画像受信装置に送信し、移動体の位置情報と速度情報と方向情報と、少なくとも前記移動体が移動する経路における前記無線通信回線の電波強度分布情報と、前記符号化動画像データを生成する際の符号化ビットレートと、前記送信バッファにおける前記符号化動画像データの蓄積状態を示す状態情報とに基づいて、前記符号化動画像データが前記画像受信装置にリアルタイムに送信されない状態であるリアルタイム送信の破綻が発生するか否かを予測して、前記破綻が発生するまでの時間を検出し、前記破綻が発生すると予測されたとき、前記符号化動画像データを生成する際のターゲットビットレートを前記時間内で下げることを特徴とする画像送信方法が提供される。
　実施形態の第３の態様によれば、動画像データを符号化して符号化動画像データを生成する符号化部と、前記符号化動画像データを蓄積する送信バッファと、前記送信バッファに蓄積された前記符号化動画像データを、無線通信回線を介して画像受信装置に送信する送信部とを備える画像送信装置に搭載されているコンピュータに、移動体の位置情報と速度情報と方向情報と、少なくとも前記移動体が移動する経路における前記無線通信回線の電波強度分布情報と、前記符号化動画像データを生成する際の符号化ビットレートと、前記送信バッファにおける前記符号化動画像データの蓄積状態を示す状態情報とに基づいて、前記符号化動画像データが前記画像受信装置にリアルタイムに送信されない状態であるリアルタイム送信の破綻が発生するか否かを予測して、前記破綻が発生するまでの時間を検出するステップと、前記破綻が発生すると予測されたとき、前記符号化部が前記動画像データを符号化する際のターゲットビットレートを前記時間内で下げるよう前記符号化部を制御するステップとを実行させることを特徴とする画像送信プログラムが提供される。
　実施形態の第４の態様によれば、移動体の位置情報と速度情報と方向情報と、少なくとも前記移動体が移動する経路における無線通信回線の電波強度分布情報と、画像送信装置内の符号化部が動画像データを符号化して符号化動画像データを生成する際の符号化ビットレートと、前記符号化動画像データを蓄積する送信バッファにおける前記符号化動画像データの蓄積状態を示す状態情報とに基づいて、前記符号化動画像データが画像受信装置にリアルタイムに送信されない状態であるリアルタイム送信の破綻が発生するか否かを予測して、前記破綻が発生するまでの時間を検出する破綻検出部と、前記破綻検出部によって前記破綻が発生すると予測されたとき、前記符号化部が前記動画像データを符号化する際のターゲットビットレートを前記時間内で下げるための符号化制御信号を生成し、前記画像送信装置に送信するよう制御する符号化制御信号生成部とを備えることを特徴とする画像送信制御装置が提供される。
　実施形態の第５の態様によれば、移動体の位置情報と速度情報と方向情報と、少なくとも前記移動体が移動する経路における無線通信回線の電波強度分布情報と、画像送信装置内の符号化部が動画像データを符号化して符号化動画像データを生成する際の符号化ビットレートと、前記符号化動画像データを蓄積する送信バッファにおける前記符号化動画像データの蓄積状態を示す状態情報とに基づいて、前記符号化動画像データが画像受信装置にリアルタイムに送信されない状態であるリアルタイム送信の破綻が発生するか否かを予測して、前記破綻が発生するまでの時間を検出し、前記破綻が発生すると予測されたとき、前記符号化部が前記動画像データを符号化する際のターゲットビットレートを前記時間内で下げるための符号化制御信号を生成し、前記画像送信装置に送信することを特徴とする画像送信制御方法が提供される。
　実施形態の第６の態様によれば、コンピュータに、移動体の位置情報と速度情報と方向情報と、少なくとも前記移動体が移動する経路における無線通信回線の電波強度分布情報と、画像送信装置内の符号化部が動画像データを符号化して符号化動画像データを生成する際の符号化ビットレートと、前記符号化動画像データを蓄積する送信バッファにおける前記符号化動画像データの蓄積状態を示す状態情報とに基づいて、前記符号化動画像データが画像受信装置にリアルタイムに送信されない状態であるリアルタイム送信の破綻が発生するか否かを予測して、前記破綻が発生するまでの時間を検出するステップと、前記破綻が発生すると予測されたとき、前記符号化部が前記動画像データを符号化する際のターゲットビットレートを前記時間内で下げるための符号化制御信号を生成し、前記画像送信装置に送信するよう制御するステップとを実行させることを特徴とする画像送信制御プログラムが提供される。
　実施形態の画像送信装置、画像送信方法、画像送信プログラム、画像送信制御装置、画像送信制御方法、画像送信制御プログラムによれば、符号化動画像データのリアルタイム送信の破綻の可能性を低減させることができる。
図１は、第１実施形態の送受信システムを構成する画像送信装置を示すブロック図である。 図２は、第１実施形態の送受信システムを構成する画像受信装置を示すブロック図である。 図３は、画像送信装置がサーバより電波強度分布情報を取得する場合の構成例を示すブロック図である。 図４は、電波強度分布情報の一例を概念的に示す図である。 図５は、電波強度分布情報の他の例を概念的に示す図である。 図６は、符号化動画像データのリアルタイム送信の破綻が発生する場合の例を示す図である。 図７は、符号化部におけるターゲットビットレートの制御及び動画圧縮方式の切り替えの例を示す図である。 図８は、図１に示す画像送信装置から図２に示す画像受信装置に送信されるビットストリームを概略的に示す図である。 図９は、第２実施形態の送受信システムを構成する画像送信装置を示すブロック図である。 図１０は、第２実施形態の送受信システムを構成する画像受信装置及びデスパッチャを示すブロック図である。 図１１は、図９に示す画像送信装置から図１０に示す画像受信装置に送信される符号化情報を概略的に示す図である。 図１２は、図９に示す画像送信装置から図１０に示す画像受信装置に送信される位置・方向・速度情報を概略的に示す図である。 図１３は、図９に示す画像送信装置から図１０に示す画像受信装置に送信される送信バッファ情報を概略的に示す図である。
　以下、一実施形態の画像送信装置、画像送信方法、画像送信プログラム、画像送信制御装置、画像送信制御方法、画像送信制御プログラムについて、添付図面を参照して説明する。
＜第１実施形態＞
　図１に示す画像送信装置１０１と図２に示す画像受信装置２０１は、第１実施形態の送受信システムを構成する。画像送信装置１０１は以下のように構成され、画像受信装置２０１に符号化動画像データ（以下、符号化データと略記することがある）を送信する。画像送信装置１０１は、移動体の一例として車両に搭載されているとする。
　カメラ１は、被写体を撮影して動画像データを出力する。カメラ１がアナログの動画像信号を出力する場合には、図示していないＡ／Ｄ変換器によってデジタルの動画像データとすればよい。
　カメラ１は動画像データ発生部の一例である。動画像データ発生部は、記録媒体に記録された動画像データを再生する再生装置であってもよい。
　動画像データは、スイッチ２の端子Ｔａを介して符号化部３ａに入力される。後述するように、動画像データが、スイッチ２の端子Ｔｂを介して符号化部３ｂに入力されることがある。符号化部３ａ，３ｂは、互いに異なる動画圧縮方式で動画像データを符号化する。符号化部３ａ，３ｂは、符号化回路によって構成されていてもよい。
　符号化部３ａ，３ｂが採用する動画圧縮方式は、MPEG-4，H.264/MPEG-4 AVC/ MPEG-4 SVC，H.265/HEVC/SHVC等でよい。本実施形態においては、符号化部３ｂが採用する動画圧縮方式の圧縮率の方が、符号化部３ａが採用する動画圧縮方式の圧縮率よりも大きいとする。符号化部３ａ，３ｂは、動画圧縮方式として時間の異なる画像間の相関性を利用しないMotion JPEG，Motion JPEG2000等を採用してもよい。
　ここで、符号化部３ａ，３ｂは、階層符号化を実現できる動画圧縮方式であるとよい。符号化部３ａ，３ｂが階層符号化を実現できる動画圧縮方式を採用する場合、次のような符号化動画像データを生成する。
　即ち、符号化部３ａ，３ｂは、ターゲットビットレートが通常の伝送レートよりも下げられた場合に、ターゲットビットレート内に収まるように所定の符号化処理を行って、ベースレイヤとしての符号化動画像データを生成する。符号化部３ａ，３ｂは、ベースレイヤの符号化品質と本来伝送すべき符号化品質との違いを埋め合わせるための、拡張レイヤとしての拡張符号化動画像データを生成する。
　これにより、ターゲットビットレートが下がった場合に送信されなくなってしまう符号量に相当する符号化動画像データを、拡張レイヤとしての拡張符号化動画像データとして生成しておくことができる。
　画像送信装置１０１は、互いに異なる動画圧縮方式で動画像データを符号化する複数の符号化部を備えることが好ましいが、１つの動画圧縮方式で動画像データを符号化する複数の符号化部を備える構成や、１つの動画圧縮方式で動画像データを符号化する１つの符号化部を備える構成としてもよい。
　符号化部３ａ（または３ｂ）より出力された符号化データは、送信バッファ４に入力されて一時的に蓄積される。送信バッファ４に蓄積された符号化データを含むビットストリームの送信信号は、送受信部６によって、無線通信回線を介して画像受信装置２０１に送信される。また、送信バッファ４に蓄積された符号化データは、記憶部５に入力されて記憶される。
　ここで、送信バッファ４は、所定のメモリやHDD（ハードディスクドライブ）等のストレージによって構成されるとよい。送受信部６は、送信部（送信回路）と、受信部（受信回路）とを含む。また、記憶部５は、所定のメモリやHDD等のストレージによって構成されるとよい。
　符号化データの一部である拡張レイヤの拡張符号化データは、送信バッファ４を介して記憶部５に格納され、必要に応じて送信バッファ４に蓄積されるようにするとよい。また、拡張レイヤの拡張符号化データは、符号化部３ａ（または３ｂ）から記憶部５に直接供給されるような構成としてもよい。
　画像送信装置１０１は、画像受信装置２０１との間で、半二重通信方式によって信号またはデータを送受信してもよいし、全二重通信方式によって信号またはデータを送受信してもよい。
　後述するように、画像受信装置２０１が画像送信装置１０１へと所定の信号を送信することがある。半二重通信方式が採用されている場合には、画像送信装置１０１が画像受信装置２０１に符号化データを送信しないタイミングで、画像受信装置２０１が画像送信装置１０１に所定の信号を送信すればよい。
　位置検出部７は、例えば全地球航法衛星システム（Global Navigation Satellite System: GNSS）用の衛星からの電波を受信して、車両（画像送信装置１０１）の位置情報を検出する。GNSSは、一例としてＧＰＳ（Global Positioning System）である。位置検出部７が検出した位置情報は、制御部１１内の破綻検出部１１１に入力される。
　車両がナビゲーション装置を搭載し、ナビゲーション装置が車両の位置情報を検出する場合には、ナビゲーション装置が検出した位置情報を破綻検出部１１１に供給するように構成してもよい。位置検出部７は、制御部１１内に設けられていてもよい。
　速度取得部８は、所定の方法によって車両の走行速度情報を取得する。速度取得部８は、車両が発生する車速パルスに基づいて走行速度情報を取得してもよい。速度取得部８は、単位時間当たりの位置検出部７が検出する位置情報の変化量に基づいて走行速度情報を取得してもよい。速度取得部８が取得した走行速度情報は、破綻検出部１１１に入力される。
　ジャイロセンサ９は、車両が走行するときの方向情報を検出する。ジャイロセンサ９が検出した方向情報は、破綻検出部１１１に入力される。ナビゲーション装置がジャイロセンサを備える場合には、ナビゲーション装置のジャイロセンサより出力された方向情報を破綻検出部１１１に供給するように構成してもよい。
　電波強度分布情報保持部１０は、無線通信回線の電波強度分布情報を保持する。電波強度分布情報保持部１０は、少なとも車両が移動する範囲の領域を含む電波強度分布情報を予め保持する。電波強度分布情報保持部１０は、所定のメモリで構成することができる。または、電波強度分布情報保持部１０は、例えば外部のサーバ（クラウド）に保持されている電波強度分布情報より必要な電波強度分布情報を取得してもよい。
　後者の場合には、画像送信装置１０１は、図３に示すように構成されていればよい。図３に示すように、サーバ５０は電波強度分布情報を保持している。送受信部６は、制御部１１による制御に基づいて、サーバ５０に対して電波強度分布情報の送信を要求して、電波強度分布情報を受信する。制御部１１は、受信した電波強度分布情報を電波強度分布情報保持部１０に保持させる。
　このとき、制御部１１は、位置検出部７が検出した車両の位置情報を参照して、車両が位置している地点を含む所定の範囲の領域の電波強度分布情報を取得するように制御してもよい。
　電波強度分布情報保持部１０による電波強度分布情報の保持とは、電波強度分布情報の継続的な保持だけでなく、サーバ５０より取得した電波強度分布情報の一時的な保持を含む。
　なお、電波強度分布情報は、送受信システムの提供者または第三者によって測定されたデータに基づいて生成されている。
　図４は、電波強度分布情報保持部１０が保持する電波強度分布情報を概念的に示している。図４に示す領域内で、領域Ａｒ１は電波強度が比較的強い地域、領域Ａｒ２は電波強度が比較的弱い地域を示している。電波強度分布情報は、領域を例えばメッシュ状に区画した複数の地点Ｐｓの電波強度を示すデータで構成することができる。
　図５に示すように、車両が現在位置Ｐ０に位置しており、走行経路Ｒ０で示す道路を走行することが決まっているとする。このような場合には、電波強度分布情報保持部１０は、走行経路Ｒ０上の複数の地点Ｐｓの電波強度を示すデータを保持するだけでもよい。
　制御部１１が車両の走行経路Ｒ０の情報をナビゲーション装置から取得し、走行経路Ｒ０上の複数の地点Ｐｓの電波強度をサーバ５０より取得して、電波強度分布情報保持部１０に保持させてもよい。
　また、ナビゲーション装置から複数の走行経路情報を取得できる場合には、複数の走行経路上の複数の地点Ｐｓの電波強度をサーバ５０より取得して、電波強度分布情報保持部１０に保持させてもよい。
　ここで、電波強度分布情報保持部１０の記憶容量が十分でない場合には、ナビゲーション装置から優先度の高い順番に走行経路の情報を取得し、優先度の高い走行経路上の複数の地点Ｐｓの電波強度から順番に、電波強度分布情報保持部１０に保持させてもよい。優先度の低い走行経路上の複数の地点Ｐｓの電波強度を電波強度分布情報保持部１０に保持させないようにしてもよい。
　図１に戻り、制御部１１は、破綻検出部１１１と符号化制御部１１２と拡張情報送信制御部１１３とを有する。拡張情報送信制御部１１３には要求信号抽出部１２が接続されている。要求信号抽出部１２及び拡張情報送信制御部１１３の動作については、画像受信装置２０１の動作説明と併せて説明する。
　ここで、制御部１１は、所定のメモリとプロセッサにより構成されるとよい。また、破綻検出部１１１、符号化制御部１１２、拡張情報送信制御部１１３も同様に、それぞれ所定のメモリとプロセッサにより構成されてもよいし、制御部１１のメモリを共用し、制御部１１のプロセッサにより各部の制御を行うように構成されてもよい。
　符号化制御部１１２は、符号化部３ａが動画像データを符号化する際のターゲットビットレートを符号化部３ａに指示する。破綻検出部１１１には、符号化部３ａが動画像データを実際に符号化した際の発生符号量である符号化ビットレートを示す情報が入力される。
　符号化部３ａに代えて符号化部３ｂが動作している場合には、同様に、符号化制御部１１２は、符号化部３ｂが動画像データを符号化する際のターゲットビットレートを符号化部３ｂに指示する。破綻検出部１１１には、符号化部３ｂが動画像データを実際に符号化した際の発生符号量である符号化ビットレートを示す情報が入力される。
　また、破綻検出部１１１には、送信バッファ４における符号化データの蓄積状態を示す状態情報が入力される。送信バッファ４の蓄積状態とは、例えば、ある時点で、符号化データをさらに蓄積可能な容量である余裕の程度とすることができる。
　画像送信装置１０１が画像受信装置２０１へと符号化データを送信する際に、電波強度が弱い場合には、送信バッファ４に蓄積された符号化データが十分に画像受信装置２０１へと送信されない事態となる。すると、送信バッファ４に符号化データを蓄積する余裕がなくなり、符号化データのリアルタイム送信が破綻してしまう。
　そこで、破綻検出部１１１は、車両の位置情報と走行速度情報と方向情報と、電波強度分布情報と、符号化部３ａ（または３ｂ）の符号化ビットレートと、送信バッファ４の状態情報とに基づいて、リアルタイム送信の破綻が発生するか否かを予測する。破綻検出部１１１は、リアルタイム送信の破綻が発生すると予測するとき、破綻が発生するまでの時間を検出する。
　図６に示すように、車両が現在位置Ｐ０に位置していて走行経路Ｒ０を走行するとき、破綻検出部１１１は、上記の各情報に基づいて、車両がいつ領域Ａｒ１，Ａｒ２の境界地点Ｐ１２に到達するのかを検出することができる。破綻検出部１１１は、現在位置Ｐ０から境界地点Ｐ１２に到達するまでの時間Ｔ012を検出する。
　図７の（ａ）に示すように、符号化部３ａは、時刻ｔ０までターゲットビットレートＢｒ１で動画像データを符号化していたとする。破綻検出部１１１は、図７の（ａ）に示す時刻ｔ０で、ターゲットビットレートＢｒ１をそのまま継続したとすると時間Ｔ012経過後にリアルタイム送信が破綻すると予測して、符号化制御部１１２に通知する。
　符号化制御部１１２は、例えば時刻ｔ１から時刻ｔ２にかけて、符号化部３ａにおけるターゲットビットレートを、ターゲットビットレートＢｒ１からターゲットビットレートＢｒ２まで連続的に下げるよう符号化部３ａを制御する。
　ターゲットビットレートＢｒ２は、ターゲットビットレートＢｒ１よりもビットレートが低く、電波強度が弱い領域Ａｒ２においてもリアルタイム送信が破綻しないビットレートである。
　時間Ｔ012が短い場合、符号化制御部１１２は、時刻ｔ０からターゲットビットレートを下げるよう符号化部３ａを制御してもよい。時刻ｔ２は、車両が境界地点Ｐ１２に到達する時刻ｔ１２以前であればよい。時刻ｔ１２を正確に求めることは容易ではなく誤差を含むので、符号化制御部１１２は、時刻ｔ１２よりも所定時間前の時刻ｔ２で、ターゲットビットレートＢｒ２とするよう符号化部３ａを制御するのがよい。
　符号化制御部１１２は、符号化部３ａにおけるターゲットビットレートを急激に下げるのではなく、時間Ｔ012内で、ターゲットビットレートＢｒ１からターゲットビットレートＢｒ２まで下げるよう符号化部３ａを制御する。
　符号化制御部１１２は、時間Ｔ012内で、ターゲットビットレートを、ターゲットビットレートＢｒ１からターゲットビットレートＢｒ２まで所定のルールに基づいて下げるよう符号化部３ａを制御するのがよい。例えば、符号化制御部１１２はターゲットビットレートを、所定の時間をかけて連続的または段階的に下げるよう符号化部３ａを制御するのがよい。
　このようにすると、符号化部３ａにおける符号化ビットレートは急激に変化しないため、画質の劣化が目立ちにくい。
　車両がさらに走行して領域Ａｒ１と同様に電波強度が強い地域へと移ったとする。この場合、符号化制御部１１２は、例えば時刻ｔ３から時刻ｔ４にかけて、符号化部３ａにおけるターゲットビットレートを、ターゲットビットレートＢｒ２からターゲットビットレートＢｒ１まで所定のルールに基づいて上げるよう符号化部３ａを制御すればよい。
　例えば、符号化制御部１１２はターゲットビットレートを、所定の時間をかけて連続的または段階的に上げるよう符号化部３ａを制御すればよい。時刻ｔ３は、電波強度が強い地域へと移った時刻以降であればよい。
　例えば、領域Ａｒ１における最大伝送レートが５Mbpsで領域Ａｒ２における最大伝送レートが１Mbpsのように、最大伝送レートが１／５と大幅に低下する場合には、図７の（ａ）に示すターゲットビットレートの低減だけではリアルタイム送信の破綻を回避できないことがある。
　そのような場合には、図７の（ｂ）に示すように、符号化制御部１１２は、スイッチ２を端子Ｔｂへと切り替え、符号化部３ａに代えて、圧縮率が大きい符号化部３ｂによって動画像データを符号化するよう、スイッチ２及び符号化部３ｂを制御してもよい。
　図７の（ｂ）では、符号化制御部１１２は、時刻ｔ２で符号化部３ａから符号化部３ｂへと切り替え、時刻ｔ３で符号化部３ｂから符号化部３ａへと切り替えるよう、スイッチ２及び符号化部３ａ，３ｂを制御する。
　符号化部３ａから符号化部３ｂへと切り替えるタイミングは、時刻ｔ０から時刻ｔ１２までの間であればよい。符号化部３ｂから符号化部３ａへと切り替えるタイミングは、電波強度が強い地域へと移った時刻以降であればよい。
　符号化制御部１１２は、符号化部３ａにおけるターゲットビットレートを下げる制御を実行させず、動画像データを符号化する符号化部を符号化部３ａから符号化部３ｂへと切り替える制御のみを実行させてもよい。
　符号化制御部１１２は、次のいずれかの方法によってリアルタイム送信の破綻を回避すればよい。第１の方法として、符号化制御部１１２は、動画像データを符号化する際のターゲットビットレートを下げるよう符号化部を制御する。
　第２の方法として、符号化制御部１１２は、動画像データを符号化する符号化部を、圧縮率がより大きい動画圧縮方式を採用する符号化部に切り替えるようスイッチ２を制御する。
　第３の方法として、符号化制御部１１２は、ターゲットビットレートを下げるよう符号化部を制御し、かつ、符号化部を圧縮率がより大きい動画圧縮方式を採用する符号化部に切り替えるようスイッチ２を制御する。
　図１では、動画圧縮方式が異なる符号化部を２つとしているが、３つ以上の符号化部を設けて、３つ以上の符号化部間で動画像データを符号化する符号化部を切り替えてもよい。
　送受信部６より送信されるビットストリームは、概略的に図８に示すような形式である。ビットストリームは、先頭のヘッダと、ヘッダに続く符号化画像データの領域と、符号化画像データに続くユーザ領域とを含む。
　ユーザ領域は、ヘッダと符号化画像データの領域の間に設けてもよい。また、ユーザ領域に格納する情報が存在しない場合には、必ずしもユーザ領域を設けなくともよい。ユーザ領域に格納する情報が存在する可能性がある場合には、ヘッダ内にユーザ領域の有無を識別するためのフラグを含めるようにしてもよい。
　ヘッダは、動画圧縮方式の種類を識別するためのフラグＦ１を含む。ターゲットビットレートが下げられた場合には、例えばユーザ領域内に、ターゲットビットレートが下げられたことを示すフラグＦ２が設定される。ユーザ領域内にフラグＦ２を配置する代わりに、ヘッダ内のユーザ領域にフラグＦ２が設定されていてもよい。
　ここで、拡張レイヤの拡張符号化データが生成されていない場合には、フラグＦ２を設定しないようにするとよい。以下の説明では、フラグＦ２が設定されているとする。
　以上のようにして、画像送信装置１０１及び画像送信装置１０１で実行される画像送信方法によれば、符号化データのリアルタイム送信の破綻の可能性を低減させることができる。よって、画像受信装置２０１は、動画像をリアルタイムに再生するのに必要な符号化データを受信することができ、動画像が途切れずリアルタイムに再生することが可能となる。
　図１における画像送信装置１０１を部分的にコンピュータプログラム（画像送信プログラム）によって構成してもよい。例えば、制御部１１をマイクロコンピュータによって構成し、破綻検出部１１１及び符号化制御部１１２に相当する部分を画像送信プログラムによって構成することができる。画像送信プログラムは、非一時的な記録媒体に記録されていてもよい。
　画像送信プログラムは、コンピュータに、リアルタイム送信の破綻が発生するか否かを予測して、破綻が発生するまでの時間を検出するステップを実行させる。画像送信プログラムは、破綻が発生すると予測されたとき、コンピュータに、符号化部３ａが動画像データを符号化する際のターゲットビットレートを時間Ｔ012内で下げるよう符号化部３ａを制御するステップとを実行させる。
　画像送信装置１０１の各部はハードウェアによって構成されていてもよいし、ソフトウェアによって構成されていてもよい。ハードウェアとソフトウェアとの使い分けは任意であり、両者が混在していてもよい。例えば、符号化部３ａ，３ｂをソフトウェアによって構成して、符号化部３ａ，３ｂを含めて画像送信プログラムとすることも可能である。
　次に、図２に示す画像受信装置２０１の構成及び動作を説明する。図２では、制御部２５の制御に基づき、各種動作を行う。制御部２５は、フラグ判定部２５１、表示制御部２５２、指示受付部２５３、要求信号発生部２５４を含むようにしてもよい。
　ここで、制御部２５は、所定のメモリとプロセッサにより構成されるとよい。また、フラグ判定部２５１、表示制御部２５２、指示受付部２５３、要求信号発生部２５４も同様に、それぞれ所定のメモリとプロセッサにより構成されてもよいし、制御部２５のメモリを共用し、制御部２５のプロセッサにより各部の制御を行うように構成されてもよい。
　図２において、送受信部２１は、画像送信装置１０１より送信された送信信号を受信する。ビットストリーム取得部２２は、受信信号に含まれるビットストリームを取得する。送受信部２１は、送信部（送信回路）と、受信部（受信回路）とを含む。また、ビットストリーム取得部２２は、所定のメモリとプロセッサにより構成されるとよい。
　ビットストリーム取得部２２が取得したビットストリームは、復号部２４ａと、制御部２５内のフラグ判定部２５１と、記憶部２３に入力される。復号部２４ａは、入力されたビットストリームを復号して、制御部２５内の表示制御部２５２に供給する。フラグ判定部２５１は、フラグＦ２がビットストリームに含まれているか否かを判定する。記憶部２３は、ビットストリームを記憶する。
　復号部２４ａ及び後述する復号部２４ｂは、所定のメモリとプロセッサにより構成されるとよいし、復号回路によって構成されていてもよい。また、記憶部２３は、所定のメモリやHDD等のストレージによって構成されてもよい。
　表示制御部２５２は、復号した動画像データを表示部２６に表示させる。これによって、画像送信装置１０１により符号化されて送信された動画像は、リアルタイムで表示部２６に表示されることになる。なお、表示部２６は任意の表示デバイスであればよい。
　フラグ判定部２５１が、フラグＦ２がビットストリームに含まれていると判定すると、表示制御部２５２は、ターゲットビットレートが下げられたことを示す画像または文字情報を表示部２６に表示させる。ユーザは、表示部２６に表示された画像または文字情報によって、ターゲットビットレートが下げられて、画質が悪化したことを知ることができる。
　ユーザは、画像または文字情報を見て画質が悪化したことを知ったとき、画像送信装置１０１に対して、ターゲットビットレートが下げられた期間の送信されなかった符号量に相当する符号化データの送信を要求することができる。
　ユーザが操作部２７を操作して送信されなかった符号量に相当する符号化データの送信を要求する指示入力を行うと、制御部２５内の指示受付部２５３は要求信号発生部２５４に対して、画像送信装置１０１に対する要求信号を発生するよう指示する。要求信号発生部２５４は、要求信号を送受信部２１に供給する。ここで、操作部２７は、所定のスイッチであってもよいし、ＰＣ（パーソナルコンピュータ）のような操作端末であってもよい。
　送受信部２１は、半二重通信方式を採用している場合には、画像送信装置１０１より送信信号を受信していないタイミングで、要求信号を画像送信装置１０１に送信する。送受信部２１は、全二重通信方式を採用している場合には、適宜のタイミングで、要求信号を画像送信装置１０１に送信する。
　ここでは、ユーザが符号化データの送信を要求した場合に、要求信号を画像送信装置１０１に送信するようにしているが、フラグＦ２がビットストリームに含まれている場合に自動的に要求信号を画像送信装置１０１に送信するように構成してもよい。
　即ち、破線にて示すように、フラグ判定部２５１が、フラグＦ２がビットストリームに含まれていると判定したら、要求信号発生部２５４に対して、画像送信装置１０１に対する要求信号を発生するよう指示してもよい。
　図１に戻り、送受信部６が要求信号を含む画像受信装置２０１からの送信信号を受信したら、要求信号抽出部１２は、受信信号より要求信号を抽出する。要求信号抽出部１２は、要求信号を拡張情報送信制御部１１３に供給する。ここで、要求信号抽出部１２は、ビットストリームを一時的に蓄積し、解析するための、所定のメモリとプロセッサによって構成されるとよい。
　拡張情報送信制御部１１３は、ターゲットビットレートが下げられた期間の送信されなかった符号量に相当する符号化データを記憶部５より読み出して、送信バッファ４に供給するよう制御する。送信されなかった符号量に相当する符号化データを拡張符号化データと称することとする。
　送信バッファ４に蓄積された拡張符号化データは、送受信部６より画像受信装置２０１へと送信される。送受信部６は、送信バッファ４に拡張符号化データを蓄積する余裕があり、伝送レートに余裕があるときに、拡張符号化データを画像受信装置２０１へと送信すればよい。
　図２において、送受信部２１は、画像送信装置１０１より送信された拡張符号化データを含むビットストリームの送信信号を受信する。ビットストリーム取得部２２は、拡張符号化データを記憶部２３に記憶させる。
　ユーザは、操作部２７を操作して、ターゲットビットレートが下げられた期間の動画像を高画質で表示させるよう指示入力を行う。指示受付部２５３は、記憶部２３より、ターゲットビットレートが下げられた期間の符号化データと、拡張符号化データとの双方を記憶部２３より読み出すよう指示する。
　復号部２４ａは、ターゲットビットレートが下げられた期間の符号化データをベースレイヤとして復号する。ベースレイヤは、復号部２４ｂに供給される。復号部２４ｂは、拡張符号化データを拡張レイヤとして復号する。復号部２４ｂは、ベースレイヤと拡張レイヤとを合わせた動画像データを表示制御部２５２に供給する。
　表示制御部２５２は、高画質化された動画像データを表示部２６に表示させる。表示制御部２５２は、リアルタイム送信された動画像に代えて、高画質化された過去の動画像を表示させてもよいし、リアルタイム送信された動画像と高画質化された過去の動画像とを例えば２画面で表示させてもよい。
　第１実施形態の送受信システムによれば、リアルタイム送信の破綻を回避するためにターゲットビットレートを下げ、実際の符号化ビットレートが下がって画質が悪化した場合でも、画質が悪化した箇所の動画像を高画質で表示させることができる。
　画像受信装置２０１の各部はハードウェアによって構成されていてもよいし、ソフトウェアによって構成されていてもよい。ハードウェアとソフトウェアとの使い分けは任意であり、両者が混在していてもよい。
＜第２実施形態＞
　図９に示す画像送信装置１０２と図１０に示す画像受信装置２０２及びデスパッチャ３０２は、第２実施形態の送受信システムを構成する。デスパッチャ３０２は、画像受信装置２０２に接続されており、１または複数の画像受信装置２０２を制御する。
　デスパッチャ３０２は、画像送信装置１０２が動画像データを符号化する際の動作を制御する画像送信制御装置の機能を含む。図９，図１０において、図１，図２と同一部分には同一符号を付し、その説明を省略することがある。
　画像送信装置１０２における制御部１１は、符号化情報生成部１１４と、位置・方向・速度情報生成部１１５と、送信バッファ情報生成部１１６とを有する。画像送信装置１０２は、マルチプレクサ１３と、符号化制御信号抽出部１４とを備える。
　符号化情報生成部１１４は、符号化部３ａ（または３ｂ）が動画像データを実際に符号化した際の符号化ビットレートを示す符号化情報を生成する。図１１に示すように、符号化情報は、概略的に、符号化情報であることを示す識別フラグと符号化ビットレートデータとを含む。ここで、符号化情報生成部１１４は、所定のメモリとプロセッサによって構成されるとよい。
　位置・方向・速度情報生成部１１５は、位置検出部７が検出した位置情報と、速度取得部８が取得した走行速度情報と、ジャイロセンサ９が検出した車両の方向情報とに基づいて、車両の位置・方向・速度情報を生成する。図１２に示すように、位置・方向・速度情報は、概略的に、位置・方向・速度情報であることを示す識別フラグと位置・方向・速度データとを含む。ここで、位置・方向・速度情報生成部１１５は、所定のメモリとプロセッサによって構成されるとよい。
　送信バッファ情報生成部１１６は、送信バッファ４からの符号化データの蓄積状態を示す状態情報に基づいて、送信バッファ情報を生成する。図１３に示すように、送信バッファ情報は、概略的に、送信バッファ情報であることを示す識別フラグと送信バッファ状態データとを含む。ここで、送信バッファ情報生成部１１６は、所定のメモリとプロセッサによって構成されるとよい。
　符号化情報生成部１１４が符号化情報を生成するタイミングと、位置・方向・速度情報生成部１１５が位置・方向・速度情報を生成するタイミングと、送信バッファ情報生成部１１６が送信バッファ情報を生成するタイミングとは、必ずしも同じタイミングでなくてよい。但し、少なくとも送信バッファ４から送信対象となる符号化データを読み出すタイミングまでに、送信対象となる符号化データに対応する、それぞれの情報が生成されるとよい。
　符号化情報と位置・方向・速度情報と送信バッファ情報とは、マルチプレクサ１３に入力される。マルチプレクサ１３は、送信バッファ４より読み出された符号化データと符号化情報と位置・方向・速度情報と送信バッファ情報とを時分割多重して、送受信部６に供給する。
　ここで、マルチプレクサ１３は、上記の各データまたは情報をビットストリームとして多重化するための、所定のメモリとプロセッサによって構成されるとよいし、所定の多重化回路によって構成されてもよい。
　送受信部６は、時分割多重された符号化データと符号化情報と位置・方向・速度情報と送信バッファ情報とを含むビットストリームの送信信号を画像受信装置２０２に送信する。
　図１０において、画像受信装置２０２は画像送信装置１０２からの送信信号を受信する。デマルチプレクサ２８は、ビットストリームに含まれる符号化データと、符号化情報と位置・方向・速度情報と送信バッファ情報とを互いに分離する。符号化データは復号部２４に入力されて復号される。
　復号された動画像データは、表示制御部２９を介して表示部２６に供給される。表示制御部２９は、表示制御部２５２と同様であればよいため、ここでは説明を省略する。ここで、デマルチプレクサ２８は、ビットストリームを多重化分離するための、所定のメモリとプロセッサによって構成されるとよいし、所定の多重化分離回路によって構成されてもよい。
　符号化情報と位置・方向・速度情報と送信バッファ情報は、デスパッチャ３０２内の破綻検出部３１に入力される。第２実施形態においては、画像送信装置側ではなく、画像受信装置側が破綻検出部を備える。
　図１０では、画像受信装置２０２とデスパッチャ３０２とを分けて構成しているが、一体的に構成してもよい。画像受信装置２０２とデスパッチャ３０２との全体を画像受信装置としてもよい。
　デスパッチャ３０２は、破綻検出部３１と電波強度分布情報保持部３２と符号化制御信号生成部３３とを備える。電波強度分布情報保持部３２は、図４で説明したような電波強度分布情報を保持する。車両の走行経路を示す情報が画像受信装置２０２に送信されない構成では、電波強度分布情報保持部３２は、車両が移動する可能性のある範囲の領域を含む電波強度分布情報を保持すればよい。
　車両の走行経路が予め決まっていれば、電波強度分布情報保持部３２は、図５と同様に、少なくとも車両が移動する経路における電波強度分布情報を保持すればよい。ここで、電波強度分布情報保持部３２は、所定のメモリやHDD等のストレージによって構成されるとよい。
　破綻検出部３１は、図１における破綻検出部１１１と同様に、符号化情報と、位置・方向・速度情報と、送信バッファ情報と、電波強度分布情報とに基づいて、画像送信装置１０２によるリアルタイム送信の破綻が発生するか否かを予測する。破綻検出部３１は、リアルタイム送信の破綻が発生すると予測するとき、破綻が発生するまでの時間を検出する。ここで、破綻検出部３１は、所定のメモリとプロセッサによって構成されるとよい。
　符号化制御信号生成部３３は、破綻検出部３１によってリアルタイム送信の破綻が発生すると予測されたとき、符号化部３ａにおけるターゲットビットレートを下げるよう制御するための符号化制御信号を生成する。
　符号化制御信号生成部３３は、符号化制御信号を画像送信装置１０２に送信するよう送受信部２１を制御する。
　送受信部２１は、符号化制御信号を画像送信装置１０２に送信する。半二重通信方式が採用されている場合には、送受信部２１は、画像送信装置１０２が符号化データを送信しないタイミングで、符号化制御信号を画像送信装置１０２に送信すればよい。符号化制御信号生成部３３は、符号化部３ａに代えて符号化部３ｂによって動画像データを符号化するよう、スイッチ２を切り替えるための符号化制御信号を生成してもよい。ここで、符号化制御信号生成部３３は、所定のメモリとプロセッサによって構成されるとよい。
　図９に戻り、送受信部６が符号化制御信号を含む画像受信装置２０２からの送信信号を受信したら、符号化制御信号抽出部１４は、受信信号より符号化制御信号を抽出する。符号化制御信号抽出部１４は、符号化制御信号を符号化制御部１１２に供給する。ここで、符号化制御信号抽出部１４は、所定のメモリとプロセッサによって構成されるとよい。
　符号化制御部１１２は、図７の（ａ），（ｂ）と同様に、符号化部３ａにおけるターゲットビットレートを制御し、必要に応じて、動画像データを符号化する符号化部を符号化部３ａから符号化部３ｂへと切り替えるようスイッチ２を制御する。
　以上のようにして、デスパッチャ３０２内に設けられている画像送信制御装置及びデスパッチャ３０２で実行される画像送信制御方法によれば、符号化データのリアルタイム送信の破綻の可能性を低減させることができる。よって、画像受信装置２０２は、動画像をリアルタイムに再生するのに必要な符号化データを受信することができ、動画像が途切れずリアルタイムに再生することが可能となる。
　画像受信装置２０２やデスパッチャ３０２の各部はハードウェアによって構成されていてもよいし、ソフトウェアによって構成されていてもよい。ハードウェアとソフトウェアとの使い分けは任意であり、両者が混在していてもよい。
　デスパッチャ３０２における破綻検出部３１及び符号化制御信号生成部３３は、コンピュータに前述の処理を実行させるコンピュータプログラム（画像送信制御プログラム）によって構成することができる。画像送信制御プログラムは、非一時的な記録媒体に記録されていてもよい。
　本発明は以上説明した第１または第２実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。図１及び図２における画質が悪化した箇所の動画像を高画質で表示させるための構成を省略してもよい。図９及び図１０に、画質が悪化した箇所の動画像を高画質で表示させるための構成を追加してもよい。
　本発明は、符号化動画像データを、無線通信回線を介して画像受信装置へとリアルタイム送信する際に利用できる。

Claims (10)

  1. 　動画像データを符号化して符号化動画像データを生成する符号化部と、
    　前記符号化動画像データを蓄積する送信バッファと、
    　前記送信バッファに蓄積された前記符号化動画像データを、無線通信回線を介して画像受信装置に送信する送信部と、
    　移動体の位置情報と速度情報と方向情報と、少なくとも前記移動体が移動する経路における前記無線通信回線の電波強度分布情報と、前記符号化部における符号化ビットレートと、前記送信バッファにおける前記符号化動画像データの蓄積状態を示す状態情報とに基づいて、前記符号化動画像データが前記送信部から前記画像受信装置にリアルタイムに送信されない状態であるリアルタイム送信の破綻が発生するか否かを予測して、前記破綻が発生するまでの時間を検出する破綻検出部と、
    　前記破綻検出部によって前記破綻が発生すると予測されたとき、前記符号化部が前記動画像データを符号化する際のターゲットビットレートを前記時間内で下げるよう前記符号化部を制御する符号化制御部と、
    　を備えることを特徴とする画像送信装置。
  2. 　前記符号化制御部は、前記破綻が発生すると予測される時刻より前の第１の時刻から、前記第１の時刻以降で、前記破綻が発生すると予測される時刻以前の第２の時刻まで、前記符号化部が前記動画像データを符号化する際のターゲットビットレートを、第１のターゲットビットレートから前記第１のターゲットビットレートよりも低い第２のターゲットビットレートまで所定のルールに基づいてビットレートを下げていくよう制御することを特徴とする請求項１に記載の画像送信装置。
  3. 　前記符号化制御部は、前記符号化部が前記動画像データを符号化する際の動画圧縮方式を圧縮率の大きい動画圧縮方式へと切り替えるよう制御することを特徴とする請求項１または２に記載の画像送信装置。
  4. 　動画像データを符号化して符号化動画像データを生成し、
    　前記符号化動画像データを送信バッファに蓄積し、
    　前記送信バッファに蓄積された前記符号化動画像データを、無線通信回線を介して画像受信装置に送信し、
    　移動体の位置情報と速度情報と方向情報と、少なくとも前記移動体が移動する経路における前記無線通信回線の電波強度分布情報と、前記符号化動画像データを生成する際の符号化ビットレートと、前記送信バッファにおける前記符号化動画像データの蓄積状態を示す状態情報とに基づいて、前記符号化動画像データが前記画像受信装置にリアルタイムに送信されない状態であるリアルタイム送信の破綻が発生するか否かを予測して、前記破綻が発生するまでの時間を検出し、
    　前記破綻が発生すると予測されたとき、前記符号化動画像データを生成する際のターゲットビットレートを前記時間内で下げる、
    　ことを特徴とする画像送信方法。
  5. 　動画像データを符号化して符号化動画像データを生成する符号化部と、
    　前記符号化動画像データを蓄積する送信バッファと、
    　前記送信バッファに蓄積された前記符号化動画像データを、無線通信回線を介して画像受信装置に送信する送信部と、
    　を備える画像送信装置に搭載されているコンピュータに、
    　移動体の位置情報と速度情報と方向情報と、少なくとも前記移動体が移動する経路における前記無線通信回線の電波強度分布情報と、前記符号化動画像データを生成する際の符号化ビットレートと、前記送信バッファにおける前記符号化動画像データの蓄積状態を示す状態情報とに基づいて、前記符号化動画像データが前記画像受信装置にリアルタイムに送信されない状態であるリアルタイム送信の破綻が発生するか否かを予測して、前記破綻が発生するまでの時間を検出するステップと、
    　前記破綻が発生すると予測されたとき、前記符号化部が前記動画像データを符号化する際のターゲットビットレートを前記時間内で下げるよう前記符号化部を制御するステップと、
    　を実行させることを特徴とする画像送信プログラム。
  6. 　移動体の位置情報と速度情報と方向情報と、少なくとも前記移動体が移動する経路における無線通信回線の電波強度分布情報と、画像送信装置内の符号化部が動画像データを符号化して符号化動画像データを生成する際の符号化ビットレートと、前記符号化動画像データを蓄積する送信バッファにおける前記符号化動画像データの蓄積状態を示す状態情報とに基づいて、前記符号化動画像データが画像受信装置にリアルタイムに送信されない状態であるリアルタイム送信の破綻が発生するか否かを予測して、前記破綻が発生するまでの時間を検出する破綻検出部と、
    　前記破綻検出部によって前記破綻が発生すると予測されたとき、前記符号化部が前記動画像データを符号化する際のターゲットビットレートを前記時間内で下げるための符号化制御信号を生成し、前記画像送信装置に送信するよう制御する符号化制御信号生成部と、
    　を備えることを特徴とする画像送信制御装置。
  7. 　前記符号化制御信号生成部は、前記破綻が発生すると予測される時刻より前の第１の時刻から、前記第１の時刻以降で、前記破綻が発生すると予測される時刻以前の第２の時刻まで、前記符号化部が前記動画像データを符号化する際のターゲットビットレートを、第１のターゲットビットレートから前記第１のターゲットビットレートよりも低い第２のターゲットビットレートまで所定のルールに基づいてビットレートを下げていくよう制御するための符号化制御信号を生成することを特徴とする請求項６に記載の画像送信制御装置。
  8. 　前記画像送信制御装置は、前記画像受信装置を制御するデスパッチャ内に設けられており、
    　前記デスパッチャは、前記電波強度分布情報を保持する電波強度分布情報保持部を備え、
    　前記画像受信装置は、それぞれ前記画像送信装置より送信された、前記位置情報と、前記速度情報と、前記方向情報と、前記符号化ビットレートと、前記状態情報とを受信し、
    　前記破綻検出部は、前記画像受信装置が受信した前記位置情報と、前記速度情報と、前記方向情報と、前記符号化ビットレートと、前記状態情報と、前記電波強度分布情報保持部に保持された前記電波強度分布情報とに基づいて、前記時間を検出する
    　ことを特徴とする請求項６または７に記載の画像送信制御装置。
  9. 　移動体の位置情報と速度情報と方向情報と、少なくとも前記移動体が移動する経路における無線通信回線の電波強度分布情報と、画像送信装置内の符号化部が動画像データを符号化して符号化動画像データを生成する際の符号化ビットレートと、前記符号化動画像データを蓄積する送信バッファにおける前記符号化動画像データの蓄積状態を示す状態情報とに基づいて、前記符号化動画像データが画像受信装置にリアルタイムに送信されない状態であるリアルタイム送信の破綻が発生するか否かを予測して、前記破綻が発生するまでの時間を検出し、
    　前記破綻が発生すると予測されたとき、前記符号化部が前記動画像データを符号化する際のターゲットビットレートを前記時間内で下げるための符号化制御信号を生成し、前記画像送信装置に送信する、
    　ことを特徴とする画像送信制御方法。
  10. 　コンピュータに、
    　移動体の位置情報と速度情報と方向情報と、少なくとも前記移動体が移動する経路における無線通信回線の電波強度分布情報と、画像送信装置内の符号化部が動画像データを符号化して符号化動画像データを生成する際の符号化ビットレートと、前記符号化動画像データを蓄積する送信バッファにおける前記符号化動画像データの蓄積状態を示す状態情報とに基づいて、前記符号化動画像データが画像受信装置にリアルタイムに送信されない状態であるリアルタイム送信の破綻が発生するか否かを予測して、前記破綻が発生するまでの時間を検出するステップと、
    　前記破綻が発生すると予測されたとき、前記符号化部が前記動画像データを符号化する際のターゲットビットレートを前記時間内で下げるための符号化制御信号を生成し、前記画像送信装置に送信するよう制御するステップと、
    　を実行させることを特徴とする画像送信制御プログラム。
PCT/JP2015/073479 2014-12-01 2015-08-21 画像送信装置、画像送信方法、画像送信プログラム、画像送信制御装置、画像送信制御方法、画像送信制御プログラム WO2016088409A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/605,229 US10554978B2 (en) 2014-12-01 2017-05-25 Image transmission device and image transmission control device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-242870 2014-12-01
JP2014-242867 2014-12-01
JP2014242867A JP6375901B2 (ja) 2014-12-01 2014-12-01 画像送信装置、画像送信方法、画像送信プログラム
JP2014242870A JP6375902B2 (ja) 2014-12-01 2014-12-01 画像送信制御装置、画像送信制御方法、画像送信制御プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/605,229 Continuation US10554978B2 (en) 2014-12-01 2017-05-25 Image transmission device and image transmission control device

Publications (1)

Publication Number Publication Date
WO2016088409A1 true WO2016088409A1 (ja) 2016-06-09

Family

ID=56091367

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/073479 WO2016088409A1 (ja) 2014-12-01 2015-08-21 画像送信装置、画像送信方法、画像送信プログラム、画像送信制御装置、画像送信制御方法、画像送信制御プログラム

Country Status (2)

Country Link
US (1) US10554978B2 (ja)
WO (1) WO2016088409A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3975435A4 (en) * 2019-07-10 2022-07-13 Panasonic Intellectual Property Management Co., Ltd. DISPLAY DEVICE, RADIO WAVE INTENSITY CONTROL SYSTEM AND RADIO WAVE INTENSITY CONTROL METHOD
US11232686B2 (en) 2019-12-30 2022-01-25 Axis Ab Real-time deviation in video monitoring

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007252005A (ja) * 2007-06-22 2007-09-27 Kyocera Corp 無線通信端末及び通信方法
JP2009081753A (ja) * 2007-09-27 2009-04-16 Hitachi Ltd 無線通信システム、送信機及び受信機
JP2009225011A (ja) * 2008-03-14 2009-10-01 Panasonic Corp 基地局装置、及びハンドオーバ制御方法
WO2013031114A1 (ja) * 2011-08-31 2013-03-07 パナソニック株式会社 移動端末及びレート変更制御方法
WO2013057763A1 (ja) * 2011-10-19 2013-04-25 パナソニック株式会社 通信端末及び符号化レート低減方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4624313B2 (ja) 2006-06-28 2011-02-02 本田技研工業株式会社 車両の送信装置
US20100290522A1 (en) * 2007-11-15 2010-11-18 Sanyo Electric Co., Ltd. Image transmission method and image transmitter
JP4741631B2 (ja) 2008-06-16 2011-08-03 京セラ株式会社 移動通信システム、移動予測装置、及び切替制御方法
JP5225218B2 (ja) * 2008-07-02 2013-07-03 パナソニック株式会社 車両搭載型画像記録装置および画像記録方法
US8532472B2 (en) * 2009-08-10 2013-09-10 Sling Media Pvt Ltd Methods and apparatus for fast seeking within a media stream buffer
US9894311B2 (en) * 2013-07-30 2018-02-13 Robert Bosch Gmbh Adaptive methods for wireless camera communication
US9674257B2 (en) * 2013-12-31 2017-06-06 Echostar Technologies L.L.C. Placeshifting live encoded video faster than real time

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007252005A (ja) * 2007-06-22 2007-09-27 Kyocera Corp 無線通信端末及び通信方法
JP2009081753A (ja) * 2007-09-27 2009-04-16 Hitachi Ltd 無線通信システム、送信機及び受信機
JP2009225011A (ja) * 2008-03-14 2009-10-01 Panasonic Corp 基地局装置、及びハンドオーバ制御方法
WO2013031114A1 (ja) * 2011-08-31 2013-03-07 パナソニック株式会社 移動端末及びレート変更制御方法
WO2013057763A1 (ja) * 2011-10-19 2013-04-25 パナソニック株式会社 通信端末及び符号化レート低減方法

Also Published As

Publication number Publication date
US20170264903A1 (en) 2017-09-14
US10554978B2 (en) 2020-02-04

Similar Documents

Publication Publication Date Title
US11979598B2 (en) Video encoding method, video encoding apparatus, video decoding method, video decoding apparatus, and video encoding/decoding apparatus
US20220201291A1 (en) Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
US10645413B2 (en) Derivation method and apparatuses with candidate motion vectors
US10034001B2 (en) Image coding method, image coding apparatus, image decoding method, image decoding apparatus, and image coding and decoding apparatus
US11172205B2 (en) Image encoding method, image decoding method, image encoding apparatus, and image decoding apparatus
US20120328021A1 (en) Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
WO2004040915A1 (ja) 動画像符号化方法および動画像復号化方法
US10917659B2 (en) Video encoding method and video decoding method
US20240080453A1 (en) Image encoding method, image decoding method, image encoding apparatus, and image decoding apparatus
JPWO2008035657A1 (ja) 監視映像蓄積システム
US8692883B2 (en) Encoding apparatus of video security system
CN102870416A (zh) 运动图像编码装置以及运动图像解码装置
US10554978B2 (en) Image transmission device and image transmission control device
JP4303535B2 (ja) デコード表示装置、撮像装置及びそれらを備えた画像伝送システム
ES2749747T3 (es) Sistemas y procedimientos para definir por separado las dependencias para la predicción entre capas basada en subcapas
JP6375902B2 (ja) 画像送信制御装置、画像送信制御方法、画像送信制御プログラム
JP2007013419A (ja) 画像処理装置、画像処理方法
US10778996B2 (en) Method and apparatus for decoding a video block
JP6375901B2 (ja) 画像送信装置、画像送信方法、画像送信プログラム
US10327007B2 (en) Decoding apparatus, decoding method, distribution method, and system for transmission and reception of images
JP6448386B2 (ja) 符号化装置、復号化装置及び映像送受信システム
JP2014165736A (ja) デコーダ装置
KR101336820B1 (ko) 다채널 트릭 모드에 특화된 복호화 장치 및 방법
JP2006166067A (ja) ナビゲーション装置
JP2008011441A (ja) 放送信号送出システム、およびビデオサーバ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15864749

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15864749

Country of ref document: EP

Kind code of ref document: A1