WO2023127093A1 - 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体 - Google Patents

通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体 Download PDF

Info

Publication number
WO2023127093A1
WO2023127093A1 PCT/JP2021/048782 JP2021048782W WO2023127093A1 WO 2023127093 A1 WO2023127093 A1 WO 2023127093A1 JP 2021048782 W JP2021048782 W JP 2021048782W WO 2023127093 A1 WO2023127093 A1 WO 2023127093A1
Authority
WO
WIPO (PCT)
Prior art keywords
communication
steering operation
operation information
display
video
Prior art date
Application number
PCT/JP2021/048782
Other languages
English (en)
French (fr)
Inventor
廣人 根岸
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to PCT/JP2021/048782 priority Critical patent/WO2023127093A1/ja
Publication of WO2023127093A1 publication Critical patent/WO2023127093A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a communication system, a communication device, a server device, a communication method, a communication program, and a storage medium. It relates to communication programs and storage media.
  • Patent Document 1 a voice call is performed between a driver of a vehicle and an operator of a terminal outside the vehicle.
  • a system is disclosed in which an image is transmitted to a terminal outside the vehicle and the image is displayed on the terminal outside the vehicle.
  • Patent Document 1 when a system such as Patent Document 1 is used to show video data representing voice communication and video in front of the vehicle to the operator of the terminal outside the vehicle, the operator of the terminal outside the vehicle may be the person who actually got on the vehicle.
  • One of the problems is the inability to obtain sufficient information through the five senses such as sight, hearing, and touch.
  • the present invention has been made in view of the above points, and in communication between a first device inside a mobile body and a second device outside the mobile body, the user of the second device outside the mobile body is actually inside the mobile body.
  • One of the objects is to provide a communication system, a communication device, a server device, a communication method, a communication program, and a storage medium capable of providing information obtained when staying in a home.
  • the invention according to claim 1 is a communication system for performing audio-visual communication in which audio and video in the mobile body acquired by a first device that moves with the mobile body are transmitted to a second device, wherein the mobile body: a video acquisition unit that sequentially acquires captured video; a steering operation information acquisition unit that sequentially acquires steering operation information indicating a steering operation of the mobile object by an operator of the mobile object; and a display control unit that performs display control for causing the second device to display the display based on the information.
  • the invention according to claim 9 is a communication method executed by a communication system that performs audio-visual communication for transmitting audio and video in the moving body acquired by a first device that moves with the moving body to a second device.
  • the invention according to claim 10 is implemented by a communication system that includes a computer and performs audio-visual communication that transmits audio and video in the moving body acquired by a first device that moves with the moving body to a second device.
  • a communication program wherein the computer sequentially acquires an image captured by the moving body, and sequentially acquires steering operation information indicating a steering operation to the moving body by an operator of the moving body. and a display control step for performing display control to display both the image and a display based on the steering operation information on the second device.
  • a communication system for performing audio-visual communication which includes a computer and transmits audio and video in the moving body acquired by a first device moving with the moving body to a second device.
  • a communication device that moves together with a mobile object, acquires audio and video from the mobile object, and performs audio-visual communication for transmitting the audio and video to another device.
  • an image acquiring unit that sequentially acquires an image
  • a steering operation information acquiring unit that sequentially acquires steering operation information indicating a steering operation to the moving object by an operator of the moving object; and based on the image and the steering operation information and a display control unit that performs display control for causing the display to be displayed on the other device together with the display.
  • the invention according to claim 13 is a server device that performs audio-visual communication for transmitting audio and video in the moving body acquired by a first device that moves with the moving body to a second device, wherein the first device from the image acquisition unit that sequentially acquires images captured in the moving object via a communication path; and a display control unit that performs display control to cause the second device to display both the image and a display based on the steering operation information.
  • FIG. 1 is a schematic diagram showing an overview of a communication system according to an embodiment of the present invention
  • FIG. It is a figure which shows the structure of the front seat part of the vehicle which concerns on an Example.
  • 1 is a block diagram showing an example of a configuration of an in-vehicle device according to an embodiment
  • FIG. 1 is a block diagram showing an example of the configuration of a server device according to an embodiment
  • FIG. 1 is a front view of an external device according to an embodiment
  • FIG. 1 is a block diagram showing an example of the configuration of an external device according to an embodiment
  • FIG. 4 is a flow chart showing an example of a routine executed by the in-vehicle device according to the embodiment; 4 is a flow chart showing an example of a routine executed by the server device according to the embodiment;
  • FIG. 5 is a diagram showing an example of a display screen displayed on an external device according to the embodiment;
  • FIG. 10 is a diagram showing another example of a display screen displayed on the external device according to the embodiment;
  • FIG. 11 is a block diagram showing an example of the configuration of an in-vehicle device according to a modified example of the embodiment;
  • FIG. 1 shows a communication system 100 that is an embodiment of the invention.
  • the communication system 100 includes an in-vehicle device 10 , a server 40 and an external device 50 .
  • FIG. 1 shows a case in which the in-vehicle device 10 is mounted in an automobile M as an example of a moving body.
  • FIG. 1 shows a smartphone as an example of the external device 50 .
  • the in-vehicle device 10, the server 40, and the external device 50 can mutually transmit and receive data via the network NW using a communication protocol such as TCP/IP or UDP/IP.
  • a communication protocol such as TCP/IP or UDP/IP.
  • the network NW can be constructed by Internet communication including, for example, a mobile communication network, wireless communication such as Wi-Fi (registered trademark), and wired communication.
  • audio-visual communication is possible in which audio and video in the vehicle M acquired by the in-vehicle device 10 as the first device that moves with the vehicle M are transmitted to the external device 50 as the second device.
  • the video captured in the car M is transmitted from the in-vehicle device 10 to the external device 50.
  • video communication By performing such video communication, the user of the external device 50 viewing the video transmitted from the in-vehicle device 10 can ride in the vehicle M with the driver of the vehicle M as the operator of the mobile body. You can get the feeling that you are In other words, video communication enables the user of the external device 50 to virtually ride in the car M with the user.
  • a system such as the communication system 100 of this embodiment that can realize such video communication is also called a virtual co-riding system.
  • a user of the external device 50 is also called a virtual fellow passenger.
  • the in-vehicle device 10 is a car navigation device
  • the in-vehicle device 10 receives from the user a destination to which the user wishes to be guided, transmits the destination to the server 40, and the server 40 generates a route to the destination.
  • a terminal device for a car navigation device An example of a terminal device for a car navigation device will be described.
  • the virtual fellow passenger provides route guidance to the driver of the automobile M during video communication by the communication system 100.
  • FIG. The virtual fellow passenger guides the route using images and sounds output by the external device 50 through video communication.
  • FIG. 2 is a perspective view showing the vicinity of the front seats of the automobile M equipped with the in-vehicle device 10 as a video transmission device or video generation device.
  • FIG. 1 as an installation example, the case where the in-vehicle device 10 is installed in the dashboard DB of the front seat of the automobile M is shown.
  • the GPS receiver 11 is a device that receives signals (GPS signals) from GPS (Global Positioning System) satellites.
  • GPS Global Positioning System
  • the GPS receiver 11 is arranged on the dashboard DB, for example.
  • the GPS receiver 11 may be placed anywhere as long as it can receive GPS signals.
  • the GPS receiver 11 can transmit the received GPS signal to the in-vehicle device 10 .
  • the vehicle exterior camera 13 is an imaging device that captures the front of the vehicle M.
  • the exterior camera 13 is arranged on the dashboard DB so that the forward direction is the photographing direction.
  • the vehicle exterior camera 13 is a wide-angle camera, and can photograph a wide area in front of the automobile M through the windshield.
  • the exterior camera 13 may be provided on the rearview mirror RM, or may be attached to the inside of the windshield FG.
  • the in-vehicle camera 15 is an imaging device that captures the situation inside the automobile M.
  • the in-vehicle camera 15 is provided on the upper end of the windshield FG or on the ceiling near the upper end, and is capable of photographing the driver of the automobile M.
  • images captured by the vehicle exterior camera 13 or the vehicle interior camera 15 are transmitted to the external device 50 .
  • the touch panel 17 is, for example, a touch panel monitor in which a display such as a liquid crystal display capable of displaying images and a touch pad are combined.
  • the touch panel 17 is arranged, for example, on the center console of the dashboard DB.
  • the touch panel 17 may be arranged at a place that can be visually recognized by the driver and can be reached by the driver.
  • the touch panel 17 may be attached on the dashboard DB.
  • the touch panel 17 can perform screen display based on the control of the in-vehicle device 10. Further, the touch panel 17 can transmit to the in-vehicle device 10 a signal representing an input operation to the touch panel 17 received from the user. For example, the touch panel 17 may display guidance for car navigation. In addition, operations related to the car navigation function, such as setting a destination, may be possible via the touch panel 17 .
  • the touch panel 17 may display information related to video communication, and may display an operation reception screen for starting or ending connection for video communication (hereinafter also referred to as video connection). .
  • the occupant of the automobile M may perform a video communication connection operation by performing an input operation on the touch panel 17 .
  • the speaker 19 is provided, for example, on the interior side of the A-pillar AP.
  • the speaker 19 can emit sounds such as music and voice under the control of the in-vehicle device 10 .
  • the speaker 19 emits sound from the external device 50 in a voice call.
  • the microphone 21 is a microphone device that receives sound inside the vehicle, and is arranged on the dashboard DB, for example.
  • the microphone 21 may be provided anywhere, such as the rearview mirror RM or the steering wheel, as long as it can receive the sound inside the vehicle.
  • the sound picked up by the microphone 21 is transmitted to the external device 50 as the sound of the voice call.
  • an operation input for starting or ending video communication may be performed by voice via the microphone 21 .
  • the steering wheel 23 is a member that receives a steering operation for steering the automobile M.
  • the steering wheel 23 is provided rotatably with respect to the dashboard DB. When the steering wheel 23 is rotated, the wheels serving as steering wheels of the automobile M are rotated accordingly.
  • the blinker lever 24 is provided near the steering wheel 23 and is a member that receives an operation for turning on the blinker (direction indicator).
  • the winker system including the winker lever 24 and the winker is configured such that when the winker lever 24 is operated, the left or right winker lights depending on the direction of operation.
  • the accelerator pedal 25 is provided at the foot of the driver's seat, and is a member that receives an operation related to control of a motor such as an engine or a motor for running the automobile M by a stepping action by the driver. That is, the accelerator pedal 25 is a member that receives a steering operation related to acceleration and deceleration of the automobile M. As shown in FIG.
  • the brake pedal 26 is provided at the foot of the driver's seat, and is a member that receives an operation related to brake control of the automobile M by a stepping action by the driver. That is, the brake pedal 26 is a member that receives a steering operation related to deceleration of the automobile M. As shown in FIG.
  • the shift lever 27 is provided on the center console of the automobile M, and is a member that receives an operation for shifting gears according to the driving conditions of the automobile M.
  • FIG. 3 is a block diagram showing the configuration of the in-vehicle device 10.
  • the in-vehicle device 10 is a device in which a storage unit 31, a control unit 33, and a communication unit 35 work together via a system bus.
  • An acceleration sensor 29 is mounted on the automobile M.
  • the acceleration sensor 29 may be, for example, a MEMS acceleration sensor capable of measuring the acceleration of the vehicle M and outputting a signal indicating the measured acceleration.
  • the acceleration sensor 29 may be an inertial measurement unit (IMU).
  • the acceleration sensor 29 may be built in the in-vehicle device 10 .
  • the storage unit 31 is a storage device configured by, for example, a hard disk device, SSD (solid state drive), flash memory, or the like.
  • the storage unit 31 stores various programs executed in the in-vehicle device 10, such as an operating system and terminal software.
  • Various programs may be obtained via a network from another server device or the like, or may be recorded on a recording medium and read via various drive devices.
  • various programs stored in the storage unit 31 can be transmitted via a network, or can be recorded on a computer-readable recording medium and transferred.
  • the storage unit 31 also stores map information including road maps.
  • the storage unit 31 also stores information indicating the contact address of the external device 50 with which the in-vehicle device 10 performs video communication, such as information such as a telephone number or an e-mail address. Further, the information indicating the contact information may be associated with an identifier such as a nickname that can identify the virtual fellow passenger who is the user of the external device 50 .
  • the control unit 33 is composed of a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), etc., and functions as a computer.
  • the control unit 33 realizes various functions by reading and executing various programs stored in the ROM or the storage unit 31 by the CPU.
  • the control unit 33 performs a function of presenting information regarding the start and end of video communication to the driver, a function of transmitting images during video communication, a car navigation function, and the like.
  • the control unit 33 is communicably connected to various devices provided in the automobile M, such as an exterior camera 13, an interior camera 15, a touch panel 17, a speaker 19, a microphone 21, and an acceleration sensor 29.
  • the control unit 33 sequentially acquires images captured by the vehicle exterior camera 13 and the vehicle interior camera 15 .
  • the control unit 33 also sequentially acquires the signal from the GPS receiver 11 and the signal indicating the acceleration measured by the acceleration sensor 29 .
  • control unit 33 is communicably connected to various sensors that detect the state of the driving operation of the automobile M, and can acquire sensor information from the various sensors as information indicating the state of the driving operation of the automobile M. be.
  • control unit 33 can acquire sensor information from the steering sensor 23S, which is a sensor that detects physical quantities related to manipulation such as the amount of rotation of the steering wheel 23, the direction of rotation, and the torque.
  • the steering sensor 23S is a sensor that detects physical quantities related to manipulation such as the amount of rotation of the steering wheel 23, the direction of rotation, and the torque.
  • the control unit 33 can acquire sensor information from the turn signal sensor 24S, which is a sensor that detects the operating state such as the operating direction of the turn signal lever.
  • the control unit 33 can acquire sensor information from an accelerator sensor 25S, which is a sensor that detects physical quantities related to operations such as the movement amount and movement speed of the accelerator pedal 25.
  • the control unit 33 can acquire sensor information from the brake sensor 26S, which is a sensor that detects physical quantities related to operation such as the movement amount and movement speed of the brake pedal 26.
  • the control unit 33 receives sensor information from a shift lever sensor 27S that detects which shift position the shift lever 27 is in, such as P (parking), R (reverse), N (neutral), and D (drive). It is obtainable.
  • the communication unit 35 is a communication device that transmits and receives data to and from an external device according to instructions from the control unit 33.
  • the communication unit 35 is, for example, a NIC (Network Interface Card) for connecting to the network NW.
  • NIC Network Interface Card
  • the communication unit 35 is connected to the network NW described above, and transmits and receives various data to and from the server 40.
  • the communication unit 35 also transmits and receives various data to and from the external device 50 via the server 40 .
  • the communication unit 35 transmits to the server 40, for example, images of the exterior or interior of the automobile M, information indicating input operations performed on the in-vehicle device 10, current position information, movement routes, and the like. Further, the communication unit 35 receives, from the server 40, information for displaying on the touch panel 17 regarding video communication, for example.
  • control unit 33 sequentially transmits images captured by the vehicle exterior camera 13 or the vehicle interior camera 15 to the server 40 via the communication unit 35 .
  • control unit 33 sequentially transmits to the server 40 sensor information acquired from various sensors that detect the state of driving operation of the automobile M via the communication unit 35 .
  • the control unit 33 receives display information regarding the start and end of video communication from the server 40 via the communication unit 35 and displays it on the touch panel 17 . Further, the control unit 33 may output information regarding the start and end of video communication from the speaker 19 by voice.
  • the control unit 33 can transmit information indicating instructions regarding the start and end of video communication received via the touch panel 17 or the microphone 21 to the server 40 via the communication unit 35, for example.
  • control unit 33 of the in-vehicle device 10 supplies the server 40 via the communication unit 35 with position specifying information as position data capable of specifying the current position of the in-vehicle device 10, that is, the current position of the automobile M in this embodiment. Information can be sent.
  • control unit 33 can transmit information including the destination input by the user to the server 40 via the communication unit 35, and receive route information or navigation information to the destination from the server 40. is.
  • the control unit 33 can transmit audio data of audio picked up by the microphone 21 to the external device 50 via the communication unit 35 for voice communication in video communication. Also, the control unit 33 can receive voice data of voice input to the external device 50 for voice communication in video communication via the communication unit 35 .
  • FIG. 4 is a block diagram showing the configuration of the server 40.
  • the server 40 is a device in which a storage section 41, a communication section 43, and a control section 45 cooperate via a system bus.
  • the server 40 has a function like a SIP server that establishes a voice call between the in-vehicle device 10 and the external device 50 and transfers data of the voice call during video communication.
  • the server 40 receives from the in-vehicle device 10 the position specifying information of the vehicle M and the information of the destination set by the user who is the passenger of the vehicle M, and based on the position specifying information and the information of the destination. It has a function to generate a route to
  • the storage unit 41 is composed of, for example, a hard disk device and an SSD (solid state drive), and stores various programs such as an operating system and software for the server 40.
  • Various programs may be obtained via a network from another server device or the like, or may be recorded on a recording medium and read via various drive devices. That is, the various programs stored in the storage unit 41 can be transmitted via a network, or recorded on a computer-readable recording medium and transferred.
  • the storage unit 41 stores, for example, a communication program for the server 40 to transmit the video and driving operation information acquired by the in-vehicle device 10 to the external device 50 .
  • the storage unit 41 also stores a map information database (not shown) in which map information including road maps is stored.
  • the map information of the map information database is a database having information equivalent to map information used in, for example, a navigation device.
  • the communication unit 43 is connected to the network NW described above, and transmits and receives various data to and from the in-vehicle device 10 and the external device 50 .
  • the control unit 45 is composed of a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), etc., and functions as a computer. Various functions are realized by the CPU reading and executing various programs stored in the ROM and the storage unit 41 .
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • control unit 45 implements audio-visual communication for transmitting the audio and video of the vehicle M acquired by the in-vehicle device 10 to the external device 50 .
  • control unit 45 transfers video and audio received from the in-vehicle device 10 to the external device 50 via the communication unit 43, and transfers audio received from the external device 50 to the in-vehicle device 10, thereby performing video communication.
  • the control unit 45 includes a video acquisition unit 46, a driving operation information acquisition unit 47, and a display control unit 48.
  • the image acquisition unit 46 is a functional unit that executes an image acquisition step of sequentially acquiring images captured in the automobile M.
  • the image acquisition unit 46 sequentially receives images of the front of the vehicle M captured by the exterior camera 13 provided in the vehicle M from the in-vehicle device 10 via the communication unit 43, and obtains the images. Obtained sequentially.
  • the image acquisition unit 46 sequentially receives, through the communication unit 43, the image captured by the exterior camera 13 and the image captured by the interior camera 15 of the driver of the vehicle M. You may acquire the image
  • the driving operation information acquisition unit 47 is a functional unit that executes a driving operation information acquisition step for sequentially acquiring driving operation information as the driving operation information indicating the driving operation of the vehicle M by the driver of the vehicle M.
  • the driving operation information acquisition unit 47 sequentially receives, as driving operation information, signals from various sensors that detect the state of the driving operation of the vehicle M from the in-vehicle device 10 via the communication unit 43, thereby obtaining driving operation information. Get information sequentially.
  • the driving operation information acquisition unit 47 obtains, as driving operation information, the rotation direction and rotation angle of the steering wheel 23, the operation state of the turn signal lever 24, the operation state such as the amount and speed of movement of the accelerator pedal 25, and the operation state of the brake pedal 26.
  • Information indicating at least one of the operation state such as the movement amount and movement speed of the shift lever 27 and the operation state of the shift lever 27 is sequentially acquired.
  • the driving operation information acquisition unit 47 may sequentially acquire the signal from the GPS receiver 11 and the signal indicating the acceleration measured by the acceleration sensor 29 as the driving operation information.
  • the driving operation information acquisition unit 47 acquires the driving conditions of the vehicle M, such as position information acquired based on GPS signals and the speed of the vehicle M acquired based on signals indicating acceleration from the acceleration sensor 29. You may obtain the information shown.
  • the display control unit 48 performs display control to display both the image acquired by the image acquisition unit 46 and the display based on the driving operation information acquired by the driving operation information acquisition unit 47 on the external device 50. It is a functional part that executes
  • the display control unit 48 generates display information by combining an image of the front of the automobile M captured by the exterior camera 13 and a display based on the driving operation information, and outputs the generated display information to the external device 50. sequentially sent to
  • the display control unit 48 generates, for example, display information for superimposing and displaying an image of the front of the automobile M and a display based on the driving operation information.
  • the display control unit 48 may, for example, generate display information for displaying a video image of the front of the automobile M and a display based on the driving operation information in separate areas side by side.
  • the display control unit 48 when the display control unit 48 generates the display information for displaying both the image and the display based on the driving operation information, the time when the image is acquired and the time when the signal is detected in the in-vehicle device 10 match the
  • the display control unit 48 executes the display control step, for example, the operating state of the steering wheel 23, the operating state of the turn signal lever 24, the operating state of the accelerator pedal 25, the operating state of the brake pedal 26, and the operating state of the shift lever 27 is displayed on the external device 50 together with the image captured in the automobile M.
  • the display may be based on information indicating the driving situation of the vehicle M, such as the position information and speed of the vehicle M.
  • the display based on the driving operation information and the display based on the driving situation allow the user of the external device 50 to obtain information that can be obtained by, for example, actually riding in the front passenger seat of the automobile M.
  • video communication is performed using the external device 50, it is possible to supplement information that cannot be obtained by a video of the front of the vehicle M and a call with the driver of the vehicle M.
  • the direction and angle of rotation of the steering wheel 23 can be determined visually through the operation of the driver. - Whether the lever 24 is operated left or right can be grasped visually by an actual fellow passenger. However, it is difficult to obtain such information from images of video communication, and it is difficult for the virtual fellow passenger to grasp such information.
  • control unit 45 acquires position information indicating the current position of the automobile M from the in-vehicle device 10 via the communication unit 43 .
  • control unit 45 acquires destination information input to the in-vehicle device 10 by the occupant of the vehicle M from the in-vehicle device 10 via the communication unit 43 .
  • the control unit 45 generates a route to the destination based on the position information and the destination information, and transmits information indicating the route to the in-vehicle device 10 .
  • FIG. 5 is a front view of the external device 50.
  • the external device 50 is a smart phone.
  • the touch panel 51 is, for example, a touch panel monitor that combines a display such as a liquid crystal display capable of displaying images and a touch pad.
  • the touch panel 51 can generate a signal representing an input operation to the touch panel 51 received from the user.
  • the touch panel 51 displays an image transmitted from the in-vehicle device 10 .
  • touch panel 51 information about video communication is displayed, and an operation reception screen for starting connection of video communication is displayed.
  • a user of the external device 50 can perform an input operation for starting video communication by performing an input operation on the touch panel 51 .
  • the speaker 53 can emit sounds such as music and voice. During video communication, the speaker 53 emits sound from the in-vehicle device 10 in a voice call.
  • the microphone 55 is a microphone device that receives sound emitted toward the external device 50 . During video communication, the sound picked up by the microphone 55 is transmitted to the in-vehicle device 10 via the server 40 as the sound of the voice call.
  • FIG. 6 is a block diagram showing an example of the configuration of the external device 50.
  • the external device 50 is a device in which a storage section 57, a control section 59, and a communication section 61 cooperate via a system bus (not shown).
  • the storage unit 57 is composed of, for example, a hard disk device, SSD (solid state drive), flash memory, etc., and stores various programs such as an operating system and software for the external device 50 .
  • the various programs may be obtained, for example, from another server device or the like via a network, or may be recorded on a recording medium and read via various drive devices. That is, the various programs stored in the storage unit 57 can be transmitted via a network, or recorded on a computer-readable recording medium and transferred.
  • the control unit 59 is composed of a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), etc., and functions as a computer. Various functions are realized by the CPU reading and executing various programs stored in the ROM and the storage unit 57 .
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control unit 59 is communicably connected to the touch panel 51, the speaker 53 and the microphone 55.
  • the control unit 59 can receive a signal indicating an input operation to the touch panel 51 and a voice input signal from the microphone 55 .
  • the control unit 59 can receive a request to start or end video communication from the user via the touch panel 51 or the microphone 55 .
  • control unit 59 can transmit a video or image signal to the touch panel 51 for display, or transmit an audio signal to the speaker 53 to output sound.
  • control unit 59 causes the touch panel 51 to display a start screen for accepting a request for a video communication connection attempt.
  • control unit 59 causes the touch panel 51 to display an image during the video communication, and causes the speaker 53 to output the sound collected in the automobile M during the video communication.
  • the communication unit 61 is connected to the network NW described above, and transmits and receives various data to and from the server 40. In addition, the communication unit 61 transmits and receives various data including video transmitted from the in-vehicle device 10 to and from the in-vehicle device 10 via the server 40 .
  • the control unit 59 of the external device 50 can receive, via the communication unit 61, information for displaying a start screen for accepting a connection trial request for video communication.
  • control unit 59 can transmit audio data of audio picked up by the microphone 55 to the in-vehicle device 10 via the communication unit 61 for voice communication in video communication.
  • control unit 59 can receive voice data transmitted from the in-vehicle device 10 via the communication unit 61 for voice communication in video communication.
  • control unit 59 of the external device 50 can receive position specifying information capable of specifying the current position of the vehicle M transmitted from the in-vehicle device 10 from the server 40 via the communication unit 61 . Further, for example, the control unit 59 can receive route information or navigation information of the automobile M from the server 40 via the communication unit 61 .
  • FIG. 7 is a flowchart showing a video transmission routine RT1 executed by the control unit 33 of the in-vehicle device 10.
  • FIG. 7 For example, when the in-vehicle device 10 is powered on, the control unit 33 starts the video transmission routine RT1.
  • step S101 the control unit 33 determines whether video communication has started (step S101).
  • the determination in step S ⁇ b>101 is made, for example, based on whether the in-vehicle device 10 is connected for video communication and communication with the external device 50 is established.
  • step S101 when the control unit 33 determines that the video communication has not started (step S101: NO), it ends the video transmission routine RT1 and newly starts the next video transmission routine RT1.
  • step S101 when the control unit 33 determines that video communication has started (step S101: YES), it starts transmitting the image and driving operation information acquired in the automobile M (step S102).
  • control unit 33 starts transmitting the image captured by the exterior camera 13 to the server 40 . Further, in step 102, for example, the control unit 33 sequentially transmits sensor information from various sensors that detect the state of the driving operation of the automobile M.
  • step 102 the control unit 33 determines the rotation direction and rotation angle of the steering wheel 23, the operation state of the turn signal lever 24, the operation state such as the amount and speed of movement of the accelerator pedal 25, the amount and speed of movement of the brake pedal 26, and the like.
  • Information indicating at least one of the operating state such as the moving speed and the operating state of the shift lever 27 is sequentially transmitted.
  • control unit 33 may sequentially transmit the signal from the GPS receiver 11 and the signal indicating the acceleration measured by the acceleration sensor 29.
  • step S103 the control unit 33 determines whether or not the video communication has ended.
  • step S ⁇ b>103 for example, when the in-vehicle device 10 is not connected for video communication and communication with the external device 50 is not established, it is determined that the video communication has ended.
  • step S103 if the control unit 33 determines that the video communication has not ended (step S103: NO), it repeats step S103 and determines again whether the video communication has ended.
  • step S103 when the control unit 33 determines that the video communication has ended (step S103: YES), it ends the transmission of the image and the driving operation information (step S104).
  • control unit 33 After executing step S104, the control unit 33 terminates the video transmission routine RT1 and newly starts the next video transmission routine RT1.
  • FIG. 8 is a flowchart showing a display control routine RT2 executed by the display control section 48 of the control section 45 of the server 40.
  • the display control unit 48 starts the display control routine RT2, for example, when a notification indicating that video communication is to be performed between the in-vehicle device 10 and the external device 50 is made via the server 40 .
  • step S201 the display control unit 48 determines whether video communication has been started. The determination in step S ⁇ b>201 is made based on, for example, whether or not video communication connection is established between the in-vehicle device 10 and the external device 50 and communication with the external device 50 is established.
  • step S201 when the display control unit 48 determines that video communication has not started (step S201: NO), step S201 is repeated to determine again whether or not video communication has started.
  • step S201 when the display control unit 48 determines that video communication has started (step S201: YES), it starts receiving images and driving operation information from the in-vehicle device 10 (step S202).
  • step S202 for example, the display control unit 48 starts receiving images captured by the exterior camera 13 of the automobile M, and receives sensor information from various sensors that detect the state of the driving operation of the automobile M. Start.
  • step S202 for example, the display control unit 48 outputs, as driving operation information, the rotation direction and rotation angle of the steering wheel 23, the operation state of the turn signal lever 24, the operation state such as the amount and speed of movement of the accelerator pedal 25, and the operation state of the brake pedal 25.
  • Information indicating at least one of the operation state such as the movement amount and movement speed of the pedal 26 and the operation state of the shift lever 27 is sequentially received.
  • step S202 the display control unit 48 may sequentially receive the signal from the GPS receiver 11 and the signal indicating the acceleration measured by the acceleration sensor 29 as the driving operation information.
  • step S202 the display control unit 48 starts generating and transmitting a driving operation display image, which is a combined image of the received image and the display based on the driving operation information (step S203).
  • step S203 the display control unit 48 displays, for example, the operation state of the steering wheel 23, the turn signal lever 24, the accelerator pedal 25, the brake pedal 26, or the shift lever 27 in the image of the front of the automobile M.
  • Display information to be superimposed and displayed is sequentially generated as a driving operation display image, and the sequentially generated driving operation display image is sequentially transmitted to the external device 50 .
  • FIG. 9 is a diagram showing an example of a driving operation display image displayed on the touch panel 51 of the external device 50 when step S203 is executed.
  • the touch panel 51 displays a so-called horizontal screen display in which the longitudinal direction of the touch panel 51 is the horizontal direction.
  • the touch panel 51 is divided into two display areas, a first display area AR1 and a second display area AR2 that occupies a smaller area than the first display area AR1. ing.
  • a display based on driving operation information is superimposed on an image of the front of the automobile M and displayed.
  • an arrow-shaped icon indicating the pointing direction of the winker lever 24 is displayed as the operation state of the winker lever 24 in the area A surrounded by the dashed line.
  • the icon indicates that the winker lever 24 is being operated so that the left winker lights up.
  • an icon indicating the operation state of the steering wheel 23 is displayed in an area B surrounded by a dashed line.
  • the icon indicates an operating state in which the steering wheel 23 is rotated to the left.
  • an area C surrounded by a dashed line displays the operating state of the accelerator pedal 25 .
  • an icon indicating the accelerator pedal and a gauge indicating the accelerator opening are displayed.
  • an area D surrounded by a dashed line displays the operating state of the brake pedal 26 .
  • an icon indicating the brake pedal and a gauge indicating the amount of depression of the brake pedal are displayed.
  • an area E surrounded by a dashed line shows the operating state of the shift lever 27.
  • an area E displays an icon indicating the shift lever and characters indicating which shift position the shift lever 27 is in when it is operated.
  • "D" indicating the drive shift position is displayed.
  • an area F surrounded by a dashed line displays the speed of the automobile M.
  • the current speed of the automobile M is displayed along with an icon indicating a speedometer.
  • a map image showing the current position PL of the vehicle M and the moving route R of the vehicle M is displayed in the second display area AR2.
  • the virtual fellow passenger can see the map image displayed in the second display area AR2 to confirm the movement route R of the vehicle M, and use the image in front of the vehicle M and the driving operation information as clues to guide the route. It can be performed.
  • an actual fellow passenger gets into the car M together with the driver of the car M and gives directions, he or she can grasp the driver's driving operation state by sight, hearing, or the like.
  • the actual fellow passenger indicates how much the driver is turning the steering wheel 23 left or right, whether the driver has operated the turn signal lever 24, and if so, which direction is left or right. It is possible to collect information in the car M such as whether or not
  • the user of the external device 50 as a virtual fellow passenger does not get on the car M, but uses video communication to guide the route while watching the image captured by the outside camera 13 outside the car M. For example, it is impossible to grasp the driving operation state such as the operation state of the steering wheel 23 or the turn signal lever 24 by the driver.
  • the display based on the driving operation information such as the display indicating the rotation state of the steering wheel 23 and the indication direction of the turn signal lever 24 is displayed on the external device 50 based on the driving device information.
  • the virtual fellow passenger can smoothly perform route guidance with a feeling close to that of actually riding in the automobile M.
  • the display control unit 48 sequentially acquires the sequentially acquired images and the driving operation information, immediately generates the driving operation display image, and sequentially transmits it to the external device 50, so that the state of the driving operation of the automobile M can be displayed. It can be displayed on the external device 50 in real time.
  • the virtual passenger can give advice on directions without any time lag. For example, when the driver of the car M is approaching the point where the left turn should be made but does not operate to turn the turn signal to the left, the virtual passenger warns the driver to "turn left there.” It is possible to prevent a situation in which the automobile M passes the place where the left turn should be made without making a left turn.
  • the virtual fellow passenger can easily feel as if he or she is riding in the automobile M. You can get the feeling of driving.
  • FIG. 9 the case where the display based on the driving operation information is superimposed on the image taken in front of the automobile M has been described, but the present invention is not limited to this, and the image taken in the automobile M is displayed.
  • a display based on the driving operation information may be made in a region different from the region where the driving operation information is displayed.
  • step S203 the display control unit 48 determines whether or not the video communication has ended (step S204).
  • step S204 if the display control unit 48 determines that the video communication has not ended (step S204: NO), it repeats step S204 and determines again whether the video communication has ended.
  • step S204 when the display control unit 48 determines that the video communication has ended (step S204: YES), it ends the generation and transmission of the driving operation display image (step S205), and receives the image and the driving operation information. After finishing (step S206), the display control routine RT2 ends.
  • FIG. 10 is a diagram showing another example of the driving operation display image displayed on the touch panel 51 of the external device 50 when step S203 of the display control routine RT2 is executed.
  • the touch panel 51 provides a so-called vertical screen display in which the longitudinal direction of the touch panel 51 is the vertical direction.
  • the touch panel 51 has a third display area AR3 displaying an image of the front of the automobile M, and a map image, which is larger than the third display area AR3.
  • the display is divided into two display areas, ie, a fourth display area AR4 that occupies the range. According to the vertical screen display shown in FIG. 10, the user of the external device 50 can clearly see the map image.
  • the user of the external device 50 may switch between the horizontal screen display shown in FIG. 9 and the vertical screen display shown in FIG.
  • the user of the external device 50 can display a horizontal screen as shown in FIG. 9 on the touch panel 51 so that the user can get a sense of riding together with the driver and can provide route guidance close to reality.
  • the user of the external device 50 can guide the route while carefully checking the map by displaying the vertical screen on the touch panel 51 as shown in FIG.
  • the communication system 100 of the present embodiment includes the in-vehicle device 10 as the first device that moves together with the automobile M as the moving object and the external device 50 as the second device via the server 40. It is possible to establish a voice call between the vehicle and the vehicle, and to perform video communication to transmit the image of the moving body on which the in-vehicle device 10 is mounted to the external device 50 .
  • the communication system 100 of the present embodiment includes an image acquisition unit that sequentially acquires images captured in a mobile body, and a steering operation information acquisition unit that sequentially acquires steering operation information indicating a steering operation to the mobile body by the operator of the mobile body. and Further, the communication system 100 of the present embodiment has a display control unit that performs display control to display both the image and the display based on the steering operation information on the second device.
  • the display control unit can, for example, sequentially display both the sequentially acquired images and the display based on the sequentially acquired maneuvering operation information, and can present the maneuvering operation information to the user of the second device in real time. can.
  • the user of the second device outside the mobile body in communication between the first device inside the mobile body and the second device outside the mobile body, the user of the second device outside the mobile body can obtain A communication system, a communication device, a server device, a communication method, a communication program and a storage medium capable of providing information can be provided.
  • FIG. 11 is a block diagram showing an example configuration of an in-vehicle device 70 as a communication device in a modification of the communication system 100 of the embodiment.
  • the in-vehicle device 70 has the functions of the video acquisition unit 46, the driving operation information acquisition unit 47, and the display control unit 48 that the server 40 has in the above embodiment.
  • control unit 71 of the in-vehicle device 70 has a video acquisition unit 73 , a driving operation information acquisition unit 74 , and a display control unit 75 .
  • the image acquisition unit 73 sequentially acquires images captured by the exterior camera 13 .
  • the image acquisition unit 73 may sequentially acquire the image captured by the in-vehicle camera 15 together with the image captured by the exterior camera 13 .
  • the driving operation information acquisition unit 74 sequentially acquires signals from various sensors that detect the state of the driving operation of the automobile M as the driving operation information.
  • the display control unit 75 performs display control to display both the image acquired by the image acquisition unit 73 and the display based on the driving operation information acquired by the driving operation information acquisition unit 74 on the external device 50. to run.
  • the display control unit 75 controls, for example, the image of the front of the automobile M captured by the exterior camera 13 and sequentially acquired by the image acquisition unit 73, and the driving operation information sequentially acquired by the driving operation information acquisition unit 74. display information based on the display information is generated, and the generated display information is sequentially transmitted to the external device 50 .
  • the storage unit 77 sequentially acquires images captured in the automobile M, sequentially acquires driving operation information indicating the driving operation of the automobile M by the driver of the automobile M, and displays the images and the driving operation information.
  • a communication program is stored for the control unit 71 to execute display control for displaying both of and on the external device 50 .
  • the video communication in this modification may be performed directly between the in-vehicle device 70 and the external device 50 by P2P (Peer to Peer) communication or the like without going through the server 40 .
  • P2P Peer to Peer
  • the configurations, routines, and the like of the in-vehicle device 10, the in-vehicle device 70, the server 40, and the external device 50 in the above-described embodiment and modification are merely examples, and can be appropriately selected or changed according to the application.
  • the image displayed on the touch panel 51 of the external device 50 is between the image captured by the exterior camera 13 and the image captured by the interior camera 15.
  • the switching may be made possible by operating the in-vehicle device 10 .
  • the display based on the driving operation information such as the display indicating the operating state of the steering wheel and the operating state of the turn signal lever.
  • the display may be hidden at least part of.
  • the external device 50 may display a display indicating the operation state of the turn signal lever and emit a turn signal sound.
  • the winker sound picked up by the microphone 21 provided in the automobile M may be controlled to be synchronized with the display indicating the operating state of the winker lever and output from the external device 50 .
  • a learning model or the like may be used to discriminate between the blinker sound and other sounds.
  • a predetermined turn signal sound prepared in advance may be output from the external device 50 together with a display indicating the operating state of the turn signal lever. .
  • the actual turn signal sound picked up by the microphone 21 provided in the automobile M may be canceled.
  • the display indicating the operating state of the turn signal may be made to blink, and the turn signal sound and the blinking of the display may be synchronized.
  • the driving operation information in the above embodiment is not limited to the information illustrated in the embodiment, and may include other information indicating the driving operation to the automobile M.
  • the driving operation information may include information indicating handbrake operation, wiper operation, headlight switch operation, and the like.
  • the present invention is not limited to this.
  • the virtual fellow passenger can grasp the details of the driving operation by the driver of the automobile M when the driving operation information is displayed together with the image captured while in the automobile M, even if the route guidance is not provided. can be increased.
  • the present invention performs audio-visual communication in which audio and video in the vehicle M acquired by the in-vehicle device 10 as the first device moving with the vehicle M are transmitted to the external device 50 as the second device.
  • the present invention can also be applied to communications in which voice is not transmitted from the external device 50 .
  • the in-vehicle device 10 and the external device 50 do not necessarily have to be able to make a voice call.
  • the mode of communication between the in-vehicle device 10 and the external device 50 is simply communication from the in-vehicle device 10 to the external device 50 without a two-way voice call, such as YouTube (registered trademark) or Niconico Live Broadcasting (registered trademark).
  • a mode in which video and audio are distributed may be used.
  • video communication is performed between the in-vehicle device 10 and the external device 50 via the server 40, but the video communication may be performed directly between the in-vehicle device 10 and the external device 50. good.
  • a voice call is established between the in-vehicle device 10 and the external device 50 in parallel through a path different from the communication system 100. It's okay to be there.
  • the in-vehicle device 10 is an in-vehicle navigation device, but the in-vehicle device 10 only needs to be able to distribute video from the exterior camera 13 or the interior camera 15.
  • the in-vehicle device 10 may have a configuration in which a terminal device having the same configuration as the in-vehicle device 10, the exterior camera 13, and the touch panel 17 are integrated.
  • the in-vehicle device 10 may be a terminal device such as a camera-equipped smartphone, tablet, or PC, in which an application that exhibits the same functions as the in-vehicle device 10 is installed.
  • the in-vehicle device 10 can be mounted on the dashboard DB with a cradle or the like, for example, so that the built-in camera can photograph the front of the automobile M through the windshield of the automobile M.
  • the in-vehicle device 10 may be configured not to display the screen presented to the driver of the automobile M.
  • the in-vehicle device 10 may have a configuration like a drive recorder, and may be a device integrated with the vehicle exterior camera 13, for example.
  • the in-vehicle device 10 may be, for example, a device in which hardware that performs the video communication function of the above-described in-vehicle device 10 is built in the housing of the exterior camera 13 . In this case, the in-vehicle device 10 may not perform various display outputs as described above.
  • the external device 50 is a terminal device that can be used by the virtual passenger for video communication, presents displays or messages related to video communication, accepts operation inputs necessary for video communication, transmits and receives audio data, and receives video. and display.
  • the external device 50 may be a terminal device such as a tablet, a PC, or a wearable terminal.
  • the in-vehicle device 10 and the in-vehicle device 70 are mounted in the automobile M has been described. good too.
  • the in-vehicle device 10 may be a terminal device with a built-in camera, such as a smart phone, held by a person, and transmitting images by video communication while walking, for example.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムであって、前記移動体において撮像された映像を逐次取得する映像取得部と、前記移動体の操縦者による前記移動体への操縦操作を示す操縦操作情報を逐次取得する操縦操作情報取得部と、前記映像と、前記操縦操作情報に基づく表示とを共に前記第２装置にて表示させる表示制御を行う表示制御部と、を有する。

Description

通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
　本発明は、通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体に関し、例えば、移動体からの映像及び音声をユーザに提供可能な通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体に関する。
　車両に搭載される車載機と当該車両の外部に位置する車外端末との間で通信を行う通信システムがある。
　例えば、特許文献１には、車両の運転者と車外端末の操作者との間で音声通話を行い、当該音声通話がなされているときに、車両の前方の映像を表す映像データを車載機から車外端末に送信し、当該映像を車外端末に表示させるシステムが開示されている。
特開２０１６－２１３７９１号公報
　例えば、特許文献１のようなシステムを用いて、音声通話及び車両の前方の映像を表す映像データを車外端末の操作者に見せる場合、当該車外端末の操作者は、実際に乗車した者であれば視覚、聴覚、触覚等の五感を通じて得られるような情報を十分に得られないことが課題の１つとして挙げられる。
　本発明は上記した点に鑑みてなされたものであり、移動体内の第１装置と移動体外の第２装置との間の通信において、移動体外に居る第２装置のユーザに、実際に移動体内に居る際に得られる情報をもたらすことを可能にする通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体を提供することを目的の１つとしている。
　請求項１に記載の発明は、移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムであって、前記移動体において撮像された映像を逐次取得する映像取得部と、前記移動体の操縦者による前記移動体への操縦操作を示す操縦操作情報を逐次取得する操縦操作情報取得部と、前記映像と、前記操縦操作情報に基づく表示とを共に前記第２装置にて表示させる表示制御を行う表示制御部と、を有することを特徴とする。
　請求項９に記載の発明は、移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムによって実行される通信方法であって、前記移動体において撮像された映像を逐次取得する映像取得ステップと、前記移動体の操縦者による前記移動体への操縦操作を示す操縦操作情報を逐次取得する操縦操作情報取得ステップと、前記映像と、前記操縦操作情報に基づく表示とを共に前記第２装置にて表示させる表示制御を行う表示制御ステップと、を含むことを特徴とする。
　請求項１０に記載の発明は、コンピュータを備え、移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムによって実行される通信プログラムであって、前記コンピュータに、前記移動体において撮像された映像を逐次取得する映像取得ステップと、前記移動体の操縦者による前記移動体への操縦操作を示す操縦操作情報を逐次取得する操縦操作情報取得ステップと、前記映像と、前記操縦操作情報に基づく表示とを共に前記第２装置にて表示させる表示制御を行う表示制御ステップと、を実行させるための通信プログラムである。
　請求項１１に記載の発明は、コンピュータを備え、移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムに、前記移動体において撮像された映像を逐次取得する映像取得ステップと、前記移動体の操縦者による前記移動体への操縦操作を示す操縦操作情報を逐次取得する操縦操作情報取得ステップと、前記映像と、前記操縦操作情報に基づく表示とを共に前記第２装置にて表示させる表示制御を行う表示制御ステップと、を実行させるための通信プログラムを記憶するコンピュータ可読記憶媒体である。
　請求項１２に記載の発明は、移動体と共に移動し、前記移動体における音声及び映像を取得して他の装置に送信する音声映像通信を行う通信装置であって、前記移動体において撮像された映像を逐次取得する映像取得部と、前記移動体の操縦者による前記移動体への操縦操作を示す操縦操作情報を逐次取得する操縦操作情報取得部と、前記映像と、前記操縦操作情報に基づく表示とを共に前記他の装置にて表示させる表示制御を行う表示制御部と、を有することを特徴とする。
　請求項１３に記載の発明は、移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行うサーバ装置であって、前記第１装置から、通信路を介して前記移動体において撮像された映像を逐次取得する映像取得部と、前記第１装置から、通信路を介して前記移動体の操縦者による前記移動体への操縦操作を示す操縦操作情報を逐次取得する操縦操作情報取得部と、前記映像と、前記操縦操作情報に基づく表示とを共に前記第２装置にて表示させる表示制御を行う表示制御部と、を有することを特徴とする。
本発明の実施例に係る通信システムの概略を示す模式図である。 実施例に係る車両の前席部分の構成を示す図である。 実施例に係る車載装置の構成の一例を示すブロック図である。 実施例に係るサーバ装置の構成の一例を示すブロック図である。 実施例に係る外部装置の正面図である。 実施例に係る外部装置の構成の一例を示すブロック図である。 実施例に係る車載装置によって実行されるルーチンの一例を示すフローチャートである。 実施例に係るサーバ装置によって実行されるルーチンの一例を示すフローチャートである。 実施例に係る外部装置に表示される表示画面の一例を示す図である。 実施例に係る外部装置に表示される表示画面の他の一例を示す図である。 実施例の変形例に係る車載装置の構成の一例を示すブロック図である。
　以下に本発明の実施例について詳細に説明する。なお、以下の説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。
　［１．システムの構成］
　実施例に係る車載装置１０を含む通信システム１００の構成について添付図面を参照しつつ説明する。
　図１は、本発明の実施例である通信システム１００を示している。図１に示すように、通信システム１００は、車載装置１０、サーバ４０及び外部装置５０を含んで構成されている。なお、図１においては、車載装置１０が移動体の一例としての自動車Ｍに搭載されている場合を示している。また、図１においては、外部装置５０の一例として、スマートフォンを示している。
　車載装置１０、サーバ４０及び外部装置５０は、ネットワークＮＷを介して、例えば、ＴＣＰ／ＩＰや、ＵＤＰ／ＩＰ等の通信プロトコルを用いて相互にデータの送受信が可能になっている。なお、ネットワークＮＷは、例えば、移動体通信網、Ｗｉ-Ｆｉ（登録商標）等の無線通信及び有線通信を含むインターネット通信により構築され得る。
　通信システム１００において、自動車Ｍと共に移動する第１装置としての車載装置１０によって取得された自動車Ｍにおける音声及び映像を第２装置としての外部装置５０に送信する音声映像通信が可能である。
　本実施例の通信システム１００においては、車載装置１０と外部装置５０との間で音声通話が確立された上で、車載装置１０から自動車Ｍにおいて撮影された映像が外部装置５０に送信される。
　以下の説明において、上記のように、車載装置１０と外部装置５０との間での音声通話を確立させつつ、自動車Ｍにおいて撮影された映像を車載装置１０から外部装置５０に送信する通信態様を音声映像通信の一態様としてのビデオ通信と称する。本実施例において、車載装置１０と外部装置５０とは、サーバ４０を介してビデオ通信を行っている。
　このようなビデオ通信が行われることで、車載装置１０から送信される映像を視聴している外部装置５０のユーザは、あたかも移動体の操縦者としての自動車Ｍの運転者と自動車Ｍに同乗しているような感覚を得ることができる。言い換えれば、ビデオ通信によって、外部装置５０のユーザの自動車Ｍへの仮想同乗を実現することができる。また、このようなビデオ通信を実現可能な本実施例の通信システム１００のようなシステムを仮想同乗システムとも称する。また、外部装置５０のユーザを仮想同乗者とも称する。
　以下、実施例においては、車載装置１０がカーナビゲーション装置である場合を例に説明する。また、実施例においては、車載装置１０が、ユーザが案内を希望する目的地をユーザから受け付け、当該目的地をサーバ４０に送信し、サーバ４０が目的地への経路を生成する、いわゆるクラウド型のカーナビゲーション装置の端末装置である場合を例に説明する。
　本実施例において、通信システム１００によるビデオ通信中に、仮想同乗者が自動車Ｍの運転者に対して道案内をする場合について説明する。仮想同乗者は、ビデオ通信によって外部装置５０によって出力される映像及び音声を手掛かりに道案内を行う。
　図２は、映像送信装置または映像生成装置としての車載装置１０を搭載している自動車Ｍの前席付近を示す斜視図である。図１では、取り付け例として、自動車Ｍの前席のダッシュボードＤＢ内に車載装置１０が取り付けられている場合を示す。
　ＧＰＳ受信機１１は、ＧＰＳ（Global Positioning System）衛星からの信号（ＧＰＳ信号）を受信する装置である。ＧＰＳ受信機１１は、例えば、ダッシュボードＤＢ上に配されている。なお、ＧＰＳ受信機１１は、ＧＰＳ信号が受信できればどこに配されていてもよい。ＧＰＳ受信機１１は、受信したＧＰＳ信号を車載装置１０に送信することが可能である。
　車外カメラ１３は、自動車Ｍの前方を撮影する撮像装置である。本実施例において、車外カメラ１３は、前方が撮影方向となる様にダッシュボードＤＢに配されている。例えば、車外カメラ１３は、広角カメラであり、フロントガラスを介して自動車Ｍの前方の広い領域を撮影可能である。なお、車外カメラ１３は、ルームミラーＲＭに設けられても良く、フロントガラスＦＧの内側に取り付けられていてもよい。
　車内カメラ１５は、自動車Ｍの内部の状況を撮影する撮像装置である。本実施例において、車内カメラ１５は、フロントガラスＦＧの上端または当該上端付近の天井部に設けられており、自動車Ｍの運転者を撮影可能である。
　ビデオ通信時には、車外カメラ１３または車内カメラ１５によって撮像された映像が、外部装置５０に送信される。
　タッチパネル１７は、例えば、映像を表示可能な液晶ディスプレイ等のディスプレイとタッチパッドとが組み合わされたタッチパネルモニターである。タッチパネル１７は、例えば、ダッシュボードＤＢのセンターコンソールに配されている。タッチパネル１７は、運転者から視認できかつ運転者の手が届く場所に配されていればよい。例えば、タッチパネル１７は、ダッシュボードＤＢ上に取り付けられていてもよい。
　タッチパネル１７は、車載装置１０の制御に基づいて画面表示を行うことが可能である。また、タッチパネル１７は、ユーザから受け付けたタッチパネル１７への入力操作を表す信号を車載装置１０に送信することが可能である。例えば、タッチパネル１７には、カーナビゲーションの案内表示がなされても良い。また、タッチパネル１７を介して、目的地を設定する等、カーナビゲーション機能に関する操作が可能であってもよい。
　また、タッチパネル１７には、ビデオ通信に関する情報が表示されてもよく、ビデオ通信のための接続（以下、ビデオ接続とも称する）の開始又は終了をするための操作の受付画面が表示されてもよい。自動車Ｍの乗員はタッチパネル１７への入力操作によって、ビデオ通信の接続操作を行ってもよい。
　スピーカ１９は、例えば、ＡピラーＡＰの室内側に設けられている。スピーカ１９は、車載装置１０の制御に基づいて音楽や音声等の音を発することが可能である。ビデオ通信時において、スピーカ１９からは、音声通話における外部装置５０からの音声が発せられる。
　マイク２１は、車内の音を受音するマイク装置であり、例えば、ダッシュボードＤＢ上に配されている。マイク２１は、車内の音を受音可能であれば、ルームミラーＲＭまたはハンドル等、どこに設けられていてもよい。ビデオ通信時において、マイク２１に収音された音声が音声通話の音声として外部装置５０に送信される。また、ビデオ通信の開始又は終了に関する操作入力が、マイク２１を介して音声によって行われてもよい。
　ステアリングホイール２３は、自動車Ｍの操舵のための操縦操作を受け付ける部材である。ステアリングホイール２３は、ダッシュボードＤＢに対して回動可能に設けられている。ステアリングホイール２３が回動させられると、それに従って自動車Ｍの操舵輪となる車輪が回動動作する。
　ウインカ―レバー２４は、ステアリングホイール２３の近くに設けられており、ウインカ―（方向指示器）を点灯させるための操作を受け付ける部材である。ウインカ―レバー２４及びウインカ―を含むウインカ―システムは、ウインカ―レバー２４を操作すると、その操作方向によって左又は右のウインカ―が点灯するように構成されている。
　アクセルペダル２５は、運転席の足下に設けられており、運転者による踏み込み動作による、自動車Ｍの走行用エンジンまたはモータ等の原動機の制御に関する操作を受け付ける部材である。すなわち、アクセルペダル２５は、自動車Ｍの加減速に関する操縦操作を受け付ける部材である。
　ブレーキペダル２６は、運転席の足下に設けられており、運転者による踏み込み動作による、自動車Ｍのブレーキの制御に関する操作を受け付ける部材である。すなわち、ブレーキペダル２６は、自動車Ｍの減速に関する操縦操作を受け付ける部材である。
　シフトレバー２７は、自動車Ｍのセンターコンソールに設けられており、自動車Ｍの走行状況に合わせたシフトチェンジのための操作を受け付ける部材である。
　図３は、車載装置１０の構成を示すブロック図である。例えば、車載装置１０は、システムバスを介して、記憶部３１と、制御部３３と、通信部３５と、が協働する装置である。
　自動車Ｍには加速度センサ２９が搭載されている。加速度センサ２９は、自動車Ｍの加速度を測定可能であり、当該測定された加速度を示す信号を出力可能な例えばＭＥＭＳ加速度センサであってもよい。なお、加速度センサ２９は慣性計測ユニット（ＩＭＵ：Inertial Measurement Unit）であってもよい。また、加速度センサ２９は、車載装置１０に内蔵されていてもよい。
　記憶部３１は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成される記憶デバイスである。記憶部３１は、オペレーティングシステムや、端末用のソフトウェア等の、車載装置１０において実行される各種プログラムを記憶する。
　各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部３１に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータが読み取り可能な記録媒体に記録して譲渡することが可能である。
　また、記憶部３１は、また、道路地図を含む地図情報を記憶している。また、記憶部３１は、車載装置１０がビデオ通信を行う相手としての外部装置５０の連絡先を示す情報、例えば電話番号又はメールアドレス等の情報を記憶している。また、当該連絡先を示す情報には、外部装置５０のユーザである仮想同乗者を識別可能なニックネーム等の識別子が対応付けられていてもよい。
　制御部３３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成され、コンピュータとして機能する。制御部３３は、ＣＰＵがＲＯＭや記憶部３１に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。本実施例においては、制御部３３によって、ビデオ通信の開始や終了に関する情報を運転者に提示する機能、ビデオ通信時の映像送信機能、カーナビゲーション機能等が発揮される。
　制御部３３は、自動車Ｍ内に設けられている各種機器である車外カメラ１３、車内カメラ１５、タッチパネル１７、スピーカ１９、マイク２１、及び加速度センサ２９と通信可能に接続されている。
　制御部３３は、車外カメラ１３及び車内カメラ１５によって撮像された映像を逐次取得する。また、制御部３３は、ＧＰＳ受信機１１からの信号及び加速度センサ２９によって計測された加速度を示す信号を逐次取得する。
　また、制御部３３は、自動車Ｍの運転操作の状態を検出する各種センサと通信可能に接続されており、自動車Ｍの運転操作の状態を示す情報として、各種センサからのセンサ情報を取得可能である。
　具体的には、制御部３３は、ステアリングホイール２３の回転量や回転方向、回転力等の操作に関する物理量を検出するセンサであるステアリングセンサ２３Ｓからセンサ情報を取得可能である。
　制御部３３は、ウインカ―レバーの操作方向等の操作状態を検出するセンサであるウインカ―センサ２４Ｓからセンサ情報を取得可能である。
　制御部３３は、アクセルペダル２５の移動量や移動速度等の操作に関する物理量を検出するセンサであるアクセルセンサ２５Ｓからセンサ情報を取得可能である。
　制御部３３は、ブレーキペダル２６の移動量や移動速度等の操作に関する物理量を検出するセンサであるブレーキセンサ２６Ｓからセンサ情報を取得可能である。
　制御部３３は、シフトレバー２７がＰ（パーキング）、Ｒ（リバース）、Ｎ（ニュートラル）、Ｄ（ドライブ）等、どのシフトポジションにあるかを検出するセンサであるシフトレバーセンサ２７Ｓからセンサ情報を取得可能である。
　通信部３５は、制御部３３の指示に従って外部機器とのデータの送受信を行う通信装置である。通信部３５は、例えば、ネットワークＮＷに接続するためのＮＩＣ（Network Interface Card）である。
　通信部３５は、上記したネットワークＮＷに接続されており、種々のデータをサーバ４０との間で送受信する。また、通信部３５は、サーバ４０を介して種々のデータを外部装置５０との間で送受信する。
　通信部３５は、例えば、自動車Ｍの外部又は内部の映像、車載装置１０に対してなされた入力操作を示す情報、現在位置情報及び移動経路等の情報をサーバ４０に送信する。また、通信部３５は、例えば、ビデオ通信に関してタッチパネル１７に表示させるための情報をサーバ４０から受信する。
　制御部３３は、ビデオ通信中、通信部３５を介して、車外カメラ１３又は車内カメラ１５によって撮像された映像をサーバ４０に逐次送信する。
　制御部３３は、ビデオ通信中、通信部３５を介して、自動車Ｍの運転操作の状態を検出する各種センサから取得したセンサ情報をサーバ４０に逐次送信する。
　制御部３３は、通信部３５を介してサーバ４０からビデオ通信の開始や終了に関する表示情報を受信してタッチパネル１７に表示させる。また、制御部３３は、ビデオ通信の開始や終了に関する情報をスピーカ１９から音声によって出力してもよい。
　制御部３３は、例えばタッチパネル１７又はマイク２１を介して受け付けられたビデオ通信の開始や終了に関する指示を示す情報を、通信部３５を介してサーバ４０に送信可能である。
　例えば、車載装置１０の制御部３３は、通信部３５を介して、サーバ４０に車載装置１０の現在位置を特定可能な位置データとしての位置特定情報、すなわち本実施例では自動車Ｍの現在位置の情報を送信可能である。
　また、例えば、制御部３３は、通信部３５を介して、サーバ４０にユーザから入力された目的地を含む情報を送信し、サーバ４０から、当該目的地への経路情報またはナビゲーション情報を受信可能である。
　制御部３３は、通信部３５を介して、ビデオ通信における音声通話のために、マイク２１によって収音された音声の音声データを外部装置５０に送信可能である。また、制御部３３は、通信部３５を介して、ビデオ通信における音声通話のために、外部装置５０に入力された音声の音声データを受信可能である。
　図４は、サーバ４０の構成を示すブロック図である。例えば、サーバ４０はシステムバスを介して、記憶部４１と、通信部４３と、制御部４５と、が協働している装置である。
　サーバ４０は、ビデオ通信中において、車載装置１０と外部装置５０との間の音声通話を確立し、当該音声通話のデータを転送するＳＩＰサーバのような機能を有している。
　また、サーバ４０は、車載装置１０から自動車Ｍの位置特定情報及び自動車Ｍの乗員であるユーザが設定した目的地の情報を受信し、当該位置特定情報及び目的地の情報に基づいて当該目的地への経路を生成する機能を有する。
　記憶部４１は、例えば、ハードディスク装置及びＳＳＤ（solid state drive）等により構成されており、オペレーティングシステムや、サーバ４０用のソフトウェア等の各種プログラムを記憶する。
　各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部４１に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータが読み取り可能な記録媒体に記録して譲渡することが可能である。
　記憶部４１は、例えば、サーバ４０が、車載装置１０において取得された映像及び運転操作情報を外部装置５０に送信するための通信プログラムを記憶している。
　また、記憶部４１は、道路地図を含む地図情報が保存されている地図情報データベース（図示せず）を記憶している。地図情報データベースの地図情報は、例えばナビゲーション装置に用いられている地図情報と同等の情報を有しているデータベースである。
　通信部４３は、上記したネットワークＮＷに接続されており、種々のデータを車載装置１０及び外部装置５０との間で送受信する。
　制御部４５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成され、コンピュータとして機能する。そして、ＣＰＵが、ＲＯＭや記憶部４１に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。
　制御部４５は、上述の通信プログラムを実行することで、車載装置１０によって取得された自動車Ｍにおける音声及び映像を外部装置５０に送信する音声映像通信を実現する。
　例えば、制御部４５は、通信部４３を介して、車載装置１０から受信した映像及び音声を外部装置５０に転送し、外部装置５０から受信した音声を車載装置１０に転送することで、ビデオ通信を実現する。
　制御部４５は、映像取得部４６、運転操作情報取得部４７及び表示制御部４８を含んでいる。
　映像取得部４６は、自動車Ｍにおいて撮像された映像を逐次取得する映像取得ステップを実行する機能部である。
　映像取得部４６は、例えば、自動車Ｍに備えられた車外カメラ１３によって撮像された自動車Ｍの前方を撮影した映像を、通信部４３を介して車載装置１０から逐次受信することで、当該映像を逐次取得する。
　例えば、映像取得部４６は、車外カメラ１３によって撮像された映像と共に、車内カメラ１５によって撮像された自動車Ｍの運転者を撮影した映像を、通信部４３を介して逐次受信することで、自動車Ｍにおいて撮像された映像を逐次取得してもよい。
　運転操作情報取得部４７は、自動車Ｍの運転者による自動車Ｍへの運転操作を示す操縦操作情報としての運転操作情報を逐次取得する操縦操作情報取得ステップを実行する機能部である。
　運転操作情報取得部４７は、例えば、運転操作情報として、自動車Ｍの運転操作の状態を検出する各種センサからの信号を、車載装置１０から通信部４３を介して逐次受信することで、運転操作情報を逐次取得する。
　例えば、運転操作情報取得部４７は、運転操作情報として、ステアリングホイール２３の回転方向及び回転角度、ウインカ―レバー２４の操作状態、アクセルペダル２５の移動量や移動速度等の操作状態、ブレーキペダル２６の移動量や移動速度等の操作状態、及びシフトレバー２７の操作状態の少なくとも１つを示す情報を逐次取得する。
　また、例えば、運転操作情報取得部４７は、運転操作情報として、ＧＰＳ受信機１１からの信号及び加速度センサ２９によって計測された加速度を示す信号を逐次取得してもよい。
　例えば、運転操作情報取得部４７は、ＧＰＳ信号に基づいて取得された位置情報や、加速度センサ２９からの加速度を示す信号に基づいて取得された自動車Ｍの速度等の、自動車Ｍの走行状況を示す情報を取得してもよい。
　表示制御部４８は、映像取得部４６によって取得された映像と、運転操作情報取得部４７によって取得された運転操作情報に基づく表示とを共に外部装置５０にて表示させる表示制御を行う表示制御ステップを実行する機能部である。
　表示制御部４８は、例えば、車外カメラ１３によって撮像された自動車Ｍの前方を撮影した映像と、運転操作情報に基づく表示とを合わせた表示情報を生成し、当該生成した表示情報を外部装置５０に逐次送信する。
　表示制御部４８は、例えば、自動車Ｍの前方を撮影した映像と、運転操作情報に基づく表示とを重畳して表示するための表示情報を生成する。
　表示制御部４８は、例えば、自動車Ｍの前方を撮影した映像と、運転操作情報に基づく表示とを別々の領域に分けて並べて表示するための表示情報を生成してもよい。
　例えば、表示制御部４８は、映像と、運転操作情報に基づく表示とを共に表示させるための表示情報を生成する際に、映像が取得された時刻と、車載装置１０において信号が検出された時刻とを合わせる。
　表示制御部４８が表示制御ステップを実行すると、例えば、ステアリングホイール２３の操作状態、ウインカ―レバー２４の操作状態、アクセルペダル２５の操作状態、ブレーキペダル２６の操作状態、及びシフトレバー２７の操作状態を示す表示が、自動車Ｍにおいて撮像された映像と共に外部装置５０に表示される。
　また、運転操作情報に基づく表示に加えて、自動車Ｍの位置情報や速度等の自動車Ｍの走行状況を示す情報に基づく表示がなされてもよい。
　このように、運転操作情報に基づく表示や走行状況に基づく表示がされることによって、外部装置５０のユーザは、例えば実際に自動車Ｍの助手席に同乗していれば取得できる情報であって、外部装置５０を用いてビデオ通信を行っている場合には自動車Ｍの前方を撮影した映像及び自動車Ｍの運転者との通話によっては取得できない情報を補完することができる。
　例えば、ステアリングホイール２３の回転方向及び回転角度は運転者の操作動作等を通じて視覚によって、ウインカ―を出しているか否かは、ウインカ―レバー２４の操作音やウインカ―音を介して聴覚によって、ウインカ―レバー２４を左右のいずれに操作しているかは、実際の同乗者であれば、視覚によって把握することができる。しかし、ビデオ通信の映像からはこれらの情報が取得しづらく、これらの情報を仮想同乗者が把握することは困難である。
　このような仮想同乗者にとって把握が困難な情報を補完することで、仮想同乗者が実際に自動車Ｍに同乗しているような感覚をもたらすことができる。
　また、制御部４５は、通信部４３を介して、車載装置１０から自動車Ｍの現在位置を示す位置情報を取得する。また、制御部４５は、通信部４３を介して、車載装置１０から自動車Ｍの乗員が車載装置１０に入力した目的地の情報を取得する。制御部４５は、当該位置情報及び目的地の情報に基づいて、当該目的地までの経路を生成し、当該経路を示す情報を車載装置１０に送信する。
　図５は、外部装置５０の正面図である。上述のように、本実施例において、外部装置５０はスマートフォンである。
　は、例えば、映像を表示可能な液晶ディスプレイ等のディスプレイとタッチパッドとが組み合わされたタッチパネルモニターである。タッチパネル５１は、ユーザから受け付けたタッチパネル５１への入力操作を表す信号を生成することが可能である。本実施例において、タッチパネル５１には、車載装置１０から送信された映像が表示される。
　また、タッチパネル５１には、ビデオ通信に関する情報が表示され、ビデオ通信の接続を開始するための操作の受付画面が表示される。外部装置５０のユーザは、タッチパネル５１への入力操作によって、ビデオ通信の開始のための入力操作を行うことが可能である。
　スピーカ５３は、音楽や音声等の音を発することが可能である。ビデオ通信時において、スピーカ５３からは、音声通話における車載装置１０からの音声が発せられる。
　マイク５５は、外部装置５０に向けて発せられた音を受音するマイク装置である。ビデオ通信時において、マイク５５によって収音された音声が音声通話の音声としてサーバ４０を介して車載装置１０に送信される。
　図６は、外部装置５０の構成の一例を示すブロック図である。例えば、外部装置５０は、システムバス（図示せず）を介して、記憶部５７と、制御部５９と、通信部６１と、が協働する装置である。
　記憶部５７は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成されており、オペレーティングシステムや、外部装置５０用のソフトウェア等の各種プログラムを記憶する。
　なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部５７に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータが読み取り可能な記録媒体に記録して譲渡することが可能である。
　制御部５９は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成され、コンピュータとして機能する。そして、ＣＰＵがＲＯＭや記憶部５７に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。
　制御部５９は、タッチパネル５１、スピーカ５３及びマイク５５に通信可能に接続されている。
　制御部５９は、タッチパネル５１への入力操作を示す信号及びマイク５５からの音声入力信号を受信することが可能である。例えば、制御部５９は、タッチパネル５１又はマイク５５によってユーザからなされたビデオ通信の開始又は終了の要求を受け付けることが可能である。
　また、制御部５９は、タッチパネル５１に映像または画像信号を送信して表示をさせたり、スピーカ５３に音声信号を送信して、音を出力させたりすることが可能である。
　例えば、制御部５９は、ビデオ通信の接続試行の要求を受け付けるための開始画面をタッチパネル５１に表示させる。
　また、例えば、制御部５９は、ビデオ通信中における映像をタッチパネル５１に表示させ、自動車Ｍにおいて収音されたビデオ通信中における音声をスピーカ５３に出力させる。
　通信部６１は、上記したネットワークＮＷに接続されており、種々のデータをサーバ４０との間で送受信する。また、通信部６１は、車載装置１０から送信された映像を始めとする種々のデータを、サーバ４０を介して車載装置１０との間で送受信する。
　外部装置５０の制御部５９は、通信部６１を介して、ビデオ通信の接続試行の要求を受け付けるための開始画面を表示させるための情報を受信可能である。
　また、制御部５９は、通信部６１を介して、ビデオ通信における音声通話のために、マイク５５によって収音された音声の音声データを車載装置１０に送信可能である。また、制御部５９は、通信部６１を介して、ビデオ通信における音声通話のために、車載装置１０から送信された音声データを受信可能である。
　例えば、外部装置５０の制御部５９は、通信部６１を介して、サーバ４０から車載装置１０から送信された自動車Ｍの現在位置を特定可能な位置特定情報を受信可能である。また、例えば、制御部５９は、通信部６１を介して、サーバ４０から、自動車Ｍの経路情報またはナビゲーション情報を受信可能である。
　［２．車載装置の動作］
　以下、本実施例の通信システム１００の動作を実現するための車載装置１０の制御ルーチンについて説明する。
　図７は、車載装置１０の制御部３３によって実行される映像送信ルーチンＲＴ１を示すフローチャートである。制御部３３は、例えば、車載装置１０に電源が投入されると、映像送信ルーチンＲＴ１を開始する。
　制御部３３は、映像送信ルーチンＲＴ１を開始すると、ビデオ通信が開始されているか否かを判定する（ステップＳ１０１）。ステップＳ１０１における判定は、例えば、車載装置１０において、ビデオ通信の接続がなされ、外部装置５０との間で通信が確立されているか否かに基づいてなされる。
　ステップＳ１０１において、制御部３３は、ビデオ通信が開始されていないと判定する（ステップＳ１０１：ＮＯ）と、映像送信ルーチンＲＴ１を終了し、次の映像送信ルーチンＲＴ１を新たに開始する。
　ステップＳ１０１において、制御部３３は、ビデオ通信が開始されていると判定する（ステップＳ１０１：ＹＥＳ）と、自動車Ｍにおいて取得された映像及び運転操作情報の送信を開始する（ステップＳ１０２）。
　ステップ１０２において、例えば、制御部３３は、車外カメラ１３によって撮像された映像のサーバ４０への送信を開始する。また、ステップ１０２において、例えば、制御部３３は、自動車Ｍの運転操作の状態を検出する各種センサからのセンサ情報を逐次送信する。
　ステップ１０２において、例えば、制御部３３は、ステアリングホイール２３の回転方向及び回転角度、ウインカ―レバー２４の操作状態、アクセルペダル２５の移動量や移動速度等の操作状態、ブレーキペダル２６の移動量や移動速度等の操作状態、及びシフトレバー２７の操作状態の少なくとも１つを示す情報を逐次送信する。
　また、ステップ１０２において、例えば、制御部３３は、ＧＰＳ受信機１１からの信号及び加速度センサ２９によって計測された加速度を示す信号を逐次送信してもよい。
　ステップＳ１０２の実行後、制御部３３は、ビデオ通信が終了したか否かを判定する（ステップＳ１０３）。ステップＳ１０３において、例えば、車載装置１０において、ビデオ通信の接続がされておらず、外部装置５０との間で通信が確立されていない場合に、ビデオ通信が終了したと判定される。
　ステップＳ１０３において、制御部３３は、ビデオ通信が終了していないと判定する（ステップＳ１０３：ＮＯ）と、ステップＳ１０３を繰り返し、ビデオ通信が終了したか否かを再び判定する。
　ステップＳ１０３において、制御部３３は、ビデオ通信が終了したと判定する（ステップＳ１０３：ＹＥＳ）と、映像及び運転操作情報の送信を終了する（ステップＳ１０４）。
　ステップＳ１０４の実行後、制御部３３は、映像送信ルーチンＲＴ１を終了し、次の映像送信ルーチンＲＴ１を新たに開始する。
　［３．サーバの動作］
　以下、実施例の通信システム１００の動作を実現するためのサーバ４０の制御ルーチンについて説明する。
　図８は、サーバ４０の制御部４５の表示制御部４８によって実行される表示制御ルーチンＲＴ２を示すフローチャートである。表示制御部４８は、例えば、車載装置１０と外部装置５０との間でビデオ通信を行うことを示す通知が、サーバ４０を介してなされると、表示制御ルーチンＲＴ２を開始する。
　表示制御部４８は、表示制御ルーチンＲＴ２を開始すると、ビデオ通信が開始されているか否かを判定する（ステップＳ２０１）。ステップＳ２０１における判定は、例えば、車載装置１０と外部装置５０との間で、ビデオ通信の接続がなされ、外部装置５０との間で通信が確立されているか否かに基づいてなされる。
　ステップＳ２０１において、表示制御部４８は、ビデオ通信が開始されていないと判定する（ステップＳ２０１：ＮＯ）と、ステップＳ２０１を繰り返し、ビデオ通信が開始されているか否かを再び判定する。
　ステップＳ２０１において、表示制御部４８は、ビデオ通信が開始されていると判定する（ステップＳ２０１：ＹＥＳ）と、車載装置１０からの映像及び運転操作情報の受信を開始する（ステップＳ２０２）。ステップＳ２０２において、例えば、表示制御部４８は、自動車Ｍの車外カメラ１３によって撮像された映像の受信を開始し、かつ、自動車Ｍの運転操作の状態を検出する各種センサからのセンサ情報の受信を開始する。
　ステップＳ２０２において、例えば、表示制御部４８は、運転操作情報として、ステアリングホイール２３の回転方向及び回転角度、ウインカ―レバー２４の操作状態、アクセルペダル２５の移動量や移動速度等の操作状態、ブレーキペダル２６の移動量や移動速度等の操作状態、及びシフトレバー２７の操作状態の少なくとも１つを示す情報を逐次受信する。
　ステップＳ２０２において、例えば、表示制御部４８は、運転操作情報として、ＧＰＳ受信機１１からの信号及び加速度センサ２９によって計測された加速度を示す信号を逐次受信してもよい。
　ステップＳ２０２の実行後、表示制御部４８は、受信した映像と、運転操作情報に基づく表示と、を合わせた映像である運転操作表示映像の生成及び送信を開始する（ステップＳ２０３）。
　ステップＳ２０３において、表示制御部４８は、例えば、自動車Ｍの前方を撮影した映像に、ステアリングホイール２３、ウインカ―レバー２４、アクセルペダル２５、ブレーキペダル２６、又はシフトレバー２７の操作状態を示す表示を重畳して表示するための表示情報を逐次生成して運転操作表示映像とし、当該逐次生成した運転操作表示映像を外部装置５０に逐次送信する。
　図９は、上記のステップＳ２０３が実行されると、外部装置５０のタッチパネル５１に表示される運転操作表示映像の一例を示す図である。図９に示すように、タッチパネル５１には、タッチパネル５１の長手方向を左右方向とする表示であるいわゆる横画面表示がなされている。
　図９に示す例においては、タッチパネル５１には、第１の表示領域ＡＲ１と第１の表示領域ＡＲ１よりも小さい範囲を占める第２の表示領域ＡＲ２との２つの表示領域に分けて表示がなされている。
　第１の表示領域ＡＲ１には、自動車Ｍの前方を撮影した映像に、運転操作情報に基づく表示が重畳して表示されている。具体的には、図９中、破線で囲まれた領域Ａには、ウインカ―レバー２４の操作状態として、ウインカ―レバー２４の指示方向を示す矢印形状のアイコンが表示されている。図９に示す例においては、当該アイコンは、左側のウインカ―が点灯するようにウインカ―レバー２４が操作されていることを示している。
　また、図９中、破線で囲まれた領域Ｂには、ステアリングホイール２３の操作状態を示すアイコンが表示されている。図９に示す例においては、当該アイコンは、ステアリングホイール２３が左側に回転されている操作状態を示している。
　図９中、破線で囲まれた領域Ｃには、アクセルペダル２５の操作状態を示す表示がなされている。図９に示す例においては、アクセルペダルを示すアイコンとともに、アクセル開度を示すゲージが表示されている。
　図９中、破線で囲まれた領域Ｄには、ブレーキペダル２６の操作状態を示す表示がなされている。図９に示す例においては、ブレーキペダルを示すアイコンとともに、ブレーキペダルの踏み込み量を示すゲージが表示されている。
　図９中、破線で囲まれた領域Ｅには、シフトレバー２７の操作状態を示す表示がなされている。図９に示すように、領域Ｅには、シフトレバーを示すアイコンとともに、シフトレバー２７の操作によってどのシフトポジションにあるかを示す文字が表示されている。図９に示す例においては、ドライブのシフトポジションを示す「Ｄ」が表示されている。
　図９中、破線で囲まれた領域Ｆには、自動車Ｍの速度を示す表示がなされている。図９に示す例においては、速度メーターを示すアイコンとともに、自動車Ｍの現在の速度が表示されている。
　第２の表示領域ＡＲ２には、自動車Ｍの現在位置ＰＬ及び自動車Ｍの移動経路Ｒが示された地図画像が表示されている。例えば、仮想同乗者は、第２の表示領域ＡＲ２に表示された地図画像を見て自動車Ｍの移動経路Ｒを確認しつつ、自動車Ｍの前方の映像及び運転操作情報を手掛かりにして、道案内を行うことができる。
　このように、自動車Ｍにおいて撮像された映像と、運転操作情報に基づく表示とが共に表示されることによって、仮想同乗者は、実際に自動車Ｍに同乗している場合に得られるが、自動車Ｍに同乗せずに外部装置５０を用いてビデオ通信を行っている場合には得られない情報を得ることができる。
　例えば、現実の同乗者は、自動車Ｍの運転者と共に自動車Ｍに搭乗して道案内をする際、視覚や聴覚等によって、運転者による運転操作状態を把握することができる。例えば、当該現実の同乗者は、運転者がステアリングホイール２３を左右どちらの方向にどの程度回転させているか、運転者がウインカ―レバー２４を操作したか、操作した場合は左右何れの方向を指示しているかといった情報を自動車Ｍ内で収集することができる。
　従って、例えば、ステアリングホイール２３の回転量が足りない場合や、ウインカ―レバー２４を操作すべき場面で運転者が操作していない場合等に、当該現実の同乗者は、運転者に対してステアリングホイール２３をもっと回転させるように、又はウインカ―レバー２４を操作するようにアドバイスをすることができる。
　しかし、仮想同乗者としての外部装置５０のユーザは、自動車Ｍには搭乗せずに、ビデオ通信によって、自動車Ｍ外で車外カメラ１３によって撮影された映像を見ながら道案内をする際、運転者による運転操作状態を把握することが困難であり、例えば、運転者によるステアリングホイール２３の操作状態やウインカ―レバー２４の操作状態等の運転操作状況を把握することができない。
　そこで、図９に示したように、運転装置情報に基づいて、ステアリングホイール２３の回転状態を示す表示やウインカ―レバー２４の指示方向を示す表示等の運転操作情報に基づく表示を外部装置５０に表示させることで、仮想同乗者にとって不足している情報を補完することができる。よって、仮想同乗者は、実際に自動車Ｍに同乗している場合に近い感覚で、道案内を円滑に行うことができる。
　また、表示制御部４８は、逐次取得された映像及び運転操作情報を、逐次取得して即時に運転操作表示映像を生成して外部装置５０に逐次送信するので、自動車Ｍの運転操作の状態をリアルタイムで外部装置５０に表示させることができる。
　従って、仮想同乗者は、時間的なずれが生じることなく、道案内におけるアドバイスを行うことができる。例えば、自動車Ｍの運転者が、左折すべき地点に近づいているにも関わらず、ウインカ―を左に出す操作をしていない場合に、仮想同乗者が「そこを左に曲がって」と注意しても遅く、自動車Ｍは左折すべき箇所を左折せずに通り過ぎてしまう、といった状況に陥ることを防止することができる。
　また、仮想同乗者が道案内を行わない場合であっても、仮想同乗者にとって自動車Ｍに同乗しているような感覚、いわば同乗感が得られ易くなり、例えば自動車Ｍの運転者と一緒にドライブをしている感覚を得ることができる。
　なお、例えば、図９においては、運転操作情報に基づく表示を自動車Ｍの前方を撮影した映像に重畳して表示する場合について説明したが、これに限られず、自動車Ｍにおいて撮影された映像が表示される領域とは別の領域に、運転操作情報に基づく表示がなされてもよい。
　ステップＳ２０３の実行後、表示制御部４８は、ビデオ通信が終了したか否かを判定する（ステップＳ２０４）。
　ステップＳ２０４において、表示制御部４８は、ビデオ通信が終了していないと判定する（ステップＳ２０４：ＮＯ）と、ステップＳ２０４を繰り返し、ビデオ通信が終了したか否かを再び判定する。
　ステップＳ２０４において、表示制御部４８は、ビデオ通信が終了したと判定する（ステップＳ２０４：ＹＥＳ）と、運転操作表示映像の生成及び送信を終了し（ステップＳ２０５）、映像及び運転操作情報の受信を終了して（ステップＳ２０６）、表示制御ルーチンＲＴ２を終了する。
　図１０は、上記の表示制御ルーチンＲＴ２のステップＳ２０３が実行されると、外部装置５０のタッチパネル５１に表示される運転操作表示映像の他の一例を示す図である。図１０に示すように、タッチパネル５１には、タッチパネル５１の長手方向を上下方向とする表示であるいわゆる縦画面表示がなされている。
　図１０に示す例においては、タッチパネル５１には、自動車Ｍの前方を撮影した映像が表示されている第３の表示領域ＡＲ３と、地図画像が表示されており第３の表示領域ＡＲ３よりも大きい範囲を占める第４の表示領域ＡＲ４と、の２つの表示領域に分けて表示がなされている。図１０に示す縦画面表示によれば、外部装置５０のユーザにとって、地図画像がよく見える。
　例えば、外部装置５０のユーザが、図９に示した横画面表示と、図１０に示す縦画面表示とを切り替えることができるようにしてもよい。例えば、外部装置５０のユーザは、タッチパネル５１の表示を図９のような横画面表示とすることで、同乗感を得ながら実際に近い道案内を行うことができる。また、例えば、外部装置５０のユーザは、タッチパネル５１の表示を図１０のような縦画面表示とすることで、地図をよく確認しながら道案内を行うことができる。
　以上、詳細に説明したように、本実施例の通信システム１００は、サーバ４０を介して、移動体としての自動車Ｍと共に移動する第１装置としての車載装置１０と第２装置としての外部装置５０との間で音声通話を成立させつつ、車載装置１０が搭載されている移動体における映像を外部装置５０に送信するビデオ通信を行うことが可能である。
　本実施例の通信システム１００は、移動体において撮像された映像を逐次取得する映像取得部と、移動体の操縦者による移動体への操縦操作を示す操縦操作情報を逐次取得する操縦操作情報取得部と、を有する。また、本実施例の通信システム１００は、当該映像と、当該操縦操作情報に基づく表示とを共に第２装置にて表示させる表示制御を行う表示制御部を有する。
　このような構成により、移動体外に居る第２装置のユーザにとって、移動体内に居れば得られるが移動体外では得られない操縦操作情報を補完することができる。
　表示制御部は、例えば、逐次取得された映像と、逐次取得された操縦操作情報に基づく表示とを共に逐次表示させることができ、リアルタイムで操縦操作情報を第２装置のユーザに提示することができる。
　従って、本実施例によれば、移動体内の第１装置と移動体外の第２装置との間の通信において、移動体外に居る第２装置のユーザに、実際に移動体内に居る際に得られる情報をもたらすことを可能にする通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体を提供することができる。
　［変形例］
　図１１は、実施例の通信システム１００の変形例における通信装置としての車載装置７０の構成の一例を示すブロック図である。上記の実施例においてサーバ４０が有する映像取得部４６、運転操作情報取得部４７及び表示制御部４８の機能を、本変形例においては車載装置７０が有している。
　具体的には、車載装置７０の制御部７１は、映像取得部７３と、運転操作情報取得部７４と、表示制御部７５とを有している。
　映像取得部７３は、車外カメラ１３によって撮像された映像を逐次取得する。例えば、映像取得部７３は、車外カメラ１３によって撮像された映像と共に、車内カメラ１５によって撮像された映像を逐次取得してもよい。
　運転操作情報取得部７４は、例えば、運転操作情報として、自動車Ｍの運転操作の状態を検出する各種センサからの信号を逐次取得する。
　表示制御部７５は、映像取得部７３によって取得された映像と、運転操作情報取得部７４によって取得された運転操作情報に基づく表示とを共に外部装置５０にて表示させる表示制御を行う表示制御ステップを実行する。
　例えば、表示制御部７５は、例えば、車外カメラ１３によって撮像され、映像取得部７３によって逐次取得された自動車Ｍの前方を撮影した映像と、運転操作情報取得部７４によって逐次取得された運転操作情報に基づく表示とを合わせた表示情報を生成し、当該生成した表示情報を外部装置５０に逐次送信する。
　記憶部７７は、自動車Ｍにおいて撮像された映像を逐次取得し、自動車Ｍの運転者による自動車Ｍへの運転操作を示す運転操作情報を逐次取得し、当該映像と、当該運転操作情報に基づく表示とを共に外部装置５０にて表示させる表示制御を制御部７１が実行するための通信プログラムを記憶している。
　本変形例によれば、外部装置５０と車載装置７０との間のビデオ通信中、サーバ４０を介さずとも、自動車Ｍにおいて撮像され、映像取得部７３によって逐次取得された映像と、運転操作情報取得部７４によって逐次取得された運転操作情報に基づく表示とを共に外部装置５０にて表示させる制御が可能である。
　例えば、本変形例におけるビデオ通信は、サーバ４０を介さずに、車載装置７０と外部装置５０との間でＰ２Ｐ（Peer to Peer）通信などによって直接なされてもよい。
　上述した実施例及び変形例における車載装置１０、車載装置７０、サーバ４０及び外部装置５０の構成、ルーチン等は、例示に過ぎず、用途等に応じて、適宜選択または変更することができる。
　例えば、上記の実施例及び変形例において、外部装置５０のタッチパネル５１に表示させる映像を、車外カメラ１３によって撮像された映像と車内カメラ１５によって撮像された映像との間で、外部装置５０に対する操作又は車載装置１０に対する操作によって切り替え可能にしてもよい。
　例えば、外部装置５０での表示画面において、車内カメラ１５によって撮像された映像を表示している場合には、ステアリングホイールの操作状態やウインカーレバーの操作状態を示す表示等の運転操作情報に基づく表示の少なくとも一部を非表示にするようにしても良い。例えば、車外カメラ１３によって車両の前方を撮影した映像と共に表示するのに適した表示について、車内カメラ１５によって運転者を撮影した映像と共に表示する重要性が低いものについては、車内カメラ１５によって撮像された映像を表示している際には非表示としてもよい。例えば、車内カメラ１５によって撮像された映像を表示している際に、道案内の重要性が低い状況であれば、例えば自動車Ｍの速度とウインカーの操作状態を示す表示のみを表示し、それ以外は非表示にするようにしてもよい。
　上記の実施例及び変形例において、例えば、外部装置５０においてウインカーレバーの操作状態を示す表示と共に、ウインカー音が鳴るようにしてもよい。例えば、自動車Ｍに備えられたマイク２１によって収音されたウインカー音を、ウインカーレバーの操作状態を示す表示に同期させるように制御して外部装置５０において出力させてもよい。その場合、例えば学習モデル等を用いてウインカ―音と他の音とを判別してもよい。
　また、例えば、自動車Ｍにおいてウインカーレバーが操作されてウインカー音が鳴るタイミングで、予め準備された所定のウインカー音を、ウインカーレバーの操作状態を示す表示とともに外部装置５０において出力するようにしてもよい。その場合、例えば、自動車Ｍにおける音声を外部装置５０において出力させる際に、自動車Ｍに備えられたマイク２１によって収音される実際のウインカー音をキャンセルする処理を行ってもよい。
　例えば、ウインカーレバーがウインカーを点滅させる位置にある場合に、ウインカーの操作状態を示す表示を点滅させ、ウインカー音と、表示の点滅とを同期させるようにしてもよい。
　また、上記の実施例における運転操作情報は、実施例において例示した情報に限られず、自動車Ｍへの運転操作を示す他の情報を含んでいてもよい。例えば、運転操作情報は、サイドブレーキの操作、ワイパーの操作、ヘッドライドのスイッチの操作等を示す情報を含んでいてもよい。
　上記の実施例において、仮想同乗者が自動車Ｍの運転者に対して道案内をする場合について説明したが、これに限られない。仮想同乗者は、道案内をしない場合でも、運転操作情報が自動車Ｍにいて撮像された映像と共に表示されると、自動車Ｍの運転者による運転操作の詳細を把握することができるので、同乗感を増大させることができる。
　上記の実施例及び変形例においては、通信システム１００においてビデオ通信を行う例について説明したが、これに限られない。本発明は、通信システム１００において、自動車Ｍと共に移動する第１装置としての車載装置１０によって取得された自動車Ｍにおける音声及び映像を第２装置としての外部装置５０に送信する音声映像通信を行う場合に適用可能である。つまり、本発明は、外部装置５０からは音声が送信されない態様での通信にも適用可能である。
　また、車載装置１０と外部装置５０は、必ずしも音声通話が出来なくともよい。例えば、車載装置１０と外部装置５０との間の通信態様は、ＹｏｕＴｕｂｅ（登録商標）やニコニコ生放送（登録商標）のように、双方向の音声通話を伴わず単に車載装置１０から外部装置５０に映像及び音声が配信される態様であっても良い。
　また、上記の実施例においては、車載装置１０と外部装置５０とがサーバ４０を介してビデオ通信を行うこととしたが、ビデオ通信は車載装置１０と外部装置５０との間で直接なされてもよい。
　また、通信システム１００で車載装置１０から外部装置５０に上記映像配信が行われつつ、通信システム１００とは別の経路で並行して車載装置１０と外部装置５０との間の音声通話が確立されていても良い。
　上記実施例及び変形例において、車載装置１０は、車載ナビゲーション装置であるとしたが、車載装置１０は、単に車外カメラ１３又は車内カメラ１５からの動画を配信可能であればよい。
　例えば、車載装置１０は、車載装置１０と同様の構成を有する端末装置と車外カメラ１３とタッチパネル１７とが一体化された構成であってもよい。具体的には、例えば、車載装置１０は、上記車載装置１０と同様の機能を発揮するアプリケーションを搭載したカメラ付きのスマートフォン、タブレットまたはＰＣ等の端末装置であってもよい。この場合、車載装置１０は、内蔵カメラが自動車Ｍのフロントガラスを通して自動車Ｍの前方を撮影可能なように、例えばクレードル等でダッシュボードＤＢ上に取り付けられ得る。
　また、車載装置１０は、自動車Ｍの運転者に提示する画面を表示しない構成であってもよい。例えば、車載装置１０は、ドライブレコーダのような構成を有していてもよく、例えば、車外カメラ１３と一体となった装置であってもよい。具体的には、車載装置１０は、例えば、車外カメラ１３の筐体内に上記した車載装置１０のビデオ通信機能を果たすハードウェアを内蔵したような装置であってもよい。この場合、車載装置１０は、上記において説明したような種々の表示出力を行わないこととしてもよい。
　上記の実施例及び変形例において、外部装置５０はスマートフォンである場合について説明したが、これに限られない。外部装置５０は、仮想同乗者がビデオ通信に利用できる端末装置であって、ビデオ通信に関する表示又はメッセージの提示、ビデオ通信を行うために必要な操作入力の受付、音声データの送受信並びに映像の受信及び表示が可能に構成されていればよい。例えば、外部装置５０は、タブレット、ＰＣ、ウェアラブル端末等の端末装置であってもよい。
　上記の実施例及び変形例においては、車載装置１０及び車載装置７０が自動車Ｍに搭載される例を説明したが、車載装置１０は、自転車、バイク、船舶等他の移動体に搭載されていてもよい。また、車載装置１０がスマートフォンのようなカメラを内蔵した端末装置であり、これを人が保持しており、例えば歩きながらビデオ通信を行って映像を送信することとしてもよい。
１０、７０　車載装置
１３　車外カメラ
１５　車内カメラ
１７　タッチパネル
１９　スピーカ
２１　マイク
２３Ｓ　ステアリングセンサ
２４Ｓ　ウインカーセンサ
２５Ｓ　アクセルセンサ
２６Ｓ　ブレーキセンサ
２７Ｓ　シフトレバーセンサ
３１　記憶部
３３　制御部
３５　通信部
４０　サーバ
４１　記憶部
４３　通信部
４５　制御部
４６、７３　映像取得部
４７、７４　運転操作情報取得部
４８、７５　表示制御部
５０　外部装置
５１　タッチパネル
５３　スピーカ
５５　マイク
５７　記憶部
５９　制御部
６１　通信部
 

Claims (13)

  1. 　移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムであって、
    　前記移動体において撮像された映像を逐次取得する映像取得部と、
    　前記移動体の操縦者による前記移動体への操縦操作を示す操縦操作情報を逐次取得する操縦操作情報取得部と、
    　前記映像と、前記操縦操作情報に基づく表示とを共に前記第２装置にて表示させる表示制御を行う表示制御部と、
    を有することを特徴とする通信システム。
  2. 　前記表示制御部は、前記映像と、前記映像の撮像時の前記操縦操作を示す前記操縦操作情報に基づく表示と、を共に前記第２装置にて表示させることを特徴とする請求項１に記載の通信システム。
  3. 　前記操縦操作情報は、前記移動体に備えられたウインカーレバーの操作状態を示すウインカ―情報を含むことを特徴とする請求項１又は２に記載の通信システム。
  4. 　前記操縦操作情報は、前記移動体に備えられたアクセルペダルの操作状態を示す情報を含むことを特徴とする請求項１乃至３のいずれか１つに記載の通信システム。
  5. 　前記操縦操作情報は、前記移動体に備えられたブレーキペダルの操作状態を示す情報を含むことを特徴とする請求項１乃至４のいずれか１つに記載の通信システム。
  6. 　前記操縦操作情報は、前記移動体に備えられたステアリングホイールの操作状態を示す情報を含むことを特徴とする請求項１乃至５のいずれか１つに記載の通信システム。
  7. 　前記操縦操作情報は、前記移動体に備えられたシフトレバーの操作状態を示す情報を含むことを特徴とする請求項１乃至６のいずれか１つに記載の通信システム。
  8. 　前記操縦操作情報は、前記移動体に備えられたサイドブレーキの操作状態を示す情報を含むことを特徴とする請求項１乃至７のいずれか１つに記載の通信システム。
  9. 　移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムによって実行される通信方法であって、
    　前記移動体において撮像された映像を逐次取得する映像取得ステップと、
    　前記移動体の操縦者による前記移動体への操縦操作を示す操縦操作情報を逐次取得する操縦操作情報取得ステップと、
    　前記映像と、前記操縦操作情報に基づく表示とを共に前記第２装置にて表示させる表示制御を行う表示制御ステップと、
    を含むことを特徴とする通信方法。
  10. 　コンピュータを備え、移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムによって実行される通信プログラムであって、前記コンピュータに、
    　前記移動体において撮像された映像を逐次取得する映像取得ステップと、
    　前記移動体の操縦者による前記移動体への操縦操作を示す操縦操作情報を逐次取得する操縦操作情報取得ステップと、
    　前記映像と、前記操縦操作情報に基づく表示とを共に前記第２装置にて表示させる表示制御を行う表示制御ステップと、
    を実行させるための通信プログラム。
  11. 　コンピュータを備え、移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムに、
    　前記移動体において撮像された映像を逐次取得する映像取得ステップと、
    　前記移動体の操縦者による前記移動体への操縦操作を示す操縦操作情報を逐次取得する操縦操作情報取得ステップと、
    　前記映像と、前記操縦操作情報に基づく表示とを共に前記第２装置にて表示させる表示制御を行う表示制御ステップと、
    を実行させるための通信プログラムを記憶するコンピュータ可読記憶媒体。
  12. 　移動体と共に移動し、前記移動体における音声及び映像を取得して他の装置に送信する音声映像通信を行う通信装置であって、
    　前記移動体において撮像された映像を逐次取得する映像取得部と、
    　前記移動体の操縦者による前記移動体への操縦操作を示す操縦操作情報を逐次取得する操縦操作情報取得部と、
    　前記映像と、前記操縦操作情報に基づく表示とを共に前記他の装置にて表示させる表示制御を行う表示制御部と、
    を有することを特徴とする通信装置。
  13. 　移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行うサーバ装置であって、
    　前記第１装置から、通信路を介して前記移動体において撮像された映像を逐次取得する映像取得部と、
    　前記第１装置から、通信路を介して前記移動体の操縦者による前記移動体への操縦操作を示す操縦操作情報を逐次取得する操縦操作情報取得部と、
    　前記映像と、前記操縦操作情報に基づく表示とを共に前記第２装置にて表示させる表示制御を行う表示制御部と、
    を有することを特徴とするサーバ装置。
     
PCT/JP2021/048782 2021-12-28 2021-12-28 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体 WO2023127093A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/048782 WO2023127093A1 (ja) 2021-12-28 2021-12-28 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/048782 WO2023127093A1 (ja) 2021-12-28 2021-12-28 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2023127093A1 true WO2023127093A1 (ja) 2023-07-06

Family

ID=86998431

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/048782 WO2023127093A1 (ja) 2021-12-28 2021-12-28 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体

Country Status (1)

Country Link
WO (1) WO2023127093A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205782A (ja) * 1998-01-07 1999-07-30 Toyota Motor Corp 車両用前方画像処理装置及び車両用前方画像処理システム
JP2010211613A (ja) * 2009-03-11 2010-09-24 Omron Corp 情報処理装置及び方法、プログラム、並びに情報処理システム
JP2017204104A (ja) * 2016-05-10 2017-11-16 エヌ・ティ・ティ・コミュニケーションズ株式会社 制御装置、車載装置、映像配信方法、及びプログラム
JP2019156299A (ja) * 2018-03-15 2019-09-19 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205782A (ja) * 1998-01-07 1999-07-30 Toyota Motor Corp 車両用前方画像処理装置及び車両用前方画像処理システム
JP2010211613A (ja) * 2009-03-11 2010-09-24 Omron Corp 情報処理装置及び方法、プログラム、並びに情報処理システム
JP2017204104A (ja) * 2016-05-10 2017-11-16 エヌ・ティ・ティ・コミュニケーションズ株式会社 制御装置、車載装置、映像配信方法、及びプログラム
JP2019156299A (ja) * 2018-03-15 2019-09-19 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法

Similar Documents

Publication Publication Date Title
CN105416398B (zh) 停车辅助装置
US20160005333A1 (en) Real Time Car Driving Simulator
US11472339B2 (en) Vehicle periphery display device
EP2990265A1 (en) Vehicle control apparatus
JP5726201B2 (ja) ３次元立体視表示装置、３次元立体視表示制御装置、およびｌｓｉ回路
KR101964541B1 (ko) 자율 주행 모드 동안의 자동차용 통신 장치를 작동시키기 위한 방법, 통신 장치 및 자동차
CN107925746B (zh) 周边监控装置
WO2019073938A1 (ja) 駐車支援装置
JP2018133712A (ja) 周辺監視装置
JP2014004930A (ja) 駐車支援装置、駐車支援方法、及び駐車支援プログラム
EP1669722A1 (en) Vehicle-mounted communication device
CN110877575A (zh) 周边监视装置
WO2023127093A1 (ja) 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
JP2017085410A (ja) 走行支援装置
WO2018025441A1 (ja) 周辺監視装置
EP4383225A1 (en) Information processing device, information processing method, information processing program, and storage medium
JP2019069719A (ja) 駐車支援装置
JP2019125958A (ja) 車両用エンターテイメント装置
JP2024090801A (ja) 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
JP2018076019A (ja) 画像処理装置
JP2024090876A (ja) 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
JP2017065572A (ja) 周辺監視装置
JP2020121638A (ja) 表示制御装置
JP2022157413A (ja) 映像送信装置、映像生成装置、映像送信方法、映像送信プログラム及び記憶媒体
US11505204B2 (en) Information processing system and method for processing information

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21969975

Country of ref document: EP

Kind code of ref document: A1