WO2024034350A1 - ビデオチャットシステム及びプログラム - Google Patents

ビデオチャットシステム及びプログラム Download PDF

Info

Publication number
WO2024034350A1
WO2024034350A1 PCT/JP2023/026666 JP2023026666W WO2024034350A1 WO 2024034350 A1 WO2024034350 A1 WO 2024034350A1 JP 2023026666 W JP2023026666 W JP 2023026666W WO 2024034350 A1 WO2024034350 A1 WO 2024034350A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
chat
video
image
terminal
Prior art date
Application number
PCT/JP2023/026666
Other languages
English (en)
French (fr)
Inventor
崇 古庄
智仁 藤原
Original Assignee
三菱自動車工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱自動車工業株式会社 filed Critical 三菱自動車工業株式会社
Publication of WO2024034350A1 publication Critical patent/WO2024034350A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/127—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station
    • G08G1/13—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station the indicator being in the form of a map
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Definitions

  • This case relates to a video chat system and program to support communication.
  • chat systems have been developed that enable real-time communication using text and images between occupants of multiple vehicles via networks such as mobile phone lines and the Internet.
  • a chat system has been proposed that allows a plurality of vehicles to share a map image representing the driving position of a vehicle and exchange messages with each other.
  • map images By sharing map images within a chat group, it becomes easier to discuss destinations and driving routes, and smooth communication can be achieved (see, for example, Patent Document 1).
  • the above chat system is suitable for use when multiple people drive in multiple vehicles and communicate while driving the vehicles.
  • just exchanging text, images, and map images makes it difficult to convey the sense of realism and enjoyment of driving experienced by the occupants of the vehicle to users who are not in the vehicle, making it difficult to achieve good communication.
  • the problem is that it is difficult.
  • One of the purposes of this case was to provide a video chat system and program that was created in light of the above-mentioned issues and that enables good communication.
  • this purpose is not limited to this purpose, and it is also possible to achieve effects derived from each configuration shown in "Details for Carrying Out the Invention" that will be described later, which cannot be obtained with conventional techniques. It is positioned as a purpose.
  • the disclosed video chat system and program can be realized as the embodiments or application examples disclosed below, and solve at least part of the above problems.
  • the disclosed video chat system is a video chat system for supporting communication in a chat group including occupants of a vehicle equipped with an on-board computer and users who are not occupants of the vehicle, and is installed in the vehicle.
  • control means for displaying for a video chat system for supporting communication in a chat group including occupants of a vehicle equipped with an on-board computer and users who are not occupants of the vehicle, and is installed in the vehicle.
  • a distribution means for distributing vehicle surrounding video captured by an imaging device to the chat group and a distribution means for distributing vehicle surrounding video captured by an imaging device to the chat group
  • the disclosed program is a program for supporting communication in a chat group including occupants of a vehicle equipped with an on-vehicle computer and users who are not occupants of the vehicle, and the program supports communication in a chat group that includes an occupant of a vehicle equipped with an on-board computer and a user who is not an occupant of the vehicle.
  • the computer performs a process of distributing the video surrounding the vehicle to the chat group, and displaying messages exchanged within the chat group and the video surrounding the vehicle on chat screens of a terminal in the vehicle and a terminal of the user. Let it run.
  • the disclosed video chat system and program by displaying images around the vehicle captured by an imaging device mounted on the vehicle on the chat screen, it is possible to display the real scenery and environment that the occupants of the vehicle are viewing. You can present it to a chat group and share the realism and fun of driving. Therefore, good communication can be achieved.
  • FIG. 1 is a block diagram of a video chat system. It is a block diagram of a program. 3 is a flowchart showing the flow of control related to information distribution. 5 is a flowchart showing the flow of control related to displaying information.
  • FIG. 1 is a block diagram of a video chat system. It is a block diagram of a program. 3 is a flowchart showing the flow of control related to information distribution. 5 is a flowchart showing the flow of control related to displaying information.
  • (A) to (C) are schematic diagrams showing display examples of chat screens.
  • a video chat system is a system that supports real-time communication (chat, conversation) between multiple users via a computer, in which at least one or more occupants of a vehicle This is a system that allows you to distribute vehicle surrounding images) to other users.
  • Specific means of communication include, for example, characters, pictograms, images, video, audio, music, and the like.
  • chat screen A screen on which visual information related to communication is displayed is called a "chat screen.”
  • a program for controlling visual and auditory information displayed on the chat screen is installed and executed on at least one or more computers.
  • video chat systems include zoom (registered trademark), Microsoft Teams (registered trademark), LINE (registered trademark), and the like.
  • the disclosed video chat system has a function of distributing video captured by an imaging device mounted on a vehicle.
  • the video referred to here includes not only real images captured by an imaging device (raw data, live video), but also processed images obtained by performing image processing (synthesis processing, filter processing, effector processing, etc.) on real images.
  • a chat group refers to a group of users in which the content of communication (content of dialogue) is shared.
  • a place where communication takes place within a chat group is also called a "chat room", which is likened to a room.
  • Each user can belong to and leave a chat group using known authentication methods (for example, ID, password, invitation, etc.), and can belong to multiple chat rooms (multiple chat groups) at the same time. be.
  • FIGS. 1A and 1B are schematic diagrams showing a configuration example of a video chat system 1 as an embodiment.
  • a video chat system 1 shown in FIG. 1A includes a vehicle 10 equipped with an on-vehicle computer (terminal 10') and a terminal 20.
  • the video chat system 1 shown in FIG. 1(B) includes a plurality of vehicles 10, a plurality of terminals 20, and a server 30.
  • the number of vehicles 10, terminals 20, and servers 30 included in video chat system 1 can be set arbitrarily.
  • Video chat system 1 functions to support communication in a chat group including occupants of vehicle 10 and users who are not occupants of vehicle 10.
  • the on-vehicle computer means a computer (or a group of computers) mounted on the vehicle 10, and includes, for example, IVI (in-vehicle infotainment) and TCU (telematics control unit).
  • the terminal 20 refers to a computer (or a group of computers) that is not installed in the vehicle 10, such as a smartphone, a desktop computer, a notebook computer, or a PDA (personal digital assistant).
  • the in-vehicle computer (terminal 10') of the vehicle 10 and the terminal 20 can communicate directly, for example, through a P2P (peer-to-peer) connection, or via a network 40 (for example, the network 40) such as a mobile phone network or the Internet. Communication is possible via constituent servers, telecommunications carrier base stations, wireless routers, etc.).
  • FIG. 2 is a block diagram for explaining the device configuration of the terminal 10', terminal 20, and server 30 included in the video chat system 1.
  • the video chat system 1 may include a plurality of terminals 10', terminals 20, and servers 30, but they are simplified in the figure.
  • the terminal 10' is provided with an electronic control device 11, a display device 12, an input device 13, a storage device 14, a communication device 15, a positioning device 16, an audio device 17, an imaging device 18, and a microphone 19 (microphone). Also connected to the terminal 10' are sensors (not shown) for detecting running information (vehicle speed and output information) representing the running state of the vehicle 10.
  • running information vehicle speed and output information
  • the electronic control device 11 is an electronic control device (computer) equipped with a processor and a memory. When a plurality of electronic control devices are mounted on the vehicle 10, the entirety of them may be considered as the electronic control device 11 of this embodiment.
  • the display device 12 is one of the devices for visually outputting the calculation results of the electronic control device 11 and the chat screen, and is, for example, a liquid crystal display, an organic EL display, or a projector.
  • the display device 12 is installed near the instrument panel or dashboard of the vehicle 10.
  • the input device 13 is a device for inputting information to the electronic control device 11, and is, for example, a touch panel or physical keys (physical buttons) attached to the surface of the display device 12 in an overlapping state. Input of characters and pictograms for communication in the chat group is performed via the input device 13.
  • the storage device 14 is a memory device in which data and programs to be retained for a long period of time are stored, and is, for example, a flash memory, a solid state drive, or the like.
  • the application program of the video chat system 1 may be stored in the storage device 14.
  • the communication device 15 is an electronic control device (for example, a mobile communication device, a road-to-vehicle communication device, a vehicle-to-vehicle communication device, etc.) for performing wireless communication with other computers via the network 40.
  • the communication device 15 may be provided as an independent single device, or may be provided integrally with the electronic control device 11.
  • the positioning device 16 is an electronic control device (for example, a car navigation device) that measures the position of the vehicle 10 based on information detected by a GNSS (global navigation satellite system), a vehicle speed sensor, a steering angle sensor, a yaw rate sensor, etc. ).
  • the positioning device 16 may be provided as an independent single device, or may be provided integrally with the electronic control device 11.
  • the audio device 17 is a device that transmits auditory information such as voice and music to the occupants of the vehicle 10.
  • the imaging device 18 is a device that captures images of the scenery and environment around the vehicle 10 (vehicle surrounding images). Specific examples of the imaging device 18 include a video camera, an infrared camera, a still camera, and a radar.
  • the vehicle 10 of this embodiment is equipped with a plurality of video cameras shooting in different directions. For example, a front camera that photographs the traveling direction of the vehicle 10, a rear camera that photographs the rear, a right camera that photographs the right side, and a left camera that photographs the left side are installed.
  • the microphone 19 is a device for inputting information to the electronic control device 11, and is a device for converting sound into an electrical signal. Voice input for communication in the chat group is performed via microphone 19.
  • the device configuration of the terminal 20 is almost the same as the device configuration of the vehicle 10.
  • the terminal 20 is provided with an electronic control device 21, a display device 22, an input device 23, a storage device 24, a communication device 25, a positioning device 26, an audio device 27, an imaging device 28, and a microphone 29 (microphone).
  • the electronic control device 21 is an electronic control device (computer) equipped with a processor and memory
  • the display device 22 is, for example, a liquid crystal display or an organic EL display.
  • the input device 23 is a touch panel or physical keys
  • the storage device 24 is a flash memory, solid state drive, or the like.
  • the communication device 25 is an electronic control device for wirelessly communicating with other computers via the network 40, and the positioning device 26 measures the position of the terminal 20 based on detection information such as GNSS and wireless signal strength. It is an electronic control device.
  • the audio device 27 is a device that transmits auditory information such as voice and music to the user of the terminal 20, and the imaging device 28 is a device that acquires images of the surrounding scenery of the terminal 20 and the user of the terminal 20. 29 is a device that converts sound into an electrical signal.
  • the device configuration of the server 30 is simple compared to the vehicle 10 and the terminal 20, and corresponds to the terminal 20 without the positioning device 26, audio device 27, imaging device 28, and microphone 29.
  • the server 30 is provided with an electronic control device 31, a display device 32, an input device 33, a storage device 34, and a communication device 35.
  • the electronic control device 31 is an electronic control device (computer) equipped with a processor and memory
  • the display device 32 is, for example, a liquid crystal display or an organic EL display.
  • the input device 33 is a touch panel or physical keys
  • the storage device 34 is a hard disk drive, a solid state drive, etc.
  • the communication device 35 is an electronic device for wirelessly communicating with other computers via the network 40. It is a control device.
  • the disclosed program 2 is installed, for example, in each of the vehicle 10 and the terminal 20 and executed individually. Alternatively, it is installed and executed in at least one of the vehicle 10, the terminal 20, and the server 30. Alternatively, the program may be installed in a plurality of devices among the vehicle 10, the terminal 20, and the server 30, and executed in cooperation with each other. In the following description, it is assumed that the program 2 installed in each of the vehicle 10 and the terminal 20 is executed in cooperation with each other.
  • FIG. 3 is a block diagram conceptually showing the functions of the program 2.
  • the program 2 has a function of distributing messages, map images, videos, travel information, etc. to the chat group, and displaying the information distributed within the chat group on the chat screen of the terminal 10' and the user's terminal 20.
  • the message here includes, for example, characters, pictograms, images (stamps), audio, music, and the like.
  • the map image is an image of a map that includes position information of the vehicle 10 and the terminal 20 (information on positions measured by the positioning devices 16 and 26).
  • the image is a vehicle surrounding image (a real image, a processed image, etc.) captured by the imaging device 18.
  • the driving information is information representing the driving state of the vehicle 10 in which the vehicle surrounding image was photographed, and is, for example, information on vehicle speed and output.
  • the driving information includes information such as engine rotation speed, motor rotation speed, motor power consumption, energy consumption rate, remaining fuel, and battery charging rate.
  • the program 2 includes a distribution means 3 (second distribution means), a generation means 4, and a control means 5. These means are shown by classifying the functions of the program 2 for convenience, and each means may be written as an independent program or as a composite program that has these functions. good.
  • the program 2 is installed, for example, in the storage device 14 of the vehicle 10 or the storage device 24 of the terminal 20. It is assumed that the distribution means 3 and the generation means 4 of this embodiment do not function in the terminal 20.
  • the distribution means 3 has a function of distributing the vehicle surrounding video captured by the imaging device 18 mounted on the vehicle 10 to the chat group.
  • vehicle surrounding images photographed by each of the plurality of imaging devices 18 are distributed via the distribution means 3.
  • the distribution means 3 of this embodiment also distributes the overhead video of the vehicle 10 generated by the generation means 4 to the chat group.
  • the distribution of messages, map images, and traveling information may be performed by means other than the distribution means 3, or the distribution means 3 may be in charge of all information distribution.
  • the distribution means 3 in each vehicle 10 distributes the vehicle surrounding video obtained by that vehicle 10.
  • the generating means 4 has a function of generating an overhead image of the vehicle 10 based on vehicle surrounding images captured by a plurality of imaging devices 18 mounted on the vehicle 10.
  • the bird's-eye view image is an image that is equivalent to a projection of the scenery seen in an arbitrary direction (direction of sight) onto a two-dimensional plane from a position (viewpoint) different from the position where the plurality of imaging devices 18 are installed. It can be generated using a known image processing method (for example, see Japanese Patent Laid-Open No. 2002-109697).
  • the generating means 4 has a function of synthesizing a CG image of the vehicle 10 on the bird's-eye view image based on the viewpoint and line-of-sight direction of the bird's-eye view image. That is, the vehicle 10, which does not appear in the vehicle surroundings image captured by the imaging device 18, is synthesized as a CG image into the bird's-eye view image, thereby improving the reality of the bird's-eye view image.
  • the control means 5 has a function of displaying messages exchanged within the chat group and images of the surroundings of the vehicle on the chat screens of the terminal 10' in the vehicle 10 and the user's terminal 20.
  • a video of the vehicle surroundings and an overhead video captured by the imaging device 18 of the own vehicle can be displayed on the chat screen.
  • vehicle surrounding images and overhead images distributed via the network 40 can be displayed on the chat screen.
  • a map image including location information of the vehicle 10 where the vehicle surrounding video was taken can also be displayed on the chat screen.
  • the type of information displayed on the chat screen may be freely selected and set by the occupant of the vehicle 10 or the user of the terminal 20.
  • the following three types of modes may be prepared as the display mode of the chat screen, and the control means 5 may select one of them according to the operation of the occupant of the vehicle 10 or the user of the terminal 20. good.
  • - A first mode that displays a message and a video around the vehicle at the same time.
  • - A second mode that displays a message and a map image at the same time.
  • - A third mode that displays a message, a video around the vehicle, and a map image at the same time. Note that if there are multiple chat groups When the vehicle 10 includes occupants of the vehicle 10, the occupant of the vehicle 10 or the user of the terminal 20 may be allowed to freely select and view any of the vehicle surrounding videos distributed from each vehicle 10.
  • FIG. 4 is a flowchart showing the flow of control related to information distribution, which is executed by the vehicle 10.
  • the program 2 acquires position information and travel information of the vehicle 10. Position information is detected by the positioning device 16, and travel information is detected by sensors (not shown). If there is a message (text, pictograms, voice, etc.) detected by the input device 13 or the microphone 19, the program 2 also acquires that information.
  • step A2 the program 2 acquires a vehicle surrounding image photographed by the imaging device 18.
  • a plurality of vehicle surrounding images photographed by each of the plurality of imaging devices 18 are individually acquired.
  • the generation means 4 generates an overhead image of the vehicle 10 based on a plurality of vehicle surrounding images.
  • the CG image of the vehicle 10 may be combined onto the bird's-eye view video.
  • the distribution means 3 distributes travel information, messages, map images, and videos (real images and processed images thereof) to the chat group.
  • FIG. 5 is a flowchart showing the flow of control related to information display, and shows a vehicle 10 (vehicle 10 different from the vehicle 10 that distributed the information in step A4 of FIG. 4, hereinafter also referred to as "second vehicle 10"), It is executed on the terminal 20.
  • the program 2 acquires travel information, messages, map images, and videos (real images and processed images thereof) via the network 40. If there is a message (text, pictograms, voice, etc.) detected by the input devices 13, 23 or the microphones 19, 29, the program 2 also acquires the information.
  • a message text, pictograms, voice, etc.
  • step A6 if a plurality of vehicles 10 are distributing vehicle surrounding images to the chat group, the program 2 selects one of the vehicle surrounding images. For example, one of the vehicle surrounding images is selected according to the operation of the occupant of the vehicle 10 or the user of the terminal 20. Further, in step A7, one of the display modes is selected from among the first mode, second mode, and third mode according to the operation of the occupant of the vehicle 10 or the user of the terminal 20. In subsequent step A8, the control means 5 displays a message or the like on the chat screen.
  • FIG. 6(A) to 6(C) are schematic diagrams showing display examples of the chat screen.
  • FIG. 6(A) is the first mode
  • FIG. 6(B) is the second mode
  • FIG. 6(C) is the second mode.
  • This is an example of display in three modes.
  • a message 53 within the chat group and a vehicle surrounding video 54 distributed by the vehicle 10 are displayed simultaneously.
  • the chat screen is divided into upper and lower halves, and the message 53 is displayed on the lower screen.
  • a real image taken by the front camera of the vehicle 10 is displayed as a vehicle surroundings image 54.
  • travel information 55 of the vehicle 10 is preferably displayed at the same time.
  • information on vehicle speed and engine rotation speed is displayed superimposed on the vehicle surrounding image 54.
  • icons representing users in the chat group for example, the self icon 51 and the other person icon 52
  • the message 53 in the chat group and the map image 56 including the location information of the vehicle 10 are displayed simultaneously.
  • the chat screen is divided into upper and lower halves, and the message 53 is displayed on the lower screen.
  • a map image 56 showing the surrounding area around the current position of the vehicle 10 is displayed on the upper screen.
  • an icon resembling a car may be displayed at the position of the vehicle 10 in the map image 56.
  • the scale of the map image 56 may be changed by the user (or passenger) viewing the chat screen.
  • a message 53 in the chat group, a vehicle surrounding video 57 distributed by the vehicle 10, and a map image 56 are displayed simultaneously.
  • the chat screen is divided into three parts, top and bottom, and a message 53 is displayed on the bottom screen, and a map image 56 is displayed on the center screen.
  • On the upper screen for example, a bird's-eye view image generated based on vehicle surrounding images photographed by a plurality of imaging devices 18 is displayed as a vehicle surrounding image 57.
  • the travel information 55 of the vehicle 10 is simultaneously displayed superimposed on the vehicle surrounding image 57.
  • a vehicle surrounding image 54 as shown in FIG. 6(A) may be displayed on the upper screen.
  • the video chat system 1 of this embodiment is a video chat system for supporting communication in a chat group including the occupant of a vehicle 10 equipped with an on-vehicle computer (terminal 10') and a user using a terminal 20. It is 1.
  • This video chat system 1 includes a distribution means 3 for distributing vehicle surrounding video captured by an imaging device 18 mounted on a vehicle 10 to a chat group, and a chat screen on a terminal 10' in the vehicle 10 and a user's terminal 20. and a control means 5 for displaying messages exchanged within the chat group and images around the vehicle.
  • the program 2 of this embodiment is a program 2 for supporting communication in a chat group including the occupant of the vehicle 10 equipped with the on-vehicle computer (terminal 10') and the user using the terminal 20.
  • This program 2 distributes vehicle surrounding images captured by the imaging device 18 mounted on the vehicle 10 to the chat group, and displays the video on the chat screen of the terminal 10' in the vehicle 10 or the user's terminal 20 within the chat group.
  • a computer electronic control unit 11, 21 is caused to execute a process of displaying the exchanged messages and images around the vehicle.
  • the video chat system 1 and program 2 described above by displaying the video around the vehicle captured by the imaging device 18 mounted on the vehicle 10 on the chat screen, the real scenery seen by the occupants of the vehicle 10 is displayed. You can share the realism and fun of driving by showing your car and surroundings to a chat group. Additionally, the reality of the virtual driving experience can be improved compared to communication using text or pictograms. Therefore, good communication can be achieved.
  • the occupant of the vehicle 10 when the occupant of the vehicle 10 is driving alone, he or she can enjoy chatting with friends in the chat group. Furthermore, the user of the terminal 20 can see the real scenery and environment seen by the occupants of the vehicle 10, and can feel as if he or she is actually riding in the vehicle 10. Furthermore, when an elderly person or a novice driver drives the vehicle 10, by utilizing the video chat system 1 or program 2 described above, remote monitoring and communication such as a monitoring service can be realized, and the driver can It can reduce the psychological burden and technical burden of
  • the control means 5 of this embodiment can display a map image 56 including position information of the vehicle 10 on the chat screen.
  • the real current position of the vehicle 10 can be shared with high accuracy within the chat group, and the sense of realism of driving can be enhanced.
  • the user of the terminal 20 can easily ask the occupants of the vehicle 10 questions about the destination or destination while viewing the map image 56, or convey requests regarding the route to be traveled. Therefore, good communication can be achieved.
  • the control means 5 of this embodiment controls the display of the chat screen between the first mode, the second mode, and the third mode according to the operation of the passenger or the user. You can display one of the modes. With this configuration, the occupants of the vehicle 10 and the user of the terminal 20 can freely choose between the first mode, which provides an excellent sense of realism, the second mode, which provides a large amount of information, and the third mode, which provides a good balance between these modes. It becomes possible to select, and improve convenience.
  • the video chat system 1 includes the occupants (second occupants) of the second vehicle 10 whose chat group is different from that of the vehicle 10.
  • a second distribution means 3 for distributing peripheral images to a chat group can be provided.
  • the control means 5 of the second vehicle 10 can selectively display either the vehicle surrounding image or the second vehicle surrounding image according to an operation by the occupant, the second occupant, or the user.
  • This embodiment is provided with a generating means 4 that generates an overhead image of the vehicle 10 based on vehicle surrounding images captured by a plurality of imaging devices 18 mounted on the vehicle 10.
  • the control means 5 can display the bird's-eye view image generated by the generation means 4 on the chat screen, as shown in FIG. 6(C), for example.
  • the generating means 4 of the present embodiment is capable of synthesizing the CG image of the vehicle 10 on the bird's-eye view image based on the viewpoint and line-of-sight direction of the bird's-eye view image. .
  • the control means 5 of this embodiment can display driving information representing the driving state of the vehicle 10 on the chat screen.
  • driving information 55 such as vehicle speed and engine rotation speed is displayed superimposed on vehicle surrounding images 54 and 57.
  • the program 2 installed in the vehicle 10 and the terminal 20 is executed in cooperation with each other, but instead of such a configuration, the program 2 may be installed only in the server 30. However, this program 2 may be made to control the vehicle 10 and the terminal 20. In other words, instead of the electronic control device 11 of the vehicle 10 or the electronic control device 21 of the terminal 20, the electronic control device 31 of the server 30 may be the main control entity. At least, by providing the distribution means 3 and the control means 5 in the video chat system 1, the same functions and effects as in the above embodiment can be obtained.
  • the video chat system 1 including the terminal 10' and the terminal 20 as in-vehicle computers was illustrated, but the video chat system uses the terminal 20 owned by the occupant of the vehicle 10 instead of the terminal 10'. 1 may be constructed. That is, the computer used when the occupant of the vehicle 10 chats may be the terminal 10' mounted on the vehicle 10, or may be a terminal 20 independent from the vehicle 10, such as a smartphone.
  • a video chat system for supporting communication in a chat group including a passenger of a vehicle equipped with an on-board computer and a user who is not a passenger of the vehicle, the video chat system comprising: distribution means for distributing vehicle surrounding video captured by an imaging device mounted on the vehicle to the chat group; a control means for displaying messages exchanged within the chat group and images around the vehicle on chat screens of a terminal in the vehicle and a terminal of the user;
  • a video chat system comprising:
  • the chat screen has a first mode in which the message and the image around the vehicle are displayed simultaneously, a second mode in which the message and the map image are simultaneously displayed, and a second mode in which the message, the image around the vehicle, and the map image are simultaneously displayed. and a third mode that allows The video according to appendix 2, wherein the control means selects any one of the first mode, the second mode, and the third mode in response to an operation by the occupant or the user. chat system.
  • the video chat system wherein the chat group includes a second occupant of a second vehicle different from the vehicle, comprising a second distribution means for distributing a video around the second vehicle captured by a second imaging device mounted on the second vehicle to the chat group; Supplementary note, wherein the control means selectively displays either the vehicle surrounding image or the second vehicle surrounding image in response to an operation by the occupant, the second occupant, or the user.
  • the video chat system according to any one of 1 to 3.
  • the video chat system according to any one of appendices 1 to 4, wherein the control means displays the bird's-eye view video on the chat screen.
  • a program for supporting communication in a chat group including a passenger of a vehicle equipped with an on-board computer and a user who is not a passenger of the vehicle, the program comprising: distributing vehicle surrounding video captured by an imaging device installed in the vehicle to the chat group; A program that causes a computer to execute a process of displaying messages exchanged within the chat group and video surrounding the vehicle on chat screens of a terminal in the vehicle and a terminal of the user.
  • the chat screen has a first mode in which the message and the image around the vehicle are displayed simultaneously, a second mode in which the message and the map image are simultaneously displayed, and a second mode in which the message, the image around the vehicle, and the map image are simultaneously displayed. and a third mode that allows The program according to supplementary note 9, which causes a computer to execute a process of selecting one of the first mode, the second mode, and the third mode in response to an operation by the occupant or the user.
  • the chat group includes a second occupant of a second vehicle different from the vehicle; distributing a second vehicle surrounding image captured by a second imaging device mounted on the second vehicle to the chat group; Supplementary Notes 8 to 10, wherein the computer executes a process of selectively displaying either the vehicle surrounding image or the second vehicle surrounding image in response to an operation by the occupant, the second occupant, or the user.
  • This case can be used in the manufacturing industry and service provision business of video chat systems and programs. Furthermore, it can be used in the manufacturing industry of in-vehicle computers applied to video chat systems, the manufacturing industry of terminals (smartphones, desktop computers, notebook computers, PDAs, etc.), and the manufacturing industry of servers.
  • Video chat system Program 3 Distribution means, second distribution means 4 Generation means 5 Control means 10 Vehicle, second vehicle 10', 20 Terminal 30 Server 40 Network

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Traffic Control Systems (AREA)

Abstract

開示のビデオチャットシステム（１）は、車載コンピュータが搭載された車両（１０）の乗員と、車両（１０）の乗員ではないユーザとを含むチャットグループにおけるコミュニケーションを支援するためのビデオチャットシステム（１）である。開示のビデオチャットシステム（１）は、車両（１０）に搭載される撮像装置（１８）で撮影された車両周辺映像をチャットグループに配信する配信手段（３）と、車両（１０）内の端末（１０'）及びユーザの端末（２０）のチャット画面上に、チャットグループ内で交わされるメッセージと車両周辺映像とを表示させる制御手段（５）と、を備える。

Description

ビデオチャットシステム及びプログラム
　本件は、コミュニケーションを支援するためのビデオチャットシステム及びプログラムに関する。
　従来、携帯電話回線網やインターネットなどのネットワークを介して、複数の車両の乗員間で文字や画像を用いたリアルタイムコミュニケーションを実現するチャットシステムが開発されている。例えば、車両の走行位置を表す地図画像を複数の車両間で共有しながら、相互にメッセージを授受できるようにしたチャットシステムが提案されている。チャットグループ内で地図画像を共有することで、目的地や走行ルートの相談が容易となり、円滑なコミュニケーションが実現されうる（例えば、特許文献１参照）。
特開2005-098880号公報
　上記のチャットシステムは、複数の人間が複数台の車両に分乗してドライブをする際に、車両を走行させながらコミュニケーションをとるのに用いて好適である。一方、車両の乗員だけでなく、車両に乗っていないユーザを含むようにチャットグループを拡張することも考えられる。しかしこの場合、文字，画像，地図画像のやり取りだけでは、車両に乗っている乗員が実感しているドライブの臨場感や楽しさが車両に乗っていないユーザに伝わりにくく、良好なコミュニケーションが実現されにくいという課題がある。
　本件の目的の一つは、上記のような課題に照らして創案されたものであり、良好なコミュニケーションを実現できるようにしたビデオチャットシステム及びプログラムを提供することである。なお、この目的に限らず、後述する「発明を実施するための形態」に示す各構成から導き出される作用効果であって、従来の技術では得られない作用効果を奏することも、本件の他の目的として位置付けられる。
　開示のビデオチャットシステム及びプログラムは、以下に開示する態様または適用例として実現でき、上記の課題の少なくとも一部を解決する。
　開示のビデオチャットシステムは、車載コンピュータが搭載された車両の乗員と、前記車両の乗員ではないユーザとを含むチャットグループにおけるコミュニケーションを支援するためのビデオチャットシステムであって、前記車両に搭載される撮像装置で撮影された車両周辺映像を前記チャットグループに配信する配信手段と、前記車両内の端末及び前記ユーザの端末のチャット画面上に、前記チャットグループ内で交わされるメッセージと前記車両周辺映像とを表示させる制御手段と、を備える。
　開示のプログラムは、車載コンピュータが搭載された車両の乗員と、前記車両の乗員ではないユーザとを含むチャットグループにおけるコミュニケーションを支援するためのプログラムであって、前記車両に搭載される撮像装置で撮影された車両周辺映像を前記チャットグループに配信し、前記車両内の端末及び前記ユーザの端末のチャット画面上に、前記チャットグループ内で交わされるメッセージと前記車両周辺映像とを表示させる処理をコンピュータに実行させる。
　開示のビデオチャットシステム及びプログラムによれば、車両に搭載される撮像装置で撮影された車両周辺映像をチャット画面上に表示させることで、車両の乗員が見ているリアルな景色や環境の様子をチャットグループに提示でき、ドライブの臨場感や楽しさを共有できる。したがって、良好なコミュニケーションを実現できる。
（Ａ），（Ｂ）はビデオチャットシステムの構成例を示す模式図である。 ビデオチャットシステムのブロック図である。 プログラムのブロック図である。 情報の配信に係る制御の流れを示すフローチャートである。 情報の表示に係る制御の流れを示すフローチャートである。 （Ａ）～（Ｃ）はチャット画面の表示例を示す模式図である。
　開示のビデオチャットシステム及びプログラムは、以下の実施例によって実施されうる。ビデオチャットシステムとは、コンピュータを介して、複数のユーザ間におけるリアルタイムのコミュニケーション（チャット，談話）を支援するためのシステムであって、車両の少なくとも一人以上の乗員が当該車両の周辺映像（ビデオ，車両周辺映像）を他のユーザに配信できるようにしたシステムである。コミュニケーションの具体的な手段には、例えば文字，絵文字，画像，映像，音声，音楽等が含まれる。
　これらのうち、視覚情報はコンピュータに接続される表示装置から出力され、聴覚情報はコンピュータに接続される音響装置から出力される。コミュニケーションに係る視覚情報が表示される画面は「チャット画面」と呼ばれる。チャット画面に表示される視覚情報や聴覚情報を制御するためのプログラムは、少なくとも一つ以上のコンピュータにインストールされて実行される。
　なお、ビデオチャットシステムの公知例としては、zoom（登録商標），Microsoft Teams（登録商標），LINE（登録商標）等が挙げられる。一方、開示のビデオチャットシステムは、車両に搭載される撮像装置で撮影された映像を配信する機能を具備する。ここでいう映像には、撮像装置で撮影された実像（Rawデータ，ライブ映像）だけでなく、実像に画像処理（合成処理，フィルタ処理，エフェクタ処理等）を施すことで得られる加工映像や、被写体の動きや表情に対応するように絵柄が自動生成されるアニメーション映像（アバター）等が含まれる。
　開示のビデオチャットシステムには、複数のチャットグループが存在しうる。チャットグループとは、コミュニケーションの内容（対話の内容）が共有されるユーザ群を意味する。また、一つのチャットグループ内でのコミュニケーションがなされる場は、部屋に見立てられて「チャットルーム」とも呼ばれる。各ユーザは、公知の認証手法（例えば、ＩＤやパスワードや招待状等）を利用してチャットグループに所属可能かつ退場可能であるとともに、複数のチャットルーム（複数のチャットグループ）に同時に所属可能である。
［１．システム］
　図１（Ａ），（Ｂ）は、実施例としてのビデオチャットシステム１の構成例を示す模式図である。図１（Ａ）に示すビデオチャットシステム１には、車載コンピュータ（端末１０′）が搭載された車両１０と端末２０とが包含される。図１（Ｂ）に示すビデオチャットシステム１には、複数の車両１０と複数の端末２０とサーバ３０とが包含される。ビデオチャットシステム１に包含される車両１０，端末２０，サーバ３０の各々の数は任意に設定可能である。ビデオチャットシステム１は、車両１０の乗員と、車両１０の乗員ではないユーザとを含むチャットグループにおけるコミュニケーションを支援するように機能する。
　車載コンピュータとは、車両１０に搭載されるコンピュータ（またはコンピュータ群）を意味し、例えばＩＶＩ（in-vehicle infotainment）やＴＣＵ（telematics control unit）を含む。また、端末２０は、例えばスマートフォン，デスクトップパソコン，ノートパソコン，ＰＤＡ（personal digital assistant）など、車両１０に搭載されていないコンピュータ（またはコンピュータ群）を意味する。車両１０の車載コンピュータ（端末１０′）及び端末２０は、例えばＰ２Ｐ（peer to peer）接続により直接的に通信可能とされ、あるいは、携帯電話回線網やインターネット等のネットワーク４０（例えば、ネットワーク４０を構成するサーバ類，電気通信事業者の基地局，無線ルーター等）を介して通信可能とされる。
　図２は、ビデオチャットシステム１に含まれる端末１０′，端末２０，サーバ３０の装置構成を説明するためのブロック図である。ビデオチャットシステム１には、端末１０′，端末２０，サーバ３０の各々が複数存在しうるが、図中では簡略化されている。端末１０′には、電子制御装置１１，表示装置１２，入力装置１３，記憶装置１４，通信装置１５，測位装置１６，音響装置１７，撮像装置１８，マイク１９（マイクロフォン）が設けられる。また、端末１０′には、車両１０の走行状態を表す走行情報（車速や出力の情報）を検出するための図示しないセンサ類も接続される。なお、本実施例では上記の各種要素１２～１９が端末１０′の内部に含まれている場合を想定しているが、各種要素１２～１９の一部（または全部）を端末１０′の外部に設けることも可能である。
　電子制御装置１１は、プロセッサ及びメモリが実装された電子制御装置（コンピュータ）である。複数の電子制御装置が車両１０に搭載されている場合には、それらの総体を本実施例の電子制御装置１１と見なしてもよい。
　表示装置１２は電子制御装置１１の演算結果やチャット画面を視覚的に出力するためのデバイスの一つであり、例えば液晶ディスプレイや有機ＥＬディスプレイやプロジェクタである。表示装置１２は、車両１０のインストルメントパネルやダッシュボード近傍に設置される。
　入力装置１３は、電子制御装置１１への情報入力のための装置であり、例えば表示装置１２の表面に重畳状態で取り付けられたタッチパネルや物理キー（物理ボタン）である。チャットグループにおけるコミュニケーションのための文字や絵文字の入力は、入力装置１３を介して実施される。
　記憶装置１４は、長期的に保持されるデータやプログラムが格納されるメモリ装置であり、例えばフラッシュメモリやソリッドステートドライブ等である。ビデオチャットシステム１のアプリケーションプログラムは、記憶装置１４に保存されうる。
　通信装置１５は、ネットワーク４０を介して他のコンピュータと無線通信を行うための電子制御装置（例えば移動体通信装置，路車間通信装置，車車間通信装置など）である。通信装置１５は、独立した単体の装置として設けられてもよいし、電子制御装置１１と一体に設けられてもよい。
　測位装置１６は、ＧＮＳＳ（global navigation satellite system，全球測位衛星システム）や車速センサ，舵角センサ，ヨーレイトセンサなどの検出情報に基づいて、車両１０の位置を計測する電子制御装置（例えばカーナビゲーション装置）である。測位装置１６は、独立した単体の装置として設けられてもよいし、電子制御装置１１と一体に設けられてもよい。
　音響装置１７（スピーカ）は、音声や音楽などの聴覚情報を車両１０の乗員に伝達する装置である。
　撮像装置１８は、車両１０の周辺の景色や環境の映像（車両周辺映像）を撮影する装置である。撮像装置１８の具体例としては、ビデオカメラ，赤外線カメラ，スチルカメラ，レーダー等が挙げられる。本実施例の車両１０には、撮影方向が異なる複数のビデオカメラが搭載される。例えば、車両１０の進行方向を撮影する前方カメラ，後方を撮影する後方カメラ，右側方を撮影する右方カメラ，左側方を撮影する左方カメラが搭載される。
　マイク１９は、電子制御装置１１への情報入力のための装置であり、音を電気信号に変換する装置である。チャットグループにおけるコミュニケーションのための音声の入力は、マイク１９を介して実施される。
　端末２０の装置構成は、車両１０の装置構成とほぼ同一である。端末２０には、電子制御装置２１，表示装置２２，入力装置２３，記憶装置２４，通信装置２５，測位装置２６，音響装置２７，撮像装置２８，マイク２９（マイクロフォン）が設けられる。電子制御装置２１は、プロセッサ及びメモリが実装された電子制御装置（コンピュータ）であり、表示装置２２は、例えば液晶ディスプレイや有機ＥＬディスプレイである。また、入力装置２３は、タッチパネルや物理キーであり、記憶装置２４は、フラッシュメモリやソリッドステートドライブ等である。
　通信装置２５は、ネットワーク４０を介して他のコンピュータと無線通信を行うための電子制御装置であり、測位装置２６は、ＧＮＳＳや無線信号強度などの検出情報に基づいて端末２０の位置を計測する電子制御装置である。音響装置２７は、音声や音楽などの聴覚情報を端末２０のユーザに伝達する装置であり、撮像装置２８は、端末２０の周辺の景色や端末２０のユーザの映像を取得する装置であり、マイク２９は、音を電気信号に変換する装置である。
　サーバ３０の装置構成は、車両１０や端末２０と比較して簡素であり、端末２０から測位装置２６，音響装置２７，撮像装置２８，マイク２９を省略したものに相当する。サーバ３０には、電子制御装置３１，表示装置３２，入力装置３３，記憶装置３４，通信装置３５が設けられる。電子制御装置３１は、プロセッサ及びメモリが実装された電子制御装置（コンピュータ）であり、表示装置３２は、例えば液晶ディスプレイや有機ＥＬディスプレイである。また、入力装置３３は、タッチパネルや物理キーであり、記憶装置３４は、ハードディスクドライブやソリッドステートドライブ等であり、通信装置３５は、ネットワーク４０を介して他のコンピュータと無線通信を行うための電子制御装置である。
［２．プログラム］
　開示のプログラム２は、例えば車両１０及び端末２０の各々にインストールされて、個別に実行される。あるいは、車両１０，端末２０，サーバ３０の少なくともいずれか一つにインストールされて実行される。また、車両１０，端末２０，サーバ３０のうち、複数の装置にインストールされ、それらが互いに協同して実行されるものとしてもよい。以下の説明では、車両１０及び端末２０の各々にインストールされたプログラム２が協同して実行されるものとする。
　図３は、プログラム２の機能を概念的に示すブロック図である。プログラム２は、メッセージ，地図画像，映像，走行情報等をチャットグループに配信するとともに、チャットグループ内で配信された情報を端末１０′及びユーザの端末２０のチャット画面上に表示させる機能を持つ。ここでいうメッセージには、例えば文字，絵文字，画像（スタンプ），音声，音楽等が含まれる。地図画像とは、車両１０や端末２０の位置情報（測位装置１６，２６で計測された位置の情報）を含む地図の画像である。映像とは、撮像装置１８で撮影された車両周辺映像（実像やその加工映像等）である。走行情報とは、車両周辺映像が撮影された車両１０の走行状態を表す情報であり、例えば車速や出力の情報である。走行情報には、エンジン回転速度，モータ回転速度，モータ消費電力，エネルギー消費率，残燃料，バッテリー充電率等の情報が含まれる。
　プログラム２には、配信手段３（第二配信手段），生成手段４，制御手段５が含まれる。これらの手段は、プログラム２の機能を便宜的に分類して示したものであり、個々の手段を独立したプログラムとして記述してもよいし、これらの機能を兼ね備えた複合プログラムとして記述してもよい。プログラム２は、例えば車両１０の記憶装置１４や端末２０の記憶装置２４にインストールされる。なお、本実施例の配信手段３及び生成手段４は、端末２０においては機能しないものとする。
　配信手段３は、車両１０に搭載される撮像装置１８で撮影された車両周辺映像をチャットグループに配信する機能を持つ。車両１０においては、例えば複数の撮像装置１８の各々で撮影された車両周辺映像が配信手段３を介して配信される。本実施例の配信手段３は、生成手段４で生成された車両１０の俯瞰映像も併せてチャットグループに配信する。メッセージ，地図画像，走行情報の配信は、配信手段３とは別の手段で賄ってもよいし、すべての情報配信を配信手段３に担当させてもよい。チャットグループが複数の車両１０の乗員を含む場合には、各々の車両１０において配信手段３がその車両１０で得られた車両周辺映像を配信する。
　生成手段４は、車両１０に搭載された複数の撮像装置１８で撮影された車両周辺映像に基づき、車両１０の俯瞰映像を生成する機能を持つ。俯瞰映像とは、複数の撮像装置１８が設置されている位置とは異なる位置（視点）から任意の方向（視線方向）を眺めたときの景色を二次元平面に投影したものに相当する映像であり、公知の画像処理手法を用いて生成可能である（例えば、特開2002-109697号公報参照）。また、生成手段４は、俯瞰映像の視点及び視線方向に基づき、俯瞰映像上における車両１０のＣＧ画像を合成する機能を持つ。すなわち、撮像装置１８の車両周辺映像内には映り込むことがない車両１０をＣＧ画像として俯瞰映像の中に合成し、俯瞰映像のリアリティを向上させる。
　制御手段５は、車両１０内の端末１０′及びユーザの端末２０のチャット画面上に、チャットグループ内で交わされるメッセージと車両周辺映像とを表示させる機能を持つ。車両１０においては、自車両の撮像装置１８で撮影された車両周辺映像や俯瞰映像がチャット画面上に表示可能とされる。また、端末２０においては、ネットワーク４０を介して配信された車両周辺映像や俯瞰映像がチャット画面上に表示可能とされる。また、メッセージ及び車両周辺映像だけでなく、その車両周辺映像が撮影された車両１０の位置情報を含む地図画像も併せてチャット画面上に表示可能とされる。
　チャット画面に表示される情報の種類は、車両１０の乗員や端末２０のユーザが自由に選択して設定できるようにしてもよい。例えば、チャット画面の表示モードとして以下の三種類のモードを用意しておき、車両１０の乗員や端末２０のユーザの操作に応じて、制御手段５がいずれか一つを選択するようにしてもよい。
　・メッセージと車両周辺映像とを同時に表示させる第一モード
　・メッセージと地図画像とを同時に表示させる第二モード
　・メッセージと車両周辺映像と地図画像とを同時に表示させる第三モード
　なお、チャットグループが複数の車両１０の乗員を含む場合には、各々の車両１０から配信される車両周辺映像のいずれかを、車両１０の乗員や端末２０のユーザが自由に選択して視聴できるようにしてもよい。
［３．フローチャート］
　図４は、情報の配信に係る制御の流れを示すフローチャートであり、車両１０で実行される。ステップＡ１では、プログラム２が車両１０の位置情報と走行情報とを取得する。位置情報は測位装置１６で検出され、走行情報は図示しないセンサ類で検出される。入力装置１３やマイク１９で検出されたメッセージ（文字，絵文字，音声等）がある場合には、プログラム２がそれらの情報も取得する。
　ステップＡ２では、プログラム２が撮像装置１８で撮影された車両周辺映像を取得する。ここでは、複数の撮像装置１８の各々で撮影された複数の車両周辺映像が個別に取得される。続くステップＡ３では、生成手段４が複数の車両周辺映像に基づいて車両１０の俯瞰映像を生成する。このとき、車両１０のＣＧ画像を俯瞰映像上に合成してもよい。その後のステップＡ４では、配信手段３が走行情報，メッセージ，地図画像，映像（実像やその加工映像）をチャットグループに配信する。
　図５は、情報の表示に係る制御の流れを示すフローチャートであり、車両１０（図４のステップＡ４で情報を配信した車両１０とは異なる車両１０，以下「第二車両１０」ともいう）や端末２０で実行される。ステップＡ５では、プログラム２がネットワーク４０を介して走行情報，メッセージ，地図画像，映像（実像やその加工映像）を取得する。入力装置１３，２３やマイク１９，２９で検出されたメッセージ（文字，絵文字，音声等）がある場合には、プログラム２がそれらの情報も取得する。
　ステップＡ６では、複数の車両１０が車両周辺映像をチャットグループに配信している場合に、プログラム２がいずれかの車両周辺映像を選択する。例えば、車両１０の乗員や端末２０のユーザの操作に応じて、いずれかの車両周辺映像が選択される。また、ステップＡ７では、車両１０の乗員や端末２０のユーザの操作に応じて、第一モード，第二モード，第三モードの中からいずれかの表示モードを選択する。その後のステップＡ８では、制御手段５がチャット画面上にメッセージ等を表示させる。
［４．表示例］
　図６（Ａ）～（Ｃ）は、チャット画面の表示例を示す模式図であり、図６（Ａ）は第一モード，図６（Ｂ）は第二モード，図６（Ｃ）は第三モードの表示例である。
　第一モードでは、図６（Ａ）中に示すように、チャットグループ内のメッセージ５３と車両１０が配信する車両周辺映像５４とが同時に表示される。例えば、チャット画面が上下に二分割され、下画面にメッセージ５３が表示される。上画面には、車両１０の前方カメラで撮影された実像が車両周辺映像５４として表示される。このとき、好ましくは車両１０の走行情報５５が同時に表示される。例えば、車速やエンジン回転速度の情報が車両周辺映像５４の上に重ねて表示される。なお、チャットグループ内のユーザを表すアイコン（例えば、自己アイコン５１や他者アイコン５２）をチャット画面に同時に表示させてもよい。
　第二モードでは、図６（Ｂ）に示すように、チャットグループ内のメッセージ５３と車両１０の位置情報を含む地図画像５６とが同時に表示される。例えば、チャット画面が上下に二分割され、下画面にメッセージ５３が表示される。上画面には、車両１０の現在位置を中心とした周囲を示す地図画像５６が表示される。このとき、地図画像５６中における車両１０の位置に、自動車を模したアイコンを表示してもよい。地図画像５６の縮尺は、チャット画面を閲覧しているユーザ（または乗員）が変更できるようにしてもよい。
　第三モードでは、図６（Ｃ）に示すように、チャットグループ内のメッセージ５３と車両１０が配信する車両周辺映像５７と地図画像５６とが同時に表示される。例えば、チャット画面が上下に三分割され、下画面にメッセージ５３が表示されるとともに、中央画面に地図画像５６が表示される。上画面には、例えば複数の撮像装置１８で撮影された車両周辺映像に基づいて生成された俯瞰映像が車両周辺映像５７として表示される。好ましくは、車両１０の走行情報５５が同時に車両周辺映像５７の上に重ねて表示される。なお、車両周辺映像５７の代わりに、図６（Ａ）中に示すような車両周辺映像５４を上画面に表示させてもよい。
［５．作用，効果］
　（１）本実施例のビデオチャットシステム１は、車載コンピュータ（端末１０′）が搭載された車両１０の乗員と端末２０を使用するユーザとを含むチャットグループにおけるコミュニケーションを支援するためのビデオチャットシステム１である。このビデオチャットシステム１は、車両１０に搭載される撮像装置１８で撮影された車両周辺映像をチャットグループに配信する配信手段３と、車両１０内の端末１０′及びユーザの端末２０のチャット画面上に、チャットグループ内で交わされるメッセージと車両周辺映像とを表示させる制御手段５と、を備える。
　また、本実施例のプログラム２は、車載コンピュータ（端末１０′）が搭載された車両１０の乗員と端末２０を使用するユーザとを含むチャットグループにおけるコミュニケーションを支援するためのプログラム２である。このプログラム２は、車両１０に搭載される撮像装置１８で撮影された車両周辺映像をチャットグループに配信し、車両１０内の端末１０′またはユーザの端末２０のチャット画面上に、チャットグループ内で交わされるメッセージと車両周辺映像とを表示させる処理をコンピュータ（電子制御装置１１，２１）に実行させる。
　上記のビデオチャットシステム１やプログラム２によれば、車両１０に搭載される撮像装置１８で撮影された車両周辺映像をチャット画面上に表示させることで、車両１０の乗員が見ているリアルな景色や環境の様子をチャットグループに提示でき、ドライブの臨場感や楽しさを共有できる。また、文字や絵文字によるコミュニケーションと比較して、仮想ドライブ体験のリアリティを向上させることができる。したがって、良好なコミュニケーションを実現できる。
　例えば、車両１０の乗員が一人でドライブしているときに、チャットグループ内の友人と楽しくチャットをすることができる。また、端末２０のユーザは、車両１０の乗員が見ているリアルな景色や環境の様子を見ることができ、実際に車両１０に同乗しているような気分を味わうことができる。なお、高齢者や運転初心者が車両１０を運転する際には、上記のビデオチャットシステム１やプログラム２を活用することで、見守りサービスのような遠隔でのモニタリングや声掛けを実現でき、運転者の心理的負担や技術的負荷を軽減できる。
　（２）図６（Ｂ）に示すように、本実施例の制御手段５は、チャット画面上に車両１０の位置情報を含む地図画像５６を表示させることができる。このような構成により、車両１０のリアルな現在位置をチャットグループ内で高精度に共有でき、ドライブの臨場感を高めることができる。また、例えば端末２０のユーザは、地図画像５６を見ながら車両１０の乗員に行き先や目的地についての質問を投げかけたり、通過ルートについての要望を伝えたりすることが容易となる。したがって、良好なコミュニケーションを実現できる。
　（３）図６（Ａ）～（Ｃ）に示すように、本実施例の制御手段５は、チャット画面の表示について、乗員やユーザの操作に応じて第一モードと第二モードと第三モードとのいずれか一つを表示させることができる。このような構成により、臨場感に優れた第一モード，情報量の多い第二モード，これらをバランス良く両立させた第三モードのいずれかを、車両１０の乗員や端末２０のユーザが自由に選択できるようになり、利便性を向上させることができる。
　（４）図５に示すように、本実施例では、複数の車両１０が車両周辺映像をチャットグループに配信している場合に、いずれかの車両周辺映像を選択できる。言い換えれば、チャットグループが車両１０とは異なる第二車両１０の乗員（第二乗員）を含むビデオチャットシステム１は、第二車両１０に搭載される第二撮像装置１８で撮影された第二車両周辺映像をチャットグループに配信する第二配信手段３を備えうる。また、第二車両１０の制御手段５は、乗員または第二乗員またはユーザの操作に応じて、車両周辺映像と第二車両周辺映像とのいずれか一方を選択的に表示させうる。
　このような構成により、一つのチャットグループ内で複数のドライブ環境を共有でき、良好なコミュニケーションを実現できるとともに、利便性をさらに向上させることができる。また、端末２０のユーザは、あたかも複数のテレビ番組をザッピングしながら鑑賞するかの如く、視聴対象を車両１０と第二車両１０とに瞬時に変更できる。したがって、実際のドライブでは実現しえない濃密な仮想ドライブ体験を達成できる。
　（５）本実施例には、車両１０に搭載された複数の撮像装置１８で撮影された車両周辺映像に基づき、車両１０の俯瞰映像を生成する生成手段４が設けられる。制御手段５は、例えば図６（Ｃ）に示すように、生成手段４で生成された俯瞰映像をチャット画面上に表示させることが可能である。このような構成により、俯瞰映像をチャットグループに配信することができ、仮想ドライブ体験のリアリティをさらに向上させることができる。また、撮像装置１８で撮影された車両周辺映像をそのまま提示した場合と比較して、自然な視界で車両１０のドライブ環境を広く見渡すことができる。したがって、ドライブの臨場感をさらに高めることができ、より良好なコミュニケーションを実現できる。
　（６）図６（Ｃ）に示すように、本実施例の生成手段４は、俯瞰映像の視点及び視線方向に基づいて、俯瞰映像上における車両１０のＣＧ画像を合成することが可能である。このような構成により、俯瞰映像のリアリティを向上させることができ、例えば本物の車両１０を斜め後方上空から眺めているかのような臨場感を高めることができる。したがって、より良好なコミュニケーションを実現できる。
　（７）本実施例の制御手段５は、チャット画面上に、車両１０の走行状態を表す走行情報を表示させることが可能である。例えば図６（Ａ），（Ｃ）に示すように、車速やエンジン回転速度等の走行情報５５が車両周辺映像５４，５７の上に重ねて表示される。このような構成により、車両１０の走行状態をチャットグループ内で高精度に共有でき、ドライブの臨場感や、仮想ドライブ体験のリアリティを向上させることができる。したがって、良好なコミュニケーションを実現できる。
［６．その他］
　上記の実施例はあくまでも例示に過ぎず、本実施例で明示しない種々の変形や技術の適用を排除する意図はない。本実施例の各構成は、それらの趣旨を逸脱しない範囲で種々変形して実施できる。また、本実施例の各構成は必要に応じて取捨選択でき、あるいは、公知技術に含まれる各種構成と適宜組み合わせることができる。
　例えば、上記の実施例では、車両１０及び端末２０の各々にインストールされたプログラム２が協同して実行される構成を例示したが、このような構成の代わりに、サーバ３０のみにプログラム２をインストールし、このプログラム２に車両１０や端末２０を制御させてもよい。言い換えれば、車両１０の電子制御装置１１や端末２０の電子制御装置２１の代わりに、サーバ３０の電子制御装置３１を制御主体としてもよい。少なくとも、ビデオチャットシステム１内に配信手段３と制御手段５とを設けることで、上述の実施例と同様の作用，効果を獲得できる。
　また、上記の実施例では、車載コンピュータとしての端末１０′及び端末２０を含むビデオチャットシステム１を例示したが、端末１０′の代わりに車両１０の乗員が所持する端末２０を利用したビデオチャットシステム１を構築してもよい。すなわち、車両１０の乗員がチャットを行う際に使用するコンピュータは、車両１０に搭載される端末１０′であってもよいし、車両１０から独立したスマートフォンなどの端末２０であってもよい。
［７．付記］
　上記の実施例や変形例に関して、以下の付記を開示する。
　［付記１］
　車載コンピュータが搭載された車両の乗員と、前記車両の乗員ではないユーザとを含むチャットグループにおけるコミュニケーションを支援するためのビデオチャットシステムであって、
　前記車両に搭載される撮像装置で撮影された車両周辺映像を前記チャットグループに配信する配信手段と、
　前記車両内の端末及び前記ユーザの端末のチャット画面上に、前記チャットグループ内で交わされるメッセージと前記車両周辺映像とを表示させる制御手段と、
を備えることを特徴とする、ビデオチャットシステム。
　［付記２］
　前記制御手段が、前記チャット画面上に、前記車両の位置情報を含む地図画像を表示させる
ことを特徴とする、付記１記載のビデオチャットシステム。
　［付記３］
　前記チャット画面が、前記メッセージ及び前記車両周辺映像を同時に表示させる第一モードと、前記メッセージ及び前記地図画像を同時に表示させる第二モードと、前記メッセージ及び前記車両周辺映像及び前記地図画像を同時に表示させる第三モードとを有し、
　前記制御手段が、前記乗員または前記ユーザの操作に応じて、前記第一モードと前記第二モードと前記第三モードとのいずれか一つを選択する
ことを特徴とする、付記２記載のビデオチャットシステム。
　［付記４］
　前記チャットグループが前記車両とは異なる第二車両の第二乗員を含む前記ビデオチャットシステムであって、
　前記第二車両に搭載される第二撮像装置で撮影された第二車両周辺映像を前記チャットグループに配信する第二配信手段を備え、
　前記制御手段が、前記乗員または前記第二乗員または前記ユーザの操作に応じて、前記車両周辺映像と前記第二車両周辺映像とのいずれか一方を選択的に表示させる
ことを特徴とする、付記１～３のいずれか一項に記載のビデオチャットシステム。
　［付記５］
　前記車両に搭載された複数の前記撮像装置で撮影された車両周辺映像に基づき、前記車両の俯瞰映像を生成する生成手段を備え、
　前記制御手段が、前記チャット画面上に、前記俯瞰映像を表示させる
ことを特徴とする、付記１～４のいずれか一項に記載のビデオチャットシステム。
　［付記６］
　前記生成手段が、前記俯瞰映像の視点及び視線方向に基づき、前記俯瞰映像上における前記車両のＣＧ画像を合成する
ことを特徴とする、付記５記載のビデオチャットシステム。
　［付記７］
　前記制御手段が、前記チャット画面上に、前記車両の走行状態を表す走行情報を表示させる
ことを特徴とする、付記１～６のいずれか一項に記載のビデオチャットシステム。
　［付記８］
　車載コンピュータが搭載された車両の乗員と、前記車両の乗員ではないユーザとを含むチャットグループにおけるコミュニケーションを支援するためのプログラムであって、
　前記車両に搭載される撮像装置で撮影された車両周辺映像を前記チャットグループに配信し、
　前記車両内の端末及び前記ユーザの端末のチャット画面上に、前記チャットグループ内で交わされるメッセージと前記車両周辺映像とを表示させる
処理をコンピュータに実行させる、プログラム。
　［付記９］
　前記チャット画面上に、前記車両の位置情報を含む地図画像を表示させる
処理をコンピュータに実行させる、付記８記載のプログラム。
　［付記１０］
　前記チャット画面が、前記メッセージ及び前記車両周辺映像を同時に表示させる第一モードと、前記メッセージ及び前記地図画像を同時に表示させる第二モードと、前記メッセージ及び前記車両周辺映像及び前記地図画像を同時に表示させる第三モードとを有し、
　前記乗員または前記ユーザの操作に応じて、前記第一モードと前記第二モードと前記第三モードとのいずれか一つを選択する
処理をコンピュータに実行させる、付記９記載のプログラム。
　［付記１１］
　前記チャットグループが前記車両とは異なる第二車両の第二乗員を含み、
　前記第二車両に搭載される第二撮像装置で撮影された第二車両周辺映像を前記チャットグループに配信し、
　前記乗員または前記第二乗員または前記ユーザの操作に応じて、前記車両周辺映像と前記第二車両周辺映像とのいずれか一方を選択的に表示させる
処理をコンピュータに実行させる、付記８～１０のいずれか一項に記載のプログラム。
　［付記１２］
　前記車両に搭載された複数の前記撮像装置で撮影された車両周辺映像に基づき、前記車両の俯瞰映像を生成し、
　前記チャット画面上に、前記俯瞰映像を表示させる
処理をコンピュータに実行させる、付記８～１１のいずれか一項に記載のプログラム。
　［付記１３］
　前記俯瞰映像の視点及び視線方向に基づき、前記俯瞰映像上における前記車両のＣＧ画像を合成する
処理をコンピュータに実行させる、付記１２記載のプログラム。
　［付記１４］
　前記チャット画面上に、前記車両の走行状態を表す走行情報を表示させる
処理をコンピュータに実行させる、付記８～１３のいずれか一項に記載のプログラム。
　本件は、ビデオチャットシステム及びプログラムの製造産業及びサービス提供事業に利用可能である。また、ビデオチャットシステムに適用される車載コンピュータの製造産業や端末（スマートフォン，デスクトップパソコン，ノートパソコン，ＰＤＡ等）の製造産業やサーバの製造産業に利用可能である。
１　ビデオチャットシステム
２　プログラム
３　配信手段，第二配信手段
４　生成手段
５　制御手段
１０　車両，第二車両
１０′，２０　端末
３０　サーバ
４０　ネットワーク

Claims (8)

  1. 　車載コンピュータが搭載された車両の乗員と、前記車両の乗員ではないユーザとを含むチャットグループにおけるコミュニケーションを支援するためのビデオチャットシステムであって、
    　前記車両に搭載される撮像装置で撮影された車両周辺映像を前記チャットグループに配信する配信手段と、
    　前記車両内の端末及び前記ユーザの端末のチャット画面上に、前記チャットグループ内で交わされるメッセージと前記車両周辺映像とを表示させる制御手段と、
    を備えることを特徴とする、ビデオチャットシステム。
  2. 　前記制御手段が、前記チャット画面上に、前記車両の位置情報を含む地図画像を表示させる
    ことを特徴とする、請求項１記載のビデオチャットシステム。
  3. 　前記チャット画面が、前記メッセージ及び前記車両周辺映像を同時に表示させる第一モードと、前記メッセージ及び前記地図画像を同時に表示させる第二モードと、前記メッセージ及び前記車両周辺映像及び前記地図画像を同時に表示させる第三モードとを有し、
    　前記制御手段が、前記乗員または前記ユーザの操作に応じて、前記第一モードと前記第二モードと前記第三モードとのいずれか一つを選択する
    ことを特徴とする、請求項２記載のビデオチャットシステム。
  4. 　前記チャットグループが前記車両とは異なる第二車両の第二乗員を含む前記ビデオチャットシステムであって、
    　前記第二車両に搭載される第二撮像装置で撮影された第二車両周辺映像を前記チャットグループに配信する第二配信手段を備え、
    　前記制御手段が、前記乗員または前記第二乗員または前記ユーザの操作に応じて、前記車両周辺映像と前記第二車両周辺映像とのいずれか一方を選択的に表示させる
    ことを特徴とする、請求項１記載のビデオチャットシステム。
  5. 　前記車両に搭載された複数の前記撮像装置で撮影された前記車両周辺映像に基づき、前記車両の俯瞰映像を生成する生成手段を備え、
    　前記制御手段が、前記チャット画面上に、前記俯瞰映像を表示させる
    ことを特徴とする、請求項１記載のビデオチャットシステム。
  6. 　前記生成手段が、前記俯瞰映像の視点及び視線方向に基づき、前記俯瞰映像上における前記車両のＣＧ画像を合成する
    ことを特徴とする、請求項５記載のビデオチャットシステム。
  7. 　前記制御手段が、前記チャット画面上に、前記車両の走行状態を表す走行情報を表示させる
    ことを特徴とする、請求項１記載のビデオチャットシステム。
  8. 　車載コンピュータが搭載された車両の乗員と、前記車両の乗員ではないユーザとを含むチャットグループにおけるコミュニケーションを支援するためのプログラムであって、
    　前記車両に搭載される撮像装置で撮影された車両周辺映像を前記チャットグループに配信し、
    　前記車両内の端末及び前記ユーザの端末のチャット画面上に、前記チャットグループ内で交わされるメッセージと前記車両周辺映像とを表示させる
    処理をコンピュータに実行させる、プログラム。
PCT/JP2023/026666 2022-08-08 2023-07-20 ビデオチャットシステム及びプログラム WO2024034350A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-126195 2022-08-08
JP2022126195 2022-08-08

Publications (1)

Publication Number Publication Date
WO2024034350A1 true WO2024034350A1 (ja) 2024-02-15

Family

ID=89851428

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/026666 WO2024034350A1 (ja) 2022-08-08 2023-07-20 ビデオチャットシステム及びプログラム

Country Status (1)

Country Link
WO (1) WO2024034350A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014146333A (ja) * 2013-01-28 2014-08-14 Naver Corp メッセンジャーチャットウィンドウを介したリアルタイム映像共有装置、方法およびコンピュータ読み取り可能な記録媒体
WO2015068501A1 (ja) * 2013-11-08 2015-05-14 本田技研工業株式会社 隊列走行制御装置
US20170274771A1 (en) * 2016-03-24 2017-09-28 Toyota Jidosha Kabushiki Kaisha Wireless Data Sharing Between a Mobile Client Device and a Three-Dimensional Heads-Up Display Unit

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014146333A (ja) * 2013-01-28 2014-08-14 Naver Corp メッセンジャーチャットウィンドウを介したリアルタイム映像共有装置、方法およびコンピュータ読み取り可能な記録媒体
WO2015068501A1 (ja) * 2013-11-08 2015-05-14 本田技研工業株式会社 隊列走行制御装置
US20170274771A1 (en) * 2016-03-24 2017-09-28 Toyota Jidosha Kabushiki Kaisha Wireless Data Sharing Between a Mobile Client Device and a Three-Dimensional Heads-Up Display Unit

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LOVECARS!TV!: "[Drive Live] Finally Coming Back from Fuji Speedway in a Subaru BRZ!", YOUTUBE, XP093139959, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=6siIu-NIaeY> [retrieved on 20240311] *

Similar Documents

Publication Publication Date Title
EP3794851B1 (en) Shared environment for vehicle occupant and remote user
US9616901B2 (en) Mobile object, system, and storage medium
US11410634B2 (en) Information processing apparatus, information processing method, display system, and mobile object
CN107458325A (zh) 用于在自主驾驶运载工具处提供积极信息娱乐的***
US20220068140A1 (en) Shared trip platform for multi-vehicle passenger communication
US11617941B2 (en) Environment interactive system providing augmented reality for in-vehicle infotainment and entertainment
CN109387217A (zh) 导航方法、计算机可读存储介质及导航服务器
CN114201038A (zh) 在车辆乘员之间共享增强现实内容的集成增强现实***
US20210110596A1 (en) Information processing device, information processing method, and program
US10232710B2 (en) Wireless data sharing between a mobile client device and a three-dimensional heads-up display unit
CN115357311A (zh) 出行信息分享方法、装置、计算机设备及存储介质
WO2024034350A1 (ja) ビデオチャットシステム及びプログラム
US20230353616A1 (en) Communication Sessions Between Devices Using Customizable Interaction Environments And Physical Location Determination
US20230386138A1 (en) Virtual environments for autonomous vehicle passengers
CN109669898B (zh) 聚合来自信息娱乐应用程序附件的车辆数据的***和方法
JP2021097407A (ja) 動画配信サーバーおよび動画配信システム
WO2024069779A1 (ja) 制御システム、制御方法、および記録媒体
CN112369051B (zh) 用于车辆乘员和远程用户的共享环境
US20240085976A1 (en) Information processing system
US20240105052A1 (en) Information management device, information management method and storage medium
US20240161428A1 (en) Method and system for presenting a shared virtual environment to users residing in different vehicles, and server unit, user device, and vehicle
JP2024039702A (ja) 情報処理システム
CN117584878A (zh) 用于向用户提供沉浸式体验的方法和***
JP2024038605A (ja) 情報処理システム
JP2006131205A (ja) 各種乗り物の内外における画像のｉ．ｔ管理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23852326

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)