JP2023097576A - Communication system, communication device, server device, communication method, communication program, and storage medium - Google Patents

Communication system, communication device, server device, communication method, communication program, and storage medium Download PDF

Info

Publication number
JP2023097576A
JP2023097576A JP2021213777A JP2021213777A JP2023097576A JP 2023097576 A JP2023097576 A JP 2023097576A JP 2021213777 A JP2021213777 A JP 2021213777A JP 2021213777 A JP2021213777 A JP 2021213777A JP 2023097576 A JP2023097576 A JP 2023097576A
Authority
JP
Japan
Prior art keywords
communication
audio
movement status
visual communication
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021213777A
Other languages
Japanese (ja)
Inventor
廣人 根岸
Hiroto Negishi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Electronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Electronic Corp filed Critical Pioneer Electronic Corp
Priority to JP2021213777A priority Critical patent/JP2023097576A/en
Publication of JP2023097576A publication Critical patent/JP2023097576A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)
  • Telephonic Communication Services (AREA)

Abstract

To provide a communication system, communication device, server device, communication method, communication program, and storage medium that enable management of communication time while sufficiently ensuring a user's convenience and satisfaction in communication between an on-vehicle device inside a mobile body and an external device outside the mobile body.SOLUTION: A communication system performs audio-visual communication in which audio and video in a mobile body acquired by an on-vehicle device that moves with the mobile body are transmitted to an external device. A server includes: a movement status acquisition unit that acquires the movement status of the mobile body; and a termination control unit that terminates the audio-visual communication based on the movement status, in an allotted time during which the on-vehicle device can perform the audio-visual communication when the on-vehicle device starts the audio-visual communication.SELECTED DRAWING: Figure 7

Description

本発明は、通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体に関し、例えば、移動体からの映像及び音声をユーザに提供可能な通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体に関する。 The present invention relates to a communication system, a communication device, a server device, a communication method, a communication program, and a storage medium. It relates to communication programs and storage media.

車両に搭載される車載機と当該車両の外部に位置する車外端末との間で通信を行う通信システムがある。 2. Description of the Related Art There is a communication system that performs communication between an in-vehicle device mounted on a vehicle and an external terminal located outside the vehicle.

例えば、特許文献1には、車両の運転者と車外端末の操作者との間で音声通話を行い、当該音声通話がなされているときに、車両の前方の映像を表す映像データを車載機から車外端末に送信し、当該映像を車外端末に表示させるシステムが開示されている。 For example, in Patent Document 1, a voice call is performed between a driver of a vehicle and an operator of a terminal outside the vehicle. A system is disclosed in which an image is transmitted to a terminal outside the vehicle and the image is displayed on the terminal outside the vehicle.

特開2016-213791号公報JP 2016-213791 A

例えば、特許文献1のシステムを提供する事業者は、利用料の観点から、利用時間に制限を設ける場合が考えられる。このような場合、例えば、制限時間が終了した際に自動的に音声通話や映像の送信が停止されると、利用者にとって切りの良いタイミングで停止されるとは限られず、利用者の利便性や満足度が十分に得られない場合があることが課題の1つとして挙げられる。 For example, it is conceivable that a business operator that provides the system of Patent Literature 1 may limit the usage time from the viewpoint of usage fees. In such a case, for example, if the voice call or video transmission is automatically stopped when the time limit expires, it may not always be stopped at a convenient time for the user. One of the problems is that there are cases where sufficient satisfaction is not obtained.

本発明は上記した点に鑑みてなされたものであり、移動体内の第1装置と移動体外の第2装置との間の通信において、利用者の利便性や満足度を十分に確保しつつ通信時間の管理をすることを可能にする通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体を提供することを目的の1つとしている。 SUMMARY OF THE INVENTION The present invention has been made in view of the above points. One object of the present invention is to provide a communication system, a communication device, a server device, a communication method, a communication program, and a storage medium that enable time management.

請求項1に記載の発明は、移動体と共に移動する第1装置によって取得された前記移動体における音声及び映像を第2装置に送信する音声映像通信を行う通信システムであって、前記移動体の移動状況を取得する移動状況取得部と、前記第1装置が前記音声映像通信を開始すると、前記第1装置が前記音声映像通信を行うことが可能な時間である持ち時間の中で前記移動状況に基づいて前記音声映像通信を終了する終了制御部と、を有することを特徴とする。 The invention according to claim 1 is a communication system for performing audio-visual communication in which audio and video in the mobile body acquired by a first device that moves with the mobile body are transmitted to a second device, wherein the mobile body a movement status acquisition unit that acquires a movement status; and the movement status within a time limit during which the first device can perform the audio-visual communication when the first device starts the audio-visual communication. and a termination control unit for terminating the audiovisual communication based on.

請求項5に記載の発明は、移動体と共に移動する第1装置によって取得された前記移動体における音声及び映像を第2装置に送信する音声映像通信を行う通信システムによって実行される通信方法であって、前記移動体の移動状況を取得する移動状況取得ステップと、前記第1装置が前記音声映像通信を開始すると、前記第1装置が前記音声映像通信を行うことが可能な時間である持ち時間の中で前記移動状況に基づいて前記音声映像通信を終了する終了制御ステップと、を含むことを特徴とする。 The invention according to claim 5 is a communication method executed by a communication system that performs audio-visual communication for transmitting audio and video in the moving body acquired by a first device that moves with the moving body to a second device. a movement status acquisition step of acquiring the movement status of the mobile body; and a time limit, which is a time during which the first device can perform the audio-visual communication when the first device starts the audio-visual communication. and a termination control step of terminating the audiovisual communication based on the movement status.

請求項6に記載の発明は、コンピュータを備え、移動体と共に移動する第1装置によって取得された前記移動体における音声及び映像を第2装置に送信する音声映像通信を行う通信システムによって実行される通信プログラムであって、前記コンピュータに、前記移動体の移動状況を取得する移動状況取得ステップと、前記第1装置が前記音声映像通信を開始すると、前記第1装置が前記音声映像通信を行うことが可能な時間である持ち時間の中で前記移動状況に基づいて前記音声映像通信を終了する終了制御ステップと、を実行させるための通信プログラムである。 The invention according to claim 6 is implemented by a communication system that includes a computer and performs audio-visual communication that transmits audio and video in the moving body acquired by a first device that moves with the moving body to a second device. A communication program comprising: a movement status acquiring step of acquiring the movement status of the mobile body; and a termination control step of terminating the audiovisual communication based on the movement status within the allotted time during which the communication is possible.

請求項7に記載の発明は、コンピュータを備え、移動体と共に移動する第1装置によって取得された前記移動体における音声及び映像を第2装置に送信する音声映像通信を行う通信システムに、前記移動体の移動状況を取得する移動状況取得ステップと、
前記第1装置が前記音声映像通信を開始すると、前記第1装置が前記音声映像通信を行うことが可能な時間である持ち時間の中で前記移動状況に基づいて前記音声映像通信を終了する終了制御ステップと、を実行させるための通信プログラムを記憶するコンピュータ可読記憶媒体である。
According to a seventh aspect of the present invention, there is provided a communication system that includes a computer and performs audio-visual communication for transmitting audio and video in the mobile object acquired by a first device that moves with the mobile object to a second device. a movement status acquisition step of acquiring the movement status of the body;
When the first device starts the audio-visual communication, the audio-visual communication is terminated based on the movement status within a time limit during which the first device can perform the audio-visual communication. A computer readable storage medium storing a communication program for causing the control steps to be performed.

請求項8に記載の発明は、移動体と共に移動し、前記移動体における音声及び映像を取得して他の装置に送信する音声映像通信を行う通信装置であって、前記移動体の移動状況を取得する移動状況取得部と、前記通信装置が前記音声映像通信を開始すると、前記通信装置が前記音声映像通信を行うことが可能な時間である持ち時間の中で前記移動状況に基づいて前記音声映像通信を終了する終了制御部と、を有することを特徴とする。 According to an eighth aspect of the present invention, there is provided a communication device that moves together with a mobile body, acquires voice and video in the mobile body, and performs audio-visual communication for transmitting the voice and video to another device. a movement status acquisition unit that acquires the voice based on the movement status within a time limit during which the communication device can perform the audio-visual communication when the communication device starts the audio-visual communication; and a termination control unit for terminating video communication.

請求項9に記載の発明は、移動体と共に移動する第1装置によって取得された前記移動体における音声及び映像を第2装置に送信する音声映像通信を行うサーバ装置であって、前記移動体の移動状況を取得する移動状況取得部と、前記第1装置が前記音声映像通信を開始すると、前記第1装置が前記音声映像通信を行うことが可能な時間である持ち時間の中で前記移動状況に基づいて前記音声映像通信を終了する終了制御部と、を有することを特徴とする。 According to a ninth aspect of the invention, there is provided a server device that performs audio-visual communication for transmitting audio and video in the moving body acquired by a first device that moves with the moving body to a second device, wherein: a movement status acquisition unit that acquires a movement status; and the movement status within a time limit during which the first device can perform the audio-visual communication when the first device starts the audio-visual communication. and a termination control unit for terminating the audiovisual communication based on.

本発明の実施例に係る通信システムの概略を示す模式図である。1 is a schematic diagram showing an overview of a communication system according to an embodiment of the present invention; FIG. 実施例に係る車両の前席部分の構成を示す図である。It is a figure which shows the structure of the front seat part of the vehicle which concerns on an Example. 実施例に係る車載装置の構成の一例を示すブロック図である。1 is a block diagram showing an example of a configuration of an in-vehicle device according to an embodiment; FIG. 実施例に係るサーバ装置の構成の一例を示すブロック図である。1 is a block diagram showing an example of the configuration of a server device according to an embodiment; FIG. 実施例に係る外部装置の正面図である。1 is a front view of an external device according to an embodiment; FIG. 実施例に係る外部装置の構成の一例を示すブロック図である。1 is a block diagram showing an example of the configuration of an external device according to an embodiment; FIG. 実施例に係る通信システムにおいて行われる通信の一例を示すシーケンス図である。4 is a sequence diagram showing an example of communication performed in the communication system according to the embodiment; FIG. 実施例に係るサーバ装置によって実行されるルーチンの一例を示すフローチャートである。4 is a flow chart showing an example of a routine executed by the server device according to the embodiment; 実施例の変形例に係る車載装置の構成の一例を示すブロック図である。FIG. 11 is a block diagram showing an example of the configuration of an in-vehicle device according to a modified example of the embodiment;

以下に本発明の実施例について詳細に説明する。なお、以下の説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。 Examples of the present invention will be described in detail below. In the following description and accompanying drawings, substantially the same or equivalent parts are denoted by the same reference numerals.

[1.システムの構成]
実施例に係る車載装置10を含む通信システム100の構成について添付図面を参照しつつ説明する。
[1. System configuration]
A configuration of a communication system 100 including an in-vehicle device 10 according to an embodiment will be described with reference to the accompanying drawings.

図1は、本発明の実施例である通信システム100を示している。図1に示すように、通信システム100は、車載装置10、サーバ30及び外部装置40を含んで構成されている。なお、図1においては、車載装置10が移動体の一例としての自動車Mに搭載されている場合を示している。また、図1においては、外部装置40の一例として、スマートフォンを示している。 FIG. 1 shows a communication system 100 that is an embodiment of the invention. As shown in FIG. 1 , the communication system 100 includes an in-vehicle device 10 , a server 30 and an external device 40 . Note that FIG. 1 shows a case in which the in-vehicle device 10 is mounted in an automobile M as an example of a moving body. Further, FIG. 1 shows a smartphone as an example of the external device 40 .

車載装置10、サーバ30及び外部装置40は、ネットワークNWを介して、例えば、TCP/IPや、UDP/IP等の通信プロトコルを用いて相互にデータの送受信が可能になっている。なお、ネットワークNWは、例えば、移動体通信網、Wi-Fi(登録商標)等の無線通信及び有線通信を含むインターネット通信により構築され得る。 The in-vehicle device 10, the server 30, and the external device 40 can mutually transmit and receive data via the network NW using a communication protocol such as TCP/IP or UDP/IP. Note that the network NW can be constructed by Internet communication including, for example, a mobile communication network, wireless communication such as Wi-Fi (registered trademark), and wired communication.

通信システム100において、自動車Mと共に移動する第1装置としての車載装置10によって取得された自動車Mにおける音声及び映像を第2装置としての外部装置40に送信する音声映像通信が可能である。 In the communication system 100, audio-visual communication is possible in which audio and video in the vehicle M acquired by the in-vehicle device 10 as the first device moving with the vehicle M are transmitted to the external device 40 as the second device.

本実施例の通信システム100においては、車載装置10と外部装置40との間で音声通話が確立された上で、車載装置10から自動車Mにおいて撮影された映像が外部装置40に配信される。 In the communication system 100 of the present embodiment, after a voice call is established between the in-vehicle device 10 and the external device 40 , the video captured in the automobile M is distributed from the in-vehicle device 10 to the external device 40 .

以下の説明において、上記のように、車載装置10と外部装置40との間での音声通話を確立させつつ、自動車Mにおいて撮影された映像を車載装置10から外部装置40に配信する通信態様を音声映像通信の一態様としてのビデオ通信と称する。本実施例において、車載装置10と外部装置40とは、サーバ30を介してビデオ通信を行っている。 In the following description, as described above, while a voice call is established between the in-vehicle device 10 and the external device 40, a communication mode in which video captured in the automobile M is distributed from the in-vehicle device 10 to the external device 40 will be described. It is called video communication as one mode of audiovisual communication. In this embodiment, the in-vehicle device 10 and the external device 40 perform video communication via the server 30 .

このようなビデオ通信が行われることで、車載装置10から送信される映像を視聴している外部装置40のユーザは、あたかも移動体の操縦者としての自動車Mの運転者と自動車Mに同乗しているような感覚を得ることができる。言い換えれば、ビデオ通信によって、外部装置40のユーザの自動車Mへの仮想同乗を実現することができる。また、このようなビデオ通信を実現可能な本実施例の通信システム100のようなシステムを仮想同乗システムとも称する。 By performing such video communication, the user of the external device 40 viewing the video transmitted from the in-vehicle device 10 can ride in the vehicle M with the driver of the vehicle M as the operator of the mobile body. You can get the feeling that you are In other words, video communication enables the user of the external device 40 to virtually ride in the car M with the user. A system such as the communication system 100 of this embodiment that can realize such video communication is also called a virtual co-riding system.

以下、実施例においては、車載装置10がカーナビゲーション装置である場合を例に説明する。また、実施例においては、車載装置10が、ユーザが案内を希望する目的地をユーザから受け付け、当該目的地をサーバ30に送信し、サーバ30が目的地への経路を生成する、いわゆるクラウド型のカーナビゲーション装置の端末装置である場合を例に説明する。 In the following embodiments, an example in which the in-vehicle device 10 is a car navigation device will be described. In addition, in the embodiment, the in-vehicle device 10 receives from the user a destination to which the user wishes to be guided, transmits the destination to the server 30, and the server 30 generates a route to the destination. An example of a terminal device for a car navigation device will be described.

本実施例において、例えば、通信システム100の利用者は、通信システム100のサービスを提供する事業者に利用料を支払うことでビデオ通信を行うことができる。本実施例では、例えば、車載装置10のユーザである自動車Mの運転者と、当該事業者との契約によって、車載装置10が行うことのできるビデオ通信の単位期間あたりの利用時間の制限が設けられている場合、言い換えれば、単位期間あたりの持ち時間が決められている場合について説明する。例えば、一ヶ月単位の持ち時間が決められていてもよい。 In this embodiment, for example, a user of the communication system 100 can perform video communication by paying a usage fee to a service provider of the communication system 100 . In the present embodiment, for example, a limit is set on the usage time per unit period of video communication that can be performed by the in-vehicle device 10 according to a contract between the driver of the vehicle M who is the user of the in-vehicle device 10 and the business operator. In other words, a case in which the duration per unit period is determined will be described. For example, the time limit for each month may be determined.

図2は、映像送信装置または映像生成装置としての車載装置10を搭載している自動車Mの前席付近を示す斜視図である。図1では、取り付け例として、自動車Mの前席のダッシュボードDB内に車載装置10が取り付けられている場合を示す。 FIG. 2 is a perspective view showing the vicinity of the front seat of the automobile M equipped with the in-vehicle device 10 as a video transmission device or video generation device. In FIG. 1, as an installation example, the case where the in-vehicle device 10 is installed in the dashboard DB of the front seat of the automobile M is shown.

GPS受信機11は、GPS(Global Positioning System)衛星からの信号(GPS信号)を受信する装置である。GPS受信機11は、例えば、ダッシュボードDB上に配されている。なお、GPS受信機11は、GPS信号が受信できればどこに配されていてもよい。GPS受信機11は、受信したGPS信号を車載装置10に送信することが可能である。 The GPS receiver 11 is a device that receives signals (GPS signals) from GPS (Global Positioning System) satellites. The GPS receiver 11 is arranged on the dashboard DB, for example. The GPS receiver 11 may be placed anywhere as long as it can receive GPS signals. The GPS receiver 11 can transmit the received GPS signal to the in-vehicle device 10 .

車外カメラ13は、自動車Mの前方を撮影する撮像装置である。本実施例において、車外カメラ13は、前方が撮影方向となる様にダッシュボードDBに配されている。例えば、車外カメラ13は、広角カメラであり、フロントガラスを介して自動車Mの前方の広い領域を撮影可能である。なお、車外カメラ13は、ルームミラーRMに設けられても良く、フロントガラスFGの内側に取り付けられていてもよい。 The exterior camera 13 is an imaging device that captures an image of the front of the automobile M. As shown in FIG. In this embodiment, the exterior camera 13 is arranged on the dashboard DB so that the forward direction is the photographing direction. For example, the vehicle exterior camera 13 is a wide-angle camera, and can photograph a wide area in front of the automobile M through the windshield. Note that the exterior camera 13 may be provided on the rearview mirror RM, or may be attached to the inside of the windshield FG.

車内カメラ15は、自動車Mの内部の状況を撮影する撮像装置である。本実施例において、車内カメラ15は、フロントガラスFGの上端または当該上端付近の天井部に設けられており、自動車Mの運転者を撮影可能である。 The in-vehicle camera 15 is an imaging device that captures the situation inside the automobile M. As shown in FIG. In this embodiment, the in-vehicle camera 15 is provided on the upper end of the windshield FG or on the ceiling near the upper end, and is capable of photographing the driver of the automobile M.

ビデオ通信時には、車外カメラ13または車内カメラ15によって撮像された映像が、外部装置40に配信される。 At the time of video communication, images captured by the vehicle exterior camera 13 or the vehicle interior camera 15 are distributed to the external device 40 .

タッチパネル17は、例えば、映像を表示可能な液晶ディスプレイ等のディスプレイとタッチパッドとが組み合わされたタッチパネルモニターである。タッチパネル17は、例えば、ダッシュボードDBのセンターコンソールに配されている。タッチパネル17は、運転者から視認できかつ運転者の手が届く場所に配されていればよい。例えば、タッチパネル17は、ダッシュボードDB上に取り付けられていてもよい。 The touch panel 17 is, for example, a touch panel monitor in which a display such as a liquid crystal display capable of displaying images and a touch pad are combined. The touch panel 17 is arranged, for example, on the center console of the dashboard DB. The touch panel 17 may be arranged at a place that can be visually recognized by the driver and can be reached by the driver. For example, the touch panel 17 may be attached on the dashboard DB.

タッチパネル17は、車載装置10の制御に基づいて画面表示を行うことが可能である。また、タッチパネル17は、ユーザから受け付けたタッチパネル17への入力操作を表す信号を車載装置10に送信することが可能である。例えば、タッチパネル17には、カーナビゲーションの案内表示がなされても良い。また、タッチパネル17を介して、目的地を設定する等、カーナビゲーション機能に関する操作が可能であってもよい。 The touch panel 17 can perform screen display based on the control of the in-vehicle device 10 . Further, the touch panel 17 can transmit to the in-vehicle device 10 a signal representing an input operation to the touch panel 17 received from the user. For example, the touch panel 17 may display guidance for car navigation. In addition, operations related to the car navigation function, such as setting a destination, may be possible via the touch panel 17 .

また、タッチパネル17には、ビデオ通信に関する情報が表示されてもよく、ビデオ通信のための接続(以下、ビデオ接続とも称する)の開始又は終了をするための操作の受付画面が表示されてもよい。自動車Mの乗員はタッチパネル17への入力操作によって、ビデオ通信の接続操作を行ってもよい。 Further, the touch panel 17 may display information related to video communication, and may display an operation reception screen for starting or ending connection for video communication (hereinafter also referred to as video connection). . The occupant of the automobile M may perform a video communication connection operation by performing an input operation on the touch panel 17 .

スピーカ19は、例えば、AピラーAPの室内側に設けられている。スピーカ19は、車載装置10の制御に基づいて音楽や音声等の音を発することが可能である。ビデオ通信時において、スピーカ19からは、音声通話における外部装置40からの音声が発せられる。 The speaker 19 is provided, for example, on the interior side of the A-pillar AP. The speaker 19 can emit sounds such as music and voice under the control of the in-vehicle device 10 . During video communication, the speaker 19 emits sound from the external device 40 in a voice call.

マイク21は、車内の音を受音するマイク装置であり、例えば、ダッシュボードDB上に配されている。マイク21は、車内の音を受音可能であれば、ルームミラーRMまたはハンドル等、どこに設けられていてもよい。ビデオ通信時において、マイク21に収音された音声が音声通話の音声として外部装置40に送信される。また、ビデオ通信の開始又は終了に関する操作入力が、マイク21を介して音声によって行われてもよい。 The microphone 21 is a microphone device that receives sounds inside the vehicle, and is arranged on the dashboard DB, for example. The microphone 21 may be provided anywhere, such as the rearview mirror RM or the steering wheel, as long as it can receive the sound inside the vehicle. During video communication, the sound picked up by the microphone 21 is transmitted to the external device 40 as the sound of the voice call. Also, an operation input for starting or ending video communication may be performed by voice via the microphone 21 .

図3は、車載装置10の構成を示すブロック図である。例えば、車載装置10は、システムバスを介して、記憶部24と、制御部25と、通信部27と、が協働する装置である。 FIG. 3 is a block diagram showing the configuration of the in-vehicle device 10. As shown in FIG. For example, the in-vehicle device 10 is a device in which a storage unit 24, a control unit 25, and a communication unit 27 cooperate via a system bus.

自動車Mには加速度センサ23が搭載されている。加速度センサ23は、自動車Mの加速度を測定可能であり、当該測定された加速度を示す信号を出力可能な例えばMEMS加速度センサであってもよい。なお、加速度センサ23は慣性計測ユニット(IMU:Inertial Measurement Unit)であってもよい。また、加速度センサ23は、車載装置10に内蔵されていてもよい。 The automobile M is equipped with an acceleration sensor 23 . The acceleration sensor 23 may be, for example, a MEMS acceleration sensor capable of measuring the acceleration of the vehicle M and outputting a signal indicating the measured acceleration. Note that the acceleration sensor 23 may be an inertial measurement unit (IMU). Also, the acceleration sensor 23 may be built in the in-vehicle device 10 .

記憶部24は、例えば、ハードディスク装置、SSD(solid state drive)、フラッシュメモリ等により構成される記憶デバイスである。記憶部24は、オペレーティングシステムや、端末用のソフトウェア等の、車載装置10において実行される各種プログラムを記憶する。 The storage unit 24 is, for example, a storage device configured by a hard disk device, SSD (solid state drive), flash memory, or the like. The storage unit 24 stores various programs executed by the in-vehicle device 10, such as an operating system and terminal software.

各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部24に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータが読み取り可能な記録媒体に記録して譲渡することが可能である。 Various programs may be obtained, for example, from another server device or the like via a network, or may be recorded on a recording medium and read via various drive devices. That is, the various programs stored in the storage unit 24 can be transmitted via a network, or recorded on a computer-readable recording medium and transferred.

また、記憶部24は、また、道路地図を含む地図情報を記憶している。また、記憶部24は、車載装置10がビデオ通信を行う相手としての外部装置40の連絡先を示す情報、例えば電話番号又はメールアドレス等の情報を記憶している。また、当該連絡先を示す情報には、外部装置40のユーザである仮想同乗者を識別可能なニックネーム等の識別子が対応付けられていてもよい。 The storage unit 24 also stores map information including road maps. The storage unit 24 also stores information indicating the contact address of the external device 40 with which the in-vehicle device 10 performs video communication, such as information such as a telephone number or an e-mail address. Further, the information indicating the contact information may be associated with an identifier such as a nickname that can identify the virtual fellow passenger who is the user of the external device 40 .

また、記憶部24は、車載装置10がビデオ通信を行うことが可能である持ち時間を記憶している。当該持ち時間は、例えば、自動車Mの運転者が通信システム100によるビデオ通信のサービスの提供者との間の契約において決められている時間である。 The storage unit 24 also stores a time limit during which the in-vehicle device 10 can perform video communication. The allotted time is, for example, the time determined in the contract between the driver of the automobile M and the provider of the video communication service by the communication system 100 .

制御部25は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等により構成され、コンピュータとして機能する。制御部25は、CPUがROMや記憶部24に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。本実施例においては、制御部25によって、ビデオ通信の開始や終了に関する情報を運転者に提示する機能、ビデオ通信時の動画配信機能、カーナビゲーション機能等が発揮される。 The control unit 25 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), etc., and functions as a computer. The control unit 25 realizes various functions by reading and executing various programs stored in the ROM or the storage unit 24 by the CPU. In this embodiment, the control unit 25 performs a function of presenting information regarding the start and end of video communication to the driver, a moving image distribution function during video communication, a car navigation function, and the like.

制御部25は、車載装置10内に設けられているGPS受信機11、車外カメラ13、車内カメラ15、タッチパネル17、スピーカ19、マイク21、及び加速度センサ23と通信可能に接続されている。 The control unit 25 is communicably connected to the GPS receiver 11, the exterior camera 13, the interior camera 15, the touch panel 17, the speaker 19, the microphone 21, and the acceleration sensor 23 provided in the in-vehicle device 10.

制御部25は、車外カメラ13及び車内カメラ15によって撮像された映像を逐次取得する。また、制御部25は、GPS受信機11からの信号及び加速度センサ23によって計測された加速度を示す信号を逐次取得する。 The control unit 25 sequentially acquires images captured by the exterior camera 13 and the interior camera 15 . Also, the control unit 25 sequentially acquires the signal from the GPS receiver 11 and the signal indicating the acceleration measured by the acceleration sensor 23 .

制御部25は、例えば、車載装置10がビデオ通信を開始すると、持ち時間からビデオ通信の開始時点からの経過時間を差し引いた残り時間をカウントする。また、制御部25は、例えば、車載装置10がビデオ通信を終了すると、残り時間のカウントを停止して、ビデオ通信の終了時の残り時間を記憶部24に記憶する。 For example, when the in-vehicle device 10 starts video communication, the control unit 25 counts the remaining time obtained by subtracting the elapsed time from the start of the video communication from the allotted time. Further, for example, when the in-vehicle device 10 ends the video communication, the control unit 25 stops counting the remaining time, and stores the remaining time at the end of the video communication in the storage unit 24 .

通信部27は、制御部25の指示に従って外部機器とのデータの送受信を行う通信装置である。通信部27は、例えば、ネットワークNWに接続するためのNIC(Network Interface Card)である。 The communication unit 27 is a communication device that transmits and receives data to and from an external device according to instructions from the control unit 25 . The communication unit 27 is, for example, a NIC (Network Interface Card) for connecting to the network NW.

通信部27は、上記したネットワークNWに接続されており、種々のデータをサーバ30との間で送受信する。また、通信部27は、サーバ30を介して種々のデータを外部装置40との間で送受信する。 The communication unit 27 is connected to the network NW described above, and transmits and receives various data to and from the server 30 . The communication unit 27 also transmits and receives various data to and from the external device 40 via the server 30 .

通信部27は、例えば、自動車Mの外部又は内部の映像、車載装置10に対してなされた入力操作を示す情報、現在位置情報及び移動経路等の情報をサーバ30に送信する。また、通信部27は、例えば、ビデオ通信に関してタッチパネル17に表示させるための情報をサーバ30から受信する。 The communication unit 27 transmits to the server 30, for example, an image of the exterior or interior of the automobile M, information indicating an input operation performed on the in-vehicle device 10, current position information, movement route, and the like. Further, the communication unit 27 receives, from the server 30, information to be displayed on the touch panel 17 regarding video communication, for example.

制御部25は、ビデオ通信中、通信部27を介して、車外カメラ13又は車内カメラ15によって撮像された映像をサーバ30に逐次送信する。 During video communication, the control unit 25 sequentially transmits images captured by the vehicle exterior camera 13 or the vehicle interior camera 15 to the server 30 via the communication unit 27 .

制御部25は、通信部27を介してサーバ30からビデオ通信の開始や終了に関する表示情報を受信してタッチパネル17に表示させる。また、制御部25は、ビデオ通信の開始や終了に関する情報をスピーカ19から音声によって出力してもよい。 The control unit 25 receives display information regarding the start and end of video communication from the server 30 via the communication unit 27 and causes the touch panel 17 to display the information. Further, the control unit 25 may output information regarding the start and end of the video communication from the speaker 19 by voice.

制御部25は、例えばタッチパネル17又はマイク21を介して受け付けられたビデオ通信の開始や終了に関する指示を示す情報を、通信部27を介してサーバ30に送信可能である。 The control unit 25 can transmit information indicating instructions regarding the start and end of video communication received via the touch panel 17 or the microphone 21 to the server 30 via the communication unit 27, for example.

例えば、車載装置10の制御部25は、通信部27を介して、サーバ30に車載装置10の現在位置を特定可能な位置データとしての位置特定情報、すなわち本実施例では自動車Mの現在位置の情報を送信可能である。また、例えば、制御部25は、通信部27を介して、サーバ30にユーザから入力された目的地を含む情報を送信し、サーバ30から、当該目的地への経路情報またはナビゲーション情報を受信可能である。 For example, the control unit 25 of the in-vehicle device 10 supplies the server 30 via the communication unit 27 with position specifying information as position data capable of specifying the current position of the in-vehicle device 10, that is, the current position of the automobile M in this embodiment. Information can be sent. Further, for example, the control unit 25 can transmit information including the destination input by the user to the server 30 via the communication unit 27, and receive route information or navigation information to the destination from the server 30. is.

制御部25は、通信部27を介して、ビデオ通信における音声通話のために、マイク21によって収音された音声の音声データを外部装置40に送信可能である。また、制御部25は、通信部27を介して、ビデオ通信における音声通話のために、外部装置40に入力された音声の音声データを受信可能である。 The control unit 25 can transmit audio data of audio picked up by the microphone 21 to the external device 40 via the communication unit 27 for voice communication in video communication. Also, the control unit 25 can receive audio data of audio input to the external device 40 for voice communication in video communication via the communication unit 27 .

図4は、サーバ30の構成を示すブロック図である。例えば、サーバ30はシステムバスを介して、記憶部31と、通信部33と、制御部35と、が協働している装置である。 FIG. 4 is a block diagram showing the configuration of the server 30. As shown in FIG. For example, the server 30 is a device in which a storage section 31, a communication section 33, and a control section 35 cooperate via a system bus.

サーバ30は、ビデオ通信中において、車載装置10と外部装置40との間の音声通話を確立し、当該音声通話のデータを転送するSIPサーバのような機能を有している。 The server 30 has a function like a SIP server that establishes a voice call between the in-vehicle device 10 and the external device 40 and transfers data of the voice call during video communication.

また、サーバ30は、車載装置10から自動車Mの位置特定情報及び自動車Mの乗員であるユーザが設定した目的地の情報を受信し、当該位置特定情報及び目的地の情報に基づいて当該目的地への経路を生成する機能を有する。 In addition, the server 30 receives from the in-vehicle device 10 the position specifying information of the vehicle M and the information of the destination set by the user who is the passenger of the vehicle M, and based on the position specifying information and the information of the destination. It has a function to generate a route to

記憶部31は、例えば、ハードディスク装置及びSSD(solid state drive)等により構成されており、オペレーティングシステムや、サーバ30用のソフトウェア等の各種プログラムを記憶する。 The storage unit 31 is configured by, for example, a hard disk device and an SSD (solid state drive), and stores various programs such as an operating system and software for the server 30 .

各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部31に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータが読み取り可能な記録媒体に記録して譲渡することが可能である。 Various programs may be obtained, for example, from another server device or the like via a network, or may be recorded on a recording medium and read via various drive devices. In other words, various programs stored in the storage unit 31 can be transmitted via a network, or can be recorded on a computer-readable recording medium and transferred.

記憶部31は、例えば、サーバ30が、通信システム100におけるビデオ通信の接続の終了に関する制御を行うための通信プログラムを記憶している。 The storage unit 31 stores, for example, a communication program for the server 30 to control termination of video communication connection in the communication system 100 .

また、記憶部31は、道路地図を含む地図情報が保存されている地図情報データベース(図示せず)を記憶している。地図情報データベースの地図情報は、例えばナビゲーション装置に用いられている地図情報と同等の情報を有しているデータベースである。 The storage unit 31 also stores a map information database (not shown) in which map information including road maps is stored. The map information of the map information database is a database having information equivalent to map information used in, for example, a navigation device.

通信部33は、上記したネットワークNWに接続されており、種々のデータを車載装置10及び外部装置40との間で送受信する。 The communication unit 33 is connected to the network NW described above, and transmits and receives various data to and from the in-vehicle device 10 and the external device 40 .

制御部35は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等により構成され、コンピュータとして機能する。そして、CPUが、ROMや記憶部31に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。 The control unit 35 is composed of a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), etc., and functions as a computer. Various functions are realized by the CPU reading and executing various programs stored in the ROM and the storage unit 31 .

制御部35は、上述の通信プログラムを実行することで、通信システム100におけるビデオ通信の接続の終了に関する制御を実現する。 The control unit 35 executes the above-described communication program to implement control related to termination of the video communication connection in the communication system 100 .

制御部35は、移動体の移動状況を取得する移動状況取得部としての走行状況取得部37及びビデオ通信の終了に関する制御を行う終了制御部39を含んでいる。 The control unit 35 includes a travel status acquisition unit 37 as a travel status acquisition unit that acquires the travel status of the mobile body, and an end control unit 39 that performs control related to termination of video communication.

走行状況取得部37は、車載装置10から、自動車Mの走行状況を示す情報を取得して移動状況取得ステップを実行する機能部である。 The travel situation acquisition unit 37 is a functional unit that acquires information indicating the travel situation of the vehicle M from the in-vehicle device 10 and executes a moving situation acquisition step.

走行状況取得部37は、例えば、車載装置10から自動車Mの現在位置情報を取得する。自動車Mの現在位置情報は、例えば、道路地図上の位置を示す情報である。 The travel status acquisition unit 37 acquires the current position information of the vehicle M from the in-vehicle device 10, for example. The current position information of the automobile M is, for example, information indicating the position on a road map.

走行状況取得部37は、例えば、車載装置10からGPS信号を受信し、記憶部31に記憶されている地図情報に基づいて自動車Mの道路地図上の現在位置を特定することで、自動車Mの走行状況を取得してもよい。 For example, the driving situation acquisition unit 37 receives a GPS signal from the in-vehicle device 10, and identifies the current position of the vehicle M on the road map based on the map information stored in the storage unit 31, so that the vehicle M You may acquire a driving|running|working condition.

終了制御部39は、車載装置10がビデオ通信を開始すると、車載装置10がビデオ通信を行うことが可能な時間である持ち時間の中で、自動車Mの走行状況に基づいてビデオ通信を終了する終了制御ステップを実行する機能部である。 When the in-vehicle device 10 starts the video communication, the termination control unit 39 terminates the video communication based on the driving situation of the automobile M within the time limit during which the in-vehicle device 10 can perform the video communication. It is a functional unit that executes the termination control step.

終了制御部39は、例えば、車載装置10がビデオ通信を行うことが可能である持ち時間からビデオ通信の開始時点からの経過時間を差し引いた残り時間が所定時間以下になると、自動車Mの走行状況に基づいてビデオ通信を終了することで、ビデオ通信の終了制御を行う。 For example, when the remaining time obtained by subtracting the elapsed time from the start of the video communication from the allotted time during which the in-vehicle device 10 can perform video communication becomes equal to or less than a predetermined time, the termination control unit 39 End control of the video communication is performed by ending the video communication based on.

例えば、終了制御部39は、自動車Mの走行の際に案内が必要な地点を通過すると、ビデオ通信を終了することで、ビデオ通信の終了制御を行う。当該案内が必要な地点は、例えば交差点であってもよく、例えば踏切等の、走行の際に注意が必要な地点であってもよい。終了制御部39は、例えば、地図情報に基づいて、自動車Mが、当該案内が必要な地点を通過したか否かを判定する。 For example, the termination control unit 39 performs termination control of the video communication by terminating the video communication when the vehicle M passes a point requiring guidance while traveling. The point that requires the guidance may be, for example, an intersection, or a point that requires caution when traveling, such as a railroad crossing. The termination control unit 39 determines whether or not the automobile M has passed through a point that requires the guidance, for example, based on the map information.

このような終了制御を行うことで、例えば、自動車Mの運転者が、ビデオ通信を行って外部装置40のユーザである仮想同乗者による道案内を受けながら自動車Mを運転している際に、例えば土地勘の無いエリア等の案内が必要な地点について案内を受けているタイミングでビデオ通信の接続が切断され、運転に支障が出るような状況を回避することができる。従って、通信システム100の利用者である自動車Mの運転者の及び仮想同乗者の利便性や満足度を損なわずに利用時間の管理をすることができる。 By performing such end control, for example, when the driver of the automobile M is driving the automobile M while performing video communication and receiving route guidance from a virtual fellow passenger who is a user of the external device 40, For example, it is possible to avoid a situation in which the video communication connection is disconnected at the timing when guidance is received for a point requiring guidance, such as an unfamiliar area, which hinders driving. Therefore, the usage time can be managed without impairing the convenience and satisfaction of the driver of the car M who is the user of the communication system 100 and the virtual fellow passenger.

また、例えば、終了制御部39は、自動車Mが目的地に到着すると、ビデオ通信を終了することで、ビデオ通信の終了制御を行ってもよい。この場合にも、運転に支障が出るような状況を回避することができる。当該目的地は施設に限らず、設定された任意の地点や範囲であってよい。 Further, for example, the termination control unit 39 may perform termination control of the video communication by terminating the video communication when the automobile M arrives at the destination. In this case as well, it is possible to avoid a situation that hinders driving. The destination is not limited to a facility, and may be any set point or range.

また、例えば、終了制御部39は、残り時間が所定時間以下である場合に、案内地点の通過の際にはビデオ通信の接続を行い、案内地点を通過していない間はビデオ通信の接続を切断する制御を行ってもよい。それによって、通信時間を節約し、ビデオ通信の終了を遅らせることができる。 Further, for example, when the remaining time is less than or equal to a predetermined time, the termination control unit 39 connects the video communication when passing through the guidance point, and disconnects the video communication while the guidance point is not passed. You may perform control to disconnect. This saves communication time and delays the end of the video communication.

また、制御部35は、通信部33を介して、車載装置10から自動車Mの現在位置を示す位置情報を取得する。また、制御部35は、通信部33を介して、車載装置10から自動車Mの乗員が車載装置10に入力した目的地の情報を取得する。制御部35は、当該位置情報及び目的地の情報に基づいて、当該目的地までの経路を生成し、当該経路を示す情報を車載装置10に送信する。 In addition, the control unit 35 acquires position information indicating the current position of the automobile M from the in-vehicle device 10 via the communication unit 33 . In addition, the control unit 35 acquires destination information input to the in-vehicle device 10 by the occupant of the vehicle M from the in-vehicle device 10 via the communication unit 33 . The control unit 35 generates a route to the destination based on the position information and the destination information, and transmits information indicating the route to the in-vehicle device 10 .

例えば、終了制御部39は、上記の終了制御を行う際に、自動車Mが案内地点を通過するか否かの判定を、経路情報に基づいて行ってもよい。 For example, the termination control unit 39 may determine whether or not the automobile M passes through the guide point based on the route information when performing the termination control described above.

また、制御部35は、通信部33を介して、車載装置10から受信した映像及び音声を外部装置40に転送する。制御部35は、通信部33を介して、外部装置40から受信した音声を車載装置10に転送する。 Also, the control unit 35 transfers the video and audio received from the in-vehicle device 10 to the external device 40 via the communication unit 33 . The control unit 35 transfers the voice received from the external device 40 to the in-vehicle device 10 via the communication unit 33 .

図5は、外部装置40の正面図である。上述のように、本実施例において、外部装置40はスマートフォンである。 FIG. 5 is a front view of the external device 40. FIG. As described above, in this embodiment, the external device 40 is a smart phone.

タッチパネル41は、例えば、映像を表示可能な液晶ディスプレイ等のディスプレイとタッチパッドとが組み合わされたタッチパネルモニターである。タッチパネル41は、ユーザから受け付けたタッチパネル41への入力操作を表す信号を生成することが可能である。本実施例において、タッチパネル41には、車載装置10から配信された映像が表示される。 The touch panel 41 is, for example, a touch panel monitor in which a display such as a liquid crystal display capable of displaying images and a touch pad are combined. The touch panel 41 can generate a signal representing an input operation to the touch panel 41 received from the user. In this embodiment, the touch panel 41 displays an image distributed from the in-vehicle device 10 .

また、タッチパネル41には、ビデオ通信に関する情報が表示され、ビデオ通信の接続を開始するための操作の受付画面が表示される。外部装置40のユーザは、タッチパネル41への入力操作によって、ビデオ通信の開始のための入力続操作を行うことが可能である。 Further, the touch panel 41 displays information related to video communication, and displays an operation reception screen for starting connection of video communication. A user of the external device 40 can perform an input operation for starting video communication by performing an input operation on the touch panel 41 .

スピーカ43は、音楽や音声等の音を発することが可能である。ビデオ通信時において、スピーカ43からは、音声通話における車載装置10からの音声が発せられる。 The speaker 43 can emit sounds such as music and voice. During video communication, the speaker 43 emits sound from the in-vehicle device 10 in a voice call.

マイク45は、外部装置40に向けて発せられた音を受音するマイク装置である。ビデオ通信時において、マイク45によって収音された音声が音声通話の音声としてサーバ30を介して車載装置10に送信される。 The microphone 45 is a microphone device that receives sound emitted toward the external device 40 . During video communication, the sound picked up by the microphone 45 is transmitted to the in-vehicle device 10 via the server 30 as the sound of the voice call.

図6は、外部装置40の構成の一例を示すブロック図である。例えば、外部装置40は、システムバス(図示せず)を介して、記憶部47と、制御部49と、通信部51と、が協働する装置である。 FIG. 6 is a block diagram showing an example of the configuration of the external device 40. As shown in FIG. For example, the external device 40 is a device in which a storage section 47, a control section 49, and a communication section 51 cooperate via a system bus (not shown).

記憶部47は、例えば、ハードディスク装置、SSD(solid state drive)、フラッシュメモリ等により構成されており、オペレーティングシステムや、外部装置40用のソフトウェア等の各種プログラムを記憶する。 The storage unit 47 is configured by, for example, a hard disk device, SSD (solid state drive), flash memory, etc., and stores various programs such as an operating system and software for the external device 40 .

なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部47に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータが読み取り可能な記録媒体に記録して譲渡することが可能である。 Various programs may be acquired from another server device or the like via a network, for example, or may be recorded on a recording medium and read via various drive devices. That is, the various programs stored in the storage unit 47 can be transmitted via a network, or recorded on a computer-readable recording medium and transferred.

制御部49は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等により構成され、コンピュータとして機能する。そして、CPUがROMや記憶部47に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。 The control unit 49 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), etc., and functions as a computer. Various functions are realized by the CPU reading and executing various programs stored in the ROM and the storage unit 47 .

制御部49は、タッチパネル41、スピーカ43及びマイク45に通信可能に接続されている。 The control unit 49 is communicably connected to the touch panel 41 , the speaker 43 and the microphone 45 .

制御部49は、タッチパネル41への入力操作を示す信号及びマイク45からの音声入力信号を受信することが可能である。例えば、制御部49は、タッチパネル41又はマイク45によってユーザからなされたビデオ通信の開始又は終了の要求を受け付けることが可能である。 The control unit 49 can receive a signal indicating an input operation to the touch panel 41 and a voice input signal from the microphone 45 . For example, the control unit 49 can receive a request to start or end video communication from the user via the touch panel 41 or the microphone 45 .

また、制御部49は、タッチパネル41に映像または画像信号を送信して表示をさせたり、スピーカ43に音声信号を送信して、音を出力させたりすることが可能である。 Further, the control unit 49 can transmit video or image signals to the touch panel 41 for display, and can transmit audio signals to the speaker 43 to output sounds.

例えば、制御部49は、ビデオ通信の接続試行の要求を受け付けるための開始画面やビデオ通信の終了の要求を受け付けるための終了画面をタッチパネル41に表示させる。 For example, the control unit 49 causes the touch panel 41 to display a start screen for accepting a request to attempt connection of video communication and an end screen for accepting a request to end video communication.

また、例えば、制御部49は、ビデオ通信中における映像をタッチパネル41に表示させ、自動車Mにおいて収音されたビデオ通信中における音声をスピーカ43に出力させる。 Further, for example, the control unit 49 causes the touch panel 41 to display an image during the video communication, and causes the speaker 43 to output the sound collected in the automobile M during the video communication.

通信部51は、上記したネットワークNWに接続されており、種々のデータをサーバ30との間で送受信する。また、通信部51は、車載装置10から送信された映像を始めとする種々のデータを、サーバ30を介して車載装置10との間で送受信する。 The communication unit 51 is connected to the network NW described above, and transmits and receives various data to and from the server 30 . In addition, the communication unit 51 transmits and receives various data including video transmitted from the in-vehicle device 10 to and from the in-vehicle device 10 via the server 30 .

外部装置40の制御部49は、通信部51を介して、ビデオ通信の接続試行の要求を受け付けるための開始画面やビデオ通信の終了の要求を受け付けるための終了画面を表示させるための情報を受信可能である。 The control unit 49 of the external device 40 receives, via the communication unit 51, information for displaying a start screen for accepting a request for connection attempt of video communication and an end screen for accepting a request for termination of video communication. It is possible.

また、制御部49は、通信部51を介して、ビデオ通信における音声通話のために、マイク45によって収音された音声の音声データを車載装置10に送信可能である。また、制御部49は、通信部51を介して、ビデオ通信における音声通話のために、車載装置10から送信された音声データを受信可能である。 In addition, the control unit 49 can transmit audio data of audio picked up by the microphone 45 to the in-vehicle device 10 via the communication unit 51 for voice communication in video communication. In addition, the control unit 49 can receive voice data transmitted from the in-vehicle device 10 via the communication unit 51 for voice communication in video communication.

例えば、外部装置40の制御部49は、通信部51を介して、サーバ30から車載装置10から送信された自動車Mの現在位置を特定可能な位置特定情報を受信可能である。また、例えば、制御部49は、通信部51を介して、サーバ30から、自動車Mの経路情報またはナビゲーション情報を受信可能である。 For example, the control unit 49 of the external device 40 can receive position specifying information capable of specifying the current position of the vehicle M transmitted from the server 30 from the in-vehicle device 10 via the communication unit 51 . Also, for example, the control unit 49 can receive route information or navigation information of the automobile M from the server 30 via the communication unit 51 .

[2.ビデオ通信のシーケンス]
図7は、通信システム100において車載装置10と外部装置40との間でサーバ30を介して行われるビデオ通信の開始から終了までの通信の一例を示すシーケンス図である。以下、車載装置10のユーザである運転者が、自動車Mを運転する際に外部装置40のユーザである仮想同乗者との間でビデオ通信を行う場合について説明する。
[2. Video communication sequence]
FIG. 7 is a sequence diagram showing an example of communication from start to end of video communication performed via the server 30 between the in-vehicle device 10 and the external device 40 in the communication system 100. As shown in FIG. A case where the driver who is the user of the in-vehicle device 10 performs video communication with the virtual fellow passenger who is the user of the external device 40 when driving the automobile M will be described below.

また、図7において、車載装置10がビデオ通信を行うことが可能な持ち時間から、ビデオ通信の開始時点からの経過時間を差し引いた残り時間が所定時間以下である場合に、サーバ30がビデオ通信の終了のタイミングを決定し、当該決定されたタイミングでビデオ通信を終了する場合について説明する。 Also, in FIG. 7, when the remaining time obtained by subtracting the elapsed time from the start of the video communication from the allotted time during which the in-vehicle device 10 can perform the video communication is equal to or less than the predetermined time, the server 30 performs the video communication. A case will be described in which the end timing of the video communication is determined and the video communication is terminated at the determined timing.

まず、外部装置40は、仮想同乗者からビデオ通信の開始要求を受け付ける(ステップS11)。この開始要求の受付は、例えば、外部装置40のタッチパネル41への操作またはマイク45を介した音声入力操作を受け付けることでなされる。外部装置40は、開始要求を受け付けると、ビデオ通信の開始要求をサーバ30に送信する(ステップS12)。 First, the external device 40 receives a request to start video communication from a virtual fellow passenger (step S11). This start request is accepted, for example, by accepting an operation on the touch panel 41 of the external device 40 or a voice input operation via the microphone 45 . Upon receiving the start request, the external device 40 transmits a video communication start request to the server 30 (step S12).

サーバ30は、ビデオ通信の開始要求を受信すると、外部装置40からのビデオ通信の開始要求があったことを車載装置10に通知する(ステップS13)。ステップS13において、例えば、車載装置10がサーバ30から開始要求の通知を受信すると、ビデオ通信の開始について承諾するか否かの選択ボタンがタッチパネル17に表示される。例えば、運転者が承諾ボタンをタップすると、運転者がビデオ通信の開始を承諾したことを示す承諾通知がサーバ30に送信される(ステップS14)。 When the server 30 receives the video communication start request, the server 30 notifies the in-vehicle device 10 that there is a video communication start request from the external device 40 (step S13). In step S<b>13 , for example, when the in-vehicle device 10 receives a start request notification from the server 30 , a selection button for whether or not to approve the start of video communication is displayed on the touch panel 17 . For example, when the driver taps the consent button, a consent notification indicating that the driver has consented to start video communication is sent to the server 30 (step S14).

サーバ30は、承諾通知を受信すると、ビデオ通信開始処理を実行して車載装置10と外部装置40との間の音声通話を確立させつつ、自動車Mにおいて撮影された映像を車載装置10から外部装置40に送信させる(ステップS15)。このようにして、ビデオ通信が開始される。 When the server 30 receives the acceptance notice, it executes the video communication start process to establish a voice call between the in-vehicle device 10 and the external device 40, and transmits the image shot in the car M from the in-vehicle device 10 to the external device. 40 (step S15). Thus, video communication is initiated.

ビデオ通信が開始されると、サーバ30は、車載装置10がビデオ通信可能な持ち時間から、ビデオ通信の開始時点からの経過時間を差し引いた残り時間を取得する。当該残り時間は、例えば、車載装置10によって逐次算出される。なお、残り時間は、サーバ30が車載装置10から取得した持ち時間に基づいて、サーバ30によって算出されてもよい。 When the video communication is started, the server 30 acquires the remaining time by subtracting the elapsed time from the start of the video communication from the allotted time during which the in-vehicle device 10 can perform the video communication. The remaining time is sequentially calculated by the in-vehicle device 10, for example. Note that the remaining time may be calculated by the server 30 based on the allotted time acquired by the server 30 from the in-vehicle device 10 .

その後、サーバ30は、ビデオ通信の終了タイミングを決定する(ステップS16)。ステップS16において、サーバ30は、自動車Mの走行状況に基づいて、車載装置10がビデオ通信可能な持ち時間の残り時間を考慮したタイミングで、ビデオ通信の終了を決定する。 After that, the server 30 determines the end timing of the video communication (step S16). In step S<b>16 , the server 30 decides to end the video communication based on the running condition of the automobile M at a timing that takes into account the remaining time that the in-vehicle device 10 can perform video communication.

サーバ30は、ビデオ通信の終了タイミングを決定すると、車載装置10及び外部装置40に終了予告を送信する(ステップS17)。 After determining the end timing of the video communication, the server 30 transmits an end notice to the in-vehicle device 10 and the external device 40 (step S17).

その後、ビデオ通信の終了タイミングが到来すると、サーバ30は、ビデオ通信終了処理を実行して車載装置10と外部装置40との間の音声通話を停止させ、自動車Mにおいて撮影された映像の車載装置10から外部装置40への送信を停止させる(ステップS18)。車載装置10は画像及び音声の送信を停止する。このようにして、車載装置10への操作によってビデオ通信が終了される。 After that, when the end timing of the video communication arrives, the server 30 executes the video communication end processing to stop the voice call between the in-vehicle device 10 and the external device 40, and the in-vehicle device of the image photographed in the automobile M. 10 to the external device 40 is stopped (step S18). The in-vehicle device 10 stops transmitting images and sounds. Thus, the video communication is terminated by operating the in-vehicle device 10 .

[3.サーバの動作]
以下、実施例の通信システム100の動作を実現するためのサーバ30の制御ルーチンについて説明する。走行状況取得部37は、例えば、車載装置10と外部装置40との間でサーバ30を介してビデオ通信が開始されると、車載装置10から自動車Mの走行状況を逐次取得するものとして説明する。
[3. Server operation]
A control routine of the server 30 for realizing the operation of the communication system 100 of the embodiment will be described below. For example, when the video communication between the in-vehicle device 10 and the external device 40 is started via the server 30, the driving situation acquiring unit 37 sequentially acquires the driving situation of the automobile M from the in-vehicle device 10. .

図8は、サーバ30の終了制御部39によって実行される終了制御ルーチンRT1を示すフローチャートである。終了制御部39は、例えば、サーバ30は、外部装置40からビデオ通信の開始要求を受信すると、終了制御ルーチンRT1を開始する。 FIG. 8 is a flow chart showing a termination control routine RT1 executed by the termination control section 39 of the server 30. As shown in FIG. For example, when the server 30 receives a video communication start request from the external device 40, the end control unit 39 starts the end control routine RT1.

終了制御部39は、終了制御ルーチンRT1を開始すると、ビデオ通信が開始されたか否かを判定する(ステップS101)。ステップS101における判定は、例えば、車載装置10において、ビデオ通信の接続がなされ、外部装置40との間で通信が確立されているか否かに基づいてなされる。 After starting the termination control routine RT1, the termination control unit 39 determines whether video communication has started (step S101). The determination in step S<b>101 is made, for example, based on whether or not the in-vehicle device 10 is connected for video communication and has established communication with the external device 40 .

ステップS101において、終了制御部39は、ビデオ通信が開始されていないと判定する(ステップS101:NO)と、ステップS101を繰り返し、ビデオ通信が開始されたか否かを再び判定する。 In step S101, when the end control unit 39 determines that video communication has not started (step S101: NO), step S101 is repeated to determine again whether or not video communication has started.

ステップS101において、終了制御部39は、ビデオ通信が開始されたと判定する(ステップS101:YES)と、車載装置10又は外部装置40からビデオ通信の終了要求を受信したか否かを判定する(ステップS102)。 In step S101, when the end control unit 39 determines that video communication has started (step S101: YES), it determines whether or not a video communication end request has been received from the in-vehicle device 10 or the external device 40 (step S102).

ステップS102において、例えば、車載装置10又は外部装置40に対してビデオ通信の終了を指示する入力操作が行われると、車載装置10又は外部装置40によってビデオ通信の終了要求が受付けられ、当該終了通知がサーバ30に送信される。 In step S102, for example, when an input operation is performed to instruct the in-vehicle device 10 or the external device 40 to end the video communication, the in-vehicle device 10 or the external device 40 accepts the request to end the video communication, and the end notification is sent. is sent to the server 30 .

ステップS102において、終了制御部39は、終了要求を受信していないと判定する(ステップS102:NO)と、車載装置10によるビデオ通信が可能な持ち時間から、ビデオ通信の開始時点からの経過時間を差し引いた残り時間を取得する(ステップS103)。 In step S102, when the termination control unit 39 determines that the termination request has not been received (step S102: NO), the elapsed time from the start of video communication is is acquired (step S103).

ステップS103において、例えば、終了制御部39は、ビデオ通信の開始後、車載装置10の制御部25によってカウントされている残り時間を取得する。 In step S103, for example, the end control unit 39 acquires the remaining time counted by the control unit 25 of the in-vehicle device 10 after the start of the video communication.

上述したように、当該持ち時間は、例えば、自動車Mの運転者が通信システム100によるビデオ通信のサービスの提供者との間の契約において決められている時間である。また、例えば、当該持ち時間は、契約時に決められた時間から、既に車載装置10がビデオ通信を行った時間を差し引いた時間であってもよい。 As described above, the allotted time is, for example, the time determined in the contract between the driver of the automobile M and the provider of the video communication service by the communication system 100 . Further, for example, the allotted time may be the time obtained by subtracting the time during which the in-vehicle device 10 has already performed video communication from the time determined at the time of contract.

ステップS103の実行後、終了制御部39は、残り時間が所定時間以下か否かを判定する(ステップS104)。ステップS104における判定の基準となる所定時間は、持ち時間が経過する前に、案内が終了したタイミング等の切りの良いタイミングでビデオ通信を終了させるための猶予期間であり、例えば、10~30分程度の時間が予め設定される。 After executing step S103, the end control unit 39 determines whether or not the remaining time is equal to or less than a predetermined time (step S104). The predetermined time, which is the criterion for determination in step S104, is a grace period for ending the video communication at a good timing such as when the guidance ends before the allotted time elapses, for example, 10 to 30 minutes. A certain amount of time is set in advance.

当該所定時間は、例えば、自動車Mが走行するエリア毎に異なる時間が設定されていてもよい。また、例えば、当該所定時間は、ビデオ通信のユーザ毎に異なる時間が設定されていてもよく、ユーザ自身が設定できるようにしてもよい。 The predetermined time may be set differently for each area in which the automobile M travels, for example. Further, for example, the predetermined time may be set differently for each video communication user, or may be set by the user himself/herself.

ステップS104において、終了制御部39は、残り時間が所定時間以下ではないと判定する(ステップS104:NO)と、ステップS102に戻り、終了要求を受信したか否かを再び判定する。 In step S104, when the end control unit 39 determines that the remaining time is not equal to or less than the predetermined time (step S104: NO), the process returns to step S102 and determines again whether or not an end request has been received.

ステップS104において、終了制御部39は、残り時間が所定時間以下であると判定する(ステップS104:YES)と、自動車Mが次に通過する案内地点を特定する(ステップS105)。ステップS105において、終了制御部39は、走行状況取得部37が取得した自動車Mの走行状況に基づいて、自動車Mが次に通過する案内地点を特定する。 In step S104, when the end control unit 39 determines that the remaining time is equal to or less than the predetermined time (step S104: YES), it identifies the guidance point through which the vehicle M will pass next (step S105). In step S<b>105 , the end control unit 39 specifies the next guidance point that the vehicle M will pass through based on the driving conditions of the vehicle M acquired by the driving condition acquisition unit 37 .

ステップS105において、例えば、自動車Mの道路地図上の現在位置に基づいて、次に通過する交差点が、次に通過する案内地点として特定される。また、ステップS105において、自動車Mの走行予定経路に基づいて、次に通過する案内地点が特定されてもよい。 In step S105, for example, based on the current position of the vehicle M on the road map, the next intersection to be passed is specified as the next guidance point. Further, in step S105, based on the planned travel route of the automobile M, the next guidance point to be passed may be identified.

ステップS105の実行後、終了制御部39は、ビデオ通信の終了予告を車載装置10及び外部装置40に送信する(ステップS106)。ステップS106において、例えば、次に通過する案内地点を示す情報及びビデオ通信の終了予定時刻を示す情報を含む終了予告が送信される。 After executing step S105, the end control unit 39 transmits a video communication end notice to the in-vehicle device 10 and the external device 40 (step S106). In step S106, for example, an end notice including information indicating the next guidance point to be passed and information indicating the scheduled end time of the video communication is transmitted.

ステップS106の実行後、終了制御部39は、ステップS105において特定された次の案内地点を自動車Mが通過したか否かを判定する(ステップS107)。ステップ107において、例えば、自動車Mの走行状況に基づいて、自動車Mが次の案内地点を通過したか否かが判定される。 After executing step S106, the end control unit 39 determines whether or not the automobile M has passed the next guidance point specified in step S105 (step S107). At step 107, for example, it is determined whether or not the vehicle M has passed the next guide point, based on the running condition of the vehicle M.

ステップS107において、終了制御部39は、自動車Mが次の案内地点を通過していないと判定する(ステップS107:NO)と、ステップS107を繰り返し実行し、自動車Mが次の案内地点を通過したか否かを再び判定する。 In step S107, when the termination control unit 39 determines that the vehicle M has not passed the next guidance point (step S107: NO), it repeats step S107 and the vehicle M has passed the next guidance point. It is determined again whether or not

終了制御部39は、ステップS107において、自動車Mが次の案内地点を通過したと判定する(ステップS107:YES)と、ビデオ通信の終了処理を実行して、ビデオ通信の接続を切断する(ステップS108)。 When the end control unit 39 determines in step S107 that the vehicle M has passed the next guidance point (step S107: YES), it executes video communication end processing to disconnect the video communication (step S107: YES). S108).

終了制御部39は、ステップS102において、車載装置10又は外部装置40からビデオ通信の終了要求を受信したと判定した(ステップS102:YES)場合にも、ビデオ通信の終了処理を実行して、ビデオ通信の接続を切断する(ステップS108)。 If the termination control unit 39 determines in step S102 that a video communication termination request has been received from the in-vehicle device 10 or the external device 40 (step S102: YES), the termination control unit 39 also executes video communication termination processing to terminate the video communication. The communication connection is disconnected (step S108).

ステップS108の実行後、終了制御部39は、終了制御ルーチンRT1を終了して次の終了制御ルーチンRT1を繰り返し実行する。 After executing step S108, the end control unit 39 ends the end control routine RT1 and repeatedly executes the next end control routine RT1.

ステップS103~ステップS107において、終了制御部39は、車載装置10がビデオ通信を開始すると、車載装置10がビデオ通信を行うことが可能である持ち時間の中で、自動車Mの走行状況に基づいて当該ビデオ通信を終了する終了制御ステップを実行する。 In steps S103 to S107, when the in-vehicle device 10 starts video communication, the end control unit 39 determines whether the vehicle M is running within the time limit during which the in-vehicle device 10 can perform video communication. Execute a termination control step for terminating the video communication.

終了制御ルーチンRT1によれば、自動車Mの走行状況に基づいて、車載装置10がビデオ通信を行うことが可能である持ち時間が終了するまでの適切なタイミングで、自動的にビデオ通信を終了することができる。例えば、持ち時間の終了によって、案内の途中でビデオ通信が終了されることを防止することができる。 According to the termination control routine RT1, the video communication is automatically terminated at an appropriate timing until the time allotted for video communication by the in-vehicle device 10 is terminated, based on the running condition of the vehicle M. be able to. For example, it is possible to prevent the video communication from ending during guidance due to the end of the allotted time.

なお、ステップS106において、車載装置10にビデオ通信の終了予告が送信されると、車載装置10のタッチパネル17に、残り時間を示す表示がなされるようにしてもよく、スピーカ19から、残り時間をアナウンスする音声が出力されるようにしてもよい。また、ステップS106において、外部装置40にビデオ通信の終了予告が送信されると、残り時間を示す表示が外部装置40のタッチパネル41に表示されてもよく、スピーカ43から音声によって仮想同乗者に提示されてもよい。 In step S106, when the advance notice of the end of the video communication is transmitted to the in-vehicle device 10, the remaining time may be displayed on the touch panel 17 of the in-vehicle device 10, and the remaining time is displayed from the speaker 19. An announcement voice may be output. Further, in step S106, when the notice of the end of the video communication is transmitted to the external device 40, a display showing the remaining time may be displayed on the touch panel 41 of the external device 40, and presented to the virtual fellow passenger by voice from the speaker 43. may be

なお、本実施例において、残り時間が所定時間以下である場合に、案内地点を通過するときにのみビデオ通信を行うようにして、それ以外はビデオ通信の接続をしないようにすることで、通信時間を節約してもよい。例えば、上記の終了制御ルーチンRT1のステップS108でビデオ通信の接続を切断後、さらに次の案内地点(2つ目の案内地点と称する)を特定し、当該2つ目の案内地点に差し掛かると、ビデオ通信の接続を再開するようにしてもよい。その後、ステップS107と同様に当該2つ目の案内地点を自動車Mが通過したか否かを判定し、通過すると、再びステップS108を実行して、ビデオ通信の接続を切断するようにしてもよい。 In this embodiment, when the remaining time is less than the predetermined time, the video communication is performed only when passing through the guide point, and the video communication is not connected at other times. You may save time. For example, after disconnecting the video communication in step S108 of the termination control routine RT1, the next guidance point (referred to as the second guidance point) is specified, and when the second guidance point is approached, , the video communication connection may be resumed. Thereafter, it is determined whether or not the vehicle M has passed the second guidance point in the same manner as in step S107, and if it passes, step S108 may be executed again to disconnect the video communication connection. .

また、本実施例において、運転の支障になり難いタイミングでビデオ通信を終了するための方法の一例として、案内地点を通過後にビデオ通信を終了することで、案内地点の途中での終了を避けることについて説明したが、これに限られない。例えば、運転操作の際に運転者にかかる負荷を示すワークロードが低くなり得るタイミング又は地点を特定して、そのようなタイミング又はそのような地点を自動車Mが通過するタイミングでビデオ通信を終了するように制御してもよい。 Also, in this embodiment, as an example of a method for ending video communication at a timing that is unlikely to interfere with driving, the video communication is ended after passing the guidance point, thereby avoiding ending in the middle of the guidance point. has been described, but it is not limited to this. For example, a timing or a point at which the workload indicating the load on the driver during driving operation may become low is specified, and the video communication is terminated at such timing or at the timing when the automobile M passes such a point. can be controlled as follows.

例えば、終了制御部39は、ワークロードが低くなると推定される自動車Mの信号待ちのタイミングを予測して、当該予測された信号待ちのタイミングでビデオ通信を終了するように制御してもよい。 For example, the end control unit 39 may predict the signal waiting timing of the automobile M, which is estimated to be low in workload, and control the video communication to end at the predicted signal waiting timing.

例えば、終了制御部39は、ワークロードが低くなる地点と推定される、自動車Mが走行予定の直線の続く道路を特定し、当該特定された直線の続く道路を走行するタイミングでビデオ通信を終了するように制御してもよい。 For example, the end control unit 39 identifies a straight road on which the vehicle M is scheduled to travel, which is estimated to be a point where the workload is low, and terminates the video communication at the timing when the vehicle M travels on the identified straight road. may be controlled to

このような制御によっても、ワークロードの高いタイミングでビデオ通信が終了されて運転に支障をきたすことを防止することができ、持ち時間の中で自動車Mの走行状況に基づいてビデオ通信を終了することができる。 With such control, it is possible to prevent the video communication from being terminated at a timing when the workload is high and hindering the driving, and the video communication is terminated based on the driving situation of the automobile M within the allotted time. be able to.

以上、説明したように、本実施例の通信システム100は、サーバ30を介して、第1装置としての車載装置10と第2装置としての外部装置40との間で音声通話を成立させつつ、車載装置10が搭載されている自動車Mにおける映像を外部装置40に送信するビデオ通信を行うことが可能である。 As described above, the communication system 100 of the present embodiment establishes a voice call between the in-vehicle device 10 as the first device and the external device 40 as the second device via the server 30. It is possible to perform video communication for transmitting images in the vehicle M in which the in-vehicle device 10 is mounted to the external device 40 .

本実施例の通信システム100は、移動体としての自動車Mの移動状況を取得する移動状況取得部と、第1装置がビデオ通信を開始すると、第1装置がビデオ通信を行うことが可能な時間である持ち時間の中で、移動状況に基づいてビデオ通信を終了する終了制御部と、を有する。 The communication system 100 of the present embodiment includes a movement status acquisition unit that acquires the movement status of the automobile M as a mobile object, and a time period during which the first device can perform video communication when the first device starts video communication. and a termination control unit for terminating the video communication based on the movement status within the allotted time.

このような構成により、例えば案内の途中でビデオ通信が終了することで運転者が混乱するなどの運転への影響を防止することができる。 With such a configuration, for example, it is possible to prevent the driver from being confused due to the termination of the video communication during guidance.

従って、本実施例によれば、移動体内の第1装置と移動体外の第2装置との間の通信において、移動体内の第1装置と移動体外の第2装置との間の通信において、利用者の利便性や満足度を十分に確保しつつ通信時間の管理をすることを可能にする通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体を提供することができる。 Therefore, according to this embodiment, in the communication between the first device inside the mobile body and the second device outside the mobile body, the communication between the first device inside the mobile body and the second device outside the mobile body, It is possible to provide a communication system, a communication device, a server device, a communication method, a communication program, and a storage medium that enable management of communication time while sufficiently ensuring user convenience and satisfaction.

[変形例]
図9は、実施例の通信システム100の変形例における車載装置60の構成の一例を示すブロック図である。上記の実施例においてサーバ30が有する走行状況取得部37及び終了制御部39の機能を、本変形例においては車載装置60が有している。具体的には、車載装置60の制御部61は、走行状況取得部64と、終了制御部65とを有している。
[Modification]
FIG. 9 is a block diagram showing an example of the configuration of an in-vehicle device 60 in a modification of the communication system 100 of the embodiment. In this modified example, the in-vehicle device 60 has the functions of the running condition acquisition unit 37 and the end control unit 39 that the server 30 has in the above embodiment. Specifically, the control unit 61 of the in-vehicle device 60 has a driving situation acquisition unit 64 and an end control unit 65 .

記憶部67は、車載装置10の記憶部24と同様の構成に加えて、制御部61が実行するための通信プログラムを記憶している。当該通信プログラムは、車載装置60がビデオ通信を開始すると、車載装置60がビデオ通信を行うことが可能な持ち時間の中で、自動車Mの走行状況に基づいてビデオ通信を終了する終了制御を制御部61が実行するための通信プログラムである。 The storage unit 67 stores a communication program to be executed by the control unit 61 in addition to the configuration similar to that of the storage unit 24 of the in-vehicle device 10 . When the in-vehicle device 60 starts video communication, the communication program controls termination control for terminating the video communication based on the running condition of the automobile M within the time limit in which the in-vehicle device 60 can perform video communication. It is a communication program for the unit 61 to execute.

例えば、車載装置60の走行状況取得部64は、例えば、自動車Mに備えられたGPS受信機11からの信号又は加速度センサ23によって計測された加速度を示す信号及び記憶部67に記憶されている地図情報に基づいて、自動車Mの走行状況として、自動車Mの地図上の現在位置を取得する。 For example, the driving condition acquisition unit 64 of the in-vehicle device 60 acquires a signal from the GPS receiver 11 provided in the vehicle M or a signal indicating the acceleration measured by the acceleration sensor 23 and a map stored in the storage unit 67. Based on the information, the current position of the vehicle M on the map is acquired as the driving situation of the vehicle M.

終了制御部65は、車載装置60がビデオ通信を開始すると、車載装置60がビデオ通信を行うことが可能な持ち時間の中で、走行状況取得部64によって取得された走行状況に基づいてビデオ通信を終了する終了制御を実行する。 When the in-vehicle device 60 starts video communication, the end control unit 65 starts the video communication based on the driving conditions acquired by the driving condition acquisition unit 64 within the allotted time during which the in-vehicle device 60 can perform video communication. Execute the termination control to terminate the .

本変形例によれば、外部装置40と車載装置60との間のビデオ通信に関して、サーバ30を介さずとも、持ち時間の中で走行状況に基づいてビデオ通信を終了する終了制御が可能である。例えば、本変形例におけるビデオ通信及びビデオ通信の終了制御は、サーバ30を介さずに、車載装置10と外部装置40との間でP2P(Peer to Peer)通信などによって直接なされてもよい。 According to this modified example, regarding the video communication between the external device 40 and the in-vehicle device 60, it is possible to perform end control to end the video communication based on the driving situation within the allotted time without going through the server 30. . For example, the video communication and the end control of the video communication in this modification may be directly performed by P2P (Peer to Peer) communication between the in-vehicle device 10 and the external device 40 without going through the server 30 .

上述した実施例及び変形例における車載装置10、車載装置60、サーバ30及び外部装置40の構成、ルーチン等は、例示に過ぎず、用途等に応じて、適宜選択または変更することができる。 The configurations, routines, and the like of the in-vehicle device 10, the in-vehicle device 60, the server 30, and the external device 40 in the above-described embodiment and modification are merely examples, and can be appropriately selected or changed according to the application.

また、上記の実施例において、付与された持ち時間の中でビデオ通信を行う場合について説明したが、これに限られない。例えば、ビデオ通信が可能な時間帯が決められていてもよい。例えば、ビデオ通信が可能な時間帯が23時から翌日7時までと決められている場合、23時以降、ビデオ通信が可能な時間が終了する翌日7時までの時間を残り時間として、例えば終了制御ルーチンRT1に示したようなビデオ通信の終了制御を行ってもよい。 Also, in the above embodiment, the case where the video communication is performed within the allotted time has been described, but the present invention is not limited to this. For example, a time slot during which video communication is possible may be determined. For example, if video communication is possible from 23:00 to 7:00 the next day, the time after 23:00 until 7:00 the next day, when the video communication is possible, is set as the remaining time. End control of the video communication as shown in the control routine RT1 may be performed.

上記の実施例及び変形例においては、通信システム100においてビデオ通信を行う例について説明したが、これに限られない。本発明は、通信システム100において、自動車Mと共に移動する第1装置としての車載装置10によって取得された自動車Mにおける音声及び映像を第2装置としての外部装置40に送信する音声映像通信を行う場合に適用可能である。つまり、本発明は、外部装置40からは音声が送信されない態様での通信にも適用可能である。 In the above embodiments and modifications, an example of performing video communication in the communication system 100 has been described, but the present invention is not limited to this. In the communication system 100, the present invention performs audio-visual communication in which audio and video in the vehicle M acquired by the in-vehicle device 10 as the first device moving with the vehicle M are transmitted to the external device 40 as the second device. applicable to In other words, the present invention can be applied to communications in which voice is not transmitted from the external device 40 .

また、車載装置10と外部装置40は、必ずしも音声通話が出来なくともよい。例えば、車載装置10と外部装置40との間の通信態様は、YouTube(登録商標)やニコニコ生放送(登録商標)のように、双方向の音声通話を伴わず単に車載装置10から外部装置40に映像及び音声が配信される態様であっても良い。 Also, the in-vehicle device 10 and the external device 40 do not necessarily have to be able to make a voice call. For example, the mode of communication between the in-vehicle device 10 and the external device 40 is simply communication from the in-vehicle device 10 to the external device 40 without a two-way voice call, such as YouTube (registered trademark) or Niconico Live Broadcasting (registered trademark). A mode in which video and audio are distributed may be used.

また、通信システム100で車載装置10から外部装置40に上記のような映像の送信が行われつつ、通信システム100とは別の経路で並行して車載装置10と外部装置40との間の音声通話が確立されていても良い。 In addition, while the communication system 100 transmits the video as described above from the in-vehicle device 10 to the external device 40, audio transmission between the in-vehicle device 10 and the external device 40 is performed in parallel through a path different from the communication system 100. A call may be established.

上記実施例及び変形例において、車載装置10は、車載ナビゲーション装置であるとしたが、車載装置10は、単に車外カメラ13又は車内カメラ15からの動画を配信可能であればよい。 Although the in-vehicle device 10 is an in-vehicle navigation device in the above embodiments and modifications, the in-vehicle device 10 may simply be capable of distributing moving images from the exterior camera 13 or the interior camera 15 .

例えば、車載装置10は、車載装置10と同様の構成を有する端末装置と車外カメラ13とタッチパネル17とが一体化された構成であってもよい。具体的には、例えば、車載装置10は、上記車載装置10と同様の機能を発揮するアプリケーションを搭載したカメラ付きのスマートフォン、タブレットまたはPC等の端末装置であってもよい。この場合、車載装置10は、内蔵カメラが自動車Mのフロントガラスを通して自動車Mの前方を撮影可能なように、例えばクレードル等でダッシュボードDB上に取り付けられ得る。 For example, the in-vehicle device 10 may have a configuration in which a terminal device having the same configuration as the in-vehicle device 10, the exterior camera 13, and the touch panel 17 are integrated. Specifically, for example, the in-vehicle device 10 may be a terminal device such as a camera-equipped smartphone, tablet, or PC, in which an application that exhibits the same functions as the in-vehicle device 10 is installed. In this case, the in-vehicle device 10 can be mounted on the dashboard DB with a cradle or the like, for example, so that the built-in camera can photograph the front of the automobile M through the windshield of the automobile M.

また、車載装置10は、自動車Mの運転者に提示する画面を表示しない構成であってもよい。例えば、車載装置10は、ドライブレコーダのような構成を有していてもよく、例えば、車外カメラ13と一体となった装置であってもよい。具体的には、車載装置10は、例えば、車外カメラ13の筐体内に上記した車載装置10のビデオ通信機能を果たすハードウェアを内蔵したような装置であってもよい。この場合、車載装置10は、上記において説明したような種々の表示出力を行わないこととしてもよい。 Further, the in-vehicle device 10 may be configured not to display the screen presented to the driver of the automobile M. FIG. For example, the in-vehicle device 10 may have a configuration like a drive recorder, and may be a device integrated with the vehicle exterior camera 13, for example. Specifically, the in-vehicle device 10 may be, for example, a device in which hardware that performs the video communication function of the above-described in-vehicle device 10 is built in the housing of the exterior camera 13 . In this case, the in-vehicle device 10 may not perform various display outputs as described above.

上記の実施例及び変形例において、外部装置40はスマートフォンである場合について説明したが、これに限られない。外部装置40は、仮想同乗者がビデオ通信に利用できる端末装置であって、ビデオ通信に関する表示又はメッセージの提示、ビデオ通信を行うために必要な操作入力の受付、音声データの送受信並びに映像の受信及び表示が可能に構成されていればよい。例えば、外部装置40は、タブレット、PC、ウェアラブル端末等の端末装置であってもよい。 In the above embodiments and modifications, the case where the external device 40 is a smart phone has been described, but the present invention is not limited to this. The external device 40 is a terminal device that can be used by the virtual passenger for video communication, presents displays or messages related to video communication, accepts operation inputs necessary for video communication, transmits and receives audio data, and receives video. and display. For example, the external device 40 may be a terminal device such as a tablet, a PC, or a wearable terminal.

上記の実施例及び変形例においては、車載装置10及び車載装置60が自動車Mに搭載される例を説明したが、車載装置10又は60は、自転車、バイク、船舶等他の移動体に搭載されていてもよい。また、車載装置10又は60がスマートフォンのようなカメラを内蔵した端末装置であり、これを人が保持しており、例えば歩きながらビデオ通信を行って映像を配信することとしてもよい。 In the above embodiments and modifications, an example in which the in-vehicle device 10 and the in-vehicle device 60 are mounted in the automobile M has been described, but the in-vehicle device 10 or 60 may be mounted on other moving bodies such as bicycles, motorcycles, and ships. may be Also, the in-vehicle device 10 or 60 may be a terminal device with a built-in camera, such as a smart phone, held by a person, and distributed by performing video communication while walking, for example.

10 車載装置
13 車外カメラ
15 車内カメラ
17 タッチパネル
19 スピーカ
21 マイク
23 記憶部
25 制御部
27 通信部
30 サーバ
31 記憶部
33 通信部
35 制御部
37、64 走行状況取得部
39、65 終了制御部
40 外部装置
41 タッチパネル
43 スピーカ
45 マイク
47 記憶部
49 制御部
51 通信部
10 In-vehicle device 13 Vehicle exterior camera 15 Vehicle interior camera 17 Touch panel 19 Speaker 21 Microphone 23 Storage unit 25 Control unit 27 Communication unit 30 Server 31 Storage unit 33 Communication unit 35 Control units 37, 64 Driving status acquisition units 39, 65 End control unit 40 External Device 41 Touch panel 43 Speaker 45 Microphone 47 Storage unit 49 Control unit 51 Communication unit

Claims (9)

移動体と共に移動する第1装置によって取得された前記移動体における音声及び映像を第2装置に送信する音声映像通信を行う通信システムであって、
前記移動体の移動状況を取得する移動状況取得部と、
前記第1装置が前記音声映像通信を開始すると、前記第1装置が前記音声映像通信を行うことが可能な時間である持ち時間の中で前記移動状況に基づいて前記音声映像通信を終了する終了制御部と、
を有することを特徴とする通信システム。
A communication system for performing audiovisual communication in which audio and video in the mobile object acquired by a first device moving with the mobile object are transmitted to a second device,
a movement status acquisition unit that acquires the movement status of the mobile object;
When the first device starts the audio-visual communication, the audio-visual communication is terminated based on the movement status within a time limit during which the first device can perform the audio-visual communication. a control unit;
A communication system characterized by comprising:
前記終了制御部は、前記持ち時間から前記音声映像通信の開始時点からの経過時間を差し引いた残り時間が所定時間以下になると、前記移動状況に基づいて前記音声映像通信を終了することを特徴とする請求項1に記載の通信システム。 The termination control unit terminates the audio-visual communication based on the movement status when the remaining time obtained by subtracting the elapsed time from the start of the audio-visual communication from the allotted time becomes equal to or less than a predetermined time. The communication system according to claim 1. 前記終了制御部は、前記移動体が移動の際に案内が必要な地点を通過すると、前記音声映像通信を終了することを特徴とする請求項1又は2に記載の通信システム。 3. The communication system according to claim 1, wherein the termination control unit terminates the audio-visual communication when the moving body passes through a point requiring guidance during movement. 前記終了制御部は、前記移動体が目的地に到着すると、前記音声映像通信を終了することを特徴とする請求項1又は2に記載の通信システム。 3. The communication system according to claim 1, wherein the end control unit ends the audio-visual communication when the mobile body arrives at the destination. 移動体と共に移動する第1装置によって取得された前記移動体における音声及び映像を第2装置に送信する音声映像通信を行う通信システムによって実行される通信方法であって、
前記移動体の移動状況を取得する移動状況取得ステップと、
前記第1装置が前記音声映像通信を開始すると、前記第1装置が前記音声映像通信を行うことが可能な時間である持ち時間の中で前記移動状況に基づいて前記音声映像通信を終了する終了制御ステップと、
を含むことを特徴とする通信方法。
A communication method performed by a communication system that performs audio-visual communication for transmitting audio and video in a mobile object acquired by a first device that moves with the mobile object to a second device,
a movement status acquisition step of acquiring the movement status of the mobile body;
When the first device starts the audio-visual communication, the audio-visual communication is terminated based on the movement status within a time limit during which the first device can perform the audio-visual communication. a control step;
A communication method comprising:
コンピュータを備え、移動体と共に移動する第1装置によって取得された前記移動体における音声及び映像を第2装置に送信する音声映像通信を行う通信システムによって実行される通信プログラムであって、前記コンピュータに、
前記移動体の移動状況を取得する移動状況取得ステップと、
前記第1装置が前記音声映像通信を開始すると、前記第1装置が前記音声映像通信を行うことが可能な時間である持ち時間の中で前記移動状況に基づいて前記音声映像通信を終了する終了制御ステップと、
を実行させるための通信プログラム。
A communication program comprising a computer and executed by a communication system that performs audio-visual communication for transmitting audio and video in said mobile body acquired by a first device that moves with said mobile body to a second device, said computer: ,
a movement status acquisition step of acquiring the movement status of the mobile body;
When the first device starts the audio-visual communication, the audio-visual communication is terminated based on the movement status within a time limit during which the first device can perform the audio-visual communication. a control step;
A communication program for executing
コンピュータを備え、移動体と共に移動する第1装置によって取得された前記移動体における音声及び映像を第2装置に送信する音声映像通信を行う通信システムに、
前記移動体の移動状況を取得する移動状況取得ステップと、
前記第1装置が前記音声映像通信を開始すると、前記第1装置が前記音声映像通信を行うことが可能な時間である持ち時間の中で前記移動状況に基づいて前記音声映像通信を終了する終了制御ステップと、
を実行させるための通信プログラムを記憶するコンピュータ可読記憶媒体。
A communication system for performing audiovisual communication, which includes a computer and transmits audio and video in the moving body acquired by a first device moving with the moving body to a second device,
a movement status acquisition step of acquiring the movement status of the mobile body;
When the first device starts the audio-visual communication, the audio-visual communication is terminated based on the movement status within a time limit during which the first device can perform the audio-visual communication. a control step;
A computer-readable storage medium that stores a communication program for executing a computer-readable storage medium.
移動体と共に移動し、前記移動体における音声及び映像を取得して他の装置に送信する音声映像通信を行う通信装置であって、
前記移動体の移動状況を取得する移動状況取得部と、
前記通信装置が前記音声映像通信を開始すると、前記通信装置が前記音声映像通信を行うことが可能な時間である持ち時間の中で前記移動状況に基づいて前記音声映像通信を終了する終了制御部と、
を有することを特徴とする通信装置。
A communication device that moves with a mobile object, acquires audio and video in the mobile object, and performs audio-visual communication for transmitting to another device,
a movement status acquisition unit that acquires the movement status of the mobile object;
An end control unit that, when the communication device starts the audio-visual communication, ends the audio-visual communication based on the movement status within the allotted time during which the communication device can perform the audio-visual communication. and,
A communication device comprising:
移動体と共に移動する第1装置によって取得された前記移動体における音声及び映像を第2装置に送信する音声映像通信を行うサーバ装置であって、
前記移動体の移動状況を取得する移動状況取得部と、
前記第1装置が前記音声映像通信を開始すると、前記第1装置が前記音声映像通信を行うことが可能な時間である持ち時間の中で前記移動状況に基づいて前記音声映像通信を終了する終了制御部と、
を有することを特徴とするサーバ装置。
A server device that performs audio-visual communication for transmitting audio and video in the moving body acquired by a first device that moves with the moving body to a second device,
a movement status acquisition unit that acquires the movement status of the mobile object;
When the first device starts the audio-visual communication, the audio-visual communication is terminated based on the movement status within a time limit during which the first device can perform the audio-visual communication. a control unit;
A server device characterized by having:
JP2021213777A 2021-12-28 2021-12-28 Communication system, communication device, server device, communication method, communication program, and storage medium Pending JP2023097576A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021213777A JP2023097576A (en) 2021-12-28 2021-12-28 Communication system, communication device, server device, communication method, communication program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021213777A JP2023097576A (en) 2021-12-28 2021-12-28 Communication system, communication device, server device, communication method, communication program, and storage medium

Publications (1)

Publication Number Publication Date
JP2023097576A true JP2023097576A (en) 2023-07-10

Family

ID=87071607

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021213777A Pending JP2023097576A (en) 2021-12-28 2021-12-28 Communication system, communication device, server device, communication method, communication program, and storage medium

Country Status (1)

Country Link
JP (1) JP2023097576A (en)

Similar Documents

Publication Publication Date Title
JP4270222B2 (en) Data providing system and data providing method
JP6433641B2 (en) Information display device and information display method
TW201113506A (en) Navigation apparatus and method of supporting hands-free voice communication
KR20080103370A (en) Real time traffic information system and its control method based on p2p service
JP2009516189A (en) Navigation device that displays traffic information
JP5474598B2 (en) Navigation system, portable terminal and in-vehicle device
JPWO2020054694A1 (en) Head-up display system
JP2001243596A (en) On-vehicle navigation system
US20140005944A1 (en) Methods and systems for locating contacts
JP2023097576A (en) Communication system, communication device, server device, communication method, communication program, and storage medium
US9125023B2 (en) Communication system, communication device mounted in vehicle, and switching apparatus
WO2012039022A1 (en) Information communicating apparatus, information communicating method, information communicating program, and information communicating system
CN110337057B (en) Reminding method and device for vehicle service
US11915202B2 (en) Remote meeting and calendar support for the in-vehicle infotainment unit
CN115662164A (en) Information interaction method and device for vehicle, electronic equipment and storage medium
JP7447399B2 (en) Video distribution control device, video distribution control method, and program
WO2023112119A1 (en) Communication system, communication device, server device, communication method, communication program, and storage medium
WO2023112115A1 (en) Communication system, information processing device, information processing method, program, and recording medium
EP4383225A1 (en) Information processing device, information processing method, information processing program, and storage medium
JP2007104568A (en) Communication terminal, data transmitting method, data receiving method, data transmitting program, data receiving program, and recording medium
JP2006031583A (en) On-vehicle system and remote observation system
JP2024091137A (en) Information processing device, information processing method, information processing program, and storage medium
JP2018076035A (en) Conversation support device for vehicle
JP2023095413A (en) Communication system, communication device, server device, communication method, communication program, and storage medium
CN115221422A (en) Travel mode recommendation method and device, storage medium and computer program product