JP6943187B2 - Sensing data processing systems and their edge servers, transmission traffic reduction methods and programs - Google Patents

Sensing data processing systems and their edge servers, transmission traffic reduction methods and programs Download PDF

Info

Publication number
JP6943187B2
JP6943187B2 JP2018002558A JP2018002558A JP6943187B2 JP 6943187 B2 JP6943187 B2 JP 6943187B2 JP 2018002558 A JP2018002558 A JP 2018002558A JP 2018002558 A JP2018002558 A JP 2018002558A JP 6943187 B2 JP6943187 B2 JP 6943187B2
Authority
JP
Japan
Prior art keywords
data
image
information extraction
sensing
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018002558A
Other languages
Japanese (ja)
Other versions
JP2019022205A (en
Inventor
純 塩田
純 塩田
雅裕 吉田
雅裕 吉田
亮太 中田
亮太 中田
航哉 森
航哉 森
高橋　紀之
紀之 高橋
田中　裕之
裕之 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JP2019022205A publication Critical patent/JP2019022205A/en
Application granted granted Critical
Publication of JP6943187B2 publication Critical patent/JP6943187B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)

Description

この発明は、例えば、センシングデバイスから出力されたデータをデータセンタを用いた集中型処理型基盤のクラウドコンピューティング基盤（以後、例えばクラウドと称する）に伝送して所定の処理を行うセンシングデータ処理システムと、このシステムで使用されるエッジサーバ、伝送トラフィック削減方法およびプログラムに関する。 The present invention is, for example, a sensing data processing system that transmits data output from a sensing device to a cloud computing platform (hereinafter, referred to as a cloud), which is a centralized processing platform using a data center, to perform predetermined processing. And the edge servers, transmission traffic reduction methods and programs used in this system.

あらゆるモノがインターネットに繋がり相互に通信を行うＩｏＴ（Internet of Things）に注目が集まっている。ＩｏＴでは、インターネットに繋がるモノから、その種類（センサ、カメラなど）に応じて様々なデータを取得することができる。インターネットに接続されるモノは、2015年時点で約250億台、2020年までに500億台になると予測されている。それに伴いデータの伝送トラフィック量は、2019年に2016年の２倍程度になり、以降指数関数的に増加し、その８割を映像データが占めると予想されている。伝送トラフィック量は、既存の映像配信サービスを含むものであるが、車載カメラ映像を用いた安全運転支援や自動運転支援、工場の機械に設置されたカメラ映像を用いた作業の自動化などに使用される、新たな画像処理アプリケーションのための映像データのアップロードの増加も見込まれている。 Attention is focused on the IoT (Internet of Things), in which all things are connected to the Internet and communicate with each other. With IoT, various data can be acquired from objects connected to the Internet according to their types (sensors, cameras, etc.). The number of things connected to the Internet is estimated to be about 25 billion in 2015 and 50 billion by 2020. Along with this, the amount of data transmission traffic will double in 2019 from 2016, and will increase exponentially thereafter, and it is expected that video data will account for 80% of that. The amount of transmission traffic includes existing video distribution services, but it is used for safe driving support and automatic driving support using in-vehicle camera images, and automation of work using camera images installed in factory machines. Increasing video data uploads for new image processing applications are also expected.

現在、多くのＩｏＴアプリケーションは、クラウドを用いたサービスとして構想されている。しかし、クラウドでは、世界の伝送トラフィック増加に伴い、前述した映像データを入力とするアプリケーションの応答性やユーザ収容数などの要件を満たすことが困難になる場合が想定され、映像トラヒックを効率よく削減できる手法の確立が求められている。 Currently, many IoT applications are envisioned as cloud-based services. However, in the cloud, as the world's transmission traffic increases, it may be difficult to meet the requirements such as the responsiveness of applications that input video data and the number of users that can be accommodated, so video traffic is efficiently reduced. There is a need to establish a method that can be used.

従来の手法では、映像データの圧縮符号化を行い、映像データに含まれる冗長性を削除する方法がある（例えば非特許文献１、２を参照）。また、Web CacheやRedundancy Elimination をモバイル網等に配備し、冗長トラヒックを削減する方式もある（例えば非特許文献３、４を参照）。 In the conventional method, there is a method of compressing and coding the video data to remove the redundancy contained in the video data (see, for example, Non-Patent Documents 1 and 2). There is also a method of deploying Web Cache and Redundancy Elimination on a mobile network or the like to reduce redundant traffic (see, for example, Non-Patent Documents 3 and 4).

“A New Lossless Method of Image Compression and Decompression Using Huffman Coding Techniques”，Pujar, J.H.; Kadlaskar, L.M. (May 2010)，Journal of Theoretical and Applied Information Technology 15 (1): 18-23.“A New Lossless Method of Image Compression and Decompression Using Huffman Coding Techniques”, Pujar, J.H .; Kadlaskar, L.M. (May 2010), Journal of Theoretical and Applied Information Technology 15 (1): 18-23. “gzip:ファイル圧縮”、 インターネット＜URL: http://www.gzip.org/＞“Gzip: File compression”, Internet <URL: http://www.gzip.org/> “Summary Cache: A Scalable Wide-Area Web Cache Sharing Protocol”，L. Fan, P. Cao, J. Almeida, and A. Z. Broder, IEEE/ACM Trans. on Networking, vol. 8, no. 3, pp. 281-293.“Summary Cache: A Scalable Wide-Area Web Cache Sharing Protocol”, L. Fan, P. Cao, J. Almeida, and AZ Broder, IEEE / ACM Trans. On Networking, vol. 8, no. 3, pp. 281 -293. “Redundancy Elimination”、インターネット＜URL: https://www.slideshare.net/yousunny/network-redundancy-elimination＞“Redundancy Elimination”, Internet <URL: https://www.slideshare.net/yousunny/network-redundancy-elimination>

映像データの圧縮符号化方法には、非特許文献１、２以外にもMPEG-4（Moving Picture Experts Group 4）やMotion-JPEG（Motion Joint Photographic Experts Group）などの符号化手法が知られている。しかし、圧縮符号化した映像データをクラウドに収集するとなると、その伝送トラヒック量の削減率が不十分になり、クラウドでは支えきれない膨大な量となる。また、クラウドにおいて圧縮符号化したデータを復元すると莫大なデータ量になり、当該データを処理するアプリケーションの応答性の低下を招く。 In addition to Non-Patent Documents 1 and 2, encoding methods such as MPEG-4 (Moving Picture Experts Group 4) and Motion-JPEG (Motion Joint Photographic Experts Group) are known as compression coding methods for video data. .. However, when compressed and coded video data is collected in the cloud, the reduction rate of the transmission traffic amount becomes insufficient, and the amount becomes enormous that cannot be supported by the cloud. In addition, restoring compressed and coded data in the cloud results in an enormous amount of data, which reduces the responsiveness of the application that processes the data.

冗長トラフィックを削減する方式は、アプリケーションの種類によらずに透過的に適用可能である。例えば、Webデータなどの、圧縮前後で可逆性を持つデータ（情報量）を、欠損なく全て保存するユースケースに有効である。しかし、圧縮符号化された映像データには効果が小さい。 Methods that reduce redundant traffic can be applied transparently regardless of the type of application. For example, it is effective for use cases where all data (amount of information) that is reversible before and after compression, such as Web data, is stored without loss. However, the effect is small for compression-encoded video data.

この発明は、上記事情に着目してなされたもので、センシングデータの伝送トラフィックを低減すると共に、クラウドにおけるデータの処理負荷を軽減してアプリケーションの応答性向上を可能にした、センシングデータ処理システムとそのエッジサーバ、伝送トラフィック削減方法およびプログラムを提供しようとするものである。 The present invention has been made by paying attention to the above circumstances, and is a sensing data processing system capable of reducing the transmission traffic of sensing data and reducing the data processing load in the cloud to improve the responsiveness of the application. It seeks to provide its edge servers, transmission traffic reduction methods and programs.

上記目的を達成するためにこの発明の第１の態様は、センシングデータとして、監視対象物の画像と当該監視対象物を遮る遮蔽物の画像とを含む映像データを出力するセンシング装置と、前記映像データに含まれる監視対象物の画像をもとに当該監視対象物の状態を診断し、その診断結果を示す情報を生成する処理を行うクラウドと、前記センシング装置とネットワークとの間に配置され、前記センシング装置から出力される前記センシングデータを受信しかつ生成された情報抽出データを前記ネットワークを介して前記クラウドへ送信するエッジサーバとを備えるセンシングデータ処理システム、または前記エッジサーバにあって、前記エッジサーバが、前記監視対象物の抽出および前記遮蔽物の削除を行うための情報抽出条件を条件記憶部に記憶する条件設定手段と、前記センシング装置から出力された前記センシングデータを受信する受信手段と、前記条件記憶部に記憶された情報抽出条件に基づいて、前記受信されたセンシングデータに含まれる前記映像データから前記監視対象物の画像を抽出する処理および前記遮蔽物の画像を削除する処理をそれぞれ行うことで、前記情報抽出データを生成する情報抽出手段と、生成された前記情報抽出データを前記ネットワークを介して前記クラウドへ送信する送信部とを備えるようにしたものである。 In order to achieve the above object, the first aspect of the present invention is a sensing device that outputs video data including an image of a monitored object and an image of a shield that blocks the monitored object as sensing data, and the video. It is arranged between the sensing device and the network, and a cloud that diagnoses the state of the monitored object based on the image of the monitored object included in the data and generates information indicating the diagnosis result. A sensing data processing system including an edge server that receives the sensing data output from the sensing device and transmits the generated information extraction data to the cloud via the network, or the edge server. A condition setting means for the edge server to store information extraction conditions for extracting the monitored object and deleting the shield in the condition storage unit, and a receiving means for receiving the sensing data output from the sensing device. And, based on the information extraction condition stored in the condition storage unit, a process of extracting an image of the monitored object from the video data included in the received sensing data and a process of deleting the image of the shield. By performing each of the above, the information extraction means for generating the information extraction data and the transmission unit for transmitting the generated information extraction data to the cloud via the network are provided.

この発明の第２の態様は、センシングデータとして、留置対象物が含まれる風景を撮影した画像と当該画像に混入した侵入物の画像とを含む映像データを出力する複数のセンシング装置と、前記センシングデータに含まれる前記映像データに基づいて周辺風景閲覧画像を生成する処理を行うクラウドと、前記センシング装置とネットワークとの間に配置され、前記複数のセンシング装置から出力される前記センシングデータを受信しかつ生成された情報抽出データを前記ネットワークを介して前記クラウドへ送信するエッジサーバとを備えるセンシングデータ処理システム、または前記エッジサーバにあって、前記エッジサーバは、前記留置対象物の特徴量の抽出と、前記侵入物の画像の削除または当該侵入物以外の画像の抽出とを行うための情報抽出条件を条件記憶部に記憶する条件設定手段と、前記センシング装置から出力された前記センシングデータを受信する受信手段と、前記条件記憶部に記憶された情報抽出条件に基づいて、前記受信されたセンシングデータに含まれる前記映像データから前記留置対象物の特徴量を抽出する処理および前記侵入物を削除するか又は前記侵入物以外の画像を抽出する処理をそれぞれ行うことで前記情報抽出データを生成する情報抽出手段と、生成された前記情報抽出データを前記ネットワークを介して前記クラウドへ送信する送信手段とを備えるようにしたものである。 A second aspect of the present invention is a plurality of sensing devices that output video data including an image of a landscape including an object to be placed and an image of an intruder mixed in the image as sensing data, and the sensing. The cloud, which performs a process of generating a surrounding landscape viewing image based on the video data included in the data, is arranged between the sensing device and the network, and receives the sensing data output from the plurality of sensing devices. In the sensing data processing system including the edge server that transmits the generated information extraction data to the cloud via the network, or the edge server, the edge server extracts the feature amount of the indwelling object. And the condition setting means for storing the information extraction condition for deleting the image of the intruder or extracting the image other than the intruder in the condition storage unit, and receiving the sensing data output from the sensing device. Based on the receiving means to be performed and the information extraction condition stored in the condition storage unit, a process of extracting the feature amount of the indwelling object from the video data included in the received sensing data and deleting the intruder. and information extraction means for, or the process of extracting an image other than the intruder by performing each generating the information extraction data, transmitting means for transmitting the generated said information extracted data to the said cloud through said network It is designed to have.

この発明の第１の態様によれば、エッジサーバにおいて、センシング装置から出力されたセンシングデータに対し、クラウドにおける処理に必要なデータ要素を抽出しかつ不必要なデータ要素を削除する情報抽出処理が行われ、この情報抽出処理後のデータがクラウドへ送信される。このため、クラウドへは上記情報抽出処理によりデータ量が削減されたデータが伝送されることになり、これにより伝送トラフィックが低減されると共に、クラウドにおけるアプリケーションの処理負荷も軽減してアプリケーションの応答性を向上させることができる。 According to the first aspect of the present invention, in the edge server, an information extraction process for extracting data elements necessary for processing in the cloud and deleting unnecessary data elements is performed on the sensing data output from the sensing device. This is done, and the data after this information extraction process is transmitted to the cloud. Therefore, the data whose amount of data is reduced by the above information extraction process is transmitted to the cloud, which reduces the transmission traffic and also reduces the processing load of the application in the cloud to reduce the responsiveness of the application. Can be improved.

さらに、この発明の第１の態様によれば、センシング装置が監視対象物の画像と当該監視対象物を遮る遮蔽物の画像とを含む映像データを出力し、かつクラウドが前記映像データに含まれる監視対象物の画像をもとに当該監視対象物の状態を判定する処理を行う場合に、エッジサーバにおいて、前記映像データから前記監視対象物の画像を抽出する処理および前記遮蔽物の画像を削除する処理が行われ、この処理により得られたデータが情報抽出処理後のデータとしてクラウドへ送信される。このため、クラウドへは、監視対象物の画像のみが抽出されかつ遮蔽物の画像が削除された画像が伝送されることになり、これにより映像データをそのまま伝送する場合に比べ伝送トラフィックを低減することが可能となる。またクラウドでは、監視対象物の状態を少ない処理負荷で判定することができる。 Further, according to the first aspect of the present invention, the sensing device outputs video data including an image of the monitored object and an image of a shield that blocks the monitored object, and the cloud is included in the video data. when performing the process of determining the state of the monitored object based on the image of the monitored object, in the edge server, the image processing and the shield to extract images of the monitored object from the image data A process of deleting is performed, and the data obtained by this process is transmitted to the cloud as data after the information extraction process. Therefore, the cloud, only the image of the monitored object is that When the image is deleted in the extracted and shield are transmitted, thereby reducing the transmission traffic compared with the case of directly transmitting video data It becomes possible to do. Moreover, in the cloud, the state of the monitored object can be determined with a small processing load.

この発明の第２の態様によれば、センシング装置が留置対象物を含む風景を撮影した画像と当該画像に混入した侵入物の画像とを含む映像データを出力し、かつクラウドが前記映像データに基づいて周辺風景閲覧画像を生成する処理を行う場合に、エッジサーバからクラウドへ、前記留置対象物の特徴量が抽出され、かつ前記侵入物が削除されるか又は前記侵入物以外の画像が抽出されたデータが送信される。このため、クラウドへは前記留置対象物の特徴量のみを含み、かつ前記侵入物が削除された画像が伝送されることになり、これにより映像データをそのまま伝送する場合に比べ伝送トラフィックを低減することが可能となる。またクラウドでは、侵入物を含まない風景画像を少ない処理負荷で生成することができる。 According to the second aspect of the present invention, the sensing device outputs video data including an image of a landscape including an object to be detained and an image of an intruder mixed in the image, and the cloud converts the video data into the video data. when performing the process of generating a landscape view image based, from the edge server to the cloud, the feature quantity of indwelling object is extracted, and the image other than the intruder is deleted Luke or the intruder extracted The data is sent. Therefore, an image containing only the feature amount of the detained object and having the intruder deleted is transmitted to the cloud, which reduces the transmission traffic as compared with the case where the video data is transmitted as it is. It becomes possible. In the cloud, landscape images that do not contain intruders can be generated with a small processing load.

一般に、エッジサーバ上で情報抽出処理を行うことは、アプリケーション処理を分割してセンシング装置、エッジサーバおよびクラウドに分散配置していることになり、アプリケーションの全体的な処理量には変化がなく、情報量を削減せずに通信トラフィック量を大幅に削減できる。しかし、多くのセンシング装置から映像データのような情報量の大きなデータをエッジサーバ上に収集して情報抽出処理を行うと、エッジサーバにおける処理負荷が高くなるため、エッジサーバにおいて処理可能なセンシング装置数（エッジサーバにおけるセンシング装置の収容数）が少なくなってしまうことが懸念される。 In general, performing information extraction processing on an edge server means that the application processing is divided and distributed to the sensing device, edge server, and cloud, and the overall processing amount of the application does not change. The amount of communication traffic can be significantly reduced without reducing the amount of information. However, if data with a large amount of information such as video data is collected from many sensing devices on the edge server and information extraction processing is performed, the processing load on the edge server becomes high, so that the sensing device that can be processed by the edge server. There is a concern that the number (the number of sensing devices that can be accommodated in the edge server) will decrease.

そこで、本発明者は、本発明の関連技術として、エッジサーバ上に新たなロジックを追加することで、センシング装置とエッジサーバ間、およびエッジサーバとクラウドとの間の通信トラフィック量を削減する技術も提案している。例えば、位置情報等の軽量なセンサデータを用いて、不必要な映像データを送信しているセンシング装置を特定する。一般に、全センシング装置から取得した映像データの中には、重複している部分等のように類似性が高く実質的に不要に映像データが存在し、従来ではこれらのデータがそのままアップロードされている。 Therefore, as a related technology of the present invention, the present inventor is a technology for reducing the amount of communication traffic between the sensing device and the edge server and between the edge server and the cloud by adding a new logic on the edge server. It has been proposed. For example, using lightweight sensor data such as position information, a sensing device that transmits unnecessary video data is specified. In general, video data acquired from all sensing devices has high similarity such as overlapping parts and is substantially unnecessary, and conventionally, these data are uploaded as they are. ..

これに対し本発明の関連技術では、センシング装置によるセンシングデータの送信を、データの類似性（例えば重複）を考慮して抑制する。また、センシング装置からエッジサーバに伝送されたセンシングデータのうち、クラウドの処理に必要なデータが抽出されてクラウドに転送している。以上のようにすることで、実質的に不要なデータアップロードを減らすことができ、エッジサーバにおけるセンシング装置の収容効率を大幅に向上させて、より大きなトラフィック削減効果を得ることが可能となる。 On the other hand, in the related technology of the present invention, transmission of sensing data by the sensing device is suppressed in consideration of data similarity (for example, duplication). Further, from the sensing data transmitted from the sensing device to the edge server, the data necessary for cloud processing is extracted and transferred to the cloud. By doing so, it is possible to reduce substantially unnecessary data uploads, significantly improve the accommodation efficiency of the sensing device in the edge server, and obtain a larger traffic reduction effect.

すなわちこの発明の各態様および関連技術によれば、センシングデータの伝送トラフィックを低減すると共に、クラウドにおける映像データの処理負荷を軽減してアプリケーションの応答性向上を可能にしたセンシングデータ処理システムとそのエッジサーバ、伝送トラフィック削減方法およびプログラムを提供することができる。 That is, according to each aspect of the present invention and related technologies , a sensing data processing system and its edge that can reduce the transmission traffic of sensing data and reduce the processing load of video data in the cloud to improve the responsiveness of the application. Servers, transmission traffic reduction methods and programs can be provided.

図１は、この発明の第１の実施形態に係るセンシングデータ処理システムの全体構成を示す図である。FIG. 1 is a diagram showing an overall configuration of a sensing data processing system according to a first embodiment of the present invention. 図２は、図１に示したシステムのエッジサーバの機能構成を示すブロック図である。FIG. 2 is a block diagram showing a functional configuration of an edge server of the system shown in FIG. 図３は、図１に示したシステムのクラウドの機能構成を示すブロック図である。FIG. 3 is a block diagram showing a functional configuration of the cloud of the system shown in FIG. 図４は、第１の実施例として、ダイナミックマップを作成する際のエッジサーバおよびクラウドの処理手順と処理内容を示すフローチャートである。FIG. 4 is a flowchart showing a processing procedure and processing contents of an edge server and a cloud when creating a dynamic map as a first embodiment. 図５は、第１の実施例における効果の一例を説明するための図である。FIG. 5 is a diagram for explaining an example of the effect in the first embodiment. 図６は、第２の実施例として、道路の路面診断を行う際のエッジサーバおよびクラウドの処理手順と処理内容を示すフローチャートである。FIG. 6 is a flowchart showing a processing procedure and processing contents of an edge server and a cloud when performing a road surface diagnosis as a second embodiment. 図７は、第２の実施例における効果の一例を説明するための図である。FIG. 7 is a diagram for explaining an example of the effect in the second embodiment. 図８は、第３の実施例として、周辺風景閲覧画像を作成する際のエッジサーバおよびクラウドの処理手順と処理内容を示すフローチャートである。FIG. 8 is a flowchart showing a processing procedure and processing contents of an edge server and a cloud when creating a surrounding landscape viewing image as a third embodiment. 図９は、第３の実施例における効果の一例を説明するための図である。FIG. 9 is a diagram for explaining an example of the effect in the third embodiment. 図１０は、第１、第２および第３の各実施例において設定される条件の一例を示す図である。FIG. 10 is a diagram showing an example of conditions set in each of the first, second, and third embodiments. 図１１は、第１、第２および第３の各実施例において使用される元映像の特徴を示す図である。FIG. 11 is a diagram showing the characteristics of the original video used in each of the first, second, and third embodiments. 図１２は、この発明の関連技術の第１の例に係るエッジサーバの機能構成を示すブロック図である。FIG. 12 is a block diagram showing a functional configuration of an edge server according to a first example of the related technology of the present invention. 図１３は、図１２に示したエッジサーバとカメラまたはセンサによる送信抑制制御の処理手順と処理内容を示すフローチャートである。FIG. 13 is a flowchart showing a processing procedure and processing contents of transmission suppression control by the edge server and the camera or sensor shown in FIG. 図１４は、この発明の関連技術の第２の例に係るセンシングデータ処理システムの全体構成を示す概略図である。FIG. 14 is a schematic view showing an overall configuration of a sensing data processing system according to a second example of the related technology of the present invention. 図１５は、図１４に示したシステムのエッジサーバによる送信抑制制御の効果の一例を説明するための図である。FIG. 15 is a diagram for explaining an example of the effect of transmission suppression control by the edge server of the system shown in FIG.

以下、図面を参照してこの発明に係わる実施形態を説明する。
［第１の実施形態］
（構成）
この発明の第１の実施形態に係るセンシングデータ処理システムは、例えば車両に対する安全運転支援や自動運転支援を行うもので、車両にセンシングデバイスを設けている。エッジサーバは、例えば車両内に設置される。センシングデータ処理システムは、センシング装置としての複数のセンシングデバイスにより検出されたセンシングデータをエッジサーバで収集し、この収集されたセンシングデータをエッジサーバからネットワークを介してクラウドに伝送する。クラウドでは、上記伝送されたセンシングデータに基づいて所定のアプリケーション処理を実行する。 Hereinafter, embodiments according to the present invention will be described with reference to the drawings.
[First Embodiment]
(composition)
The sensing data processing system according to the first embodiment of the present invention provides, for example, safe driving support and automatic driving support for a vehicle, and the vehicle is provided with a sensing device. The edge server is installed in the vehicle, for example. The sensing data processing system collects sensing data detected by a plurality of sensing devices as sensing devices at an edge server, and transmits the collected sensing data from the edge server to the cloud via a network. In the cloud, a predetermined application process is executed based on the transmitted sensing data.

図１は、この発明の第１の実施形態に係るセンシングデータ処理システムの概略構成図である。このシステムは、車両ごとに設けられた、センシングデバイスＳ１１〜Ｓ１ｍ，Ｓ２１〜Ｓ２ｍ，…，Ｓｎ１〜Ｓｎｍ、およびエッジサーバＥＳ１，ＥＳ２，…，ＥＳｎと、上記各エッジサーバＥＳ１，ＥＳ２，…，ＥＳｎとの間でネットワークＮＷを介してデータ伝送が可能なクラウドＣＳとを備えている。ネットワークＮＷには、例えばインターネットが用いられる。 FIG. 1 is a schematic configuration diagram of a sensing data processing system according to the first embodiment of the present invention. This system includes sensing devices S11 to S1m, S21 to S2m, ..., Sn1 to Snm, edge servers ES1, ES2, ..., ESn, and each of the above edge servers ES1, ES2, ..., ESn, which are provided for each vehicle. It is equipped with a cloud CS that can transmit data to and from the network NW. For example, the Internet is used as the network NW.

各センシングデバイスＳ１１〜Ｓ１ｍ，Ｓ２１〜Ｓ２ｍ，…，Ｓｎ１〜Ｓｎｍは、例えば図２に示すように、それぞれ複数のカメラＣＭ１〜ＣＭｉおよび複数のセンサＳＳ１〜ＳＳｊを有する。 Each of the sensing devices S11 to S1m, S21 to S2m, ..., Sn1 to Snm has a plurality of cameras CM1 to CMi and a plurality of sensors SS1 to SSj, respectively, as shown in FIG. 2, for example.

カメラＣＭ１〜ＣＭｉは、例えば車両の前方、後方、側面および車内を撮影してその映像データを出力するもので、当該映像データをカメラ識別情報（カメラＩＤ）や撮影日時を示す情報と共に、例えば無線ネットワークや車内ＬＡＮ（Local Area Network）又は信号ケーブルを介してエッジサーバＥＳ１、ＥＳ２，…，ＥＳｎへ送信する。またカメラＣＭ１〜ＣＭｉは、エッジサーバＥＳ１，ＥＳ２，…，ＥＳｎから送信される遠隔制御信号に応じて、映像のＦＰＳ（Frame Per Second）や解像度、送信頻度等の動作条件を可変設定する機能も有している。 The cameras CM1 to CMi capture, for example, the front, rear, side surfaces, and the inside of the vehicle and output the video data. The video data is, for example, wirelessly together with the camera identification information (camera ID) and information indicating the shooting date and time. It is transmitted to the edge servers ES1, ES2, ..., ESn via a network, an in-vehicle LAN (Local Area Network), or a signal cable. In addition, the cameras CM1 to CMi also have a function of variably setting operating conditions such as FPS (Frame Per Second), resolution, and transmission frequency of video according to remote control signals transmitted from edge servers ES1, ES2, ..., ESn. Have.

センサＳＳ１〜ＳＳｊは、例えば、赤外線又はミリ波レーダを用いた距離センサ、ＧＰＳ（Global Positioning System）を利用して自車両の位置情報（緯度・経度）を算出する位置センサ、車速やブレーキ操作、温度、振動等の車両の動作状態を計測する車両センサを含む。センサＳＳ１〜ＳＳｊは、計測されたセンシングデータを、センサの識別情報（センサＩＤ）および計測日時を示す情報と共に、上記無線ネットワークや車内ＬＡＮ又は信号ケーブルを介してエッジサーバＥＳ１，ＥＳ２，…，ＥＳｎへ送信する。 The sensors SS1 to SSj are, for example, a distance sensor using infrared or millimeter wave radar, a position sensor that calculates the position information (latitude / longitude) of the own vehicle using GPS (Global Positioning System), vehicle speed and brake operation. Includes vehicle sensors that measure vehicle operating conditions such as temperature and vibration. The sensors SS1 to SSj use the measured sensing data together with the sensor identification information (sensor ID) and the information indicating the measurement date and time via the wireless network, the in-vehicle LAN, or the signal cable to the edge servers ES1, ES2, ..., ESn. Send to.

エッジサーバＥＳ１，ＥＳ２，…，ＥＳｎは、それぞれ上記センシングデバイスＳ１１〜Ｓ１ｍ，Ｓ２１〜Ｓ２ｍ，…，Ｓｎ１〜Ｓｎｍから出力されたセンシングデータを受信する。そして、上記受信されたセンシングデータに対し予め決められた条件に基づいて情報抽出処理を行って、情報抽出処理後のデータをネットワークＮＷを介して上記クラウドＣＳへ送信する。 The edge servers ES1, ES2, ..., ESn receive the sensing data output from the sensing devices S11 to S1m, S21 to S2m, ..., Sn1 to Snm, respectively. Then, the received sensing data is subjected to information extraction processing based on predetermined conditions, and the data after the information extraction processing is transmitted to the cloud CS via the network NW.

図２は、エッジサーバＥＳ１，ＥＳ２，…，ＥＳｎの機能構成を示すブロック図である。なお、図２では図示の簡単のためエッジサーバＥＳ１の構成のみを示し、他のエッジサーバＥＳ２，…，ＥＳｎについて図示を省略している。 FIG. 2 is a block diagram showing the functional configurations of the edge servers ES1, ES2, ..., ESn. Note that FIG. 2 shows only the configuration of the edge server ES1 for the sake of simplicity, and the other edge servers ES2, ..., ESn are not shown.

エッジサーバＥＳ１は、サーバコンピュータや車両に搭載された小型コンピュータからなり、制御ユニット１と、記憶ユニット２と、入出力インタフェースユニット３と、通信インタフェースユニット４とを備えている。 The edge server ES1 includes a server computer and a small computer mounted on a vehicle, and includes a control unit 1, a storage unit 2, an input / output interface unit 3, and a communication interface unit 4.

入出力インタフェースユニット３は、上記カメラＣＭ１〜ＣＭｉおよびセンサＳＳ１〜ＳＳｊから出力された映像データおよびセンサデータを受信すると共に、制御ユニット１から出力される遠隔制御信号を上記カメラＣＭ１〜ＣＭｉおよびセンサＳＳ１〜ＳＳｊへ出力する機能を有する。なお、エッジサーバに送信させる映像データやセンサデータの解像度やＦＰＳ、送信頻度などは、上記カメラＣＭ１〜ＣＭｉおよびセンサＳＳ１〜ＳＳｊからも設定することが可能である。 The input / output interface unit 3 receives the video data and sensor data output from the cameras CM1 to CMi and the sensors SS1 to SSj, and also receives the remote control signal output from the control unit 1 to the cameras CM1 to CMi and the sensor SS1. It has a function to output to ~ SSj. The resolution, FPS, transmission frequency, etc. of the video data and sensor data to be transmitted to the edge server can also be set from the cameras CM1 to CMi and the sensors SS1 to SSj.

通信インタフェースユニット４は、制御ユニット１の制御の下、ネットワークＮＷを介してクラウドＣＳとの間でデータの送受信を行う。通信プロトコルはネットワークＮＷで規定されるプロトコルが使用される。 The communication interface unit 4 transmits / receives data to / from the cloud CS via the network NW under the control of the control unit 1. As the communication protocol, the protocol specified by the network NW is used.

記憶ユニット２は、記憶媒体として例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の随時書込および読み出しが可能な不揮発性メモリと、ＤＲＡＭなどの揮発性メモリを備えたもので、その記憶領域にはカメラ映像記憶部２１、センサデータ記憶部２２および第１の条件記憶部２３が設けられている。なお、記憶媒体に使用するメモリは上記各メモリに限らない。 The storage unit 2 includes, for example, a non-volatile memory such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive) that can be written and read at any time as a storage medium, and a volatile memory such as a DRAM. A camera image storage unit 21, a sensor data storage unit 22, and a first condition storage unit 23 are provided in the storage area. The memory used as the storage medium is not limited to each of the above memories.

カメラ映像記憶部２１は、上記カメラＣＭ１〜ＣＭｉから収集した映像データを格納するために使用される。センサデータ記憶部２２は、上記センサＳＳ１〜ＳＳｊから収集したセンサデータを格納するために使用される。第１の条件記憶部２３は、後述する情報抽出処理の条件を示す情報を記憶するために使用される。 The camera image storage unit 21 is used to store the image data collected from the cameras CM1 to CMi. The sensor data storage unit 22 is used to store the sensor data collected from the sensors SS1 to SSj. The first condition storage unit 23 is used to store information indicating the conditions of the information extraction process described later.

制御ユニット１は、中央処理ユニット（ＣＰＵ）等のハードウェアプロセッサと作業用メモリを備え、この実施形態を実施するために必要な処理機能として、カメラ映像取得処理部１１と、センサデータ取得処理部１２と、条件設定処理部１３と、情報抽出処理部１４と、データ通信制御部１５とを有している。これらの処理部は、いずれも記憶ユニット２内のプログラムメモリに格納されたプログラムを上記ハードウェアプロセッサに実行させることにより実現される。 The control unit 1 includes a hardware processor such as a central processing unit (CPU) and a working memory, and has a camera image acquisition processing unit 11 and a sensor data acquisition processing unit as processing functions necessary for implementing this embodiment. It has a condition setting processing unit 13, an information extraction processing unit 14, and a data communication control unit 15. All of these processing units are realized by causing the hardware processor to execute a program stored in the program memory in the storage unit 2.

カメラ映像取得処理部１１は、上記カメラＣＭ１〜ＣＭｉから出力された映像データを入出力インタフェースユニット３を介してそれぞれ取得し、取得した映像データをカメラ映像記憶部２１に格納する処理を行う。 The camera image acquisition processing unit 11 acquires the image data output from the cameras CM1 to CMi via the input / output interface unit 3, and stores the acquired image data in the camera image storage unit 21.

センサデータ取得処理部１２は、上記センサＳＳ１〜ＳＳｊから出力されたセンサデータを入出力インタフェースユニット３を介してそれぞれ取得し、取得したセンサデータをセンサデータ記憶部２２に格納する処理を行う。 The sensor data acquisition processing unit 12 acquires sensor data output from the sensors SS1 to SSj via the input / output interface unit 3, and stores the acquired sensor data in the sensor data storage unit 22.

条件設定処理部１３は、例えばシステム管理者が使用する管理用端末から、システム管理者の操作により入力された情報抽出処理の条件を表す情報（アルゴリズムと閾値等）を入出力インタフェースユニット３または通信インタフェースユニット４を介して受け取り、第１の条件記憶部２３に格納する処理を行う。なお、入出力部ＩＯとしては、他に、キーボードおよびマウスを有する入力デバイス、音声入力デバイス、独立したディスプレイ等を使用することができる。 The condition setting processing unit 13 transmits information (algorithms, thresholds, etc.) representing information extraction processing conditions input by the operation of the system administrator from the management terminal used by the system administrator to the input / output interface unit 3 or communication. A process of receiving the information via the interface unit 4 and storing the information in the first condition storage unit 23 is performed. In addition, as the input / output unit IO, an input device having a keyboard and a mouse, an audio input device, an independent display, and the like can be used.

情報抽出処理部１４は、上記第１の条件記憶部２３に記憶された情報抽出処理の条件を表す情報に基づいて、上記カメラ映像記憶部２１に記憶された映像データに対し情報抽出処理を行い、この情報抽出処理により生成されたデータをデータ通信制御部１５へ出力する処理を行う。情報抽出処理とは、クラウドＣＳで行われるアプリケーション処理の内容に応じて、上記映像データからオブジェクトなどの必要な画像を抽出しかつ不要な画像を削除する処理のことで、具体例は後述する。 The information extraction processing unit 14 performs information extraction processing on the video data stored in the camera image storage unit 21 based on the information representing the conditions of the information extraction processing stored in the first condition storage unit 23. , The process of outputting the data generated by this information extraction process to the data communication control unit 15 is performed. The information extraction process is a process of extracting a necessary image such as an object from the video data and deleting an unnecessary image according to the content of the application process performed by the cloud CS, and a specific example will be described later.

データ通信制御部１５は、上記情報抽出処理部１４から出力された情報抽出処理により生成されたデータを、通信インタフェースユニット４からクラウドＣＳへ送信する処理を行う。 The data communication control unit 15 performs a process of transmitting the data generated by the information extraction process output from the information extraction process unit 14 from the communication interface unit 4 to the cloud CS.

図３は、クラウドＣＳの構成を示すブロック図である。
クラウドＣＳは、例えばサーバコンピュータからなり、制御ユニット５と、データベース６と、通信インタフェースユニット７とを備えている。 FIG. 3 is a block diagram showing the configuration of the cloud CS.
The cloud CS is composed of, for example, a server computer, and includes a control unit 5, a database 6, and a communication interface unit 7.

通信インタフェースユニット７は、制御ユニット５の制御の下、ネットワークＮＷを介してエッジサーバＥＳ１，ＥＳ２，…，ＥＳｎとの間でデータの送受信を行う。またはアプリケーション処理後のデータをアプリケーション配信または管理用に配置されたサーバ、または、ユーザ端末との間でデータの送受信を行うこともある。通信プロトコルはネットワークＮＷで規定されるプロトコルが使用される。 Under the control of the control unit 5, the communication interface unit 7 transmits / receives data to / from the edge servers ES1, ES2, ..., ESn via the network NW. Alternatively, the data after application processing may be transmitted / received to / from a server arranged for application distribution or management, or a user terminal. As the communication protocol, the protocol specified by the network NW is used.

データベース６は、記憶媒体として例えばＨＤＤやＳＳＤ等の随時書込および読み出しが可能な大容量の不揮発性メモリを備えたもので、エッジサーバＥＳ１，ＥＳ２，…，ＥＳｎから送られた情報抽出後のデータや、制御ユニット５により処理されたデータをそれぞれ格納するために使用される。なお、記憶媒体に使用するメモリは上記メモリに限らない。 The database 6 is provided with a large-capacity non-volatile memory such as an HDD or SSD that can be written and read at any time as a storage medium, and is after information extraction sent from the edge servers ES1, ES2, ..., ESn. It is used to store the data and the data processed by the control unit 5, respectively. The memory used as the storage medium is not limited to the above memory.

制御ユニット５は、中央処理ユニット（ＣＰＵ）および作業用メモリを備え、アプリケーション処理部５１を備えている。アプリケーション処理部５１は、エッジサーバＥＳ１，ＥＳ２，…，ＥＳｎから送られた情報抽出後のデータに基づいて、予め設定されたアプリケーション処理を実行する。アプリケーション処理の具体例については後に詳しく述べる。 The control unit 5 includes a central processing unit (CPU), a working memory, and an application processing unit 51. The application processing unit 51 executes preset application processing based on the data after information extraction sent from the edge servers ES1, ES2, ..., ESn. Specific examples of application processing will be described in detail later.

（動作）
次に、以上のように構成されたシステムの動作を、幾つかの実施例を用いて説明する。
（第１の実施例）
第１の実施例は、カメラＣＭ１〜ＣＭｉから取得した映像データおよびセンサＳＳ１〜ＳＳｊから取得したセンサデータを用いて、クラウドＣＳがアプリケーション処理によりダイナミックマップを作成するものである。ダイナミックマップとは、一般的に、静的な地図データに、歩行者や自動車、交通状況などのオブジェクトをマッピングしたものである。 (motion)
Next, the operation of the system configured as described above will be described with reference to some examples.
(First Example)
In the first embodiment, the cloud CS creates a dynamic map by application processing using the video data acquired from the cameras CM1 to CMi and the sensor data acquired from the sensors SS1 to SSj. A dynamic map is generally a map of static map data with objects such as pedestrians, automobiles, and traffic conditions.

ダイナミックマップの作成に先立ち、エッジサーバＥＳ１の第１の条件記憶部２３には情報抽出条件を表す情報が設定される。ダイナミックマップを作成するときの情報抽出条件としては、例えば、映像データから抽出するオブジェクトの名称又は種類と、オブジェクトの位置情報と、時刻情報と、情報抽出処理により生成するデータ形式等のパラメータが設定される。オブジェクトの種類には、例えば歩行者、（年齢、性別等）、自動車、バス、トラック、自転車、バイクなどが含まれる。生成データのデータ形式としては、テキストデータなどの軽量なデータ形式が設定される。上記情報抽出条件の設定処理は、例えばシステム管理者が管理用端末を操作して入力した条件を表す情報を、エッジサーバＥＳ１が条件設定処理部１３の制御の下で受け付けて第１の条件記憶部２３に格納することにより行われる。 Prior to the creation of the dynamic map, information representing the information extraction condition is set in the first condition storage unit 23 of the edge server ES1. As information extraction conditions when creating a dynamic map, for example, parameters such as the name or type of the object to be extracted from the video data, the position information of the object, the time information, and the data format generated by the information extraction process are set. Will be done. Types of objects include, for example, pedestrians (age, gender, etc.), cars, buses, tracks, bicycles, motorcycles, and the like. As the data format of the generated data, a lightweight data format such as text data is set. In the setting process of the above information extraction condition, for example, the edge server ES1 receives the information representing the condition input by operating the management terminal by the system administrator under the control of the condition setting processing unit 13, and stores the first condition. This is done by storing in the unit 23.

上記情報抽出条件の設定が終了し、ダイナミックマップの作成モードになると、例えば車両の前方（進行方向）を撮影するカメラＣＭ１が、車両の前方方向を撮影してその映像データをエッジサーバＥＳ１へ出力する。また、カメラＣＭ１は車両の後方や側面に設置されていることもあり、車両の後方方向や側面方向を撮影して、その映像データをエッジサーバＥＳ１へ出力することもある。このとき、上記カメラＣＭ１の解像度やＦＰＳなどの撮影パラメータは、事前にエッジサーバＥＳ１から遠隔制御信号により指定される。なお、カメラＣＭ１は静止画像を撮影し、この静止画像のデータを出力するものであってもよい。 When the setting of the above information extraction conditions is completed and the dynamic map creation mode is set, for example, the camera CM1 that shoots the front (traveling direction) of the vehicle shoots the front direction of the vehicle and outputs the video data to the edge server ES1. do. Further, the camera CM1 may be installed at the rear or side surface of the vehicle, and may capture the rear direction or the side surface direction of the vehicle and output the video data to the edge server ES1. At this time, the shooting parameters such as the resolution and FPS of the camera CM1 are specified in advance by the remote control signal from the edge server ES1. The camera CM1 may take a still image and output the data of the still image.

また、上記カメラ映像の撮影動作と並行して、センサ群ＳＳ１〜ＳＳｊのうち、距離センサＳＳ１が前方に存在するオブジェクトまでの距離を、また位置センサＳＳ２が自車両の位置をそれぞれ計測し、各計測値を示すセンサデータをエッジサーバＥＳ１へ出力する。 Further, in parallel with the shooting operation of the camera image, the distance sensor SS1 measures the distance to the object existing in front of the sensor groups SS1 to SSj, and the position sensor SS2 measures the position of the own vehicle. The sensor data indicating the measured value is output to the edge server ES1.

図４は、第１の実施例におけるエッジサーバＥＳ１およびクラウドＣＳの処理手順と処理内容を示すフローチャートである。
エッジサーバＥＳ１は、先ずステップＳＴ１１において、カメラ映像取得処理部１１の制御の下、上記カメラＣＭ１から出力された映像データ又は静止画像データを入出力インタフェースユニット３を介して取り込み、カメラ映像記憶部２１に格納する。なお、上記映像データ又は静止画像データは、送信元のカメラＣＭ１のカメラＩＤと撮影日時を示す情報が付加された状態で記憶される。 FIG. 4 is a flowchart showing the processing procedure and processing contents of the edge server ES1 and the cloud CS in the first embodiment.
First, in step ST11, the edge server ES1 takes in the video data or still image data output from the camera CM1 via the input / output interface unit 3 under the control of the camera image acquisition processing unit 11, and the camera image storage unit 21. Store in. The video data or still image data is stored in a state in which the camera ID of the source camera CM1 and information indicating the shooting date and time are added.

またそれと共にエッジサーバＥＳ１は、ステップＳＴ１２において、センサデータ取得処理部１２の制御の下で、上記距離センサＳＳ１および位置センサＳＳ２からそれぞれ出力される、オブジェクトまでの距離を示すセンサデータと、自車両の位置を示すセンサデータを、入出力インタフェースユニット３を介して取り込み、センサデータ記憶部２２に格納する。なお、上記各センサデータも、送信元のセンサＳＳ１，ＳＳ２のセンサＩＤと計測日時を示す情報が付加された状態で記憶される。 At the same time, in step ST12, the edge server ES1 receives sensor data indicating the distance to the object, which is output from the distance sensor SS1 and the position sensor SS2, respectively, under the control of the sensor data acquisition processing unit 12, and the own vehicle. The sensor data indicating the position of the above is taken in via the input / output interface unit 3 and stored in the sensor data storage unit 22. Each of the above sensor data is also stored in a state in which the sensor IDs of the source sensors SS1 and SS2 and information indicating the measurement date and time are added.

次にエッジサーバＥＳ１は、ステップＳＴ１３において、情報抽出処理部１４の制御の下、以下のように情報抽出処理を実行する。
すなわち、先ずステップＳＴ１３１によりカメラ映像記憶部２１から映像データ又は静止画像データを読み込み、この読み込んだ映像データ又は静止画像データから、上記第１の条件記憶部２３に記憶された情報抽出条件に従い、抽出対象となるオブジェクトを抽出する。 Next, in step ST13, the edge server ES1 executes the information extraction process as follows under the control of the information extraction processing unit 14.
That is, first, the video data or the still image data is read from the camera image storage unit 21 in step ST131, and the read video data or the still image data is extracted from the read video data or the still image data according to the information extraction condition stored in the first condition storage unit 23. Extract the target object.

このオブジェクトの抽出処理は、例えば次のように行われる。すなわち、事前に深層学習を用いて抽出対象となるオブジェクトの画像を大量に学習させ、抽出対象となるオブジェクトの輪郭形状や色などの特徴パラメータを検出して、この特徴パラメータを第１の条件記憶部２３に記憶する。そして、上記カメラ映像記憶部２１から読み込んだ映像データ又は静止画像データを上記学習結果である特徴パラメータと照合し、一致の度合いが所定量以上の画像を抽出対象のオブジェクトとして抽出する。なお、以上述べたオブジェクトの抽出方法には、例えばDarknetやCaffeなどが用いられる。 The extraction process of this object is performed as follows, for example. That is, a large amount of images of the object to be extracted are learned in advance by using deep learning, feature parameters such as the contour shape and color of the object to be extracted are detected, and these feature parameters are stored in the first conditional storage. It is stored in the part 23. Then, the video data or the still image data read from the camera image storage unit 21 is collated with the feature parameter which is the learning result, and an image having a degree of matching of a predetermined amount or more is extracted as an object to be extracted. For example, Darknet or Caffe is used as the object extraction method described above.

続いて情報抽出処理部１４は、ステップＳＴ１３２において、上記映像データ又は静止画像データの撮影日時と同一の計測時刻が付加された距離データをセンサデータ記憶部２２から読み込み、この距離データをもとに上記抽出されたオブジェクトまでの距離を算出する。なお、カメラＣＭ１として３次元カメラやステレオカメラを用いる場合には、この３次元カメラの３次元画像から、またステレオカメラの画像から求められたオブジェクトまでの距離データを用いてもよい。また、カメラＣＭ１により得られた映像データ又は静止画像データにおけるオブジェクトの座標点と、カメラＣＭ１の画角などから、自車両とオブジェクトとの間の距離を算出するようにしてもよい。 Subsequently, in step ST132, the information extraction processing unit 14 reads distance data to which the same measurement time as the shooting date and time of the video data or still image data is added from the sensor data storage unit 22, and based on this distance data. Calculate the distance to the extracted object. When a three-dimensional camera or a stereo camera is used as the camera CM1, the distance data from the three-dimensional image of the three-dimensional camera to the object obtained from the image of the stereo camera may be used. Further, the distance between the own vehicle and the object may be calculated from the coordinate points of the object in the video data or the still image data obtained by the camera CM1 and the angle of view of the camera CM1.

また情報抽出処理部１４は、ステップＳＴ１３３により、上記映像データ又は静止画像データの撮影日時と同一の計測時刻が付加された自車両の位置情報をセンサデータ記憶部２２から読み込む。そして、ステップＳＴ１３４により、上記算出されたオブジェクトまでの距離と、上記読み込んだ自車両の位置情報とから、上記抽出したオブジェクトの位置情報を算出する。このオブジェクトの位置情報の算出方法としては、例えばVincenty法やヒューベニ公式を利用することができる。 Further, the information extraction processing unit 14 reads the position information of the own vehicle to which the same measurement time as the shooting date and time of the video data or the still image data is added from the sensor data storage unit 22 in step ST133. Then, in step ST134, the position information of the extracted object is calculated from the calculated distance to the object and the read position information of the own vehicle. As a method of calculating the position information of this object, for example, Vincenty's method or Hubeni's formula can be used.

情報抽出処理部１４は、続いてステップＳＴ１３５において、上記計測された自車両の位置情報と、上記抽出されたオブジェクトの名前又は種類と、上記算出されたオブジェクトの位置情報と、計測日時を、テキストデータに変換する。そして、この変換されたテキストデータを情報抽出後のデータとしてデータ通信制御部１５に渡す。 Subsequently, in step ST135, the information extraction processing unit 14 texts the measured position information of the own vehicle, the name or type of the extracted object, the calculated position information of the object, and the measurement date and time. Convert to data. Then, the converted text data is passed to the data communication control unit 15 as data after information extraction.

エッジサーバＥＳ１は、ステップＳＴ１４において、上記データ通信制御部１５の制御の下、上記情報抽出処理部１４から渡されたテキストデータを通信インタフェースユニット４からクラウドＣＳへ送信する。 In step ST14, the edge server ES1 transmits the text data passed from the information extraction processing unit 14 from the communication interface unit 4 to the cloud CS under the control of the data communication control unit 15.

これに対しクラウドＣＳは、上記エッジサーバＥＳ１から送信されたテキストデータをステップＳＴ１５により受信すると、ステップＳＴ１６においてアプリケーション処理部５１がダイナミックマップの作成処理を行う。このダイナミックマップの作成は、例えば、上記テキストデータにより表される自車両の位置に対応する地図データをデータベース６から読み出し、この地図データ上に上記テキストデータをマッピングすることによりなされる。その際、テキストデータにより表されるオブジェクトの基本画像をデータベース６から選択的に読み出し、当該基本画像を上記地図データ上の上記テキストデータにより表されるオブジェクト位置に重ねて表示するようにしてもよい。 On the other hand, in the cloud CS, when the text data transmitted from the edge server ES1 is received in step ST15, the application processing unit 51 performs a dynamic map creation process in step ST16. The dynamic map is created, for example, by reading the map data corresponding to the position of the own vehicle represented by the text data from the database 6 and mapping the text data on the map data. At that time, the basic image of the object represented by the text data may be selectively read from the database 6 and the basic image may be superimposed and displayed on the object position represented by the text data on the map data. ..

なお、上記作成されたダイナミックマップのデータは、例えばデータベース６に記憶されると共に、上記テキストデータの送信元となるエッジサーバＥＳ１へ送信され、エッジサーバＥＳ１の入出力部ＩＯに表示される。または、アプリケーション配信または管理用のサーバやユーザ端末へ送信させることもある。このダイナミックマップは、例えばカーナビゲーション用の画像又は映像として使用される。 The created dynamic map data is stored in, for example, the database 6, transmitted to the edge server ES1 which is the source of the text data, and displayed in the input / output unit IO of the edge server ES1. Alternatively, it may be sent to a server or user terminal for application distribution or management. This dynamic map is used, for example, as an image or video for car navigation.

（第１の実施例の効果）
以上述べた第１の実施例では、エッジサーバＥＳ１の情報抽出処理により、車両に設置したカメラＣＭ１で撮影した映像データ又は静止画像データからオブジェクトを抽出して当該オブジェクトの種類や位置等を表す情報をテキストデータに変換し、当該テキストデータをクラウドＣＳに伝送するようにしている。このため、映像データ又は静止画像データをそのままクラウドＣＳに伝送する場合に比べ、伝送トラフィック量を大幅に低減することができ、かつクラウドＣＳにおける処理負荷を軽減して処理の応答性を向上させることができる。 (Effect of the first embodiment)
In the first embodiment described above, information representing the type and position of the object is extracted from the video data or still image data taken by the camera CM1 installed in the vehicle by the information extraction process of the edge server ES1. Is converted into text data, and the text data is transmitted to the cloud CS. Therefore, as compared with the case where video data or still image data is transmitted to the cloud CS as it is, the amount of transmission traffic can be significantly reduced, and the processing load in the cloud CS can be reduced to improve the responsiveness of processing. Can be done.

図５に、情報抽出処理を行った場合と行わない場合の伝送トラヒック量の比較結果の一例を示す。この例では、情報抽出処理を行ったことで伝送トラヒック量を平均で99.46%削減することができた。 FIG. 5 shows an example of the comparison result of the transmission traffic amount when the information extraction process is performed and when the information extraction process is not performed. In this example, the amount of transmission traffic could be reduced by 99.46% on average by performing the information extraction process.

上記比較結果は、実際に車両に搭載されたドライブレコーダにより解像度640×360で撮影した１分間の１２種類の映像を評価用元映像として用い、情報抽出処理ありと情報抽出処理なしの場合の伝送トラフィック量をそれぞれ算出して示したものである。 The above comparison results are transmitted using 12 types of 1-minute video shot at a resolution of 640 x 360 with a drive recorder actually mounted on the vehicle as the evaluation source video, with and without information extraction processing. The traffic volume is calculated and shown.

情報抽出処理なしの場合のトラヒック量は、１分間の映像データ（１fpsのM-JPEG）のファイルサイズの合計値を測定して、１２種類分の映像の平均値および標準偏差を算出した。一方、情報抽出処理をした場合のトラヒック量は、１分間の映像データにおける情報抽出処理後のファイルサイズ（テキストデータ）の合計値を測定し、１２種類分の映像の平均値および標準偏差を算出した。 For the traffic amount without the information extraction process, the total value of the file sizes of the video data (1 fps M-JPEG) for 1 minute was measured, and the average value and standard deviation of the 12 types of video were calculated. On the other hand, for the traffic amount when the information extraction processing is performed, the total value of the file size (text data) after the information extraction processing in the video data for 1 minute is measured, and the average value and standard deviation of 12 types of video are calculated. bottom.

（第２の実施例）
第２の実施例は、カメラＣＭ１〜ＣＭｉにより得られる映像データおよびセンサＳＳ１〜ＳＳｊにより得られるセンサデータを用いて、クラウドＣＳが道路の路面診断を行うものである。 (Second Example)
In the second embodiment, the cloud CS performs road surface diagnosis of the road using the video data obtained by the cameras CM1 to CMi and the sensor data obtained by the sensors SS1 to SSj.

路面診断に先立ち、エッジサーバＥＳ１の第１の条件記憶部２３には情報抽出条件が設定される。路面診断を行うときの情報抽出条件としては、例えば、映像データから抽出する遮蔽物の名称又は種類、トリミングの位置とサイズ等が設定される。遮蔽物の種類には、例えば歩行者、自動車、自転車、バイクなどが含まれる。トリミングの位置とサイズとしては、例えば撮影画面内の下１／４といったパラメータが設定される。上記情報抽出条件の設定処理は、例えばシステム管理者が管理用端末を操作して入力した条件を表す情報を、エッジサーバＥＳ１が条件設定処理部１３の制御の下で受け付けて第１の条件記憶部２３に格納することにより行われる。 Prior to the road surface diagnosis, information extraction conditions are set in the first condition storage unit 23 of the edge server ES1. As the information extraction conditions when performing the road surface diagnosis, for example, the name or type of the shield to be extracted from the video data, the trimming position and size, and the like are set. Types of shields include, for example, pedestrians, cars, bicycles, motorcycles and the like. As the trimming position and size, parameters such as the lower quarter in the shooting screen are set. In the setting process of the above information extraction condition, for example, the edge server ES1 receives the information representing the condition input by operating the management terminal by the system administrator under the control of the condition setting processing unit 13, and stores the first condition. This is done by storing in the unit 23.

上記情報抽出条件の設定が終了し、道路の所定区間に対する路面診断の要求が入力されると、車両の前方（進行方向）を撮影するカメラＣＭ１が、車両の前方方向を撮影してその映像データをエッジサーバＥＳ１へ出力する。また、カメラＣＭ１は車両の後方や側面に設置されていることもあり、車両の後方方向や側面方向を撮影して、その映像データをエッジサーバＥＳ１へ出力することもある。このとき、上記カメラＣＭ１の解像度やＦＰＳなどの撮影パラメータは、事前にエッジサーバＥＳ１から遠隔制御信号により指定される。なお、カメラＣＭ１は静止画像を撮影し、この静止画像のデータを出力するものであってもよい。 When the setting of the above information extraction conditions is completed and a request for road surface diagnosis for a predetermined section of the road is input, the camera CM1 that captures the front (traveling direction) of the vehicle captures the front direction of the vehicle and the video data. Is output to the edge server ES1. Further, the camera CM1 may be installed at the rear or side surface of the vehicle, and may capture the rear direction or the side surface direction of the vehicle and output the video data to the edge server ES1. At this time, the shooting parameters such as the resolution and FPS of the camera CM1 are specified in advance by the remote control signal from the edge server ES1. The camera CM1 may take a still image and output the data of the still image.

また、上記カメラ映像の撮影動作と並行して、センサ群ＳＳ１〜ＳＳｊのうち、位置センサＳＳ２が自車両の位置を計測しその計測値を示すセンサデータをエッジサーバＥＳ１へ出力する。 Further, in parallel with the shooting operation of the camera image, the position sensor SS2 of the sensor groups SS1 to SSj measures the position of the own vehicle and outputs the sensor data indicating the measured value to the edge server ES1.

図６は、第２の実施例におけるエッジサーバＥＳ１およびクラウドＣＳの処理手順と処理内容を示すフローチャートである。
エッジサーバＥＳ１は、先ずステップＳＴ２１において、カメラ映像取得処理部１１の制御の下、上記カメラＣＭ１から出力された映像データ又は静止画像データを入出力インタフェースユニット３を介して取り込み、カメラ映像記憶部２１に格納する。なお、上記映像データ又は静止画像データは、送信元のカメラＣＭ１のカメラＩＤと撮影日時を示す情報が付加された状態で記憶される。 FIG. 6 is a flowchart showing the processing procedure and processing contents of the edge server ES1 and the cloud CS in the second embodiment.
First, in step ST21, the edge server ES1 takes in the video data or still image data output from the camera CM1 via the input / output interface unit 3 under the control of the camera image acquisition processing unit 11, and the camera image storage unit 21. Store in. The video data or still image data is stored in a state in which the camera ID of the source camera CM1 and information indicating the shooting date and time are added.

またそれと共にエッジサーバＥＳ１は、ステップＳＴ２２において、センサデータ取得処理部１２の制御の下で、上記位置センサＳＳ２から出力される自車両の位置を示すセンサデータを入出力インタフェースユニット３を介して取り込み、センサデータ記憶部２２に格納する。なお、上記センサデータも、送信元のセンサＳＳ２のセンサＩＤと計測日時を示す情報が付加された状態で記憶される。 At the same time, in step ST22, the edge server ES1 takes in the sensor data indicating the position of the own vehicle output from the position sensor SS2 via the input / output interface unit 3 under the control of the sensor data acquisition processing unit 12. , Stored in the sensor data storage unit 22. The sensor data is also stored in a state in which the sensor ID of the sensor SS2 of the transmission source and the information indicating the measurement date and time are added.

次にエッジサーバＥＳ１は、ステップＳＴ１３において、情報抽出処理部１４の制御の下、以下のように情報抽出処理を実行する。
すなわち、情報抽出処理部１４は、先ずステップＳＴ２３１によりカメラ映像記憶部２１から映像データ又は静止画像データを読み込み、この読み込んだ映像データ又は静止画像データから、上記第１の条件記憶部２３に記憶された情報抽出条件に従い、路面診断を行う上で邪魔になる自動車や歩行者などの遮蔽物を抽出する。そして、遮蔽物が抽出されたか否かをステップＳＴ２３２で判定する。 Next, in step ST13, the edge server ES1 executes the information extraction process as follows under the control of the information extraction processing unit 14.
That is, the information extraction processing unit 14 first reads video data or still image data from the camera image storage unit 21 in step ST231, and stores the read video data or still image data in the first condition storage unit 23. According to the information extraction conditions, the obstacles such as automobiles and pedestrians that interfere with the road surface diagnosis are extracted. Then, it is determined in step ST232 whether or not the shield has been extracted.

上記判定の結果、遮蔽物が抽出された場合には、ステップＳＴ２３３により当該遮蔽物の画像を上記映像データ又は静止画像データから削除し、続いてステップＳＴ２３４において上記遮蔽物画像削除後の映像データ又は静止画像データをトリミングする。このトリミング処理では、例えば道路部分が含まれる１フレームの下１／４の領域を抽出し、他の領域を削除する処理が行われる。一方、上記判定の結果、遮蔽物が抽出された場合には、ステップＳＴ２３４に移行して、上記遮蔽物画像削除後の映像データ又は静止画像データに対し、上記道路部分を抽出するためのトリミング処理を行う。 If a shield is extracted as a result of the above determination, the image of the shield is deleted from the video data or still image data in step ST233, and then the video data or the video data after the shield image is deleted in step ST234. Trim the still image data. In this trimming process, for example, a process of extracting a lower quarter area of one frame including a road portion and deleting other areas is performed. On the other hand, when a shield is extracted as a result of the above determination, the process proceeds to step ST234, and a trimming process for extracting the road portion from the video data or still image data after deleting the shield image is performed. I do.

なお、上記遮蔽物の抽出処理は、例えば次のように行われる。すなわち、事前に深層学習を用いて抽出対象となる遮蔽物の画像を大量に学習させ、抽出対象となる遮蔽物の輪郭形状や色などの特徴パラメータを検出して、この特徴パラメータを第１の条件記憶部２３に記憶する。そして、上記カメラ映像記憶部２１から読み込んだ映像データ又は静止画像データを上記学習結果である特徴パラメータと照合し、一致の度合いが所定量以上の画像を抽出対象の遮蔽物として抽出する。 The process of extracting the shield is performed as follows, for example. That is, a large amount of images of the shield to be extracted are learned in advance using deep learning, feature parameters such as the contour shape and color of the shield to be extracted are detected, and this feature parameter is used as the first feature parameter. It is stored in the condition storage unit 23. Then, the video data or the still image data read from the camera image storage unit 21 is collated with the feature parameter which is the learning result, and an image having a degree of matching of a predetermined amount or more is extracted as a shield to be extracted.

また、上記道路部分のトリミング処理についても、事前に道路部分の画像を学習させてその特徴パラメータを第１の条件記憶部２３に記憶しておき、映像データ又は静止画像データを上記学習結果である特徴パラメータと照合して、一致の度合いが所定量以上の画像領域を道路部分の画像として抽出するようにしてもよい。 Further, also for the trimming process of the road portion, the image of the road portion is learned in advance, the feature parameters thereof are stored in the first condition storage unit 23, and the video data or the still image data is the learning result. An image area having a degree of matching equal to or greater than a predetermined amount may be extracted as an image of a road portion by collating with a feature parameter.

なお、以上の説明では遮蔽物を削除したのち、道路部分の画像をトリミング処理する場合を例にとって説明したが、映像データ又は静止画像データに対し先ず道路部分の画像をトリミング処理し、このトリミング処理後の映像データ又は静止画像データから遮蔽物を抽出して削除するようにしてもよい。 In the above description, the case where the image of the road portion is trimmed after the obstruction is deleted has been described as an example. However, the image of the road portion is first trimmed with respect to the video data or the still image data, and this trimming process is performed. A shield may be extracted from the subsequent video data or still image data and deleted.

情報抽出処理部１４は、続いてステップＳＴ２３５において、上記映像データ又は静止画像データの撮影日時と同一の計測時刻が付加された自車両の位置情報をセンサデータ記憶部２２から読み込む。そして、ステップＳＴ２３６により、上記トリミング処理後の映像データ又は静止画像データと、上記自車両の位置情報とを含む送信データを生成し、この生成された送信データを情報抽出後のデータとしてデータ通信制御部１５に渡す。 Subsequently, in step ST235, the information extraction processing unit 14 reads the position information of the own vehicle to which the same measurement time as the shooting date and time of the video data or the still image data is added from the sensor data storage unit 22. Then, in step ST236, transmission data including the video data or still image data after the trimming process and the position information of the own vehicle is generated, and the generated transmission data is used as data after information extraction for data communication control. Give it to department 15.

エッジサーバＥＳ１は、ステップＳＴ２４において、上記データ通信制御部１５の制御の下、上記情報抽出処理部１４から渡された送信データを通信インタフェースユニット４からクラウドＣＳへ送信する。 In step ST24, the edge server ES1 transmits the transmission data passed from the information extraction processing unit 14 from the communication interface unit 4 to the cloud CS under the control of the data communication control unit 15.

これに対しクラウドＣＳは、上記エッジサーバＥＳ１から送信された送信データをステップＳＴ２５において受信すると、ステップＳＴ２６においてアプリケーション処理部５１が路面診断処理を行う。路面診断処理では、例えば送信データに含まれるトリミング後の映像データ又は静止画像データから路面の凹凸や亀裂の有無、色などが検出され、その検出結果をもとに良否が判定される。なお、上記路面の凹凸や亀裂の有無、色などの検出にも、例えば事前に学習した学習データが用いられる。 On the other hand, in the cloud CS, when the transmission data transmitted from the edge server ES1 is received in step ST25, the application processing unit 51 performs road surface diagnosis processing in step ST26. In the road surface diagnosis process, for example, the presence or absence of unevenness or cracks on the road surface, color, etc. are detected from the trimmed video data or still image data included in the transmission data, and the quality is determined based on the detection result. For example, learning data learned in advance is also used for detecting the presence or absence of unevenness and cracks on the road surface, color, and the like.

クラウドＣＳは、上記路面診断の結果を表す情報を、上記送信データに含まれる車両の位置情報と関連付けてデータベース６に格納する。また、診断結果を所定の判定条件と照合し、補修が必要と判定された場合には当該診断結果を表す情報と位置情報と共に管理事務所の端末等へ送信する。また、上記路面診断の結果を示す情報を、アプリケーション配信または管理用のサーバやユーザ端末に送信することもある。 The cloud CS stores the information representing the result of the road surface diagnosis in the database 6 in association with the vehicle position information included in the transmission data. In addition, the diagnosis result is collated with a predetermined judgment condition, and when it is judged that repair is necessary, the information representing the diagnosis result and the location information are transmitted to the terminal of the management office or the like. In addition, information indicating the result of the road surface diagnosis may be transmitted to a server or user terminal for application distribution or management.

（第２の実施例の効果）
以上述べた第２の実施例では、エッジサーバＥＳ１の情報抽出処理により、車両に設置したカメラＣＭ１で撮影した映像データ又は静止画像データから道路の遮蔽物を抽出してその画像を削除すると共に、道路部分に相当する画像領域をトリミング処理し、これらの処理がなされた映像データ又は静止画像データを位置情報と共にクラウドＣＳに伝送するようにしている。このため、映像データ又は静止画像データをそのままクラウドＣＳに伝送する場合に比べ、伝送トラフィック量を大幅に低減することができ、かつクラウドＣＳにおける処理負荷を軽減して処理の応答性を向上させることができる。 (Effect of the second embodiment)
In the second embodiment described above, the information extraction process of the edge server ES1 extracts the road shield from the video data or the still image data taken by the camera CM1 installed in the vehicle, deletes the image, and deletes the image. The image area corresponding to the road portion is trimmed, and the processed video data or still image data is transmitted to the cloud CS together with the position information. Therefore, as compared with the case where video data or still image data is transmitted to the cloud CS as it is, the amount of transmission traffic can be significantly reduced, and the processing load in the cloud CS can be reduced to improve the responsiveness of processing. Can be done.

図７に、情報抽出処理を行った場合と行わない場合の伝送トラヒック量の比較結果の一例を示す。この例では、情報抽出処理を行ったことで伝送トラヒック量を平均で92.00%削減することができた。この実験の条件は、ダイナミックマップでの実験条件と比較すると、映像データの解像度が1280×720(HD)である点と、クラウドＣＳに送信するデータがトリミングした画像データのファイルサイズの合計となっている点が異なり、それ以外は同じである。 FIG. 7 shows an example of the comparison result of the transmission traffic amount when the information extraction process is performed and when the information extraction process is not performed. In this example, the amount of transmission traffic could be reduced by 92.00% on average by performing the information extraction process. The conditions for this experiment are the sum of the video data resolution of 1280 x 720 (HD) and the file size of the trimmed image data for the data transmitted to the cloud CS, when compared with the experimental conditions for the dynamic map. The difference is that they are the same except for that.

（第３の実施例）
第３の実施例は、カメラＣＭ１〜ＣＭｉにより得られる映像データおよびセンサＳＳ１〜ＳＳｊにより得られるセンサデータを用いて、クラウドＣＳが様々な方角から撮影された複数の車載カメラ映像データを組み合わせて、道路周辺の風景を閲覧可能とする全天球画像を作成するものである。以後、このアプリケーションを周辺風景閲覧と呼ぶ。全天球画像、つまり周辺風景閲覧画像とは、例えば、３６０度の全方位画像から、プライバシー保護の観点で歩行者や自動車、表札などの特定のオブジェクトを削除したものである。 (Third Example)
In the third embodiment, using the video data obtained by the cameras CM1 to CMi and the sensor data obtained by the sensors SS1 to SSj, the cloud CS combines a plurality of in-vehicle camera video data captured from various directions. It creates a spherical image that makes it possible to view the scenery around the road. Hereinafter, this application will be referred to as surrounding landscape browsing. The spherical image, that is, the surrounding landscape viewing image is, for example, a 360-degree omnidirectional image in which specific objects such as pedestrians, automobiles, and front tags are deleted from the viewpoint of privacy protection.

周辺風景閲覧に先立ち、エッジサーバＥＳ１の第１の条件記憶部２３には情報抽出条件が設定される。周辺風景閲覧画像を作成するときの情報抽出条件としては、例えば、削除対象又は留置対象のオブジェクトの名称又は種類と、特徴が設定される。削除対象のオブジェクトには、例えばプライバシー保護の観点から削除すべき歩行者や自動車、表札などが含まれる。これに対し留置対象のオブジェクトには、建物や公共物、案内用の標識等が含まれる。上記情報抽出条件の設定処理は、例えばシステム管理者が管理用端末を操作して入力した条件を表す情報を、エッジサーバＥＳ１が条件設定処理部１３の制御の下で受け付けて第１の条件記憶部２３に格納することにより行われる。 Prior to viewing the surrounding landscape, information extraction conditions are set in the first condition storage unit 23 of the edge server ES1. As the information extraction condition when creating the surrounding landscape viewing image, for example, the name or type of the object to be deleted or the object to be detained and the feature are set. Objects to be deleted include, for example, pedestrians, automobiles, and front cards that should be deleted from the viewpoint of privacy protection. On the other hand, the objects to be detained include buildings, public objects, signs for guidance, and the like. In the setting process of the above information extraction condition, for example, the edge server ES1 receives the information representing the condition input by operating the management terminal by the system administrator under the control of the condition setting processing unit 13, and stores the first condition. This is done by storing in the unit 23.

上記情報抽出条件の設定が終了し、周辺風景閲覧画像の作成要求が入力されると、例えば車両に搭載された複数のカメラＣＭ１〜ＣＭｉのうち、通常の単眼カメラ（以後カメラＣＭｋと呼ぶ）が撮影した映像データをエッジサーバＥＳ１へ出力する。また、カメラＣＭｋは全方位カメラ又は全方位を領域分割して撮影するための複数のカメラであることも考えられ、車両の全方位を撮影してその映像データをエッジサーバＥＳ１へ出力することもある。このとき、上記カメラＣＭｋの解像度やＦＰＳなどの撮影パラメータは、事前にエッジサーバＥＳ１から遠隔制御信号により指定される。なお、カメラＣＭｋは静止画像を撮影し、この静止画像のデータを出力するものであってもよい。 When the setting of the above information extraction conditions is completed and a request for creating a surrounding landscape viewing image is input, for example, among a plurality of cameras CM1 to CMi mounted on the vehicle, a normal monocular camera (hereinafter referred to as camera CMk) is used. The captured video data is output to the edge server ES1. It is also conceivable that the camera CMk is an omnidirectional camera or a plurality of cameras for shooting in all directions by dividing the area, and it is also possible to shoot all directions of the vehicle and output the video data to the edge server ES1. be. At this time, shooting parameters such as the resolution of the camera CMk and FPS are specified in advance by the remote control signal from the edge server ES1. The camera CMk may capture a still image and output the data of the still image.

また、上記カメラ映像の撮影動作と並行して、センサ群ＳＳ１〜ＳＳｊのうち、位置センサＳＳ２が自車両の位置を計測し、各計測値を示すセンサデータをエッジサーバＥＳ１へ出力する。 Further, in parallel with the shooting operation of the camera image, the position sensor SS2 of the sensor groups SS1 to SSj measures the position of the own vehicle, and outputs sensor data indicating each measured value to the edge server ES1.

図８は、第３の実施例におけるエッジサーバＥＳ１およびクラウドＣＳの処理手順と処理内容を示すフローチャートである。
エッジサーバＥＳ１は、先ずステップＳＴ３１において、カメラ映像取得処理部１１の制御の下、上記カメラＣＭｋから出力された映像データ又は静止画像データを入出力インタフェースユニット３を介して取り込み、カメラ映像記憶部２１に格納する。なお、上記映像データ又は静止画像データは、送信元のカメラＣＭｋのカメラＩＤと撮影日時を示す情報が付加された状態で記憶される。 FIG. 8 is a flowchart showing the processing procedure and processing contents of the edge server ES1 and the cloud CS in the third embodiment.
First, in step ST31, the edge server ES1 takes in the video data or still image data output from the camera CMk via the input / output interface unit 3 under the control of the camera image acquisition processing unit 11, and the camera image storage unit 21. Store in. The video data or still image data is stored in a state in which the camera ID of the source camera CMk and information indicating the shooting date and time are added.

またそれと共にエッジサーバＥＳ１は、ステップＳＴ３２において、センサデータ取得処理部１２の制御の下で、上記位置センサＳＳ２から出力される自車両の位置を示すセンサデータを入出力インタフェースユニット３を介して取り込み、センサデータ記憶部２２に格納する。なお、上記センサデータも、送信元のセンサＳＳ２のセンサＩＤと計測日時を示す情報が付加された状態で記憶される。 At the same time, in step ST32, the edge server ES1 takes in the sensor data indicating the position of the own vehicle output from the position sensor SS2 via the input / output interface unit 3 under the control of the sensor data acquisition processing unit 12. , Stored in the sensor data storage unit 22. The sensor data is also stored in a state in which the sensor ID of the sensor SS2 of the transmission source and the information indicating the measurement date and time are added.

次にエッジサーバＥＳ１は、ステップＳＴ３３において、情報抽出処理部１４の制御の下、以下のように情報抽出処理を実行する。
すなわち、情報抽出処理部１４は、先ずステップＳＴ３３１によりカメラ映像記憶部２１から映像データ又は静止画像データを読み込み、この読み込んだ映像データ又は静止画像データから、上記第１の条件記憶部２３に記憶された情報抽出条件に従い、周辺風景閲覧画像を作成する際に不要な歩行者や自動車および個人の表札等の削除対象オブジェクトと、周辺風景閲覧画像を作成する際に必要な建物や公共物、案内用の標識等の留置対象オブジェクトを抽出する。 Next, in step ST33, the edge server ES1 executes the information extraction process as follows under the control of the information extraction processing unit 14.
That is, the information extraction processing unit 14 first reads video data or still image data from the camera image storage unit 21 in step ST331, and stores the read video data or still image data in the first condition storage unit 23. Objects to be deleted such as pedestrians, automobiles, and personal name tags that are unnecessary when creating a surrounding landscape browsing image according to the information extraction conditions, and buildings, public objects, and information required when creating a surrounding landscape browsing image. Extract the detention target object such as the sign of.

上記各オブジェクトの抽出処理は、例えば次のように行われる。すなわち、事前に深層学習を用いて、抽出対象となる削除対象および留置対象の各オブジェクトの画像を大量に学習させ、抽出対象となるオブジェクトの輪郭形状や色などの特徴パラメータを検出して、この特徴パラメータを第１の条件記憶部２３に記憶する。そして、上記カメラ映像記憶部２１から読み込んだ映像データ又は静止画像データを上記学習結果である特徴パラメータと照合し、一致の度合いが所定量以上の画像を抽出対象のオブジェクトとして抽出する。 The extraction process of each of the above objects is performed as follows, for example. That is, deep learning is used in advance to learn a large amount of images of each object to be deleted and to be placed, and to detect feature parameters such as contour shape and color of the object to be extracted. The feature parameters are stored in the first condition storage unit 23. Then, the video data or the still image data read from the camera image storage unit 21 is collated with the feature parameter which is the learning result, and an image having a degree of matching of a predetermined amount or more is extracted as an object to be extracted.

情報抽出処理部１４は、上記オブジェクトが抽出されたか否かをステップＳＴ３３２で判定する。そして、上記判定の結果オブジェクトが抽出された場合には、ステップＳＴ３３３において、上記抽出されたオブジェクトが削除対象オブジェクトか又は留置対象オブジェクトか、その少なくとも一方を選別する。この選別の結果、削除対象オブジェクトであればその画像を映像データ又は静止画像データから削除する。これに対し留置対象オブジェクトであれば、当該画像を映像データ又は静止画像データから削除した上で、当該オブジェクトの輪郭等の特徴パラメータを、その画像中の位置データと共に保持する。当該オブジェクトの領域画像を保持してもよい。なお、上記判定の結果オブジェクトが抽出されなかった場合には、上記オブジェクトの選別処理を省略する。 The information extraction processing unit 14 determines in step ST332 whether or not the object has been extracted. Then, when the object is extracted as a result of the determination, in step ST333, at least one of the object to be deleted and the object to be detained is selected. As a result of this selection, if the object is to be deleted, the image is deleted from the video data or the still image data. On the other hand, in the case of the object to be detained, the image is deleted from the video data or the still image data, and then the feature parameters such as the outline of the object are held together with the position data in the image. The area image of the object may be retained. If the object is not extracted as a result of the above determination, the selection process of the above object is omitted.

情報抽出処理部１４は、続いてステップＳＴ３３４において、上記映像データ又は静止画像データの撮影日時と同一の計測時刻が付加された自車両の位置データをセンサデータ記憶部２２から読み込む。そして、上記ステップＳＴ３３３におけるオブジェクト選別処理により生成された、オブジェクト削除後の映像データ又は静止画像データと、留置対象オブジェクトの特徴パラメータおよびその画像中の位置データと、上記ステップＳＴ３３４において取得された自車両の位置情報とを含む送信データをステップＳＴ３３５で生成し、この生成された送信データを情報抽出後のデータとしてデータ通信制御部１５に渡す。 Subsequently, in step ST334, the information extraction processing unit 14 reads the position data of the own vehicle to which the same measurement time as the shooting date and time of the video data or the still image data is added from the sensor data storage unit 22. Then, the video data or still image data after the object is deleted, the feature parameters of the object to be detained, the position data in the image, and the own vehicle acquired in the step ST334, which are generated by the object selection process in the step ST333. Transmission data including the position information of the above is generated in step ST335, and the generated transmission data is passed to the data communication control unit 15 as data after information extraction.

エッジサーバＥＳ１は、ステップＳＴ３４において、上記データ通信制御部１５の制御の下、上記情報抽出処理部１４から渡された送信データを通信インタフェースユニット４からクラウドＣＳへ送信する。 In step ST34, the edge server ES1 transmits the transmission data passed from the information extraction processing unit 14 from the communication interface unit 4 to the cloud CS under the control of the data communication control unit 15.

これに対しクラウドＣＳは、上記エッジサーバＥＳ１から送信された送信データをステップＳＴ３５において受信すると、ステップＳＴ３６においてアプリケーション処理部５１が周辺風景閲覧画像の作成処理を行う。周辺風景閲覧画像の作成処理では、例えば上記送信データにより伝送された映像データ又は静止画像データに、留置対象オブジェクトを再表示する処理が行われる。留置対象オブジェクトの再表示は、上記送信データにより伝送された留置対象オブジェクトの特徴パラメータとその位置情報、そしてデータベース６に予め記憶されている各オブジェクトの基本画像とに基づいて行われる。 On the other hand, when the cloud CS receives the transmission data transmitted from the edge server ES1 in step ST35, the application processing unit 51 creates a surrounding landscape viewing image in step ST36. In the process of creating the surrounding landscape viewing image, for example, a process of redisplaying the object to be placed is performed on the video data or the still image data transmitted by the transmission data. The redisplay of the detention target object is performed based on the feature parameters of the detention target object transmitted by the transmission data, its position information, and the basic image of each object stored in advance in the database 6.

また、周辺風景閲覧画像の作成処理では、削除対象オブジェクトを削除した映像データたまは静止画像データにおいては、例えば、まず撮影日時と自車両位置情報が所定量よりも近い値の映像データまたは静止画像データを、所定量ピックアップする。ピックアップした所定量の映像データまたは静止画像データにおいて、オブジェクトの輪郭形状や色などの特徴パラメータを比較し、一致度合が所定量以上のオブジェクトを重ね合わせて、所定量の静止画データを合成することで、周辺風景閲覧画像を作成する。なお、以上で述べた静止画像データの合成処理には、Auto PanoやPTGuiなどが用いられる。 Further, in the process of creating the surrounding landscape viewing image, in the video data or still image data in which the object to be deleted is deleted, for example, first, the shooting date and time and the own vehicle position information are closer to a predetermined amount of video data or still image. Pick up a predetermined amount of data. Comparing feature parameters such as contour shape and color of objects in a predetermined amount of video data or still image data picked up, superimposing objects with a degree of matching equal to or greater than a predetermined amount, and synthesizing a predetermined amount of still image data. Then, create a viewing image of the surrounding landscape. Auto Pano, PTGui, etc. are used for the still image data compositing process described above.

クラウドＣＳは、上記生成された周辺風景閲覧画像のデータを、上記送信データに含まれる車両の位置情報と関連付けてデータベース６に格納する。この周辺風景閲覧画像は、ユーザ端末からの閲覧要求に応じてデータベース６から読み出され、ユーザ端末へ送信される。または、アプリケーション配信または管理用のサーバに送信されることもある。 The cloud CS stores the generated surrounding landscape viewing image data in the database 6 in association with the vehicle position information included in the transmission data. This surrounding landscape viewing image is read from the database 6 in response to a viewing request from the user terminal and transmitted to the user terminal. Alternatively, it may be sent to a server for application delivery or management.

（第３の実施例の効果）
以上述べた第３の実施例では、カメラＣＭ１〜ＣＭｉにより撮影された映像データをクラウドＣＳに伝送して周辺風景閲覧画像を作成する際に、エッジサーバＥＳ１の情報抽出処理により、車両に設置したカメラＣＭｋで撮影した映像データ又は静止画像データから削除対象オブジェクトおよび留置対象オブジェクトを抽出してその画像を削除し、このオブジェクト削除後の映像データ又は静止画像データを、上記留置対象オブジェクトの特徴パラメータとその位置情報と共にクラウドＣＳに伝送するようにしている。このため、映像データ又は静止画像データをそのままクラウドＣＳに伝送する場合に比べ、伝送トラフィック量を低減することができ、かつクラウドＣＳが取り扱うデータ量を減らしてアプリケーションの応答性を向上させることができる。 (Effect of the third embodiment)
In the third embodiment described above, when the video data captured by the cameras CM1 to CMi is transmitted to the cloud CS to create a surrounding landscape viewing image, the image data is installed in the vehicle by the information extraction process of the edge server ES1. The object to be deleted and the object to be detained are extracted from the video data or still image data taken by the camera CMk, the image is deleted, and the video data or still image data after the object is deleted is used as the feature parameter of the object to be detained. It is transmitted to the cloud CS together with the location information. Therefore, as compared with the case where the video data or the still image data is transmitted to the cloud CS as it is, the amount of transmission traffic can be reduced, and the amount of data handled by the cloud CS can be reduced to improve the responsiveness of the application. ..

図９に、情報抽出処理を行った場合と行わない場合の伝送トラヒック量の比較結果の一例を示す。この例では、情報抽出処理を行ったことで伝送トラヒック量を平均で25.45%削減することができた。この実験の条件は、ダイナミックマップでの実験条件と、映像の解像度が1920×1080（FHD）である点のみ異なり、それ以外はダイナミックマップの作成、および路面診断の場合と同じである。 FIG. 9 shows an example of the comparison result of the transmission traffic amount when the information extraction process is performed and when the information extraction process is not performed. In this example, the amount of transmission traffic could be reduced by 25.45% on average by performing the information extraction process. The conditions of this experiment are the same as the experimental conditions of the dynamic map and the case of the dynamic map creation and the road surface diagnosis except that the image resolution is 1920 × 1080 (FHD).

なお、上記説明では、オブジェクト削除後の映像データ又は静止画像データをそのまま送信するものとした。しかしそれに限らず、オブジェクト削除後の映像データ又は静止画像データを所定の符号化方式を用いてさらに圧縮して伝送するようにしてもよい。このようにすれば、伝送トラフィック量をさらに低減することができる。 In the above description, it is assumed that the video data or the still image data after the object is deleted is transmitted as it is. However, the present invention is not limited to this, and the video data or the still image data after the object is deleted may be further compressed and transmitted by using a predetermined coding method. In this way, the amount of transmission traffic can be further reduced.

（実験の条件一覧）
図１０は、以上述べた第１、第２および第３の実施例の効果の説明で使用した実験条件の一例を一覧表示したものである。また、図１１は、実験用元映像の特徴の一例を示すもので、ドライブレコーダにより撮影され記録された映像データの中からランダムにピックアップした映像の特徴を示している。 (List of experimental conditions)
FIG. 10 is a list of examples of experimental conditions used in the explanation of the effects of the first, second, and third embodiments described above. Further, FIG. 11 shows an example of the characteristics of the original video for the experiment, and shows the characteristics of the video randomly picked up from the video data captured and recorded by the drive recorder.

［関連技術の第１の例］
（構成）
図１２は、この発明の関連技術の第１の例に係るエッジサーバの機能構成を示すブロック図である。なお、図１２において図２と同一部分には同一符号を付して詳しい説明は省略する。 [ First example of related technology ]
(composition)
FIG. 12 is a block diagram showing a functional configuration of an edge server according to a first example of the related technology of the present invention. In FIG. 12, the same parts as those in FIG. 2 are designated by the same reference numerals, and detailed description thereof will be omitted.

記憶ユニット２には、第１の条件記憶部２３に加えて、第２の条件記憶部２４が新たに設けられている。第１の条件記憶部２３は、第１の実施形態と同様に、映像データまたはセンサデータからクラウドＣＳの処理に必要な情報を抽出するための情報抽出条件を表す情報（アルゴリズムと閾値等）を記憶するために用いられる。 The storage unit 2 is newly provided with a second conditional storage unit 24 in addition to the first conditional storage unit 23. Similar to the first embodiment, the first condition storage unit 23 stores information (algorithm, threshold value, etc.) representing information extraction conditions for extracting information necessary for cloud CS processing from video data or sensor data. Used to remember.

第２の条件記憶部２４は、カメラＣＭ１〜ＣＭｉおよびセンサＳＳ１〜ＳＳｊに対する映像データおよびセンサデータの送信抑制条件を表す情報（アルゴリズムと閾値等）を記憶するために用いられる。 The second condition storage unit 24 is used to store video data for the cameras CM1 to CMi and sensors SS1 to SSj and information (algorithm, threshold value, etc.) representing transmission suppression conditions of the sensor data.

送信抑制条件は、例えば、同一時間帯に複数のカメラＣＭ１〜ＣＭｉから映像データまたは静止画像データが送信された場合に、その撮影範囲の重複度合いに応じて送信抑制対象とするカメラを選択するための条件（アルゴリズムと閾値等）を含む。また送信抑制条件は、例えば、同一時間帯に複数のセンサＳＳ１〜ＳＳｊからセンサデータが送信された場合に、その計測値の類似度合いに応じて送信抑制対象とするセンサを選択するための条件を含む。 The transmission suppression condition is, for example, to select a camera to be transmission suppression target according to the degree of overlap of the shooting range when video data or still image data is transmitted from a plurality of cameras CM1 to CMi in the same time zone. Conditions (algorithm and threshold value, etc.) are included. Further, the transmission suppression condition is, for example, a condition for selecting a sensor to be transmission suppression target according to the degree of similarity of the measured values when sensor data is transmitted from a plurality of sensors SS1 to SSj in the same time zone. include.

制御ユニット１は、カメラ映像取得処理部１１、センサデータ取得処理部１２、条件設定処理部１３および情報抽出処理部１４に加え、カメラ映像／センサデータ送信抑制制御部１６を新たに備えている。このカメラ映像／センサデータ送信抑制制御部１６も、他の処理部と同様にプログラムメモリに格納されたプログラムをハードウェアプロセッサに実行させることにより実現される。 The control unit 1 is newly provided with a camera image / sensor data transmission suppression control unit 16 in addition to a camera image acquisition processing unit 11, a sensor data acquisition processing unit 12, a condition setting processing unit 13, and an information extraction processing unit 14. The camera image / sensor data transmission suppression control unit 16 is also realized by causing the hardware processor to execute a program stored in the program memory in the same manner as the other processing units.

条件設定処理部１３は、例えばシステム管理者が管理用端末を操作して入力した情報抽出処理の条件を表す情報を、入出力インタフェースユニット３または通信インタフェースユニット４を介して受け取って第１の条件記憶部２３に格納する処理と、システム管理者等の操作により入力された送信抑制条件を表す情報（アルゴリズムと閾値等）を入出力インタフェースユニット３または通信インタフェースユニット４を介して受け取り、第２の条件記憶部２４に格納する処理を行う。 The condition setting processing unit 13 receives, for example, information representing the conditions of the information extraction processing input by the system administrator by operating the management terminal via the input / output interface unit 3 or the communication interface unit 4, and receives the first condition. The process stored in the storage unit 23 and the information (algorithm, threshold value, etc.) representing the transmission suppression condition input by the operation of the system administrator or the like are received via the input / output interface unit 3 or the communication interface unit 4, and the second The process of storing in the condition storage unit 24 is performed.

カメラ映像／センサデータ送信抑制制御部１６は、以下の処理機能を有している。
(1) 上記第２の条件記憶部２４に記憶された送信抑制処理の条件を表す情報に基づいて、例えば、上記カメラ映像記憶部２１に記憶された各カメラＣＭ１〜ＣＭｉの映像データまたは静止画像データから、予め設定された監視対象範囲に存在する各カメラＣＭ１〜ＣＭｉの撮影範囲の面積の合計値と、各カメラＣＭ１〜ＣＭｉの撮影範囲の重複部分の面積の合計値をそれぞれ算出する。そして、各カメラＣＭ１〜ＣＭｉの撮影範囲の重複部分の面積が最少となり、かつ各カメラＣＭ１〜ＣＭｉの撮影範囲の面積の合計値が最大となるように、各カメラＣＭ１〜ＣＭｉの中から送信抑制対象のカメラを選択し、当該選択したカメラに対する送信抑制制御信号を生成する処理。 The camera image / sensor data transmission suppression control unit 16 has the following processing functions.
(1) Based on the information representing the conditions of the transmission suppression process stored in the second condition storage unit 24, for example, the video data or still image of each camera CM1 to CMi stored in the camera image storage unit 21. From the data, the total value of the area of the shooting range of each camera CM1 to CMi existing in the preset monitoring target range and the total value of the area of the overlapping portion of the shooting range of each camera CM1 to CMi are calculated. Then, transmission is suppressed from each camera CM1 to CMi so that the area of the overlapping portion of the shooting range of each camera CM1 to CMi is minimized and the total value of the shooting range of each camera CM1 to CMi is maximized. A process of selecting a target camera and generating a transmission suppression control signal for the selected camera.

(2) 上記第２の条件記憶部２４に記憶された送信抑制処理の条件を表す情報に基づいて、例えば、上記センサデータ記憶部２２に記憶された各センサＳＳ１〜ＳＳｊのセンサデータから、予め設定された監視対象範囲に存在するセンサＳＳ１〜ＳＳｊにより検出されたセンサデータ間の類似度を算出する。そして、類似度が閾値以上の複数のセンサデータが存在する場合に、当該各センサデータの送信元となる複数のセンサの中から送信抑制対象とするセンサを選択し、当該選択したセンサに対する送信抑制制御信号を生成する処理。 (2) Based on the information representing the conditions of the transmission suppression process stored in the second condition storage unit 24, for example, from the sensor data of each sensor SS1 to SSj stored in the sensor data storage unit 22 in advance. The similarity between the sensor data detected by the sensors SS1 to SSj existing in the set monitoring target range is calculated. Then, when there are a plurality of sensor data having a similarity equal to or higher than a threshold value, a sensor to be transmitted suppressed is selected from a plurality of sensors that are sources of each sensor data, and transmission suppression for the selected sensor is performed. The process of generating a control signal.

データ通信制御部１５は、上記情報抽出処理部１４の情報抽出処理により生成されたデータを、通信インタフェースユニット４からクラウドＣＳへ送信する処理と、上記カメラ映像／センサデータ送信抑制制御部１６により生成された送信抑制制御信号を、通信インタフェースユニット４から送信抑制対象のカメラまたはセンサへ送信する処理を行う。 The data communication control unit 15 transmits the data generated by the information extraction process of the information extraction processing unit 14 from the communication interface unit 4 to the cloud CS, and is generated by the camera image / sensor data transmission suppression control unit 16. A process of transmitting the transmitted transmission suppression control signal from the communication interface unit 4 to the camera or sensor to be transmitted suppressed is performed.

（動作）
次に、以上のように構成されたエッジサーバＥＳ１による送信抑制動作について説明する。
（１）カメラに対する送信抑制制御
先ず、カメラＣＭ１〜ＣＭｉに対し送信抑制制御を行う場合について説明する。図１３は、上記送信抑制制御を実行する際のエッジサーバＥＳ１およびカメラＣＭ１〜ＣＭｉの処理手順と処理内容を示すフローチャートである。 (motion)
Next, the transmission suppression operation by the edge server ES1 configured as described above will be described.
(1) Transmission Suppression Control for Camera First, a case where transmission suppression control is performed for cameras CM1 to CMi will be described. FIG. 13 is a flowchart showing a processing procedure and processing contents of the edge server ES1 and the cameras CM1 to CMi when executing the transmission suppression control.

送信抑制制御の開始に先立ち、エッジサーバＥＳ１の第２の条件記憶部２４に、カメラＣＭ１〜ＣＭｉに対する送信抑制条件を表す情報が設定される。カメラＣＭ１〜ＣＭｉに対する送信抑制条件は、例えば、各カメラＣＭ１〜ＣＭｉの撮影範囲を定義し、これらの撮影範囲の全体の面積と重複部分の面積に基づいて抑制対象のカメラを選択するアルゴリズムを定義するものである。なお、選択アルゴリズムは、撮影範囲の全体の面積でなく、撮影範囲の全体の面積から重複部分の面積を除いた面積に基づいて抑制対象のカメラを選択するものであってもよい。 Prior to the start of transmission suppression control, information representing transmission suppression conditions for cameras CM1 to CMi is set in the second condition storage unit 24 of the edge server ES1. The transmission suppression condition for the cameras CM1 to CMi defines, for example, the shooting range of each camera CM1 to CMi, and defines an algorithm for selecting the camera to be suppressed based on the total area of these shooting ranges and the area of the overlapping portion. Is what you do. The selection algorithm may select the camera to be suppressed based on the total area of the shooting range minus the area of the overlapping portion, instead of the total area of the shooting range.

各カメラＣＭ１〜ＣＭｉに対する送信抑制条件の設定処理は、例えばシステム管理者が管理用端末を操作して入力した条件を表す情報を、エッジサーバＥＳ１が条件設定処理部１３の制御の下で受け付けて第２の条件記憶部２４に格納することにより行われる。 In the transmission suppression condition setting process for each camera CM1 to CMi, for example, the edge server ES1 receives information representing the condition input by the system administrator by operating the management terminal under the control of the condition setting processing unit 13. This is done by storing in the second condition storage unit 24.

上記送信抑制条件の設定が終了し、エッジサーバＥＳ１の運用が開始されると、各カメラＣＭ１〜ＣＭｉにより撮影された映像データまたは静止画像データが、エッジサーバＥＳ１により、カメラ映像取得処理部１１の制御の下、ステップＳＴ４１において収集され、カメラ映像記憶部２１に格納される。なお、各映像データまたは静止画像データには、送信元となるカメラの識別情報（カメラＩＤ）と撮影日時を示すタイムスタンプ情報が付与される。 When the setting of the transmission suppression condition is completed and the operation of the edge server ES1 is started, the video data or the still image data captured by the cameras CM1 to CMi is collected by the edge server ES1 in the camera image acquisition processing unit 11. Under control, it is collected in step ST41 and stored in the camera image storage unit 21. The video data or the still image data is provided with identification information (camera ID) of the camera as the transmission source and time stamp information indicating the shooting date and time.

この状態で、エッジサーバＥＳ１は、カメラ映像／センサデータ送信抑制制御部１６の制御の下、ステップＳＴ４３において、以下のようにカメラＣＭ１〜ＣＭｉに対する送信抑制制御を実行する。 In this state, the edge server ES1 executes transmission suppression control for the cameras CM1 to CMi as follows in step ST43 under the control of the camera image / sensor data transmission suppression control unit 16.

すなわち、カメラ映像／センサデータ送信抑制制御部１６は、先ずカメラ映像記憶部２１から映像データ又は静止画像データを読み込む。そして、ステップＳＴ４３１において、上記読み込んだ映像データ又は静止画像データから、上記第２の条件記憶部２４に記憶された送信抑制条件に従い、予め設定された監視対象範囲に存在する各カメラＣＭ１〜ＣＭｉの撮影範囲の面積の合計値と、各カメラＣＭ１〜ＣＭｉの撮影範囲の重複部分の面積の合計値をそれぞれ算出する。各カメラＣＭ１〜ＣＭｉの撮影範囲は、例えば、車両に設けられた位置センサおよびジャイロにより計測される車両の位置情報と進行方向と、カメラの画角などをもとに算出することができるが、カメラの製品情報に記載されている情報を用いてもよい。 That is, the camera image / sensor data transmission suppression control unit 16 first reads the image data or the still image data from the camera image storage unit 21. Then, in step ST431, from the read video data or still image data, the cameras CM1 to CMi existing in the monitoring target range set in advance according to the transmission suppression condition stored in the second condition storage unit 24. The total value of the area of the shooting range and the total value of the area of the overlapping portion of the shooting range of each camera CM1 to CMi are calculated. The shooting range of each camera CM1 to CMi can be calculated based on, for example, the position information and traveling direction of the vehicle measured by the position sensor and the gyro provided in the vehicle, the angle of view of the camera, and the like. The information described in the product information of the camera may be used.

上記重複部分の面積は以下の方法により概算することができる。すなわち、先ずカメラ間の撮影範囲の交点を算出する。次に、座標点で囲まれる多角形の面積を求める公式等の既存の方法を用いて、上記算出した交点座標を代入し、重複部分の面積を算出する。そして、遺伝的アルゴリズム等の既存の手法を用いて、車載カメラの映像の重複部分面積が最少となり、かつ各カメラの撮影範囲の面積合計値が最大となるように、送信抑制制御の対象となるカメラを決定する。 The area of the overlapping portion can be estimated by the following method. That is, first, the intersection of the shooting ranges between the cameras is calculated. Next, using an existing method such as a formula for obtaining the area of the polygon surrounded by the coordinate points, the above-calculated intersection coordinates are substituted to calculate the area of the overlapping portion. Then, using an existing method such as a genetic algorithm, the transmission suppression control is applied so that the overlapping partial area of the image of the in-vehicle camera is minimized and the total area of the shooting range of each camera is maximized. Determine the camera.

例えば、互いに隣接する３台以上のカメラＣＭ１，ＣＭ２，ＣＭ３の各撮影範囲が部分的に重複している場合、その重複部分の面積が上記最小値を規定する閾値以上か否かが判定される。そして、重複部分の面積が閾値以上の場合には、この条件の下で撮影範囲の合計値が最大となるようなカメラの組み合わせが決定され、その決定結果に基づいて送信抑制対象のカメラ、たとえばＣＭ１，ＣＭ３が選択される。 For example, when the shooting ranges of three or more cameras CM1, CM2, and CM3 adjacent to each other partially overlap, it is determined whether or not the area of the overlapping portion is equal to or greater than the threshold value that defines the minimum value. .. Then, when the area of the overlapping portion is equal to or larger than the threshold value, the combination of cameras that maximizes the total value of the shooting range is determined under this condition, and based on the determination result, the camera to be transmitted suppressed, for example, CM1 and CM3 are selected.

なお、上記した座標点で囲まれる多角形の面積を求める公式は、例えばインターネットURL＜http://keisan.casio.jp/exec/system/1377138797＞に記載されている。また遺伝的アルゴリズムについては、例えばJuan J. Durillo, Antonio J. Nebro and Enrique Alba, "The jMetal Framework for Multi-Objective Optimization: Design and Architecture,", Evolutionary Computation Congress, 2010.に記載されている。 The formula for calculating the area of the polygon surrounded by the above coordinate points is described in, for example, the Internet URL <http://keisan.casio.jp/exec/system/1377138797>. Genetic algorithms are described, for example, in Juan J. Durillo, Antonio J. Nebro and Enrique Alba, "The jMetal Framework for Multi-Objective Optimization: Design and Architecture,", Evolutionary Computation Congress, 2010.

続いてカメラ映像／センサデータ送信抑制制御部１６は、ステップＳＴ４３２において、上記送信抑制対象として選択されたカメラＣＭ１，ＣＭ３に対する送信抑制制御信号を生成し、当該送信抑制制御信号を入出力インタフェースユニット３から該当するカメラＣＭ１，ＣＭ３に向け出力する。上記送信抑制制御信号には、送信停止指示または送信頻度の低下指示が含められる。送信頻度は、送信データの送信周期または送信データ量として定義される。 Subsequently, in step ST432, the camera image / sensor data transmission suppression control unit 16 generates a transmission suppression control signal for the cameras CM1 and CM3 selected as the transmission suppression target, and transmits the transmission suppression control signal to the input / output interface unit 3. Is output to the corresponding cameras CM1 and CM3. The transmission suppression control signal includes a transmission stop instruction or a transmission frequency reduction instruction. The transmission frequency is defined as the transmission cycle of transmission data or the amount of transmission data.

カメラＣＭ１，ＣＭ３は、ステップＳＴ４４において上記送信抑制制御信号を受信する。そして、ステップＳＴ４５において、上記受信された送信抑制制御信号に含まれる指示に従い、それ以降の映像データまたは静止画像データの送信を停止するかまたは送信頻度を低下させる。 The cameras CM1 and CM3 receive the transmission suppression control signal in step ST44. Then, in step ST45, the subsequent transmission of the video data or the still image data is stopped or the transmission frequency is reduced according to the instruction included in the received transmission suppression control signal.

なお、送信抑制信号に送信停止指示を含めるか、送信頻度の低下指示を含めるかは、上記カメラの撮影範囲の重複部分の面積の大きさに応じて選択すれば良い。例えば、重複部分の面積が上記最小値に対応する第１の閾値以上でかつ第２の閾値未満の場合には送信頻度の低下指示を選択し、上記第２の閾値以上の場合には送信停止指示を選択する。 Whether to include the transmission stop instruction or the transmission frequency reduction instruction in the transmission suppression signal may be selected according to the size of the area of the overlapping portion of the shooting range of the camera. For example, when the area of the overlapping portion is equal to or greater than the first threshold value corresponding to the minimum value and is less than the second threshold value, the transmission frequency reduction instruction is selected, and when the area is equal to or greater than the second threshold value, transmission is stopped. Select an instruction.

このようにすると、撮影範囲の重複部分の面積が大きい場合には、該当する複数のカメラのうちの１つが映像データまたは静止画像データの送信動作を継続し、他のカメラは送信を停止する。一方、撮影範囲の重複部分の面積が比較的小さい場合には、重複していない部分の映像データまたは静止画像データの送信を維持しつつ伝送トラフィックを低下させるため、送信頻度を低下させる。具体的には、送信周期を長くするか又は送信データ量を間引き処理等により減らす。送信周期の値または送信データ量の値は、固定値に設定しても良いが、重複していない部分の面積が大きくなるほど送信周期が短くなるように、また送信データ量が多くなるように可変設定するようにしてもよい。 In this way, when the area of the overlapping portion of the shooting range is large, one of the corresponding plurality of cameras continues the operation of transmitting the video data or the still image data, and the other cameras stop the transmission. On the other hand, when the area of the overlapping portion of the shooting range is relatively small, the transmission frequency is reduced because the transmission traffic is reduced while maintaining the transmission of the video data or the still image data of the non-overlapping portion. Specifically, the transmission cycle is lengthened or the amount of transmission data is reduced by thinning out processing or the like. The transmission cycle value or the transmission data amount value may be set to a fixed value, but is variable so that the transmission cycle becomes shorter and the transmission data amount increases as the area of the non-overlapping portion increases. You may set it.

（２）センサデバイスに対する送信抑制制御
次に、センサＳＳ１〜ＳＳｊに対し送信抑制制御を行う場合の動作を説明する。
送信抑制制御の開始に先立ち、エッジサーバＥＳ１の第２の条件記憶部２４に、センサＳＳ１〜ＳＳｊに対する送信抑制条件を表す情報が設定される。センサＳＳ１〜ＳＳｊに対する送信抑制条件は、例えば、センサＳＳ１〜ＳＳｊの種類に基づいてセンサデータの比較対象となるセンサデバイスのグループを定義し、これらのセンサグループごとに当該グループに属する各センサにより得られるセンサデータ間の類似度を閾値と比較することで、送信抑制対象のセンサを選択するアルゴリズムを定義するものである。このセンサＳＳ１〜ＳＳｊに対する送信抑制条件の設定処理も、例えばシステム管理者が管理用端末を操作して入力した条件を表す情報を、エッジサーバＥＳ１が条件設定処理部１３の制御の下で受け付けて第２の条件記憶部２４に格納することにより行われる。 (2) Transmission Suppression Control for Sensor Device Next, the operation when transmission suppression control is performed for the sensors SS1 to SSj will be described.
Prior to the start of transmission suppression control, information representing transmission suppression conditions for sensors SS1 to SSj is set in the second condition storage unit 24 of the edge server ES1. The transmission suppression condition for the sensors SS1 to SSj is obtained by, for example, defining a group of sensor devices to be compared with the sensor data based on the type of the sensors SS1 to SSj, and each of these sensor groups is obtained by each sensor belonging to the group. By comparing the similarity between the sensor data to be received with the threshold value, an algorithm for selecting the sensor to be suppressed for transmission is defined. In the transmission suppression condition setting process for the sensors SS1 to SSj, for example, the edge server ES1 receives information representing the condition input by the system administrator by operating the management terminal under the control of the condition setting processing unit 13. This is done by storing in the second condition storage unit 24.

上記送信抑制条件の設定が終了し、エッジサーバＥＳ１の運用が開始されると、各センサＳＳ１〜ＳＳｊにより計測されたセンサデータが、エッジサーバＥＳ１により、センサデータ取得処理部１２の制御の下、図１３に示すステップＳＴ４２において収集され、センサデータ記憶部２２に格納される。なお、各センサデータには送信元となるセンサの識別情報と計測時刻を表すタイムスタンプが付与されている。 When the setting of the transmission suppression condition is completed and the operation of the edge server ES1 is started, the sensor data measured by each sensor SS1 to SSj is subjected to the control of the sensor data acquisition processing unit 12 by the edge server ES1. It is collected in step ST42 shown in FIG. 13 and stored in the sensor data storage unit 22. Note that each sensor data is given identification information of the sensor as the transmission source and a time stamp indicating the measurement time.

この状態で、エッジサーバＥＳ１は、カメラ映像／センサデータ送信抑制制御部１６の制御の下、上記第２の条件記憶部２４に記憶されている送信抑制条件に基づいて、センサデータ記憶部２２から各センサＳＳ１〜ＳＳｊのセンサデータをセンサグループごとに読み出し、これらのセンサデータ間の類似度を算出する。センサデータ間の類似度は、例えば温度や湿度等の環境センサであればその計測値の差として、また振動センサ等の車両の状態を監視するためのセンサであればその計測値の差としてそれぞれ算出される。 In this state, the edge server ES1 is sent from the sensor data storage unit 22 under the control of the camera image / sensor data transmission suppression control unit 16 based on the transmission suppression conditions stored in the second condition storage unit 24. The sensor data of each sensor SS1 to SSj is read out for each sensor group, and the degree of similarity between these sensor data is calculated. The similarity between the sensor data is, for example, the difference in the measured values for environmental sensors such as temperature and humidity, and the difference in the measured values for sensors for monitoring the state of the vehicle such as vibration sensors. It is calculated.

次にカメラ映像／センサデータ送信抑制制御部１６は、上記算出された計測値を上記送信抑制条件により定義された閾値と比較し、計測値が閾値以下の場合には該当する各センサのうちの１つを除いて他のセンサを送信抑制対象のセンサとして選択する。そして、当該選択したセンサに対し、送信を停止させるかまたは送信頻度を低下させるための送信抑制制御信号を生成し、当該送信抑制制御信号をデータ通信制御部１５へ出力する。 Next, the camera image / sensor data transmission suppression control unit 16 compares the calculated measured value with the threshold value defined by the transmission suppression condition, and if the measured value is equal to or less than the threshold value, among the corresponding sensors. Except for one, the other sensors are selected as transmission suppression target sensors. Then, for the selected sensor, a transmission suppression control signal for stopping transmission or reducing the transmission frequency is generated, and the transmission suppression control signal is output to the data communication control unit 15.

この結果、データ通信制御部１５から上記送信抑制制御信号が送信抑制対象のセンサに送られ、当該送信抑制対象のセンサは、以後、センサデータの送信を停止させるか、または送信頻度を低下させる。送信頻度は、送信データの送信周期または送信データ量として定義され、上記送信抑制条件により指定される。送信停止を選択するか送信頻度の低下を選択するかは、上記センサデータ間の類似度のレベルに応じて選択すれば良い。例えば、類似度が高く第１の閾値以上の場合には送信停止を選択し、類似度が第１の閾値未満でかつ第２の閾値以上の場合には送信頻度の低下を選択する。なお、送信頻度の低下量は固定値としても良いが、類似度が低いほど送信頻度が高くなるように設定しても良い。 As a result, the transmission suppression control signal is sent from the data communication control unit 15 to the sensor of the transmission suppression target, and the sensor of the transmission suppression target thereafter stops the transmission of the sensor data or reduces the transmission frequency. The transmission frequency is defined as the transmission cycle of transmission data or the amount of transmission data, and is specified by the above transmission suppression condition. Whether to select stop transmission or decrease transmission frequency may be selected according to the level of similarity between the sensor data. For example, when the similarity is high and is equal to or higher than the first threshold value, transmission stop is selected, and when the similarity is less than the first threshold value and equal to or higher than the second threshold value, reduction in transmission frequency is selected. The amount of decrease in the transmission frequency may be a fixed value, but it may be set so that the lower the similarity is, the higher the transmission frequency is.

（効果）
以上述べたように関連技術の第１の例では、各カメラＣＭ１〜ＣＭｉの映像データから、監視対象範囲に存在する複数のカメラＣＭ１〜ＣＭｉの撮影範囲の面積の合計値と、各カメラＣＭ１〜ＣＭｉの撮影範囲の重複部分の面積の合計値をそれぞれ算出し、撮影範囲の重複部分の面積が最少となりかつ撮影範囲の面積の合計値が最大となるように、上記各カメラＣＭ１〜ＣＭｉの中から送信抑制対象のカメラを選択し、当該選択したカメラに対し送信抑制制御信号を送信するようにしている。 (effect)
As described above, in the first example of the related technology, from the video data of each camera CM1 to CMi, the total value of the area of the shooting range of a plurality of cameras CM1 to CMi existing in the monitoring target range and each camera CM1 to CM1 The total value of the overlapping areas of the shooting ranges of CMi is calculated, and the total value of the overlapping areas of the shooting ranges is minimized and the total area of the shooting ranges is maximized. A camera to be suppressed is selected from the above, and a transmission suppression control signal is transmitted to the selected camera.

従って、例えば、車両に搭載された複数のカメラＣＭ１〜ＣＭｉにより車両の前方、後方、側面および車内をそれぞれ撮影している場合に、隣接する２台のカメラの撮影範囲の重複部分の面積が閾値より大きい場合には、上記隣接する２台のカメラのうち予め設定されたカメラが送信抑制対象として選択され、当該カメラによる以後の送信が抑制される。このため、カメラＣＭ１〜ＣＭｉからエッジサーバＥＳ１への映像データの伝送トラフィックを低下させることができる。 Therefore, for example, when the front, rear, side surfaces, and the inside of the vehicle are photographed by a plurality of cameras CM1 to CMi mounted on the vehicle, the area of the overlapping portion of the imaging ranges of the two adjacent cameras is a threshold value. If it is larger than the above, a preset camera out of the two adjacent cameras is selected as the transmission suppression target, and subsequent transmission by the camera is suppressed. Therefore, the transmission traffic of video data from the cameras CM1 to CMi to the edge server ES1 can be reduced.

また関連技術の第１の例では、各センサＳＳ１〜ＳＳｊのセンサデータから、予め設定された監視対象範囲に存在するセンサＳＳ１〜ＳＳｊにより検出された計測値間の差が算出される。そして、差が閾値以下のセンサデータの組み合わせが存在する場合に、当該センサデータの送信元となる各センサの中から送信抑制対象となするセンサが選択され、この選択されたセンサに対し送信抑制制御が行われる。 Further , in the first example of the related technique, the difference between the measured values detected by the sensors SS1 to SSj existing in the preset monitoring target range is calculated from the sensor data of each sensor SS1 to SSj. Then, when there is a combination of sensor data whose difference is equal to or less than the threshold value, a sensor to be transmission suppression target is selected from each sensor that is a transmission source of the sensor data, and transmission suppression is performed for this selected sensor. Control is done.

例えば、車両に複数の環境センサや車両の状態を計測する複数の車両センサが設置されている場合に、これらの環境センサ間または車両センサ間の計測値の差がしきい値以下の場合には、環境センサのうちの１つまたは車両センサの１つを除いた他の環境センサまたは車両センサが送信抑制対象として選択され、以後の送信が抑制される。このため、センサＳＳ１〜ＳＳｊからエッジサーバＥＳ１への映像データの伝送トラフィック量を低下させることができる。 For example, when a vehicle is equipped with a plurality of environmental sensors or a plurality of vehicle sensors for measuring the state of the vehicle, and the difference between these environmental sensors or the measured values between the vehicle sensors is less than or equal to the threshold value. , The other environmental sensor or vehicle sensor other than one of the environmental sensors or one of the vehicle sensors is selected as the transmission suppression target, and the subsequent transmission is suppressed. Therefore, the amount of video data transmission traffic from the sensors SS1 to SSj to the edge server ES1 can be reduced.

しかも、関連技術の第１の例では、エッジサーバＥＳ１〜ＥＳｎにおいて、各カメラＣＭ１〜ＣＭｉおよびセンサＳＳ１〜ＳＳｊからの映像データおよびセンサデータの送信を抑制制御し、さらに当該映像データおよびセンサデータをクラウドＣＳへ送信する際にクラウドＣＳの処理に必要なデータのみを抽出して送信するようにしている。このため、エッジサーバＥＳ１〜ＥＳｎとクラウドＣＳとの間の通信ネットワークＮＷ１における伝送トラフィック量をさらに効果的に低減することができる。 Moreover, in the first example of the related technology, the edge servers ES1 to ESn suppress and control the transmission of the video data and the sensor data from the cameras CM1 to CMi and the sensors SS1 to SSj, and further control the video data and the sensor data. When transmitting to the cloud CS, only the data necessary for the processing of the cloud CS is extracted and transmitted. Therefore, the amount of transmission traffic in the communication network NW1 between the edge servers ES1 to ESn and the cloud CS can be further effectively reduced.

［関連技術の第２の例］
第１の実施形態および関連技術の第１の例では、各車両に、複数のカメラＣＭ１〜ＣＭｉおよびセンサＳＳ１〜ＳＳｊと、エッジサーバＥＳ１，…，ＥＳｎを搭載し、カメラＣＭ１〜ＣＭｉおよびセンサＳＳ１〜ＳＳｊにより得られた映像データおよびセンサデータを、上記エッジサーバＥＳ１，…，ＥＳｎで収集して、クラウドＣＳへ送信する場合を例にとって説明した。 [ Second example of related technology ]
In the first embodiment and the first example of the related technology , a plurality of cameras CM1 to CMi and sensors SS1 to SSj, edge servers ES1, ..., ESn are mounted on each vehicle, and the cameras CM1 to CMi and the sensor SS1 are mounted. The case where the video data and the sensor data obtained by ~ SSj are collected by the edge servers ES1, ..., ESn and transmitted to the cloud CS has been described as an example.

これに対し関連技術の第２の例に係るセンシングデータ処理システムは、複数のエッジサーバを地上に分散配置し、走行中の複数の車両から送信されたセンシングデータを、モバイルネットワークを介して上記複数のエッジサーバのいずれかで受信し、当該エッジサーバからネットワークを介してクラウドへ転送するものである。 Sensing data processing system is in accordance with a second example of the related art with respect to this, distributed a plurality of edge servers in the ground, the sensing data transmitted from a plurality of vehicles traveling through the mobile network the It is received by any of a plurality of edge servers and transferred from the edge server to the cloud via a network.

（構成）
図１４は、関連技術の第２の例に係るセンシングデータ処理システムの全体構成を示す概略図である。なお、図１４において図１と同一機能を有する部分には同一符号を付してある。 (composition)
FIG. 14 is a schematic view showing the overall configuration of the sensing data processing system according to the second example of the related technology. In FIG. 14, the parts having the same functions as those in FIG. 1 are designated by the same reference numerals.

エッジサーバＥＳ１〜ＥＳｎは、例えば、地域ごとに設置されるデータセンタや、高速道路や主要一般道等の監視対象となる道路の複数の区間に分散配置されている。エッジサーバＥＳ１〜ＥＳｎは、モバイルネットワークＮＷ２に収容され、道路の各区間を走行中の各車両ＭＳ１１〜ＭＳ１ｍ，ＭＳ２１〜ＭＳ２ｍ，…，ＭＳｎ１〜ＭＳｎｍから送信された映像データおよびセンサデータを、モバイルネットワークＮＷ２を介して受信し、通信ネットワークＮＷ１を介してクラウドＣＳへ送信する。またエッジサーバＥＳ１〜ＥＳｎは、各車両ＭＳ１１〜ＭＳ１ｍ，ＭＳ２１〜ＭＳ２ｍ，…，ＭＳｎ１〜ＭＳｎｍに対し、選択的に上記モバイルネットワークＮＷ２を介して送信抑制制御信号を送信する。なお、通信ネットワークＮＷ１には例えばインターネットが用いられ、モバイルネットワークＮＷ２には例えば無線ＬＡＮ（Local Area Network）が用いられる。 The edge servers ES1 to ESn are distributed and arranged in a plurality of sections of roads to be monitored, such as data centers installed in each area and highways and major general roads. The edge servers ES1 to ESn are housed in the mobile network NW2, and the video data and sensor data transmitted from each vehicle MS11 to MS1m, MS21 to MS2m, ..., MSn1 to MSnm transmitted on each section of the road are stored in the mobile network. It receives via NW2 and transmits to cloud CS via communication network NW1. Further, the edge servers ES1 to ESn selectively transmit transmission suppression control signals to each vehicle MS11 to MS1m, MS21 to MS2m, ..., MSn1 to MSnm via the mobile network NW2. For example, the Internet is used for the communication network NW1, and for example, a wireless LAN (Local Area Network) is used for the mobile network NW2.

各車両ＭＳ１１〜ＭＳ１ｍ，ＭＳ２１〜ＭＳ２ｍ，…，ＭＳｎ１〜ＭＳｎｍには、カメラおよびセンサを含む複数のセンシングデバイスと、無線通信ユニットが搭載されている。上記複数のセンシングデバイスおよび無線通信ユニットはセンシング装置を構成する。無線通信ユニットは、上記複数のセンシングデバイスにより得られた映像データおよびセンサデータを、上記モバイルネットワークＮＷ２を介して上記エッジサーバＥＳ１〜ＥＳｎへ送信する。また無線通信ユニットは、上記エッジサーバＥＳ１〜ＥＳｎから送信された送信抑制制御信号を受信する。そして、上記受信された送信抑制制御信号に応じて、エッジサーバＥＳ１〜ＥＳｎに対する映像データおよびセンサデータの送信を停止するかまたは抑制する。 Each vehicle MS11 to MS1m, MS21 to MS2m, ..., MSn1 to MSnm is equipped with a plurality of sensing devices including a camera and a sensor, and a wireless communication unit. The plurality of sensing devices and wireless communication units constitute a sensing device. The wireless communication unit transmits the video data and the sensor data obtained by the plurality of sensing devices to the edge servers ES1 to ESn via the mobile network NW2. Further, the wireless communication unit receives the transmission suppression control signal transmitted from the edge servers ES1 to ESn. Then, the transmission of the video data and the sensor data to the edge servers ES1 to ESn is stopped or suppressed according to the received transmission suppression control signal.

ところで、エッジサーバＥＳ１〜ＥＳｎは、図１２に示したように、制御ユニット１と、記憶ユニット２と、入出力インタフェースユニット３と、通信インタフェースユニット４とを備えている。 By the way, as shown in FIG. 12, the edge servers ES1 to ESn include a control unit 1, a storage unit 2, an input / output interface unit 3, and a communication interface unit 4.

このうち入出力インタフェースユニット３は、モバイルネットワークＮＷ２に対する無線インタフェース部を有し、車両ＭＳ１１〜ＭＳ１ｍ，ＭＳ２１〜ＭＳ２ｍ，…，ＭＳｎ１〜ＭＳｎｍとの間で、映像データおよびセンサデータの受信と、送信抑制制御信号の送信を行う。 Of these, the input / output interface unit 3 has a wireless interface unit for the mobile network NW2, and receives and suppresses the reception and transmission of video data and sensor data between the vehicles MS11 to MS1m, MS21 to MS2m, ..., MSn1 to MSnm. The control signal is transmitted.

記憶ユニット２には、関連技術の一形態（図１２）と同様に、カメラ映像記憶部２１と、センサデータ記憶部２２と、第１の条件記憶部２３と、第２の条件記憶部２４が設けられている。このうち第２の条件記憶部２４には、車両に対する送信抑制条件を表す情報が記憶される。送信抑制条件は、例えば、同一時間帯に複数の車両から映像データまたは静止画像データが送信された場合に、その撮影範囲の重複度合いに応じて送信抑制対象とする車両を選択するための条件（アルゴリズムと閾値等）を含む。また送信抑制条件は、例えば、同一時間帯に複数のセンサからセンサデータが送信された場合に、その計測値の類似度合いに応じて送信抑制対象とする車両を選択するための条件（アルゴリズムと閾値等）を含む。 The storage unit 2 includes a camera image storage unit 21, a sensor data storage unit 22, a first conditional storage unit 23, and a second conditional storage unit 24, as in one form of the related technology (FIG. 12). It is provided. Of these, the second condition storage unit 24 stores information representing transmission suppression conditions for the vehicle. The transmission suppression condition is, for example, a condition for selecting a vehicle to be transmission suppression target according to the degree of overlap of the shooting range when video data or still image data is transmitted from a plurality of vehicles in the same time zone ( Algorithms and thresholds, etc.) are included. Further, the transmission suppression condition is, for example, a condition (algorithm and threshold value) for selecting a vehicle to be transmission suppression target according to the degree of similarity of the measured values when sensor data is transmitted from a plurality of sensors in the same time zone. Etc.) including.

制御ユニット１は、関連技術の第１の例（図１２）と同様に、カメラ映像取得処理部１１と、センサデータ取得処理部１２と、条件設定処理部１３と、情報抽出処理部１４と、カメラ映像／センサデータ送信抑制制御部１６とを備えている。 The control unit 1 includes a camera image acquisition processing unit 11, a sensor data acquisition processing unit 12, a condition setting processing unit 13, an information extraction processing unit 14, and the same as in the first example (FIG. 12) of the related technology. It is provided with a camera image / sensor data transmission suppression control unit 16.

このうちカメラ映像／センサデータ送信抑制制御部１６は、関連技術の第２の例における特徴的な機能として以下の処理機能を有している。
(1) 同一時間帯に複数の車両ＭＳ１１〜ＭＳ１ｍ，ＭＳ２１〜ＭＳ２ｍ，…，ＭＳｎ１〜ＭＳｎｍから送信された映像データまたは静止画像データを受信した場合に、第２の条件記憶部２４に記憶された送信抑制条件を表す情報に基づいて、上記映像データまたは静止画像データから、上記複数の車両に搭載された各カメラによる撮影範囲の面積の合計値と、上記各撮影範囲の重複部分の面積の合計値をそれぞれ算出する。そして、各撮影範囲の重複部分の面積が最少となり、かつ各撮影範囲の面積の合計値が最大となるように、各車両の中から送信抑制対象の車両を選択し、当該選択した車両に対する送信抑制制御信号を生成する処理。なお、撮影範囲の全体の面積でなく、撮影範囲の全体の面積から重複部分の面積を除いた面積を算出するようにしてもよい。 Of these, the camera image / sensor data transmission suppression control unit 16 has the following processing functions as characteristic functions in the second example of the related technology.
(1) When video data or still image data transmitted from a plurality of vehicles MS11 to MS1m, MS21 to MS2m, ..., MSn1 to MSnm are received in the same time zone, they are stored in the second condition storage unit 24. Based on the information representing the transmission suppression condition, from the video data or still image data, the total value of the area of the shooting range by each camera mounted on the plurality of vehicles and the total area of the overlapping portion of each shooting range. Calculate each value. Then, a vehicle to be suppressed from transmission is selected from each vehicle so that the area of the overlapping portion of each shooting range is minimized and the total value of the area of each shooting range is maximized, and transmission to the selected vehicle is performed. A process that generates a suppression control signal. It should be noted that the area obtained by subtracting the area of the overlapping portion from the total area of the shooting range may be calculated instead of the total area of the shooting range.

(2) 同一時間帯に複数の車両ＭＳ１１〜ＭＳ１ｍ，ＭＳ２１〜ＭＳ２ｍ，…，ＭＳｎ１〜ＭＳｎｍから送信されたセンサデータを受信した場合に、上記第２の条件記憶部２４に記憶された送信抑制条件を表す情報に基づいて、上記各センサデータ間の類似度を算出する。そして、類似度が閾値以上の場合に、当該各センサデータを送信した複数の車両の中から送信抑制対象とする車両を選択し、当該選択した車両に対する送信抑制制御信号を生成する処理。 (2) Transmission suppression condition stored in the second condition storage unit 24 when sensor data transmitted from a plurality of vehicles MS11 to MS1m, MS21 to MS2m, ..., MSn1 to MSnm is received in the same time zone. Based on the information representing, the degree of similarity between the above sensor data is calculated. Then, when the similarity is equal to or higher than the threshold value, a process of selecting a vehicle to be transmission suppression target from a plurality of vehicles that have transmitted the sensor data and generating a transmission suppression control signal for the selected vehicle.

データ通信制御部１５は、上記情報抽出処理部１４の情報抽出処理により生成された抽出後のデータを、通信インタフェースユニット４からクラウドＣＳへ送信する処理と、上記カメラ映像／センサデータ送信抑制制御部１６により生成された送信抑制制御信号を、入出力インタフェースユニット３から制御対象の車両へモバイルネットワークＮＷ２を介して送信する処理を行う。 The data communication control unit 15 transmits the extracted data generated by the information extraction process of the information extraction processing unit 14 from the communication interface unit 4 to the cloud CS, and the camera image / sensor data transmission suppression control unit. The transmission suppression control signal generated by 16 is transmitted from the input / output interface unit 3 to the vehicle to be controlled via the mobile network NW2.

（動作）
次に、以上のように構成されたエッジサーバＥＳ１〜ＥＳｎによる送信抑制動作について説明する。
送信抑制制御の開始に先立ち、エッジサーバＥＳ１の第２の条件記憶部２４に、車両に対する送信抑制条件を表す情報が設定される。車両に対する送信抑制条件は、例えば、各車両に搭載されたカメラの撮影範囲の全体の面積と重複部分の面積に基づいて抑制対象のカメラを選択するアルゴリズムを定義している。送信抑制条件の設定は、システムの管理者等が管理用端末を操作して入力した条件を表す情報を、エッジサーバＥＳ１〜ＥＳｎが条件設定処理部１３の制御の下で受け付けて第２の条件記憶部２４に格納することにより行われる。 (motion)
Next, the transmission suppression operation by the edge servers ES1 to ESn configured as described above will be described.
Prior to the start of transmission suppression control, information representing transmission suppression conditions for the vehicle is set in the second condition storage unit 24 of the edge server ES1. The transmission suppression condition for the vehicle defines, for example, an algorithm for selecting the camera to be suppressed based on the total area of the shooting range of the cameras mounted on each vehicle and the area of the overlapping portion. The transmission suppression condition is set as the second condition in which the edge servers ES1 to ESn receive the information representing the condition input by the system administrator or the like by operating the management terminal under the control of the condition setting processing unit 13. This is done by storing in the storage unit 24.

上記送信抑制条件の設定が終了し、エッジサーバＥＳ１〜ＥＳｎの運用が開始されると、道路を走行中の各車両から送信された映像データまたは静止画像データが、道路の区間ごとに設置されたエッジサーバ（例えばＥＳ１）により受信される。エッジサーバＥＳ１は、上記受信した映像データまたは静止画像データを、カメラ映像取得処理部１１の制御の下、カメラ映像記憶部２１に格納する。なお、各映像データまたは静止画像データには、送信元となる車両の識別情報（車両ＩＤ）と撮影日時を示すタイムスタンプ情報が付与される。 When the setting of the transmission suppression condition is completed and the operation of the edge servers ES1 to ESn is started, the video data or the still image data transmitted from each vehicle traveling on the road is installed for each section of the road. Received by an edge server (eg ES1). The edge server ES1 stores the received video data or still image data in the camera image storage unit 21 under the control of the camera image acquisition processing unit 11. Note that each video data or still image data is provided with identification information (vehicle ID) of the vehicle as the transmission source and time stamp information indicating the shooting date and time.

この状態で、エッジサーバＥＳ１は、カメラ映像／センサデータ送信抑制制御部１６の制御の下、先ずカメラ映像記憶部２１から、複数の車両（例えばＭＳ１１〜ＭＳ１ｍ）において同一時間帯に撮影された映像データ又は静止画像データを読み出す。そして、上記読み出された各車両ＭＳ１１〜ＭＳ１ｍの映像データ又は静止画像データから、各車両ＭＳ１１〜ＭＳ１ｍによる撮影範囲の面積の合計値と、撮影範囲の重複部分の面積の合計値をそれぞれ算出する。各車両ＭＳ１１〜ＭＳ１ｍの撮影範囲は、例えば、車両ＭＳ１１〜ＭＳ１ｍに搭載された位置センサおよびジャイロにより計測される走行位置の情報と進行方向と、予め固定的に設定されたカメラの画角などをもとに算出することができる。 In this state, the edge server ES1 first captures images from the camera image storage unit 21 in a plurality of vehicles (for example, MS11 to MS1m) at the same time under the control of the camera image / sensor data transmission suppression control unit 16. Read data or still image data. Then, from the video data or still image data of each vehicle MS11 to MS1m read out, the total value of the area of the shooting range by each vehicle MS11 to MS1m and the total value of the area of the overlapping portion of the shooting range are calculated respectively. .. The shooting range of each vehicle MS11 to MS1m includes, for example, information on the traveling position and the traveling direction measured by the position sensor and the gyro mounted on the vehicles MS11 to MS1m, and the angle of view of the camera fixedly set in advance. It can be calculated based on.

上記重複部分の面積は以下の方法により概算することができる。すなわち、先ず車両ＭＳ１１〜ＭＳ１ｍ間の撮影範囲の交点を算出する。次に、座標点で囲まれる多角形の面積を求める公式等の既存の方法を用いて、上記算出した交点座標を代入し、重複部分の面積を算出する。そして、遺伝的アルゴリズム等の既存の手法を用いて、各車両ＭＳ１１〜ＭＳ１ｍによる撮影範囲の重複部分の面積が最少となり、かつ各車両ＭＳ１１〜ＭＳ１ｍによる撮影範囲の面積の合計値が最大となるように、送信抑制制御の対象となる車両を選択する。 The area of the overlapping portion can be estimated by the following method. That is, first, the intersection of the shooting ranges between the vehicles MS11 to MS1m is calculated. Next, using an existing method such as a formula for obtaining the area of the polygon surrounded by the coordinate points, the above-calculated intersection coordinates are substituted to calculate the area of the overlapping portion. Then, using an existing method such as a genetic algorithm, the area of the overlapping portion of the imaging range by each vehicle MS11 to MS1m is minimized, and the total value of the area of the imaging range by each vehicle MS11 to MS1m is maximized. In addition, the vehicle to be the target of transmission suppression control is selected.

例えば、複数の車線の互いに隣接する位置を走行する３台の車両ＭＳ１１，ＭＳ１２，ＭＳ１３の撮影範囲が部分的に重複している場合、その重複部分の面積が上記最小値を規定する閾値以上か否かが判定される。そして、重複部分の面積が閾値以上の場合には、この条件の下で撮影範囲の合計値が最大となるような車両の組み合わせが決定され、その決定結果に基づいて送信抑制対象の車両、例えばＭＳ１１，ＭＳ１３が選択される。なお、上記決定結果に基づいて、送信抑制対象の車両としてＭＳ１１，ＭＳ１２，ＭＳ１３のうちの１台のみを選択し、その他の車両については送信を継続させるようにしてもよい。 For example, when the shooting ranges of three vehicles MS11, MS12, and MS13 traveling in positions adjacent to each other in a plurality of lanes partially overlap, is the area of the overlapping portion equal to or greater than the threshold value that defines the minimum value? Whether or not it is determined. Then, when the area of the overlapping portion is equal to or larger than the threshold value, a combination of vehicles that maximizes the total value of the shooting range is determined under this condition, and based on the determination result, a vehicle subject to transmission suppression, for example, MS11 and MS13 are selected. In addition, based on the above determination result, only one of MS11, MS12, and MS13 may be selected as the vehicle to be suppressed from transmission, and transmission may be continued for the other vehicles.

なお、上記した座標点で囲まれる多角形の面積を求める公式は、例えばインターネットURL＜http://keisan.casio.jp/exec/system/1377138797＞に記載されている。また遺伝的アルゴリズムについては、例えばJuan J. Durillo, Antonio J. Nebro and Enrique Alba, "The jMetal Framework for Multi-Objective Optimization: Design and Architecture,", Evolutionary Computation Congress, 2010.に記載されている。 The formula for calculating the area of the polygon surrounded by the above coordinate points is described in, for example, the Internet URL <http://keisan.casio.jp/exec/system/1377138797>. Genetic algorithms are described, for example, in Juan J. Durillo, Antonio J. Nebro and Enrique Alba, "The jMetal Framework for Multi-Objective Optimization: Design and Architecture,", Evolutionary Computation Congress, 2010.

続いてカメラ映像／センサデータ送信抑制制御部１６は、上記送信抑制対象として選択された車両ＭＳ１１，ＭＳ１３に対する送信抑制制御信号を生成し、当該送信抑制制御信号を入出力インタフェースユニット３から送信抑制対象の車両ＭＳ１１，ＭＳ１３に向け送信する。上記送信抑制制御信号には、送信停止指示または送信頻度の低下指示が含められる。送信頻度は、送信データの送信周期または送信データ量として定義される。 Subsequently, the camera image / sensor data transmission suppression control unit 16 generates a transmission suppression control signal for the vehicles MS11 and MS13 selected as the transmission suppression target, and transmits the transmission suppression control signal from the input / output interface unit 3. Is transmitted to the vehicles MS11 and MS13. The transmission suppression control signal includes a transmission stop instruction or a transmission frequency reduction instruction. The transmission frequency is defined as the transmission cycle of transmission data or the amount of transmission data.

車両ＭＳ１１，ＭＳ１３は、上記送信抑制制御信号を受信すると、受信された送信抑制制御信号に含まれる指示に応じて、それ以降の映像データまたは静止画像データの送信を停止するかまたは送信頻度を下げる。 When the vehicles MS11 and MS13 receive the transmission suppression control signal, they stop or reduce the transmission frequency of the subsequent video data or still image data in response to the instruction included in the received transmission suppression control signal. ..

なお、送信抑制信号に送信停止指示を含めるか、送信頻度の低下指示を含めるかは、上記車両の撮影範囲の重複部分の面積の大きさに応じて選択すればよい。例えば、重複部分の面積が上記最小値に対応する第１の閾値以上でかつ第２の閾値未満の場合には送信頻度の低下指示を選択し、上記第２の閾値以上の場合には送信停止指示を選択する。 Whether to include the transmission stop instruction or the transmission frequency reduction instruction in the transmission suppression signal may be selected according to the size of the area of the overlapping portion of the shooting range of the vehicle. For example, when the area of the overlapping portion is equal to or greater than the first threshold value corresponding to the minimum value and is less than the second threshold value, the transmission frequency reduction instruction is selected, and when the area is equal to or greater than the second threshold value, transmission is stopped. Select an instruction.

以上の説明では、車両に対する映像データまたは静止画像データの送信を抑制する動作について述べたが、車両に対するセンサデータの送信抑制制御についても同様に行うことができる。このセンサデータの送信抑制制御の動作例は関連技術の第１の例で述べたので、ここでの説明は省略する。 In the above description, the operation of suppressing the transmission of video data or still image data to the vehicle has been described, but the transmission suppression control of sensor data to the vehicle can also be performed in the same manner. Since the operation example of the transmission suppression control of the sensor data has been described in the first example of the related technology, the description here will be omitted.

また以上の説明では、車両に対する送信抑制制御を主として述べたが、エッジサーバＥＳ１〜ＥＳｎが、各車両から送信された映像データおよびセンサデータをクラウドＣＳへ転送する際に、クラウドＣＳが必要とする情報を抽出して送信する情報抽出処理を行うことも勿論可能である。この情報抽出処理の具体例は第１の実施形態で述べたので、ここでの説明は省略する。 Further, in the above description, the transmission suppression control for the vehicle has been mainly described, but the cloud CS requires the edge servers ES1 to ESn when the video data and the sensor data transmitted from each vehicle are transferred to the cloud CS. Of course, it is also possible to perform an information extraction process for extracting and transmitting information. Since a specific example of this information extraction process has been described in the first embodiment, the description here will be omitted.

（効果）
以上述べたように関連技術の第２の例では、道路の区間ごとにエッジサーバＥＳ１〜ＥＳｎを設置し、これらのエッジサーバＥＳ１〜ＥＳｎにより、上記各区間を走行中の複数の車両の撮影範囲の重複状態に基づいて送信抑制対象の車両を選択し、当該車両による映像データまたは静止画像データの送信を抑制するようにしている。 (effect)
As described above, in the second example of the related technology , edge servers ES1 to ESn are installed for each section of the road, and these edge servers ES1 to ESn provide a shooting range of a plurality of vehicles traveling in each of the sections. The vehicle to be suppressed from transmission is selected based on the overlapping state of the above, and the transmission of video data or still image data by the vehicle is suppressed.

従って、例えばある特定の車両に搭載されたカメラの撮影範囲と、近くを走行する他の複数の周辺車両に搭載されたカメラの撮影範囲とが重複する場合に、その重複度合いに応じて、上記周辺車両の送信を停止させるかまたは送信頻度を低下させることができる。これにより、複数の車両ＭＳ１１〜ＭＳ１ｍ，ＭＳ２１〜ＭＳ２ｍ，…，ＭＳｎ１〜ＭＳｎｍとエッジサーバＥＳ１〜ＥＳｎとの間、延いてはエッジサーバＥＳ１〜ＥＳｎとクラウドＣＳとの間における映像データまたは静止画像データの伝送トラフィック量を低下させることが可能となる。 Therefore, for example, when the shooting range of a camera mounted on a specific vehicle and the shooting range of a camera mounted on a plurality of other peripheral vehicles traveling nearby overlap, the above It is possible to stop the transmission of surrounding vehicles or reduce the transmission frequency. As a result, video data or still image data between the plurality of vehicles MS11 to MS1m, MS21 to MS2m, ..., MSn1 to MSnm and the edge servers ES1 to ESn, and further between the edge servers ES1 to ESn and the cloud CS. It is possible to reduce the amount of transmission traffic in the server.

また、上記した車両ＭＳ１１〜ＭＳ１ｍ，ＭＳ２１〜ＭＳ２ｍ，…，ＭＳｎ１〜ＭＳｎｍに対する送信抑制制御を、複数のエッジサーバＥＳ１〜ＥＳｎにより分散処理している。このため、各エッジサーバＥＳ１〜ＥＳｎの処理負荷を低く抑えることができ、これにより比較的安価な設備により応答性の良い送信抑制制御を実現できる。 Further, the transmission suppression control for the vehicles MS11 to MS1m, MS21 to MS2m, ..., MSn1 to MSnm described above is distributed and processed by a plurality of edge servers ES1 to ESn. Therefore, the processing load of each edge server ES1 to ESn can be suppressed to a low level, and as a result, transmission suppression control with good responsiveness can be realized by relatively inexpensive equipment.

図１５は、ある特定の車両に搭載されたカメラの撮影範囲内に、同様に映像データを送信している他の車両が１台以上存在する場合に、上記各車両に対しそのうちの１台に映像データの送信を停止させ、その他の車両による映像データの送信を継続させるように送信抑制制御を行った場合と、送信抑制制御を行わない場合との間で、実際の車両密度データを用いて伝送トラフィック量をシミュレーション評価した例を示すものである。車両密度データは、参考例に示す中規模都市（ドイツ・ケルン、20km×20kmにおける）のもので、車両台数がピーク時の１５，５２２台のときのトラフィック削減効果を示している。この例では、送信抑制制御を行った場合に、図示するように伝送トラフィック量を平均で４１．１５％削減することができた。なお、上記シミュレーション評価結果は、各車両の撮影範囲の面積や重複した箇所の面積を算出するのは省略し、各車両の撮影範囲内の他車両の有無のみを判定して送信抑制を行った場合と行わない場合の伝送の伝送トラヒック量の比較結果の一例を示したものである。 FIG. 15 shows that when there is one or more other vehicles that are similarly transmitting video data within the shooting range of the camera mounted on a specific vehicle, one of them is used for each of the above vehicles. The actual vehicle density data is used between the case where the transmission suppression control is performed so as to stop the transmission of the video data and the transmission of the video data by the other vehicle is continued, and the case where the transmission suppression control is not performed. This is an example of simulating and evaluating the amount of transmitted traffic. The vehicle density data is for a medium-sized city (Cologne, Germany, 20km x 20km) shown in the reference example, and shows the traffic reduction effect when the number of vehicles is 15,522 at the peak. In this example, when transmission suppression control was performed, the amount of transmission traffic could be reduced by 41.15% on average as shown in the figure. In the above simulation evaluation result, the calculation of the area of the shooting range of each vehicle and the area of the overlapping portion was omitted, and transmission was suppressed by determining only the presence or absence of other vehicles within the shooting range of each vehicle. It shows an example of the comparison result of the transmission traffic amount of transmission in the case and the case where it is not performed.

なお、評価用元映像には、実際に車両に搭載されたドライブレコーダのカメラにより解像度１，９２０×１，０８０画素で撮影した１分間の映像を用いた。送信抑制制御を行わない場合の伝送トラフィック量は、１分間の映像データ（１fpsのM-JPEG）のトラフィック量の合計値を測定した。 As the original video for evaluation, a one-minute video actually taken by a camera of a drive recorder mounted on the vehicle with a resolution of 1,920 × 1,080 pixels was used. For the transmission traffic amount when the transmission suppression control was not performed, the total value of the traffic amount of the video data (1 fps M-JPEG) for one minute was measured.

一方、送信抑制制御を行った場合のトラフィック量は、１分間の映像データにおける情報抽出処理後のトラフィック量を測定した。また、上記ドイツ・ケルンにおける参考例は、 S. Uppoor et al., “Large-scale urban vehicular mobility for networking research,” Proc. of IEEE Vehicular Networking Conference, 2011.に記載されている。 On the other hand, as the traffic volume when the transmission suppression control is performed, the traffic volume after the information extraction processing in the video data for one minute is measured. A reference example in Cologne, Germany, is described in S. Uppoor et al., “Large-scale urban vehicular mobility for networking research,” Proc. Of IEEE Vehicular Networking Conference, 2011.

また関連技術の第２の例では、先に述べた関連技術の第１の例と同様に、エッジサーバＥＳ１〜ＥＳｎにおいて、各車両からのセンシングデータの送信を抑制制御し、さらに当該センシングデータをクラウドＣＳへ送信する際にクラウドＣＳの処理に必要な情報のみを抽出して送信するようにしている。このため、エッジサーバＥＳ１〜ＥＳｎとクラウドＣＳとの間の通信ネットワークＮＷ１における伝送トラフィック量をさらに効果的に低減することができる。 Further, in the second example of the related technology, similarly to the first example of the related technology described above, the edge servers ES1 to ESn suppress and control the transmission of the sensing data from each vehicle, and further control the sensing data. When transmitting to the cloud CS, only the information necessary for the processing of the cloud CS is extracted and transmitted. Therefore, the amount of transmission traffic in the communication network NW1 between the edge servers ES1 to ESn and the cloud CS can be further effectively reduced.

［その他の実施形態］
（１）前記第１の実施形態では、いずれの実施例も深層学習により生成した学習データを用いて情報抽出処理をする場合を例にとって説明したが、必ずしも深層学習による学習データを用いなくてもよい。
また、深層学習を利用する情報抽出処理と、深層学習を利用しない処理負荷が軽量な送信抑制制御処理とを併用することも考えられる。例えば、ダイナミックマップを作成する場合、車両が停止しているときには車両の映像配信動作を停止させ、走行している車両から（または複数の車両が近くに存在する場合には指定した車両のみから）車載カメラの映像データを配信させる。エッジサーバの情報抽出部では、取得した映像データを上述した深層学習を利用した手順で情報抽出処理し、この情報抽出されたデータをクラウドのアプリケーション処理部に送信する。以上は、路面診断処理や周辺風景閲覧画像の作成処理においても同様に適用できる。 [Other Embodiments]
(1) In the first embodiment, the case where the information extraction process is performed using the learning data generated by deep learning has been described as an example in each of the examples, but it is not always necessary to use the learning data by deep learning. good.
It is also conceivable to use both the information extraction process that uses deep learning and the transmission suppression control process that does not use deep learning and has a light processing load. For example, when creating a dynamic map, when the vehicle is stopped, the video distribution operation of the vehicle is stopped, and from the running vehicle (or only from the specified vehicle when multiple vehicles are nearby). Distribute the video data of the in-vehicle camera. The information extraction unit of the edge server processes the acquired video data by the procedure using the deep learning described above, and transmits the information extracted data to the application processing unit of the cloud. The above can be similarly applied to the road surface diagnosis process and the process of creating a surrounding landscape viewing image.

（２）前記関連技術の第２の例では、送信抑制対象とする車両の選択を各車両による撮影範囲の重複度合いに基づいて行うようにした。しかし、それに限定されるものではなく、送信抑制対象とする車両の選択を、センシング条件の類似度合いに基づいて行うようにしてもよい。
(2) In the second example of the related technology, the vehicle to be the transmission suppression target is selected based on the degree of overlap of the shooting range by each vehicle. However, the present invention is not limited to this, and the vehicle to be suppressed in transmission may be selected based on the degree of similarity of the sensing conditions.

例えば、走行中の各車両から送信される車両の位置情報に基づいて各車両間の接近の度合いを推定し、その推定結果に基づいて接近して走行している複数の車両の一部を送信抑制対象の車両として選択する。なお、道路の走行状態を監視するカメラの映像データに基づいて各車両間の接近の度合いを推定することも可能である。また、接近の度合いの定義は、例えば半径何メートル以内、同じ車線で前後何メートル以内というように設定することができる。 For example, the degree of approach between each vehicle is estimated based on the position information of the vehicle transmitted from each running vehicle, and a part of a plurality of vehicles traveling in close proximity is transmitted based on the estimation result. Select as the vehicle to be suppressed. It is also possible to estimate the degree of approach between vehicles based on the video data of a camera that monitors the traveling state of the road. Further, the definition of the degree of approach can be set, for example, within a radius of several meters and within a few meters in the same lane.

また、複数のセンシング装置が存在するエリアの環境条件（温度、湿度、気圧、騒音レベル）をセンシング条件とし、その類似度をもとに複数のセンシング装置の中から送信抑制対象のセンシング装置を選択するようにしてもよい。このようにすると、例えば同一エリアに存在する複数のセンシング装置が、センサにより上記した環境条件を計測してそのセンサデータを送信する場合には、上記複数のセンシング装置からのセンサデータの送信を抑制することができる。 In addition, the environmental conditions (temperature, humidity, atmospheric pressure, noise level) of the area where multiple sensing devices exist are set as the sensing conditions, and the sensing device to be transmitted suppressed is selected from the multiple sensing devices based on the similarity. You may try to do it. In this way, for example, when a plurality of sensing devices existing in the same area measure the above-mentioned environmental conditions by a sensor and transmit the sensor data, the transmission of the sensor data from the plurality of sensing devices is suppressed. can do.

（３）送信抑制対象の車両の選択手法としては、他に、例えば区間に進入した時刻や順序に基づいて、区間への進入が最も早い車両または車両群、或いは最も遅い車両または車両群を選択するようにしてもよい。さらには、一定の範囲内で接近して走行している複数の車両のうち、送信中の映像データまたは静止画像データの解像度が最も高い車両を除いた他の車両を送信抑制対象として選択するようにしてもよい。 (3) As another method for selecting a vehicle to be suppressed from transmission, for example, a vehicle or vehicle group having the earliest entry into the section or a vehicle or vehicle group having the slowest approach to the section is selected based on the time and order of entry into the section. You may try to do it. Furthermore, among a plurality of vehicles traveling close to each other within a certain range, other vehicles other than the vehicle having the highest resolution of the video data or still image data being transmitted should be selected as the transmission suppression target. It may be.

さらに、センサから取得した車両ＩＤと車両の速度情報とをもとに車両の速度が設定値以下であるか否かを判定し、速度が設定値以下の場合には当該車両を送信抑制対象とし、当該車両に対し映像データまたは静止画像データの送信をさせる送信抑制制御信号を送信するようにしてもよい。 Furthermore, based on the vehicle ID acquired from the sensor and the vehicle speed information, it is determined whether or not the vehicle speed is below the set value, and if the speed is below the set value, the vehicle is targeted for transmission suppression. , The transmission suppression control signal for transmitting video data or still image data to the vehicle may be transmitted.

（４）カメラとエッジサーバが車両に搭載される場合には、例えばドライブレコーダのように、カメラとエッジサーバとが一体的に構成されていてもよく、その他エッジサーバの設置場所や機能構成、クラウドにおけるアプリケーション処理の種類や内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。 (4) When the camera and the edge server are mounted on the vehicle, the camera and the edge server may be integrally configured as in a drive recorder, for example, and other edge server installation locations and functional configurations. The types and contents of application processing in the cloud can also be variously modified and implemented without departing from the gist of the present invention.

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。 In short, the present invention is not limited to the above-described embodiment as it is, and at the implementation stage, the components can be modified and embodied within a range that does not deviate from the gist thereof. In addition, various inventions can be formed by an appropriate combination of the plurality of components disclosed in the above-described embodiment. For example, some components may be removed from all the components shown in the embodiments. In addition, components from different embodiments may be combined as appropriate.

Ｓ１１〜Ｓ１ｍ，Ｓ２１〜Ｓ２ｍ，Ｓｎ１〜Ｓｎｍ…センシングデバイス、ＣＭ１〜ＣＭｉ…カメラ、ＳＳ１〜ＳＳｊ…センサ、ＥＳ１〜ＥＳｎ…エッジサーバ、ＣＳ…クラウド、ＮＷ，ＮＷ１…ネットワーク（インターネット）、ＮＷ２…モバイルネットワーク、ＭＳ１１〜ＭＳ１ｍ，ＭＳ２１〜ＭＳ２ｍ，…，ＭＳｎ１〜ＭＳｎｍ…車両、１…エッジサーバの制御ユニット、２…エッジサーバの記憶ユニット、３…エッジサーバの入出力インタフェースユニット、４…エッジサーバの通信インタフェースユニット、５…クラウドの制御ユニット、６…クラウドのデータベース、７…クラウドの通信インタフェースユニット、１１…カメラ映像取得処理部、１２…センサデータ取得処理部、１３…条件設定処理部、１４…情報抽出処理部、１５…データ通信制御部、１６…カメラ映像／センサデータ送信抑制制御部、２１…カメラ映像記憶部、２２…センサデータ記憶部、２３…第１の条件記憶部、２４…第２の条件記憶部、５１…アプリケーション処理部。 S11-S1m, S21-S2m, Sn1-Snm ... Sensing device, CM1-CMi ... Camera, SS1-SSj ... Sensor, ES1-ESn ... Edge server, CS ... Cloud, NW, NW1 ... Network (Internet), NW2 ... Mobile Network, MS11-1 to MS1m, MS21 to MS2m, ..., MSn1 to MSnm ... Vehicle, 1 ... Edge server control unit, 2 ... Edge server storage unit, 3 ... Edge server input / output interface unit, 4 ... Edge server communication Interface unit, 5 ... Cloud control unit, 6 ... Cloud database, 7 ... Cloud communication interface unit, 11 ... Camera image acquisition processing unit, 12 ... Sensor data acquisition processing unit, 13 ... Condition setting processing unit, 14 ... Information Extraction processing unit, 15 ... Data communication control unit, 16 ... Camera image / sensor data transmission suppression control unit, 21 ... Camera image storage unit, 22 ... Sensor data storage unit, 23 ... First condition storage unit, 24 ... Second Condition storage unit, 51 ... Application processing unit.

Claims (7)

センシングデータとして、監視対象物の画像と当該監視対象物を遮る遮蔽物の画像とを含む映像データを出力するセンシング装置と、前記映像データに含まれる監視対象物の画像をもとに当該監視対象物の状態を診断し、その診断結果を示す情報を生成する情報生成処理を行うクラウドと、前記センシング装置とネットワークとの間に配置され、前記センシング装置から出力される前記センシングデータを受信しかつ生成された情報抽出データを前記ネットワークを介して前記クラウドへ送信するエッジサーバとを備えるセンシングデータ処理システムであって、
前記エッジサーバは、
前記監視対象物の抽出および前記遮蔽物の削除を行うための情報抽出条件を条件記憶部に記憶する条件設定手段と、
前記センシング装置から出力された前記センシングデータを受信する受信手段と、
前記条件記憶部に記憶された情報抽出条件に基づいて、前記受信されたセンシングデータに含まれる前記映像データから前記監視対象物の画像を抽出する処理および前記遮蔽物の画像を削除する処理をそれぞれ行うことで、前記情報抽出データを生成する情報抽出手段と、
生成された前記情報抽出データを前記ネットワークを介して前記クラウドへ送信する送信手段と
を備えるセンシングデータ処理システム。 As sensing data, a sensing device that outputs video data including an image of a monitored object and an image of a shield that blocks the monitored object, and the monitored object based on the image of the monitored object included in the video data. It is arranged between the sensing device and the network, and receives the sensing data output from the sensing device, and is arranged between the cloud that performs information generation processing that diagnoses the state of an object and generates information indicating the diagnosis result. A sensing data processing system including an edge server that transmits the generated information extraction data to the cloud via the network.
The edge server
A condition setting means for storing information extraction conditions for extracting the monitored object and deleting the shield in the condition storage unit, and
A receiving means for receiving the sensing data output from the sensing device, and
Based on the information extraction conditions stored in the condition storage unit, a process of extracting an image of the monitored object from the video data included in the received sensing data and a process of deleting the image of the shield are performed, respectively. By doing so, the information extraction means for generating the information extraction data and
A sensing data processing system including a transmission means for transmitting the generated information extraction data to the cloud via the network. センシングデータとして、留置対象物が含まれる風景を撮影した画像と当該画像に混入した侵入物の画像とを含む映像データを出力するセンシング装置と、前記センシングデータに含まれる前記映像データに基づいて周辺風景閲覧画像を生成する情報生成処理を行うクラウドと、前記センシング装置とネットワークとの間に配置され、前記センシング装置から出力される前記センシングデータを受信しかつ生成された情報抽出データを前記ネットワークを介して前記クラウドへ送信するエッジサーバとを備えるセンシングデータ処理システムであって、
前記エッジサーバは、
前記留置対象物の特徴量の抽出と、前記侵入物の画像の削除または当該侵入物以外の画像の抽出とを行うための情報抽出条件を条件記憶部に記憶する条件設定手段と、
前記センシング装置から出力された前記センシングデータを受信する受信手段と、
前記条件記憶部に記憶された情報抽出条件に基づいて、前記受信されたセンシングデータに含まれる前記映像データから前記留置対象物の特徴量を抽出する処理と、前記侵入物を削除するか又は前記侵入物以外の画像を抽出する処理とをそれぞれ行うことで、前記情報抽出データを生成する情報抽出手段と、
生成された前記情報抽出データを前記ネットワークを介して前記クラウドへ送信する送信手段と
を備えるセンシングデータ処理システム。 As sensing data, a sensing device that outputs video data including an image of a landscape including an indwelling object and an image of an intruder mixed in the image, and a peripheral area based on the video data included in the sensing data. The information extraction data generated by receiving the sensing data output from the sensing device and being arranged between the cloud that performs the information generation processing for generating the landscape viewing image and the sensing device and the network is used in the network. It is a sensing data processing system including an edge server that transmits to the cloud via the above.
The edge server
A condition setting means for storing in the condition storage unit information extraction conditions for extracting the feature amount of the indwelling object and deleting the image of the intruder or extracting the image other than the intruder.
A receiving means for receiving the sensing data output from the sensing device, and
Based on the information extraction condition stored in the condition storage unit, the process of extracting the feature amount of the indwelling object from the video data included in the received sensing data, and deleting the intruder or the above. by performing a process of extracting an image other than the intruder respectively, and information extraction means for generating the information extraction data,
A sensing data processing system including a transmission means for transmitting the generated information extraction data to the cloud via the network. センシングデータとして、監視対象物の画像と当該監視対象物を遮る遮蔽物の画像とを含む映像データを出力するセンシング装置と、前記映像データに含まれる監視対象物の画像をもとに当該監視対象物の状態を診断し、その診断結果を示す情報を生成するための情報抽出処理を行うクラウドとの間の、前記センシング装置とネットワークとの間に配置され、前記センシング装置から出力される前記センシングデータを受信しかつ生成された情報抽出データを前記ネットワークを介して前記クラウドへ送信するエッジサーバであって、
前記監視対象物の抽出および前記遮蔽物の削除を行うための情報抽出条件を条件記憶部に記憶する条件設定手段と、
前記センシング装置から出力された前記センシングデータを受信する受信手段と、
前記条件記憶部に記憶された情報抽出条件に基づいて、前記受信されたセンシングデータに含まれる前記映像データから前記監視対象物の画像を抽出する処理および前記遮蔽物の画像を削除する処理をそれぞれ行うことで、前記情報抽出データを生成する情報抽出手段と、
生成された前記情報抽出データを前記ネットワークを介して前記クラウドへ送信する送信手段と
を具備するエッジサーバ。 As sensing data, a sensing device that outputs video data including an image of a monitored object and an image of a shield that blocks the monitored object, and the monitored object based on the image of the monitored object included in the video data. The sensing that is arranged between the sensing device and the network between the cloud that diagnoses the state of an object and performs information extraction processing for generating information indicating the diagnosis result, and is output from the sensing device. An edge server that receives data and transmits the generated information extraction data to the cloud via the network.
A condition setting means for storing information extraction conditions for extracting the monitored object and deleting the shield in the condition storage unit, and
A receiving means for receiving the sensing data output from the sensing device, and
Based on the information extraction conditions stored in the condition storage unit, a process of extracting an image of the monitored object from the video data included in the received sensing data and a process of deleting the image of the shield are performed, respectively. By doing so, the information extraction means for generating the information extraction data and
An edge server including a transmission means for transmitting the generated information extraction data to the cloud via the network. センシングデータとして、留置対象物が含まれる風景を撮影した画像と当該画像に混入した侵入物の画像とを含む映像データを出力するセンシング装置と、前記センシングデータに含まれる前記映像データに基づいて周辺風景閲覧画像を生成するための情報生成処理を行うクラウドとの間の、前記センシング装置とネットワークとの間に配置され、前記センシング装置から出力される前記センシングデータを受信しかつ生成された情報抽出データを前記ネットワークを介して前記クラウドへ送信するエッジサーバであって、
前記留置対象物の特徴量の抽出と、前記侵入物の画像の削除または当該侵入物以外の画像の抽出とを行うための情報抽出条件を条件記憶部に記憶する条件設定手段と、
前記センシング装置から出力された前記センシングデータを受信する受信手段と、
前記条件記憶部に記憶された情報抽出条件に基づいて、前記受信されたセンシングデータに含まれる前記映像データから前記留置対象物の特徴量を抽出する処理および前記侵入物を削除するか又は前記侵入物以外の画像を抽出する処理をそれぞれ行うことで前記情報抽出データを生成する情報抽出手段と、
生成された前記情報抽出データを前記ネットワークを介して前記クラウドへ送信する送信手段と
を具備するエッジサーバ。 As sensing data, a sensing device that outputs video data including an image of a landscape including an indwelling object and an image of an intruder mixed in the image, and a peripheral area based on the video data included in the sensing data. Information extraction generated by receiving the sensing data output from the sensing device, which is arranged between the sensing device and the network between the cloud and the cloud that performs the information generation processing for generating the landscape viewing image. An edge server that transmits data to the cloud via the network.
A condition setting means for storing in the condition storage unit information extraction conditions for extracting the feature amount of the indwelling object and deleting the image of the intruder or extracting the image other than the intruder.
A receiving means for receiving the sensing data output from the sensing device, and
Based on the information extraction condition stored in the condition storage unit, the process of extracting the feature amount of the indwelling object from the video data included in the received sensing data and deleting the intruder or the intrusion An information extraction means that generates the information extraction data by performing each process of extracting an image other than an object, and an information extraction means.
An edge server including a transmission means for transmitting the generated information extraction data to the cloud via the network. センシングデータとして、監視対象物の画像と当該監視対象物を遮る遮蔽物の画像とを含む映像データを出力するセンシング装置と、前記映像データに含まれる監視対象物の画像をもとに当該監視対象物の状態を診断し、その診断結果を示す情報を生成する情報生成処理を行うクラウドとの間の、前記センシング装置とネットワークとの間に配置され、前記センシング装置から出力される前記センシングデータを受信しかつ生成された情報抽出データを前記ネットワークを介して前記クラウドへ送信するエッジサーバが実行する伝送トラフィック削減方法であって、
前記監視対象物の抽出および前記遮蔽物の削除を行うための情報抽出条件を条件記憶部に記憶させる過程と、
前記センシング装置から出力された前記センシングデータを受信する過程と、
前記条件記憶部に記憶された情報抽出条件に基づいて、前記受信されたセンシングデータ含まれる前記映像データから前記監視対象物の画像を抽出する処理および前記遮蔽物の画像を削除する処理をそれぞれ行うことで、前記情報抽出データを生成する処理を行って前記情報抽出データを生成する過程と、
生成された前記情報抽出データを前記ネットワークを介して前記クラウドへ送信する過程と
を具備することを特徴とする伝送トラフィック削減方法。 As sensing data, a sensing device that outputs video data including an image of a monitored object and an image of a shield that blocks the monitored object, and the monitored object based on the image of the monitored object included in the video data. The sensing data that is arranged between the sensing device and the network between the cloud that performs information generation processing that diagnoses the state of an object and generates information indicating the diagnosis result, and is output from the sensing device. It is a transmission traffic reduction method executed by an edge server that transmits the received and generated information extraction data to the cloud via the network.
A process of storing information extraction conditions for extracting the monitored object and deleting the shield in the condition storage unit, and
The process of receiving the sensing data output from the sensing device and
Based on the information extraction conditions stored in the condition storage unit, a process of extracting an image of the monitored object from the video data included in the received sensing data and a process of deleting the image of the shield are performed , respectively. Therefore, the process of generating the information extraction data by performing the process of generating the information extraction data, and
A transmission traffic reduction method comprising a process of transmitting the generated information extraction data to the cloud via the network. センシングデータとして、留置対象物が含まれる風景を撮影した画像と当該画像に混入した侵入物の画像とを含む映像データを出力するセンシング装置と、前記センシングデータに含まれる前記映像データに基づいて周辺風景閲覧画像を生成する情報生成処理を行うクラウドとの間の、前記センシング装置とネットワークとの間に配置され、前記センシング装置から出力される前記センシングデータを受信しかつ生成された情報抽出データを前記ネットワークを介して前記クラウドへ送信する機能を有するエッジサーバが実行する伝送トラフィック削減方法であって、
前記留置対象物の特徴量の抽出と、前記侵入物の画像の削除または当該侵入物以外の画像の抽出とを行うための情報抽出条件を条件記憶部に記憶させる過程と、
前記センシング装置から出力された前記センシングデータを受信する過程と、
前記条件記憶部に記憶された情報抽出条件に基づいて、前記受信されたセンシングデータに含まれる前記映像データから前記留置対象物の特徴量を抽出する処理および前記侵入物を削除するか又は前記侵入物以外の画像を抽出する処理をそれぞれ行うことで前記情報抽出データを生成する過程と、
生成された前記情報抽出データを前記ネットワークを介して前記クラウドへ送信する過程と
を具備することを特徴とする伝送トラフィック削減方法。 As sensing data, a sensing device that outputs video data including an image of a landscape including an indwelling object and an image of an intruder mixed in the image, and a peripheral area based on the video data included in the sensing data. The information extraction data that is arranged between the sensing device and the network and receives the sensing data output from the sensing device and is generated between the cloud that performs the information generation processing that generates the landscape viewing image. A transmission traffic reduction method executed by an edge server having a function of transmitting data to the cloud via the network.
A process of storing in the condition storage unit information extraction conditions for extracting the feature amount of the indwelling object and deleting the image of the invading object or extracting the image other than the invading object.
The process of receiving the sensing data output from the sensing device and
Based on the information extraction condition stored in the condition storage unit, the process of extracting the feature amount of the indwelling object from the video data included in the received sensing data and deleting the intruder or the intrusion and generating the information extraction data by performing a process of extracting an image other than the object, respectively,
A transmission traffic reduction method comprising a process of transmitting the generated information extraction data to the cloud via the network. 請求項３又は４に記載のエッジサーバが備える前記各手段の処理を、前記エッジサーバが備えるプロセッサに実行させるプログラム。 A program for causing a processor included in the edge server to execute the processing of each of the means included in the edge server according to claim 3 or 4.
JP2018002558A 2017-07-11 2018-01-11 Sensing data processing systems and their edge servers, transmission traffic reduction methods and programs Active JP6943187B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017135350 2017-07-11
JP2017135350 2017-07-11

Publications (2)

Publication Number Publication Date
JP2019022205A JP2019022205A (en) 2019-02-07
JP6943187B2 true JP6943187B2 (en) 2021-09-29

Family

ID=65354555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018002558A Active JP6943187B2 (en) 2017-07-11 2018-01-11 Sensing data processing systems and their edge servers, transmission traffic reduction methods and programs

Country Status (1)

Country Link
JP (1) JP6943187B2 (en)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10816984B2 (en) 2018-04-13 2020-10-27 Baidu Usa Llc Automatic data labelling for autonomous driving vehicles
JP7200875B2 (en) * 2019-07-31 2023-01-10 トヨタ自動車株式会社 Information processing device, information processing method, and program
CN114270786A (en) 2019-10-01 2022-04-01 Ntt通信公司 Setting device, communication system, setting method, and program
JP7437409B2 (en) 2019-10-01 2024-02-22 エヌ・ティ・ティ・コミュニケーションズ株式会社 Setting device, communication system, setting method, and program
JP7238738B2 (en) * 2019-11-19 2023-03-14 トヨタ自動車株式会社 Image processing system, processing device, relay device and program
JP7276093B2 (en) 2019-11-19 2023-05-18 トヨタ自動車株式会社 Information collection system, relay device, and program
KR102389710B1 (en) * 2019-12-19 2022-04-22 주식회사 오성전자 Legacy home appliance control method using context awareness and system supporting it
WO2021199283A1 (en) 2020-03-31 2021-10-07 富士通株式会社 Image processing control device, image processing control program, and image processing control method
JP7287366B2 (en) * 2020-04-03 2023-06-06 Toto株式会社 Excrement management system, excretion information management method, program, edge server and toilet seat device
WO2022085421A1 (en) * 2020-10-19 2022-04-28 ソニーグループ株式会社 Data processing device and method, and data processing system
US11860589B2 (en) 2021-01-05 2024-01-02 Honeywell International Inc. Method and apparatus for tuning a regulatory controller
JP2022161102A (en) * 2021-04-08 2022-10-21 株式会社日立製作所 Distributed system and data transfer method
WO2023003962A1 (en) * 2021-07-20 2023-01-26 Numurus LLC Smart edge platform for edge devices and associated systems and methods
CN114245303A (en) * 2021-12-22 2022-03-25 诺博汽车***有限公司 Data acquisition method and device, readable storage medium and vehicle
KR102576275B1 (en) * 2022-11-09 2023-09-26 주식회사 스핀 Method and system for treating wastewater using blockchain

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4456437B2 (en) * 2004-08-06 2010-04-28 株式会社野村総合研究所 Image processing system, image processing program, and image processing method
US9740951B2 (en) * 2015-09-11 2017-08-22 Intel Corporation Technologies for object recognition for internet-of-things edge devices
JP6011833B1 (en) * 2015-09-14 2016-10-19 パナソニックＩｐマネジメント株式会社 Wearable camera system and person notification method

Also Published As

Publication number Publication date
JP2019022205A (en) 2019-02-07

Similar Documents

Publication Publication Date Title
JP6943187B2 (en) Sensing data processing systems and their edge servers, transmission traffic reduction methods and programs
US11146828B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US11197027B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
JP6970100B2 (en) 3D data creation method and 3D data creation device
US11710271B2 (en) Three-dimensional data creation method, three-dimensional data transmission method, three-dimensional data creation device, and three-dimensional data transmission device
JP7402695B2 (en) Information transmission method and client device
JP7237007B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
JPWO2019065546A1 (en) 3D data creation method, client device and server
KR20200083487A (en) 3D data encoding method, 3D data decoding method, 3D data encoding device, and 3D data decoding device
Hijji et al. 6G connected vehicle framework to support intelligent road maintenance using deep learning data fusion
CN106530331A (en) Video monitoring system and method
EP3975133A1 (en) Processing of images captured by vehicle mounted cameras
Cho et al. Object recognition network using continuous roadside cameras
KR102511539B1 (en) Image-based vehicle driving simulation system and method
JP7377483B1 (en) Video summarization device, video summarization method
WO2022176795A1 (en) Image recognition system, processing device, server, image recognition method, and computer program
JP7517991B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
Mago Intelligent parking management system (PMS) based on video analytics
Cai et al. Traffic camera markup language (TCML)

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20180115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200923

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210216

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210823

R150 Certificate of patent or registration of utility model

Ref document number: 6943187

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150