JP2021005744A - Server, client, program and method for forming object video - Google Patents
Server, client, program and method for forming object video Download PDFInfo
- Publication number
- JP2021005744A JP2021005744A JP2019117065A JP2019117065A JP2021005744A JP 2021005744 A JP2021005744 A JP 2021005744A JP 2019117065 A JP2019117065 A JP 2019117065A JP 2019117065 A JP2019117065 A JP 2019117065A JP 2021005744 A JP2021005744 A JP 2021005744A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- client
- target
- additional
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、生成された画像データを用いて映像を生成する技術に関する。 The present invention relates to a technique for generating an image using the generated image data.
現在、監視カメラや車載カメラ等の普及に伴い、複数のカメラで撮影された映像データを取り扱い、そこから新たな情報を生成する技術が注目されている。例えば、複数の映像データをつなぎ合わせてパノラマ映像等の新たな映像を再構成する画像処理技術の開発が盛んに進められている。 At present, with the spread of surveillance cameras and in-vehicle cameras, a technique of handling video data taken by a plurality of cameras and generating new information from the data is drawing attention. For example, the development of an image processing technology for reconstructing a new image such as a panoramic image by connecting a plurality of image data is being actively promoted.
このような技術の例として、特許文献１には、複数の映像データを連結する際のつなぎ目を目立たなくするとともに、処理の高速化を実現する映像処理技術が開示されている。具体的にこの技術では、入力した各映像データから同時に撮影された複数のフレームデータを取得し、互いに隣接するフレームデータのつなぎ目を通さない禁止領域を設定した上で互いに隣接するフレームデータのつなぎ目を算出し、このつなぎ目に従って、各フレームデータを繋いで連結フレームデータを生成している。 As an example of such a technique, Patent Document 1 discloses a video processing technique that makes the joints when connecting a plurality of video data inconspicuous and realizes high-speed processing. Specifically, in this technology, a plurality of frame data shot at the same time are acquired from each input video data, a prohibited area is set so that the joints of the frame data adjacent to each other are not passed, and then the joints of the frame data adjacent to each other are set. It is calculated, and the concatenated frame data is generated by connecting each frame data according to this joint.
また、特許文献２には、セミトレーラに備えられた複数のビデオカメラが接続されている複数の伝送線路と、トラクタに備えられた１個のモニタに接続されている１本の伝送線路とが、１個の接続器を介して着脱可能に接続されており、複数のカメラの映像を１つのモニタにて簡単に確認することができる車載カメラ装置が開示されている。 Further, in Patent Document 2, a plurality of transmission lines to which a plurality of video cameras provided in a semi-trailer are connected and one transmission line connected to one monitor provided in a tractor are described. An in-vehicle camera device that is detachably connected via a single connector and can easily check images from a plurality of cameras on a single monitor is disclosed.
さらに、特許文献３には、必要な部分のみの閲覧ですみ、後日確認時の閲覧性を向上することができる監視カメラシステムが開示されている。このシステムでは具体的に、計測データ種別が紐付けられたカメラ毎に、トリガデータの時刻を含む所定の時間帯の個別映像データを選択し、選択された個別映像データについて、複数連結の要否及び／又は一部削除の要否に応じて連結及び／又は一部削除を行ってそれぞれ結合用映像データとし、これらの結合用映像データを１つの動画に合成して結合映像データとしている。 Further, Patent Document 3 discloses a surveillance camera system capable of improving the readability at a later date by only browsing the necessary part. In this system, specifically, individual video data in a predetermined time zone including the time of the trigger data is selected for each camera to which the measurement data type is associated, and it is necessary to connect multiple individual video data for the selected individual video data. And / or depending on the necessity of partial deletion, concatenation and / or partial deletion are performed to obtain combined video data, and these combined video data are combined into one moving image to obtain combined video data.
ここで、例えば複数の車両の各々に搭載されたカメラで撮影・生成された映像データ（画像データ）を、無線通信によってサーバに送信して取りまとめ、目的とする映像を生成する場合を考えてみる。 Here, for example, consider a case where video data (image data) taken and generated by cameras mounted on each of a plurality of vehicles is transmitted to a server by wireless communication and collected to generate a target video. ..
この場合、目的とする映像を生成するために必要となる映像データを適切に取得することが重要となり、さらに、映像データはデータサイズが大きいので、各車両による映像データ送信負荷を十分に抑えることも大事となる。特に、自動運転車を確実に走行させるための映像データは非常に高い解像度を有し、そのデータサイズは膨大であるため、送信負荷の低減は非常に重要な技術事項となる。 In this case, it is important to appropriately acquire the video data required to generate the target video, and since the video data has a large data size, the load of video data transmission by each vehicle should be sufficiently suppressed. Is also important. In particular, video data for reliably driving an autonomous vehicle has a very high resolution and its data size is enormous, so reduction of the transmission load is a very important technical matter.
しかしながら、特許文献１〜３に記載されたような従来技術では、このような重要事項が課題とされておらず、また実際、このような重要事項に係る課題を解決することは困難となっている。 However, in the prior art as described in Patent Documents 1 to 3, such an important matter is not a problem, and in fact, it becomes difficult to solve the problem related to such an important matter. There is.
そこで、本発明は、画像データ送信元であるクライアントにおける画像データ送信負荷を抑制可能なサーバ、クライアント、プログラム及び方法を提供することを目的とする。 Therefore, an object of the present invention is to provide a server, a client, a program, and a method capable of suppressing an image data transmission load in a client that is an image data transmission source.
本発明によれば、移動可能な複数のクライアントから取得した画像データによって所定の対象に係る対象映像を生成するサーバに搭載されたコンピュータを機能させるプログラムであって、
当該クライアントから取得された当該クライアントの位置情報に基づいて、当該対象映像を生成するために、既に取得された画像データに加えて必要となる追加画像データを生成可能なクライアントを決定するクライアント決定手段と、
決定されたクライアントに対し、当該追加画像データに係る情報を通知し、該クライアントから当該追加画像データを受け取る入出力制御手段と
してコンピュータを機能させる映像生成プログラムが提供される。
According to the present invention, it is a program that functions a computer mounted on a server that generates a target image related to a predetermined target by using image data acquired from a plurality of movable clients.
A client determination means for determining a client that can generate additional image data required in addition to the image data already acquired in order to generate the target video based on the position information of the client acquired from the client. When,
A video generation program is provided that notifies the determined client of information related to the additional image data and causes the computer to function as an input / output control means for receiving the additional image data from the client.
この本発明による映像生成プログラムにおけるクライアント決定に係る一実施形態として、当該追加画像データに係る情報は、当該対象映像を生成するため、自らの後にフレームを追加すべきフレームである追加基準フレームのデータ、並びに／又は、当該対象に係る情報及び当該対象の画像内位置に係る情報を含み、
クライアント決定手段は、当該追加基準フレームに続く追加フレームであって、当該対象の画像内位置が当該追加基準フレームでの画像内位置に対し所定の位置間隔要件を満たすものとなっている追加フレームを生成可能なクライアントを、当該追加画像データの要求先に決定することも好ましい。
As an embodiment of the client determination in the video generation program according to the present invention, the information related to the additional image data is data of an additional reference frame which is a frame to which a frame should be added after itself in order to generate the target video. And / or, including information related to the target and information related to the position in the image of the target.
The client determination means is an additional frame following the additional reference frame, wherein the position in the target image satisfies a predetermined position spacing requirement with respect to the position in the image in the additional reference frame. It is also preferable to determine the client that can be generated as the request destination of the additional image data.
また上記の実施形態において、当該クライアントは、当該対象に近づきその後遠ざかるように移動しており、クライアント決定手段は、当該追加基準フレームの提供元であるクライアントに続いて当該対象に近づくクライアントを、当該追加画像データの要求先に決定することも好ましい。 Further, in the above embodiment, the client is moving toward the target and then moving away from the target, and the client determination means selects the client approaching the target following the client that is the provider of the additional reference frame. It is also preferable to determine the request destination of the additional image data.
さらに、本発明による映像生成プログラムにおけるクライアント決定に係る他の実施形態として、当該追加画像データは、当該対象映像を生成するために、当該既に取得された画像データの間を埋めることになる画像データであり、
当該追加画像データに係る情報は、生成の途中である対象映像における、その間に埋め込むべき追加フレームの映像内位置情報、並びに／又は、当該追加フレームに含まれる当該対象に係る情報及び当該対象の画像内位置に係る情報を含み、
クライアント決定手段は、当該埋め込むべき追加フレームを生成可能なクライアントを、当該追加画像データの要求先に決定することも好ましい。
Further, as another embodiment relating to the client determination in the video generation program according to the present invention, the additional image data fills the space between the already acquired image data in order to generate the target video. And
The information related to the additional image data includes the position information in the video of the additional frame to be embedded in the target video being generated, and / or the information related to the target included in the additional frame and the image of the target. Including information about the inner position
It is also preferable that the client determination means determines a client capable of generating the additional frame to be embedded as a request destination of the additional image data.
また、本発明による映像生成プログラムにおける更なる他の実施形態として、入出力制御手段は、あるクライアントから、画像データとともにこの画像データにおいて検出された当該対象に係る情報が取得された際、当該あるクライアント又は当該決定されたクライアントに対し、当該追加画像データに係る情報を含む画像データ送信要求を通知することも好ましい。 Further, as a further other embodiment in the video generation program according to the present invention, the input / output control means is used when the information related to the target detected in the image data is acquired together with the image data from a certain client. It is also preferable to notify the client or the determined client of the image data transmission request including the information related to the additional image data.
本発明によれば、また、生成した画像データをサーバに提供し、所定の対象に係る対象映像を当該サーバに生成させる移動可能なクライアントに搭載されたコンピュータを機能させるプログラムであって、
自らを含むクライアントに係る位置情報を取得し当該サーバへ通知させる位置情報取得手段と、
受け取った当該位置情報に基づいて、当該対象映像を生成するために必要となる追加画像データを生成可能なクライアントとして自らを含むクライアントを指定してきた当該サーバから、当該追加画像データに係る情報が取得された際、当該追加画像データに係る情報に基づいて、生成された画像データ群の中から当該追加画像データを選択し当該サーバへ提供させる追加画像選択手段と
してコンピュータを機能させる映像生成支援プログラムが提供される。
According to the present invention, it is also a program that provides a generated image data to a server and causes a computer mounted on a movable client to generate a target image related to a predetermined target on the server.
A location information acquisition means that acquires location information related to clients including itself and notifies the server.
Based on the received location information, the information related to the additional image data is acquired from the server that has specified the client including itself as the client that can generate the additional image data required to generate the target video. When this is done, a video generation support program that makes the computer function as an additional image selection means that selects the additional image data from the generated image data group and provides it to the server based on the information related to the additional image data. Provided.
この本発明による映像生成支援プログラムの一実施形態として、本プログラムは、
生成された画像データにおいて当該対象を検出する対象検出手段と、
当該画像データにおいて検出された当該対象に係る情報を当該サーバへ提供し、当該サーバから、当該対象に係る情報及び当該位置情報に基づき決定された当該追加画像データに係る情報を受け取るクライアント入出力制御手段と
してコンピュータを更に機能させることも好ましい。
As an embodiment of the video generation support program according to the present invention, the present program
Target detection means for detecting the target in the generated image data,
Client input / output control that provides the information related to the target detected in the image data to the server and receives the information related to the target and the information related to the additional image data determined based on the position information from the server. It is also preferable to make the computer function further as a means.
さらに、本発明による映像生成支援プログラムの他の実施形態として、自らを含むクライアントを含む複数のクライアントは順次、当該対象に近づきその後遠ざかるように移動しており、
追加画像選択手段は、当該サーバ又は別のサーバから取得された、当該対象付近における当該クライアントの通行量に係る情報に基づいて、選択する当該追加画像データの量及び／又は提供タイミングを決定することも好ましい。
Further, as another embodiment of the video generation support program according to the present invention, a plurality of clients including a client including itself are sequentially moving toward the target and then moving away from the target.
The additional image selection means determines the amount and / or the provision timing of the additional image data to be selected based on the information related to the traffic volume of the client in the vicinity of the target acquired from the server or another server. Is also preferable.
また、本発明による映像生成支援プログラムの更なる他の実施形態として、当該追加画像データに係る情報は、当該対象映像を生成するため、自らの後にフレームを追加すべきフレームである追加基準フレームのデータ、並びに／又は、当該対象に係る情報及び当該対象の画像内位置に係る情報を含み、
追加画像選択手段は、当該追加基準フレームに続く追加フレームであって、当該対象の画像内位置が当該追加基準フレームでの画像内位置に対し所定の位置間隔要件を満たすものとなっている追加フレームを、生成された画像データ群の中から選択することも好ましい。
Further, as a further embodiment of the video generation support program according to the present invention, the information related to the additional image data is an additional reference frame which is a frame to which a frame should be added after itself in order to generate the target video. Includes data and / or information about the subject and information about the location of the subject in the image
The additional image selection means is an additional frame following the additional reference frame, and the position in the target image satisfies a predetermined position spacing requirement with respect to the position in the image in the additional reference frame. It is also preferable to select from the generated image data group.
本発明によれば、さらに、移動可能な複数のクライアントから取得した画像データによって所定の対象に係る対象映像を生成するサーバであって、
当該クライアントから取得された当該クライアントの位置情報に基づいて、当該対象映像を生成するために、既に取得された画像データに加えて必要となる追加画像データを生成可能なクライアントを決定するクライアント決定手段と、
決定されたクライアントに対し、当該追加画像データに係る情報を通知し、該クライアントから当該追加画像データを受け取る入出力制御手段と
を有する映像生成サーバが提供される。
According to the present invention, it is a server that further generates a target image related to a predetermined target by using image data acquired from a plurality of movable clients.
A client determination means for determining a client that can generate additional image data required in addition to the image data already acquired in order to generate the target video based on the position information of the client acquired from the client. When,
A video generation server having an input / output control means for notifying the determined client of information related to the additional image data and receiving the additional image data from the client is provided.
本発明によれば、さらにまた、生成した画像データをサーバに提供し、所定の対象に係る対象映像を当該サーバに生成させる移動可能なクライアントであって、
自らに係る位置情報を取得し当該サーバへ通知させる位置情報取得手段と、
受け取った当該位置情報に基づいて、当該対象映像を生成するために必要となる追加画像データを生成可能なクライアントとして自らを指定してきた当該サーバから、当該追加画像データに係る情報が取得された際、当該追加画像データに係る情報に基づいて、生成された画像データ群の中から当該追加画像データを選択し当該サーバへ提供させる追加画像選択手段と
を有する映像生成支援クライアントが提供される。
According to the present invention, the movable client further provides the generated image data to the server and causes the server to generate the target video related to the predetermined target.
Location information acquisition means that acquires location information related to itself and notifies the server
When the information related to the additional image data is acquired from the server that has designated itself as a client that can generate the additional image data required to generate the target video based on the received location information. , A video generation support client having an additional image selection means for selecting the additional image data from the generated image data group and providing the additional image data to the server based on the information related to the additional image data is provided.
本発明によれば、またさらに、移動可能な複数のクライアントから取得した画像データによって所定の対象に係る対象映像を生成するサーバに搭載されたコンピュータにおける対象映像生成方法であって、
当該クライアントから取得された当該クライアントの位置情報に基づいて、当該対象映像を生成するために、既に取得された画像データに加えて必要となる追加画像データを生成可能なクライアントを決定するステップと、
決定されたクライアントに対し、当該追加画像データに係る情報を通知し、該クライアントから当該追加画像データを受け取るステップと
を有する映像生成方法が提供される。
According to the present invention, further, it is a target image generation method in a computer mounted on a server that generates a target image related to a predetermined object by using image data acquired from a plurality of movable clients.
Based on the position information of the client acquired from the client, a step of determining a client capable of generating the additional image data required in addition to the image data already acquired in order to generate the target video, and
A video generation method including a step of notifying a determined client of information related to the additional image data and receiving the additional image data from the client is provided.
本発明の映像生成サーバ・プログラム、映像生成支援クライアント・プログラム、及び映像生成方法によれば、画像データ送信元であるクライアントにおける画像データ送信負荷を抑制することが可能となる。 According to the video generation server program, the video generation support client program, and the video generation method of the present invention, it is possible to suppress the image data transmission load on the client which is the image data transmission source.
以下、本発明の実施形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
［映像生成システム］
図１は、本発明によるサーバ及びクライアントを備えた映像生成システムの一実施形態を説明するための模式図及び機能ブロック図である。
[Video generation system]
FIG. 1 is a schematic diagram and a functional block diagram for explaining an embodiment of a video generation system including a server and a client according to the present invention.
図１に示した本実施形態の映像生成システムは、
（ａ）移動可能なクライアントである複数の端末２０と、
（ｂ）これらの端末２０から画像データを取得可能なサーバであるクラウドサーバ１と
を有し、クラウドサーバ１において、複数の端末２０から取得された画像データから所定の対象に係る「対象映像」、図１では道路沿いに展開されている工事現場の映像、が生成可能となっている。
The video generation system of the present embodiment shown in FIG. 1 is
(A) A plurality of terminals 20 that are mobile clients, and
(B) A "target video" relating to a predetermined target from image data acquired from a plurality of terminals 20 in the cloud server 1 having a cloud server 1 which is a server capable of acquiring image data from these terminals 20. , In FIG. 1, it is possible to generate an image of a construction site developed along the road.
上記（ａ）の端末２０は本実施形態において、例えば通信機能を有するドライブレコーダであり自動車２に設置されている。ここで、その設置場所は任意に設定可能であり、例えば自動車２のフロントガラス越しに車両前方を撮影可能な位置（例えばダッシュボード上部）とすることができる。勿論、車両側方や後方を撮影可能な位置に端末２０を設置してもよい。また本実施形態において、端末２０（ドライブレコーダ）は、例えば自動車２の進行方向の状況をカメラで撮影して映像データを生成し、自身に設けられたメモリやストレージに保存することができる。 In the present embodiment, the terminal 20 of the above (a) is, for example, a drive recorder having a communication function and is installed in the automobile 2. Here, the installation location can be arbitrarily set, for example, a position where the front of the vehicle can be photographed through the windshield of the automobile 2 (for example, the upper part of the dashboard). Of course, the terminal 20 may be installed at a position where the side or the rear of the vehicle can be photographed. Further, in the present embodiment, the terminal 20 (drive recorder) can, for example, capture the situation of the traveling direction of the automobile 2 with a camera to generate video data and store it in a memory or storage provided in the terminal 20 (drive recorder).
さらに、各端末２０は、例えば携帯電話通信網やインターネット等を介してクラウドサーバ１と無線通信接続が可能となっており、保存した映像データの一部（所定量の画像データ）をクラウドサーバ１へ送信することもできる。また、端末２０は本実施形態において測位部２０２を有し、自らの位置情報（例えば自らの所在位置の緯度及び経度並びに測位時刻）を取得してクラウドサーバ１へ通知することも可能となっている。 Further, each terminal 20 can be wirelessly connected to the cloud server 1 via, for example, a mobile phone communication network or the Internet, and a part of the stored video data (a predetermined amount of image data) can be transferred to the cloud server 1. You can also send to. Further, the terminal 20 has a positioning unit 202 in the present embodiment, and it is also possible to acquire its own position information (for example, the latitude and longitude of its own location and the positioning time) and notify the cloud server 1. There is.
一方、クラウドサーバ１は、複数の端末２０から受信した画像データを用いて、「対象映像」（図１では工事現場の映像）を生成する。ここで、クラウドサーバ１は具体的に、
（Ａ）端末２０（クライアント）から取得された端末２０の位置情報に基づいて、「対象映像」を生成するために、既に取得された画像データに加えて必要となる「追加画像データ」を生成可能な端末２０を決定するクライアント決定部１１２と、
（Ｂ）決定された端末２０に対し、「追加画像データに係る情報」を通知し、この決定された端末２０から「追加画像データ」を受け取る入出力制御部１１３と
を有することを特徴としている。
On the other hand, the cloud server 1 uses image data received from a plurality of terminals 20 to generate a "target image" (in FIG. 1, an image of a construction site). Here, specifically, the cloud server 1
(A) Based on the position information of the terminal 20 acquired from the terminal 20 (client), in order to generate the "target image", the "additional image data" required in addition to the image data already acquired is generated. A client determination unit 112 that determines a possible terminal 20 and
(B) It is characterized by having an input / output control unit 113 that notifies the determined terminal 20 of "information related to additional image data" and receives "additional image data" from the determined terminal 20. ..
このようにクラウドサーバ１は、端末２０の位置情報に基づいて、複数の端末２０の中から「対象映像」を生成するのに好適な端末２０を選択・決定し、まさに選択・決定した端末２０に対して「追加画像データに係る情報」を通知することにより、必要となるだけの「追加画像データ」を取得することを可能にするのである。 In this way, the cloud server 1 selects and determines a terminal 20 suitable for generating a "target image" from a plurality of terminals 20 based on the position information of the terminal 20, and the terminal 20 is exactly selected and determined. By notifying the "information related to the additional image data" to the user, it is possible to acquire as much "additional image data" as necessary.
例えば、道路沿いの工事現場の「対象映像」を生成する場合、あくまで一態様ではあるが、工事現場の脇を通過する複数の（例えば３台の）自動車２に搭載された端末２０の各々が、工事現場全体の映像のうちの互いに異なる部分（例えば当該映像を約３等分した際の各々分）の画像データ（画像フレーム群）を生成し、この比較的データサイズの小さい画像データをクラウドサーバ１へ送信しさえすれば、クラウドサーバ１が工事現場全体の映像（対象画像）を完成させることが可能となる。 For example, when generating a "target image" of a construction site along a road, each of the terminals 20 mounted on a plurality of (for example, three) automobiles 2 passing by the side of the construction site is only one aspect. , Generate image data (image frame group) of different parts (for example, each part when the image is divided into about 3 equal parts) in the image of the entire construction site, and cloud this image data with a relatively small data size. As long as it is transmitted to the server 1, the cloud server 1 can complete the image (target image) of the entire construction site.
すなわち、本発明によれば、各端末２０（クライアント）が「対象映像」生成のための処理負担を分担可能となっており、その結果、画像データ送信元である端末２０における画像データ送信負荷を抑制することができるのである。 That is, according to the present invention, each terminal 20 (client) can share the processing load for generating the "target video", and as a result, the image data transmission load on the terminal 20 which is the image data transmission source is reduced. It can be suppressed.
なお、各端末２０からクラウドサーバ１へ送信される画像データは、例えばＭＰＥＧ（Moving Picture Experts Group）で符号化されてもよい。この場合、クラウドサーバ１は、受信した（圧縮された）画像データを復号化してから（伸長させてから）繋ぎ合わせて「対象映像」を生成することができる。 The image data transmitted from each terminal 20 to the cloud server 1 may be encoded by, for example, MPEG (Moving Picture Experts Group). In this case, the cloud server 1 can generate the "target video" by decoding (compressed) the received (compressed) image data and then joining them (after decompressing).
また、端末２０は当然に、自動車２に設置された車載装置（ドライブレコーダ）に限定されるものではなく、例えば自転車や鉄道車両、さらにはロボットやドローン等の他の移動体に設置された又は搭乗したものであってもよい。 Further, the terminal 20 is naturally not limited to the in-vehicle device (drive recorder) installed in the automobile 2, and is installed in, for example, a bicycle, a railroad vehicle, or another moving body such as a robot or a drone. It may be the one on board.
さらに、端末２０は、例えばＨＭＤ（Head Mounted Display）やグラス型端末等のウェアラブル端末であってもよい。この場合、例えば複数の人物が歩きながら撮影した画像データを繋いで所定の対象の「対象映像」が生成されることとなる。ただし画像データの繋ぎ易さの観点からして、各端末２０の移動の様子は、道路や線路に沿っての進行方向を向いた移動のように、対象との相対位置の変化に関し互いに同様の経緯をたどるものとなることも好ましい。 Further, the terminal 20 may be a wearable terminal such as an HMD (Head Mounted Display) or a glass type terminal. In this case, for example, a predetermined target "target image" is generated by connecting image data taken while walking by a plurality of people. However, from the viewpoint of the ease of connecting the image data, the movement of each terminal 20 is similar to each other in terms of the change in the relative position with the target, such as the movement in the direction of travel along the road or railroad track. It is also preferable to follow the process.
さらに勿論、「対象映像」を生成する「対象」は工事現場に限定されず、例えば事故現場や商店街の所定区間等の所定のエリアや、さらには（間口の広い）マンションや工場等の建造物・構造物とすることもできる。また、デモ行進や沿道に配置した警備員群等の、所定の程度で移動し得る移動可能体を「対象」としてその対象映像を生成することも可能となっている。いずれにしても、各端末２０によってその一部が撮影可能であり、各端末２０で生成された画像データを繋ぐことによってその映像を生成可能なものならば、種々のものが「対象」となり得る。 Furthermore, of course, the "target" that generates the "target image" is not limited to the construction site, for example, the construction of a predetermined area such as an accident site or a predetermined section of a shopping district, or even a (wide frontage) condominium or factory. It can also be an object / structure. It is also possible to generate a target image of a movable body that can move to a predetermined degree, such as a demonstration procession or a group of guards placed along the road, as a "target". In any case, if a part of the image can be photographed by each terminal 20 and the image can be generated by connecting the image data generated by each terminal 20, various objects can be "targets". ..
［映像生成サーバの機能構成］
図１に示した機能ブロック図によれば、クラウドサーバ１は、通信インタフェース１０１と、プロセッサ・メモリとを有する。ここで、このプロセッサ・メモリは、本発明による映像生成プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この映像生成プログラムを実行することによって、映像生成処理を実施する。このことから、本発明による映像生成サーバとして、本クラウドサーバ１に代えて、本発明による映像生成プログラムを搭載した、例えば非クラウドのサーバ装置、パーソナル・コンピュータ（ＰＣ）、ノート型若しくはタブレット型コンピュータ、又はスマートフォン等を採用することも可能となる。
[Functional configuration of video generation server]
According to the functional block diagram shown in FIG. 1, the cloud server 1 has a communication interface 101 and a processor memory. Here, this processor memory stores one embodiment of the video generation program according to the present invention, has a computer function, and executes the video generation process by executing the video generation program. To do. For this reason, as the video generation server according to the present invention, for example, a non-cloud server device, a personal computer (PC), a notebook type or a tablet type computer equipped with a video generation program according to the present invention instead of the cloud server 1. , Or a smartphone or the like can be adopted.
例えば、端末２０に本発明による映像生成プログラムを搭載し、当該端末２０を本発明による映像生成サーバとすることもできる。また、本発明による映像生成サーバを、端末２０とともに自動車２に設置する実施形態も可能となるのである。 For example, a video generation program according to the present invention can be mounted on the terminal 20, and the terminal 20 can be used as a video generation server according to the present invention. Further, an embodiment in which the video generation server according to the present invention is installed in the automobile 2 together with the terminal 20 is also possible.
さらに、プロセッサ・メモリは、映像合成部１１１と、クライアント決定部１１２と、送信要求決定部１１３ａを含む入出力制御部１１３とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存された映像生成プログラムの機能と捉えることができる。また、図１におけるクラウドサーバ１の機能構成部間を矢印で接続して示した処理の流れは、本発明による映像生成方法の一実施形態としても理解される。 Further, the processor memory includes a video synthesis unit 111, a client determination unit 112, and an input / output control unit 113 including a transmission request determination unit 113a. It should be noted that these functional components can be regarded as the functions of the video generation program stored in the processor memory. Further, the processing flow shown by connecting the functional components of the cloud server 1 in FIG. 1 with arrows is also understood as an embodiment of the video generation method according to the present invention.
同じく図１の機能ブロック図において、映像合成部１１１は、各端末２０から取得された画像データ（画像フレーム群）を繋ぎ合わせて目的である対象映像を生成する。ここで本実施形態において、対象映像を生成する「対象」は「工事現場」として予め設定されている。映像合成部１１１は、後に説明するように端末２０（の対象検出部２１４）から「対象」に係る情報を含む対象検出通知を受けた際、この「対象」が予め設定されたものであることを確認した上で対象映像の生成を開始し、取得された画像データを繋ぐ処理を実施することも好ましい。 Similarly, in the functional block diagram of FIG. 1, the image synthesizing unit 111 connects the image data (image frame group) acquired from each terminal 20 to generate a target image. Here, in the present embodiment, the "target" for generating the target image is preset as the "construction site". When the image synthesizing unit 111 receives the target detection notification including the information related to the "target" from the terminal 20 (target detection unit 214) as described later, the "target" is set in advance. It is also preferable to start the generation of the target image after confirming the above and to perform the process of connecting the acquired image data.
また変更態様として、映像合成部１１１は、端末２０から別途定期的に取得している画像データにおいて予め設定された「対象」を自ら検出した場合に、この「対象」の対象映像の生成を開始し、取得された画像データを繋ぐ処理を実施してもよい。 Further, as a modification mode, when the image synthesizing unit 111 detects a preset "target" by itself in the image data separately periodically acquired from the terminal 20, it starts to generate the target image of the "target". Then, a process of connecting the acquired image data may be performed.
いずれにしても本実施形態において、映像合成部１１１は、画像データを繋いで対象映像を生成する中で、自らの後にフレームを追加すべきフレームである「追加基準フレーム」を決定し、「追加基準フレーム」の提供元である端末２０の位置情報（又は端末識別子（端末ＩＤ））を、クライアント決定部１１２に適宜通知する。 In any case, in the present embodiment, the image synthesizing unit 111 determines an "additional reference frame" which is a frame to which a frame should be added after itself while generating the target image by connecting the image data, and "adds". The position information (or terminal identifier (terminal ID)) of the terminal 20 that is the provider of the "reference frame" is appropriately notified to the client determination unit 112.
同じく図１の機能ブロック図において、クライアント決定部１１２は、端末２０から取得された端末２０の位置情報に基づき、対象映像を生成するために、既に取得された画像データに加えて必要となる追加画像データを生成可能な端末２０を決定する。 Similarly, in the functional block diagram of FIG. 1, the client determination unit 112 is required in addition to the image data already acquired in order to generate the target image based on the position information of the terminal 20 acquired from the terminal 20. A terminal 20 capable of generating image data is determined.
ここで、このような端末２０を決定する処理の一実施形態として、クライアント決定部１１２は、「追加基準フレーム」に続く追加フレームであって、対象（工事現場）の画像内位置が「追加基準フレーム」での画像内位置に対し所定の位置間隔要件を満たすものとなっている追加フレームを生成可能な端末２０を、追加画像データの要求先に決定することができる。 Here, as an embodiment of the process of determining the terminal 20, the client determination unit 112 is an additional frame following the "additional reference frame", and the position in the image of the target (construction site) is the "additional reference". A terminal 20 capable of generating an additional frame that satisfies a predetermined position spacing requirement with respect to the position in the image in the “frame” can be determined as a request destination of the additional image data.
例えば、クライアント決定部１１２は、映像合成部１１１から取得された
（ａ）「追加基準フレーム」の提供元である基準端末２０の位置情報、又は
（ｂ）基準端末２０の端末ＩＤから特定した位置情報
に基づき、この基準端末２０に次いで、「追加基準フレーム」の生成された位置（又は当該位置から所定範囲内の近傍位置）に到達した端末２０を特定し、この特定した端末２０を「追加画像データ」の要求先に決定することも好ましい。
For example, the client determination unit 112 may determine (a) the position information of the reference terminal 20 that is the provider of the "additional reference frame" acquired from the video synthesis unit 111, or (b) the position specified from the terminal ID of the reference terminal 20. Based on the information, the terminal 20 that has reached the generated position of the "additional reference frame" (or a nearby position within a predetermined range from the position) is specified next to the reference terminal 20, and the specified terminal 20 is "added". It is also preferable to determine the request destination of "image data".
また変更態様として、クライアント決定部１１２は、映像合成部１１１から「追加基準フレーム」における対象の画像内位置の情報を取得して、「所定の位置間隔要件」を満たす追加フレームを想定し、想定した追加フレームを生成可能な端末２０を、取得された位置情報（及び想定した追加フレームにおける対象の画像内位置）から特定してもよい。ここで、この「所定の位置間隔要件」としては、後に詳細に説明するが、例えば両者における対象の画面内位置の差が所定のピクセル閾値未満であることとしてもよく、または、両者における対象の画面内位置の差を実空間での位置間隔に換算した値が、所定の距離閾値未満であることとすることも好ましい。 Further, as a modification mode, the client determination unit 112 acquires information on the position in the target image in the "additional reference frame" from the video composition unit 111, and assumes an additional frame that satisfies the "predetermined position spacing requirement". The terminal 20 capable of generating the additional frame may be specified from the acquired position information (and the position in the target image in the assumed additional frame). Here, the "predetermined position spacing requirement" will be described in detail later, but for example, the difference in the in-screen position of the target between the two may be less than the predetermined pixel threshold value, or the target between the two. It is also preferable that the value obtained by converting the difference in position in the screen into the position interval in the real space is less than a predetermined distance threshold value.
さらに、クライアント決定部１１２で端末２０を決定する処理の他の実施形態として、決定した端末２０から取得された追加画像データが、対象映像を生成するにあたり、すでに取得された画像データ（画像フレーム）の間を埋めることになる形も可能である。 Further, as another embodiment of the process of determining the terminal 20 by the client determination unit 112, the additional image data acquired from the determined terminal 20 is the image data (image frame) already acquired when the target image is generated. It is also possible to fill the gap.
すなわちこの場合、クライアント決定部１１２は、この埋め込むべき追加フレームを生成可能な端末２０を、追加画像データの要求先に決定する。また、この決定した端末２０に通知する「追加画像データに係る情報」は、
（ａ）生成の途中である対象映像における、その間に埋め込むべき追加フレームの映像内位置情報、並びに
（ｂ）追加フレームに含まれる対象に係る情報及び当該対象の画像内位置に係る情報
のいずれか一方又は両方を含むことができる。
That is, in this case, the client determination unit 112 determines the terminal 20 capable of generating the additional frame to be embedded as the request destination of the additional image data. In addition, the "information related to the additional image data" to be notified to the determined terminal 20 is
Either (a) the position information in the video of the additional frame to be embedded in the target video in the process of generation, and (b) the information related to the target included in the additional frame and the information related to the position in the image of the target. Can include one or both.
例えば、対象である工事現場の脇を最初に通過する端末２０Ａを、対象映像の最初の１／３の映像部分の画像データを生成・送信するクライアントに決定し、端末２０Ａの後に工事現場の脇を通過する端末２０Ｂを、対象映像の最後の１／３の映像部分の画像データを生成・送信するクライアントに決定し、さらにこれらの画像データから生成した未完成の対象映像の隙間（対象映像の中間となる１／３の映像部分）を埋める画像データを生成・送信するクライアントとして、端末２０Ｂの後に工事現場の脇を通過する端末２０Ｃを決定してもよい。 For example, the terminal 20A that first passes by the side of the target construction site is determined as the client that generates and transmits the image data of the first 1/3 of the target image, and the side of the construction site after the terminal 20A. The terminal 20B passing through the above is determined as a client that generates and transmits image data of the last 1/3 of the target video, and further, a gap (of the target video) of the unfinished target video generated from these image data. As a client that generates and transmits image data that fills the intermediate 1/3 of the video portion), the terminal 20C that passes by the side of the construction site after the terminal 20B may be determined.
なおいずれにしても、クライアント決定部１１２は、各端末２０において撮影に使用されるカメラの向きや画角に係る情報も取得していて、当該情報と各端末２０の位置情報とに基づいて、所望の追加フレームを生成可能な端末２０を決定することも好ましい。また、対象映像作成の容易さから、各端末２０のカメラ２０３はいずれも、自動車２に対し所定の向きを向いていて、クラウドサーバ１が各端末２０から取得する画像データは、自動車２に対し所定の向き（例えば進行方向の正面前方）に展開する景色のデータとなっていることも好ましい。 In any case, the client determination unit 112 also acquires information related to the orientation and angle of view of the camera used for shooting in each terminal 20, and is based on the information and the position information of each terminal 20. It is also preferred to determine a terminal 20 capable of generating the desired additional frame. Further, due to the ease of creating the target image, the cameras 203 of each terminal 20 all face a predetermined direction with respect to the vehicle 2, and the image data acquired by the cloud server 1 from each terminal 20 is directed to the vehicle 2. It is also preferable that the data is a landscape developed in a predetermined direction (for example, in front of the front in the traveling direction).
同じく図１の機能ブロック図において、入出力制御部１１３は、クライアント決定部１１２で決定された端末２０に対し、「追加画像データに係る情報」を通知し、端末２０から追加画像データを受け取る。なお本実施形態においては、この入出力制御部１１３の送信要求決定部１１３ａが、「追加画像データに係る情報」を含む画像データ送信要求を生成し、クライアント決定部１１２で決定された端末２０に宛てて、当該端末２０の位置情報に基づき決定した送信タイミングで、生成した画像データ送信要求を、通信インタフェース１０１を介して送信する。 Similarly, in the functional block diagram of FIG. 1, the input / output control unit 113 notifies the terminal 20 determined by the client determination unit 112 of "information related to the additional image data", and receives the additional image data from the terminal 20. In the present embodiment, the transmission request determination unit 113a of the input / output control unit 113 generates an image data transmission request including "information related to the additional image data", and the terminal 20 is determined by the client determination unit 112. The generated image data transmission request is transmitted to the address via the communication interface 101 at the transmission timing determined based on the position information of the terminal 20.
ここで、「追加画像データに係る情報」は、
（ａ）（対象映像を生成するためにその後にフレームを追加すべきフレームである）追加基準フレームのデータ、並びに
（ｂ）追加基準フレームに含まれる対象に係る情報（例えば工事現場との種別情報）及び対象（工事現場）の画像内位置に係る情報
のいずれか一方又は両方を含むものとすることができる。
Here, "information related to additional image data" is
(A) Data of the additional reference frame (which is a frame to which a frame should be added after that to generate the target image), and (b) Information related to the target included in the additional reference frame (for example, type information with the construction site). ) And / or both of the information related to the position in the image of the target (construction site) may be included.
なお、上記（ａ）の追加基準フレームのデータは、各端末２０で生成される映像データのフレーム番号が、実空間での位置（道路上の位置）に基づいて共通の仕様で付与されている場合において、追加基準フレームのフレーム番号とすることも可能である。また、「追加画像データに係る情報」について有効期限（例えば送信要求に係る時刻から所定時間）を設け、有効期限を過ぎた「追加画像データに係る情報」は端末２０で採用されない設定にすることも好ましい。 In the data of the additional reference frame of the above (a), the frame number of the video data generated by each terminal 20 is given by a common specification based on the position in the real space (position on the road). In some cases, it can be the frame number of the additional reference frame. In addition, an expiration date (for example, a predetermined time from the time related to the transmission request) is set for the "information related to the additional image data", and the "information related to the additional image data" that has passed the expiration date is set not to be adopted by the terminal 20. Is also preferable.
また、本実施形態において送信要求決定部１１３ａは、ある端末２０から、画像データとともにこの画像データにおいて検出された対象（工事現場）に係る情報が取得された際、このある端末２０又はこの後クライアント決定部１１２で決定された端末２０に対し、「追加画像データに係る情報」を含む画像データ送信要求を通知する。すなわち、端末２０から受信した対象検出情報をトリガとして、対象映像の生成を開始するのである。 Further, in the present embodiment, when the transmission request determination unit 113a acquires the image data and the information related to the target (construction site) detected in the image data from the terminal 20, the terminal 20 or the client thereafter. The terminal 20 determined by the determination unit 112 is notified of the image data transmission request including the "information related to the additional image data". That is, the generation of the target image is started by using the target detection information received from the terminal 20 as a trigger.
図２は、クラウドサーバ１が端末２０へ画像データ送信要求を通知して画像データを受け取る一実施態様を示す模式図である。また、図３は他の実施態様を示す模式図である。 FIG. 2 is a schematic diagram showing an embodiment in which the cloud server 1 notifies the terminal 20 of an image data transmission request and receives the image data. Further, FIG. 3 is a schematic view showing another embodiment.
図２によれば、クラウドサーバ１は、道路沿いに展開した工事現場（対象）を最初に検出した（自動車２Ａに搭載された）端末２０Ａへ画像データ送信要求を送信し、端末２０Ａから画像フレーム2As〜2Aeを受信する。ここで画像フレーム2As〜2Aeは、進行方向前方に現れた工事現場へ近づいていく際に撮影された画像データとなっている。 According to FIG. 2, the cloud server 1 transmits an image data transmission request to the terminal 20A (mounted on the automobile 2A) that first detects the construction site (target) deployed along the road, and the image frame from the terminal 20A. Receives 2As ~ 2Ae. Here, the image frames 2As to 2Ae are image data taken when approaching the construction site that appeared in front of the traveling direction.
クラウドサーバ１は次に、端末２０Ａの後続として道路を移動している（自動車２Ｂに搭載された）端末２０Ｂへ、追加基準フレームである画像フレーム2Aeの情報（追加画像データに係る情報）を含む画像データ送信要求を送信し、端末２０Ｂから（追加基準フレーム2Aeの直後に繋がれるべき）画像フレーム2Bs〜2Beを受信する。ここで画像フレーム2Bs〜2Beは、進行方向前方に現れている工事現場へさらに近づいていく際に撮影された画像データとなっている。 Next, the cloud server 1 includes information (information related to the additional image data) of the image frame 2Ae, which is an additional reference frame, to the terminal 20B (mounted on the automobile 2B) moving on the road following the terminal 20A. The image data transmission request is transmitted, and the image frames 2Bs to 2Be (which should be connected immediately after the additional reference frame 2Ae) are received from the terminal 20B. Here, the image frames 2Bs to 2Be are image data taken when approaching the construction site appearing in front of the traveling direction.
クラウドサーバ１はさらに、端末２０Ｂの後続として道路を移動している（自動車２Ｃに搭載された）端末２０Ｃへ、追加基準フレームである画像フレーム2Beの情報（追加画像データに係る情報）を含む画像データ送信要求を送信し、端末２０Ｃから（追加基準フレーム2Beの直後に繋がれるべき）画像フレーム2Cs〜2Ceを受信する。ここで画像フレーム2Cs〜2Ceは、工事現場における手前の開始端の近傍から（進行方向に伸長した先である）工事現場の終端の近傍まで移動した際に撮影された画像データとなっている。 The cloud server 1 further sends an image including information (information related to additional image data) of the image frame 2Be, which is an additional reference frame, to the terminal 20C (mounted on the automobile 2C) moving on the road as a successor to the terminal 20B. A data transmission request is transmitted, and image frames 2Cs to 2Ce (which should be connected immediately after the additional reference frame 2Be) are received from the terminal 20C. Here, the image frames 2Cs to 2Ce are image data taken when moving from the vicinity of the front start end at the construction site to the vicinity of the end end of the construction site (the end extending in the traveling direction).
なお、図２に示した例では、クラウドサーバ１は、画像フレーム2Ceにおいて、工事現場（対象）の終端（例えば工事現場ロードコーン列における最後尾のロードコーン）が検出されたことをもって画像データの収集を終了し、取得した画像フレーム2As〜2Ae、2Bs〜2Be、及び2Cs〜2Ceを順次繋ぎ合わせる合成処理を実施して、対象映像を生成している。 In the example shown in FIG. 2, the cloud server 1 obtains image data when the end of the construction site (target) (for example, the last load cone in the construction site load cone row) is detected in the image frame 2Ce. After the collection is completed, the target video is generated by performing a composition process in which the acquired image frames 2As to 2Ae, 2Bs to 2Be, and 2Cs to 2Ce are sequentially connected.
以上説明した図２の例では、クライアントである端末２０Ａ〜２０Ｃはいずれも、対象である工事現場に近づきその後遠ざかるように移動している。この場合、クラウドサーバ１（のクライアント決定部１１２）は、追加基準フレームの提供元であるクライアントの直後に又は直後とは限らずに続いて工事現場（対象）に近づくクライアントを、追加画像データの要求先（画像データ送信要求の宛先）に決定することができるのである。 In the example of FIG. 2 described above, all of the terminals 20A to 20C, which are the clients, move so as to approach the target construction site and then move away from it. In this case, the cloud server 1 (client determination unit 112) sets the client that approaches the construction site (target) immediately after or not necessarily immediately after the client that is the provider of the additional reference frame, for the additional image data. It can be determined as the request destination (destination of the image data transmission request).
次に、図３を用いて、受け取る画像データに関し図２とは異なる実施態様について説明を行う。 Next, with reference to FIG. 3, an embodiment different from that of FIG. 2 will be described with respect to the received image data.
図３によれば、クラウドサーバ１は図２と同じく、道路沿いに展開した工事現場（対象）を最初に検出した（自動車２Ａに搭載された）端末２０Ａへ画像データ送信要求を送信し、端末２０Ａから画像フレーム2As〜2Aeを受信する。ここで画像フレーム2As〜2Aeは、図２とは異なり、検出時点から若干の時間が経過した後に生成された画像データであり、工事現場における手前の開始端の近傍から（進行方向に伸長した先である）工事現場の終端の近傍まで移動した際に撮影された画像データとなっている。 According to FIG. 3, the cloud server 1 transmits an image data transmission request to the terminal 20A (mounted on the automobile 2A) that first detects the construction site (target) deployed along the road, as in FIG. 2, and the terminal. Image frames 2As to 2Ae are received from 20A. Here, the image frames 2As to 2Ae are image data generated after a certain time has passed from the detection time, unlike FIG. 2, and are the destinations extending from the vicinity of the front starting end at the construction site (extending in the traveling direction). It is the image data taken when moving to the vicinity of the end of the construction site.
この場合クラウドサーバ１は次に、端末２０Ａの後続として道路を移動している（自動車２Ｂに搭載された）端末２０Ｂへ、追加基準フレームである画像フレーム2Asの情報（「追加画像データに係る情報」）を含む画像データ送信要求を送信し、端末２０Ｂから（追加基準フレーム2Asの直後に繋がれるべき）画像フレーム2Bs〜2Beを受信する。ここで画像フレーム2Bs〜2Beは、進行方向前方に現れている工事現場へさらに近づいていく際に撮影された画像データとなっている。 In this case, the cloud server 1 then sends the information of the image frame 2As, which is an additional reference frame, to the terminal 20B (mounted on the automobile 2B) moving on the road following the terminal 20A (“Information related to the additional image data”). An image data transmission request including ") is transmitted, and image frames 2Bs to 2Be (which should be connected immediately after the additional reference frame 2As) are received from the terminal 20B. Here, the image frames 2Bs to 2Be are image data taken when approaching the construction site appearing in front of the traveling direction.
クラウドサーバ１はさらに、端末２０Ｂの後続として道路を移動している（自動車２Ｃに搭載された）端末２０Ｃへ、追加基準フレームである画像フレーム2Bsの情報（「追加画像データに係る情報」）を含む画像データ送信要求を送信し、端末２０Ｃから（追加基準フレーム2Bsの直後に繋がれるべき）画像フレーム2Cs〜2Ceを受信する。ここで画像フレーム2Cs〜2Ceは、進行方向前方に現れた工事現場へ近づいていく際に撮影された画像データとなっている。 The cloud server 1 further feeds the information of the image frame 2Bs (“information related to the additional image data”), which is an additional reference frame, to the terminal 20C (mounted on the automobile 2C) moving on the road as a successor to the terminal 20B. The image data transmission request including the image data is transmitted, and the image frames 2Cs to 2Ce (which should be connected immediately after the additional reference frame 2Bs) are received from the terminal 20C. Here, the image frames 2Cs to 2Ce are image data taken when approaching the construction site that appeared in front of the traveling direction.
なお、図３に示した例では、クラウドサーバ１は、画像フレーム2Csにおいて、工事現場（対象）の開始端（例えば工事現場ロードコーン列における最も手前のロードコーン）が検出されたことをもって画像データの収集を終了し、取得した画像フレーム2As〜2Ae、2Bs〜2Be、及び2Cs〜2Ceを、2Ae〜2As、2Be〜2Bs、及び2Ce〜2Csへ並び替えた上で、順次繋ぎ合わせる合成処理を実施して対象映像を生成する。 In the example shown in FIG. 3, the cloud server 1 has image data when the start end of the construction site (target) (for example, the foremost load cone in the construction site load cone row) is detected in the image frame 2Cs. 2Ae ~ 2Ae, 2Bs ~ 2Be, and 2Cs ~ 2Ce are sorted into 2Ae ~ 2As, 2Be ~ 2Bs, and 2Ce ~ 2Cs, and then the composite processing is performed. To generate the target image.
ちなみにここで生成された対象映像は、本来の進行方向とは逆向きに道路を進行した際に得られる映像となっている。したがって勿論、映像全体においてフレームの順序を逆にすれば、図２の例で生成される対象映像と同様、進行方向に進みながら撮影した際に得られる対象映像とすることも可能である。 By the way, the target image generated here is an image obtained when traveling on the road in the direction opposite to the original traveling direction. Therefore, of course, if the order of the frames is reversed in the entire video, it is possible to obtain the target video obtained when shooting while advancing in the traveling direction, similar to the target video generated in the example of FIG.
以上に説明した図３の例においても、クライアントである端末２０Ａ〜２０Ｃはいずれも、対象である工事現場に近づきその後遠ざかるように移動している。この場合、クラウドサーバ１（のクライアント決定部１１２）は、追加基準フレームの提供元であるクライアントの直後に又は直後とは限らずに続いて工事現場（対象）に近づくクライアントを、追加画像データの要求先（画像データ送信要求の宛先）に決定することができる。 Also in the example of FIG. 3 described above, the clients terminals 20A to 20C are all moving so as to approach the target construction site and then move away from it. In this case, the cloud server 1 (client determination unit 112) sets the client that approaches the construction site (target) immediately after or not necessarily immediately after the client that is the provider of the additional reference frame, for the additional image data. It can be determined as the request destination (destination of the image data transmission request).
いずれにしても以上の図２及び図３に示した例では、各端末２０が、対象映像である工事現場の映像を生成するための画像データ生成処理負担を分担しており、その結果、画像データ送信元である端末２０における画像データ送信負荷を抑制することができるのである。 In any case, in the above examples shown in FIGS. 2 and 3, each terminal 20 shares the image data generation processing burden for generating the image of the construction site, which is the target image, and as a result, the image. It is possible to suppress the image data transmission load on the terminal 20 which is the data transmission source.
図１の機能ブロック図に戻って、映像合成部１１１は、生成した対象映像を、適宜又は要求に応じて通信インタフェース１０１を介し、端末２０やその他の外部の情報処理装置へ送信し、当該対象映像を様々な形で利用させてもよい。勿論、クラウドサーバ１自身が当該対象映像を利用して種々のサービス情報を生成することも好ましい。 Returning to the functional block diagram of FIG. 1, the video compositing unit 111 transmits the generated target video to the terminal 20 and other external information processing devices via the communication interface 101 as appropriate or as requested, and the target. The image may be used in various forms. Of course, it is also preferable that the cloud server 1 itself generates various service information using the target video.
［映像生成支援クライアントの機能構成］
同じく図１に示した機能ブロック図によれば、端末２０は、通信インタフェース２０１と、測位部２０２と、カメラ２０３と、ディスプレイ（ＤＰ）２０４と、プロセッサ・メモリとを有する。ここで、このプロセッサ・メモリは、本発明による映像生成支援プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この映像生成支援プログラムを実行することによって、映像生成支援処理を実施する。
[Functional configuration of video generation support client]
According to the functional block diagram also shown in FIG. 1, the terminal 20 has a communication interface 201, a positioning unit 202, a camera 203, a display (DP) 204, and a processor memory. Here, this processor memory stores one embodiment of the video generation support program according to the present invention, and also has a computer function, and by executing this video generation support program, video generation support is performed. Carry out the process.
このことから、本発明による映像生成支援クライアントとして、ドライブレコーダである本端末２０に代えて、本発明による映像生成支援プログラムを搭載した他の車載情報処理装置や、さらにはカメラを備えたスマートフォン、ノート型若しくはタブレット型コンピュータ、又はパーソナル・コンピュータ（ＰＣ）等を採用することも可能となる。また、ドライブレコーダとＷｉ-Ｆｉ（登録商標）やBluetooth（登録商標）等で通信接続された端末、例えばスマートフォンを本映像生成支援クライアントとしてもよい。 For this reason, as the image generation support client according to the present invention, instead of the terminal 20 which is a drive recorder, another in-vehicle information processing device equipped with the image generation support program according to the present invention, and a smartphone equipped with a camera. It is also possible to adopt a notebook type or tablet type computer, a personal computer (PC), or the like. Further, a terminal connected to the drive recorder via Wi-Fi (registered trademark), Bluetooth (registered trademark), or the like, for example, a smartphone may be used as the video generation support client.
さらに、プロセッサ・メモリは、入出力制御部２１１と、位置情報取得部２１２と、映像生成部２１３と、対象検出部２１４と、追加画像選択部２１５と、提示情報生成部２１６とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存された映像生成支援プログラムの機能と捉えることができる。また、図１における端末２０の機能構成部間を矢印で接続して示した処理の流れは、本発明による映像生成支援方法の一実施形態としても理解される。 Further, the processor memory includes an input / output control unit 211, a position information acquisition unit 212, a video generation unit 213, a target detection unit 214, an additional image selection unit 215, and a presentation information generation unit 216. It should be noted that these functional components can be regarded as the functions of the video generation support program stored in the processor memory. Further, the processing flow shown by connecting the functional components of the terminal 20 in FIG. 1 with arrows is also understood as an embodiment of the image generation support method according to the present invention.
同じく図１の機能ブロック図において、位置情報取得部２１２は、自らを含む端末２０（自動車２）に係る位置情報（例えば緯度、経度、高度、及び測位した時刻）を測位部２０２から取得し、この位置情報を、通信インタフェース２０１を介してクラウドサーバ１へ通知させる。 Similarly, in the functional block diagram of FIG. 1, the position information acquisition unit 212 acquires position information (for example, latitude, longitude, altitude, and positioning time) related to the terminal 20 (vehicle 2) including itself from the positioning unit 202. This location information is notified to the cloud server 1 via the communication interface 201.
ちなみに測位部２０２は、ＧＰＳ（Global Positioning System）衛星から受信した測位電波を解析し、端末２０の現在位置を測位する公知のデバイスである。または測位部２０２は、複数基地局測位方式を用いて測位してもよい。ここで複数基地局測位方式は、端末２０が複数の周辺基地局から受信する電波によって現在位置を測位する方式である。 By the way, the positioning unit 202 is a known device that analyzes the positioning radio wave received from the GPS (Global Positioning System) satellite and positions the current position of the terminal 20. Alternatively, the positioning unit 202 may perform positioning using a plurality of base station positioning methods. Here, the multiple base station positioning method is a method in which the terminal 20 positions the current position by radio waves received from a plurality of peripheral base stations.
映像生成部２１３は、カメラ２０３から出力された撮影データに基づいて映像データ（画像フレーム群）を生成する。本実施形態において端末２０はドライブレコーダであり、映像生成部２１３は通常、デフォルトの設定として少なくとも自動車２の走行時は常に、車外の状況を撮影した撮影データをカメラ２０３から取得し、映像データ（画像フレーム群）を生成している。 The video generation unit 213 generates video data (image frame group) based on the shooting data output from the camera 203. In the present embodiment, the terminal 20 is a drive recorder, and the image generation unit 213 normally acquires, as a default setting, at least the shooting data of the situation outside the vehicle from the camera 203 at least when the vehicle 2 is running, and obtains the image data ( Image frame group) is generated.
対象検出部２１４は、生成された画像データにおいて「対象」を検出する。具体的には、周知の機械学習を用いた物体検出技術を用いて実施することができる。例えば、画像データ内の各小画像領域に対し、「対象」検出用に学習された物体検出器を用いて「対象」らしさを示すスコアを算出し、当該スコアの最も高い小画像領域を「対象」領域に決定してもよい。 The target detection unit 214 detects a "target" in the generated image data. Specifically, it can be carried out by using an object detection technique using well-known machine learning. For example, for each small image area in the image data, a score indicating "target" -likeness is calculated using an object detector learned for "target" detection, and the small image area having the highest score is "target". You may decide on the area.
また、このような物体検出器として、例えば非特許文献：Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg, “SSD: single shot multibox detector”, European Conference on Computer Vision, Computer Vision-ECCV 2016, ２０１６年, ２１〜３７頁に記載されたものを使用することができる。ここで、決定される「対象」領域は、例えば、物体検出器によって検出された「対象」の画像部分に対し各辺が外接している外接矩形（バウンディングボックス，bounding box）の領域であってもよい。勿論当然に、他の形状の対象領域を設定することも可能である。 Further, as such an object detector, for example, non-patent documents: Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg, “SSD: single shot multibox detector”, European Conference on Computer Vision, Computer Vision-ECCV 2016, 2016, pp. 21-37 can be used. Here, the "target" region determined is, for example, an region of a circumscribed rectangle (bounding box) in which each side circumscribes the image portion of the "target" detected by the object detector. May be good. Of course, it is also possible to set a target area having another shape.
ちなみに、工事現場という「対象」については、ロードコーンや、車両等の物体を検出してそれらが所定数以上近接して連続している場合に、工事現場を検出したとすることができる。 By the way, regarding the "object" of the construction site, it can be said that the construction site is detected when an object such as a road cone or a vehicle is detected and they are close to each other by a predetermined number or more.
同じく図１の機能ブロック図において、入出力制御部２１１は、画像データにおいて検出された「対象」に係る情報をクラウドサーバ１へ提供し、一方で、クラウドサーバ１から、（「対象」に係る情報及び位置情報に基づき決定された）「追加画像データに係る情報」を受け取るクライアント入出力制御手段である。ここで、「対象」に係る情報としては、「対象」の種別や画像データ内におけるバウンディングボックスの位置座標値等を設定することができる。いずれにしてもすでに述べたように、このような「対象」に係る情報は、それを受信したクラウドサーバ１にとって、映像合成処理を開始するトリガとなるのである。 Similarly, in the functional block diagram of FIG. 1, the input / output control unit 211 provides the information related to the "target" detected in the image data to the cloud server 1, while the cloud server 1 (related to the "target"). It is a client input / output control means that receives "information related to additional image data" (determined based on information and position information). Here, as the information related to the "target", the type of the "target", the position coordinate value of the bounding box in the image data, and the like can be set. In any case, as already described, the information related to such an "object" triggers the cloud server 1 that receives the information to start the video composition process.
追加画像選択部２１５は、（対象映像を生成するために必要となる追加画像データを生成可能なクライアントとして）自らの端末２０を指定してきたクラウドサーバ１から「追加画像データに係る情報」が取得された際、この「追加画像データに係る情報」に基づいて、映像生成部２１３で生成された画像データ（画像フレーム群）の中から追加画像データを選択し、当該追加画像データを、通信インタフェース２０１を介しクラウドサーバ１へ提供させる。 The additional image selection unit 215 acquires "information related to the additional image data" from the cloud server 1 that has designated its own terminal 20 (as a client capable of generating the additional image data required to generate the target image). When this is done, additional image data is selected from the image data (image frame group) generated by the image generation unit 213 based on this "information related to the additional image data", and the additional image data is used as the communication interface. It is provided to the cloud server 1 via 201.
ここで、取得された「追加画像データに係る情報」は、上述したように、
（ａ）追加基準フレームのデータ、並びに
（ｂ）追加基準フレームに含まれる対象情報（工事現場との種別情報）及び対象の画像内位置情報
のいずれか一方又は両方を含むものとすることができる。
Here, the acquired "information related to the additional image data" is, as described above,
It may include (a) data of the additional reference frame, and (b) target information (type information with the construction site) and / or both of the target information in the image included in the additional reference frame.
この場合、追加画像選択部２１５は、取得された追加基準フレームに続く追加フレームであって、対象（工事現場）の画像内位置が追加基準フレームでの画像内位置に対し所定の位置間隔要件を満たすものとなっている追加フレームを、生成された画像データ群の中から選択することができるのである。 In this case, the additional image selection unit 215 is an additional frame following the acquired additional reference frame, and the position in the image of the target (construction site) satisfies a predetermined position spacing requirement with respect to the position in the image in the additional reference frame. The additional frame that is satisfied can be selected from the generated image data group.
図４は、本発明に係る追加画像選択処理の一実施形態を説明するための模式図である。なお同図では、図２に示した実施態様における自動車２Ｂに搭載された端末２０Ｂでの追加画像選択処理が示されている。 FIG. 4 is a schematic diagram for explaining an embodiment of the additional image selection process according to the present invention. Note that the figure shows the additional image selection process on the terminal 20B mounted on the automobile 2B in the embodiment shown in FIG.
図４によれば、クラウドサーバ１は、端末２０Ａから取得した画像データに基づき対象映像（工事現場の映像）の生成を開始するが、この生成を進めるべく、追加基準フレームとしての画像フレーム2Aeのデータ（追加画像データに係る情報）を含む画像データ送信要求を端末２０Ｂへ送信する。 According to FIG. 4, the cloud server 1 starts generating the target image (image of the construction site) based on the image data acquired from the terminal 20A, and in order to proceed with this generation, the image frame 2Ae as an additional reference frame An image data transmission request including data (information related to additional image data) is transmitted to the terminal 20B.
追加基準フレーム2Aeのデータを取得した端末２０Ｂの追加画像選択部２１５は、最初に、追加基準フレーム2Aeに含まれる対象（工事現場）の画像内位置情報を決定する。この画像内位置情報は例えば、検出された対象のバウンディングボックスにおける左下頂点の画像座標系での座標値としてもよい。なお、端末２０Ｂが「追加画像データに係る情報」としてこの対象（工事現場）の画像内位置情報を取得する場合は勿論、追加画像選択部２１５において当該画像内位置情報を算出する必要はない。 The additional image selection unit 215 of the terminal 20B that has acquired the data of the additional reference frame 2Ae first determines the position information in the image of the target (construction site) included in the additional reference frame 2Ae. This in-image position information may be, for example, a coordinate value of the lower left vertex in the image coordinate system of the detected target bounding box. When the terminal 20B acquires the position information in the image of the target (construction site) as "information related to the additional image data", it is not necessary for the additional image selection unit 215 to calculate the position information in the image.
追加画像選択部２１５は次いで、カメラ２０３で撮影され映像生成部２１３で生成された画像フレーム群（画像データ群）の中から、追加基準フレーム2Aeにおける対象の画像内位置(u1, v1)との間で「所定の位置間隔要件」を満たすこととなる画像フレームを、追加フレーム（追加画像データ）の先頭フレームとして選択する。 The additional image selection unit 215 then sets the position in the target image (u1, v1) in the additional reference frame 2Ae from the image frame group (image data group) photographed by the camera 203 and generated by the image generation unit 213. An image frame that satisfies the "predetermined position spacing requirement" is selected as the first frame of the additional frame (additional image data).
ここで、上記の「所定の位置間隔要件」としては例えば、追加フレーム候補における対象の画像内位置を(u2, v2)として、
（ａ）画像内u座標（u座標軸は左右方向の軸）における両者の差の絶対値|u1−u2|が所定閾値Thu未満、すなわち|u1−u2|＜Thuであって、
（ｂ）両者の差(u1−u2)の値における（正又は負の）符号が、対象映像における追加基準フレーム2Aeの対象画像部分から追加フレームの対象画像部分への「変位」についての向きによって一意に決まる符号となっている
こととすることができる。このうち上記（ｂ）については、例えば図４の場合、カメラが車両の前方右側付近にある対象（工事現場）を捉えていることから、上記の「変位」が画像の概ね右向きとなるので、その符号は負（u1−u2＜0）となる。
Here, as the above "predetermined position spacing requirement", for example, the position in the target image in the additional frame candidate is set to (u2, v2).
(A) The absolute value | u1-u2 | of the difference between the two in the u coordinate in the image (the u coordinate axis is the axis in the left-right direction) is less than the predetermined threshold value Thu, that is, | u1-u2 | <Thu.
(B) The (positive or negative) sign in the value of the difference (u1-u2) between the two depends on the direction of the "displacement" of the additional reference frame 2Ae from the target image portion of the additional frame to the target image portion of the additional frame in the target video. It can be assumed that the code is uniquely determined. Regarding (b) above, for example, in the case of FIG. 4, since the camera captures the object (construction site) near the front right side of the vehicle, the above "displacement" is generally to the right of the image. The sign is negative (u1-u2 <0).
なお、上記（ｂ）は、u1−u2＝0も含めるべく、非正（負又はゼロ）か非負（正又はゼロ）かを要求する条件となっていてもよい。また、所定の位置間隔要件としてさらに、
（ｃ）画像内v座標（v座標軸は上下方向の軸）における両者の差の絶対値|v1−v2|が所定閾値Thv未満、すなわち|v1−v2|＜Thvである
ことを追加してもよい。
In addition, the above (b) may be a condition for requesting whether it is non-positive (negative or zero) or non-negative (positive or zero) so as to include u1-u2 = 0. In addition, as a predetermined position spacing requirement,
(C) Even if it is added that the absolute value | v1-v2 | of the difference between the two in the v-coordinate (v-coordinate axis is the vertical axis) in the image is less than the predetermined threshold Thv, that is, | v1-v2 | <Thv. Good.
このように追加画像選択部２１５は、映像生成部２１３で生成された画像フレーム群の中から、先頭となる追加フレームを決定することができ、さらに、この先頭追加フレームに続く所定量の画像フレームを選択することによって、クラウドサーバ１へ送信すべき追加フレーム（追加画像データ）を決定することができるのである。 In this way, the additional image selection unit 215 can determine the additional frame to be the head from the image frame group generated by the video generation unit 213, and further, a predetermined amount of image frames following the head additional frame. By selecting, the additional frame (additional image data) to be transmitted to the cloud server 1 can be determined.
なお変更態様として、追加画像選択部２１５は、追加基準フレーム及び追加フレーム候補に対し、セマンティックセグメンテーション（Semantic Segmentation）処理を実施し、フレーム内の各ピクセルをクラス（例えば、"人物"、"自動車"、"道路"、"空"等）に分類した上で、両者における各クラスの画像部分について、以上に説明したような「所定の位置間隔要件」を用いた処理を行い、追加フレームを決定してもよい。 As a modification, the additional image selection unit 215 performs semantic segmentation processing on the additional reference frame and the additional frame candidate, and classifies each pixel in the frame (for example, "person", "automobile"". , "Road", "Sky", etc.), and then the image part of each class in both is processed using the "predetermined position spacing requirement" as explained above, and an additional frame is determined. You may.
ここで以下、先頭追加フレームに続いて如何なる量の画像フレームを、追加フレームとして選択するかについて説明を行う。 Here, an explanation will be given of how much image frame is selected as the additional frame following the first additional frame.
追加画像選択部２１５は、例えば先頭追加フレームから見て所定時間分（例えば1秒間分）の画像フレームを追加フレームとして選択してもよい。また、先頭追加フレームから見て所定数分（例えば100フレーム分）の画像フレームを追加フレームとして選択することも可能である。さらには、先頭追加フレームから見て所定の（実空間における）移動距離分（例えば1m分）の画像フレームを追加フレームとして選択してもよい。 The additional image selection unit 215 may select, for example, an image frame for a predetermined time (for example, one second) as an additional frame when viewed from the first additional frame. It is also possible to select an image frame for a predetermined number of minutes (for example, 100 frames) as an additional frame when viewed from the first additional frame. Further, an image frame for a predetermined moving distance (for example, 1 m) when viewed from the head additional frame may be selected as the additional frame.
ここでいずれにしても、追加フレームの「所定量」は、例えば対象若しくは対象映像の長さによって設定されてもよい。例えば対象が事故車両（車両事故現場）であれば通常、対象の道路に沿った長さは比較的短いので、追加フレームの「所定量」も小量に抑えることができる。一方、例えば対象が（事故発生が懸念される）商店街であれば通常、対象の道路に沿った長さは比較的長いので、追加フレームの「所定量」もそれに合わせて相当の量に設定することが好ましい。 In any case, the "predetermined amount" of the additional frame may be set by, for example, the length of the target or the target image. For example, if the target is an accident vehicle (vehicle accident site), the length along the target road is usually relatively short, so that the "predetermined amount" of the additional frame can be suppressed to a small amount. On the other hand, for example, if the target is a shopping district (where there is concern about accidents), the length along the target road is usually relatively long, so the "predetermined amount" of the additional frame is set to a considerable amount accordingly. It is preferable to do so.
さらに好適な「所定量」決定の変更態様として、複数の端末２０が順次道路を走行し、対象（工事現場）に近づきその後遠ざかるように移動している状況において、追加画像選択部２１５は、クラウドサーバ１又は（図１に示した）道路情報サーバ３から取得された、対象（工事現場）付近における通行量に係る情報に基づいて、選択する追加フレーム（追加画像データ）の「所定量」を決定することも好ましい。 As a more preferable modification mode for determining the "predetermined amount", in a situation where a plurality of terminals 20 are sequentially traveling on the road, approaching the target (construction site) and then moving away from the target (construction site), the additional image selection unit 215 is added to the cloud. The "predetermined amount" of the additional frame (additional image data) to be selected based on the information related to the traffic volume in the vicinity of the target (construction site) acquired from the server 1 or the road information server 3 (shown in FIG. 1). It is also preferable to determine.
例えばクラウドサーバ１が、各端末２０から取得した位置情報に基づき対象（工事現場）付近における自動車２（端末２０）の通行量を算出して当該通行量を端末２０に通知し、端末２０は、通知された通行量を、予め設定された「通行量多」、「通行量中」、及び「通行量少」のいずれかに分類して、例えば、
（ａ）「通行量多」ならば、（自動車２が動いている時間として）1秒間分の画像フレームを追加フレームとして選択し、
（ｂ）「通行量中」ならば、（自動車２が動いている時間として）4秒間分の画像フレームを追加フレームとして選択し、
（ｃ）「通行量少」ならば、対象（工事現場）の全体を捉えるだけの時間分の画像フレームを追加フレームとして選択してもよい。
For example, the cloud server 1 calculates the traffic volume of the automobile 2 (terminal 20) near the target (construction site) based on the location information acquired from each terminal 20 and notifies the terminal 20 of the traffic volume, and the terminal 20 notifies the terminal 20. The notified traffic volume is classified into one of the preset "high traffic volume", "medium traffic volume", and "low traffic volume", for example.
(A) If "traffic volume", select an image frame for 1 second (as the time when the car 2 is moving) as an additional frame.
(B) If it is "in traffic", select an image frame for 4 seconds (as the time when the car 2 is moving) as an additional frame, and select it.
(C) If the traffic volume is low, an image frame for an amount of time sufficient to capture the entire target (construction site) may be selected as an additional frame.
これにより、追加画像データ生成負担を分担可能な端末２０が周囲に多く存在する場合には、各端末２０の負担分を低減し、その上で過剰な時間をかけずに対象映像を生成することも可能となる。また、端末２０は、周囲の状況に応じた分だけの画像データ送信処理を実施すればよくなるのである。 As a result, when there are many terminals 20 that can share the burden of generating additional image data, the burden of each terminal 20 can be reduced, and the target image can be generated without spending an excessive amount of time. Is also possible. In addition, the terminal 20 only needs to perform image data transmission processing for the amount corresponding to the surrounding situation.
なお、「所定量」を決定するための通行量として、道路情報サーバ３（図１）又は当該サーバ３から道路情報を収集したクラウドサーバ１から取得された、対象（工事現場）付近における交通量情報又は渋滞情報を採用することも可能である。特に、本発明によるクライアントが普及し、交通量の所定割合が本発明によるクライアントを搭載した自動車によるものと見込まれるようであれば、そのような情報を通行量として採用することも好ましい。 As the traffic volume for determining the "predetermined amount", the traffic volume near the target (construction site) obtained from the road information server 3 (Fig. 1) or the cloud server 1 that collects road information from the server 3. It is also possible to adopt information or traffic jam information. In particular, if the client according to the present invention becomes widespread and it is expected that a predetermined ratio of the traffic volume is due to the automobile equipped with the client according to the present invention, it is also preferable to adopt such information as the traffic volume.
ちなみに本実施形態において、端末２０は、自動車２のＣＡＮ（Controller Area Network）とＷｉ-Ｆｉ（登録商標）やBluetooth（登録商標）で接続されていて、自動車２の車両走行情報を取得可能となっていることも好ましい。この場合例えば、追加画像選択部２１５は、所定実空間距離分（例えば1m分）の追加フレームを、当該フレーム生成時の車速情報に基づいて決定することも可能となる。また、車速が小さい場合には、画像フレームを間引いて送信フレームの量を低減させることもできる。例えば、車速が小さいほど間引く割合を増加させてもよい。 By the way, in the present embodiment, the terminal 20 is connected to the CAN (Controller Area Network) of the automobile 2 by Wi-Fi (registered trademark) or Bluetooth (registered trademark), and can acquire the vehicle traveling information of the automobile 2. It is also preferable that In this case, for example, the additional image selection unit 215 can determine an additional frame for a predetermined real space distance (for example, 1 m) based on the vehicle speed information at the time of generating the frame. Further, when the vehicle speed is low, the image frames can be thinned out to reduce the amount of transmission frames. For example, the smaller the vehicle speed, the more the thinning rate may be increased.
さらに、クラウドサーバ１は端末２０から位置情報とともに車両走行情報を受け取り、当該車両走行情報に基づいて画像データ送信要求先を決定してもよい。例えば、所定車速範囲内の車速をもって移動中の端末２０のみを画像データ送信要求先に決定することも好ましい。 Further, the cloud server 1 may receive vehicle traveling information together with position information from the terminal 20 and determine an image data transmission request destination based on the vehicle traveling information. For example, it is also preferable to determine only the terminal 20 that is moving at a vehicle speed within a predetermined vehicle speed range as the image data transmission request destination.
また変更態様として、追加画像選択部２１５は、取得された対象（工事現場）付近における通行量に係る情報に基づいて、追加画像データの送信タイミングを決定することも好ましい。例えば、通行量が多いほど、送信タイミングをより遅らせて又はより大きな時間間隔分だけずらして通信トラフィックの集中を回避することも可能となる。また勿論、この通行量に基づき上述した追加画像データの「所定量」も、併せて決定されてもよい。 Further, as a modification mode, it is also preferable that the additional image selection unit 215 determines the transmission timing of the additional image data based on the information related to the traffic volume in the vicinity of the acquired target (construction site). For example, as the traffic volume increases, it is possible to avoid the concentration of communication traffic by delaying the transmission timing or shifting the transmission timing by a larger time interval. Of course, the "predetermined amount" of the above-mentioned additional image data may also be determined based on this traffic amount.
図１の機能ブロック図に戻って、提示情報生成部２１６は、クラウドサーバ１から配信された対象映像を、通信インタフェース２０１を介して取得し、例えば当該対象映像をディスプレイ２０４に表示させるとともに、対象（工事現場）に関する情報、例えば対象の種別、対象の長さや、当該対象映像の撮影された時刻や時間（期間）等もディスプレイ２０４に表示させてもよい。 Returning to the functional block diagram of FIG. 1, the presentation information generation unit 216 acquires the target video distributed from the cloud server 1 via the communication interface 201, displays the target video on the display 204, and displays the target video, for example. Information about (construction site), for example, the type of the target, the length of the target, the time and time (duration) at which the target image was shot, and the like may also be displayed on the display 204.
例えばディスプレイ２０４がタッチパネルも備えていて、提示情報生成部２１６は、周辺に存在する複数の工事現場の位置に（工事をイメージさせる）アイコンを配した道路マップを、ディスプレイ２０４に表示させ、当該アイコンがタップされた際、該当する対象映像を同じくディスプレイ２０４に表示させてもよい。 For example, the display 204 also has a touch panel, and the presentation information generation unit 216 displays a road map on the display 204 with icons (which make the image of construction work) arranged at the positions of a plurality of construction sites existing in the vicinity, and the icons are displayed. When is tapped, the corresponding target image may be displayed on the display 204 as well.
［映像生成方法］
図５は、本発明による映像生成方法における一実施形態の概略を示すシーケンス図である。ここで本実施形態では、端末２０Ａ〜２０Ｃは各々、常時、自動車２周辺の状況を撮影して映像を生成しており、さらに当該映像に対し（予め設定された）対象の検出処理を実施していて、また自らの位置情報も常時、取得している（ステップＳ１０１）。
[Video generation method]
FIG. 5 is a sequence diagram showing an outline of one embodiment in the image generation method according to the present invention. Here, in the present embodiment, each of the terminals 20A to 20C constantly captures the situation around the automobile 2 to generate an image, and further performs a target detection process (preset) on the image. Also, the position information of the user is constantly acquired (step S101).
また、端末２０Ａ〜２０Ｃは各々、取得した位置情報も逐次、クラウドサーバ１に通知しており（ステップＳ１０２）、クラウドサーバ１は、取得された位置情報に基づいて通行量情報を適宜生成している（ステップＳ１０３）。なお、画像データ送信処理を負担する端末２０の数は、本実施形態において３つとなっているが、本発明においては当然これに限定されるものではない。 In addition, each of the terminals 20A to 20C sequentially notifies the cloud server 1 of the acquired location information (step S102), and the cloud server 1 appropriately generates traffic volume information based on the acquired location information. Yes (step S103). The number of terminals 20 that bear the image data transmission process is three in the present embodiment, but is not limited to this in the present invention.
（Ｓ１０４，Ｓ１０５）端末２０Ａが、自ら生成した映像において所定の対象を検出し、対象の検出された画像フレームと当該対象に係る情報とを含む対象検出情報を、クラウドサーバ１へ送信する。なおこの際、検出された対象を含む所定量の画像データを併せて送信してもよく、またこの場合、この後に述べるステップＳ１０６及びＳ１０７を省略してもよい。
（Ｓ１０６）クラウドサーバ１は、受信した対象検出情報に係る対象が予め設定された対象であることを確認し、当該対象検出情報の送信元である端末２０Ａを画像データ送信要求先に決定する。
(S104, S105) The terminal 20A detects a predetermined target in the video generated by itself, and transmits the target detection information including the detected image frame of the target and the information related to the target to the cloud server 1. At this time, a predetermined amount of image data including the detected target may be transmitted together, and in this case, steps S106 and S107 described later may be omitted.
(S106) The cloud server 1 confirms that the target related to the received target detection information is a preset target, and determines the terminal 20A, which is the source of the target detection information, as the image data transmission request destination.
（Ｓ１０７）クラウドサーバ１は、追加基準フレームを含む画像データ送信要求と、端末２０Ａに該当する通行量情報とを端末２０Ａへ送信する。
（Ｓ１０８，Ｓ１０９）端末２０Ａは、受信した追加基準フレームと通行量情報とに基づいて、すでに生成した映像データの中から、所定量の画像データを選択し、クラウドサーバ１へ送信する。
(S107) The cloud server 1 transmits an image data transmission request including an additional reference frame and traffic volume information corresponding to the terminal 20A to the terminal 20A.
(S108, S109) The terminal 20A selects a predetermined amount of image data from the already generated video data based on the received additional reference frame and the traffic volume information, and transmits the image data to the cloud server 1.
（Ｓ１１０）クラウドサーバ１は、受信した所定量画像データに基づき次の追加基準フレームを決定した上で、取得した（複数端末の）位置情報に基づいて、次の画像データ送信要求先を端末２０Ｂに決定する。 (S110) The cloud server 1 determines the next additional reference frame based on the received predetermined amount of image data, and then sets the next image data transmission request destination to the terminal 20B based on the acquired position information (of a plurality of terminals). To decide.
（Ｓ１１１）クラウドサーバ１は、追加基準フレームを含む画像データ送信要求と、端末２０Ｂに該当する通行量情報とを端末２０Ｂへ送信する。
（Ｓ１１２，Ｓ１１３）端末２０Ｂは、受信した追加基準フレームと通行量情報とに基づいて、すでに生成した映像データの中から、所定量の画像データを選択し、クラウドサーバ１へ送信する。
(S111) The cloud server 1 transmits an image data transmission request including an additional reference frame and traffic volume information corresponding to the terminal 20B to the terminal 20B.
(S112, S113) The terminal 20B selects a predetermined amount of image data from the already generated video data based on the received additional reference frame and the traffic volume information, and transmits the image data to the cloud server 1.
（Ｓ１１４）クラウドサーバ１は、受信した所定量画像データに基づき、さらに次なる追加基準フレームを決定した上で、取得した（複数端末の）位置情報に基づいて、さらに次なる画像データ送信要求先を端末２０Ｃに決定する。 (S114) The cloud server 1 determines the next additional reference frame based on the received predetermined amount of image data, and then further determines the next image data transmission request destination based on the acquired position information (of a plurality of terminals). Is determined as the terminal 20C.
（Ｓ１１５）クラウドサーバ１は、追加基準フレームを含む画像データ送信要求と、端末２０Ｃに該当する通行量情報とを端末２０Ｃへ送信する。
（Ｓ１１６，Ｓ１１７）端末２０Ｃは、受信した追加基準フレームと通行量情報とに基づいて、すでに生成した映像データの中から、所定量の画像データを選択し、クラウドサーバ１へ送信する。
(S115) The cloud server 1 transmits an image data transmission request including an additional reference frame and traffic volume information corresponding to the terminal 20C to the terminal 20C.
(S116, S117) The terminal 20C selects a predetermined amount of image data from the already generated video data based on the received additional reference frame and the traffic volume information, and transmits the image data to the cloud server 1.
（Ｓ１１８，Ｓ１１９）クラウドサーバ１は、端末２０Ｃから取得した画像データにおいて、
（ａ）対象が映像データ範囲内から外へ出て対象画像部分が消失したこと、
（ｂ）対象の終端（後端）が検出されたこと、又は
（ｃ）対象が検出されないこと
に基づいて、画像データ送信要求の終了を決定し、画像データ送信停止要求を全端末２０に向けて送信又は同報する。
（Ｓ１２０）クラウドサーバ１は、これまでに取得された画像データを繋ぎ合わせて合成し、所定対象の対象映像を生成する。
(S118, S119) The cloud server 1 has the image data acquired from the terminal 20C in the image data.
(A) The target image part disappeared when the target went out of the video data range.
Based on (b) that the end (rear end) of the target is detected or (c) the target is not detected, the end of the image data transmission request is determined, and the image data transmission stop request is directed to all terminals 20. Send or broadcast.
(S120) The cloud server 1 joins and synthesizes the image data acquired so far to generate a target video of a predetermined target.
ここで以上に説明したステップＳ１０４〜Ｓ１２０は、例えば、他の対象が別の端末２０Ｄで検出され、それに続く端末２０Ｅを含む端末群とクラウドサーバ１とによって、当該他の対象の対象映像の生成処理が実施される形で繰り返されてもよい。 In steps S104 to S120 described above, for example, another target is detected by another terminal 20D, and the target video of the other target is generated by the terminal group including the subsequent terminal 20E and the cloud server 1. The process may be repeated as it is performed.
以上、詳細に説明したように、本発明によるサーバは、クライアントの位置情報に基づいて、複数のクライアントの中から対象映像を生成するのに好適なクライアントを選択・決定し、まさに選択・決定したクライアントに対して「追加画像データに係る情報」を通知することにより、必要となるだけの追加画像データを取得することを可能にするのである。 As described in detail above, the server according to the present invention selects and determines a client suitable for generating a target image from a plurality of clients based on the location information of the client, and exactly selects and determines the client. By notifying the client of "information related to the additional image data", it is possible to acquire as much additional image data as necessary.
すなわち、本発明によれば、各クライアントが対象映像生成のための処理負担を分担可能となっており、その結果、画像データ送信元であるクライアントにおける画像データ送信負荷を抑制することができるのである。 That is, according to the present invention, each client can share the processing load for generating the target video, and as a result, the image data transmission load on the client that is the image data transmission source can be suppressed. ..
ちなみに、本発明の構成及び方法は、膨大な量の映像データ伝送が可能となる５Ｇ（第５世代移動通信システム）を利用し、多数のクライアントから映像データをサーバへアップロードする場面において、そのデータ送信・収集効率の向上等、予想される重要課題の解決に大いに貢献するものと考えられる。例えば本発明の実施形態によっては、自動運転車、ドローンや、各種ロボットが撮影した高解像度映像を５Ｇによって収集し、所望の対象映像を効率良く且つ確実に生成することも可能となるのである。 By the way, the configuration and method of the present invention uses 5G (fifth generation mobile communication system) that enables transmission of a huge amount of video data, and the data is uploaded to a server from a large number of clients. It is considered to greatly contribute to the solution of expected important issues such as improvement of transmission / collection efficiency. For example, depending on the embodiment of the present invention, it is possible to efficiently and surely generate a desired target image by collecting high-resolution images taken by an autonomous vehicle, a drone, or various robots by 5G.
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲内での種々の変更、修正及び省略は、当業者によれば容易に行うことができる。以上に述べた説明はあくまで例示であって、何ら制約を意図するものではない。本発明は、特許請求の範囲及びその均等物によってのみ制約される。 Various changes, modifications and omissions within the scope of the technical idea and viewpoint of the present invention can be easily made by those skilled in the art with respect to the various embodiments of the present invention described above. The above description is merely an example and is not intended to be a constraint. The present invention is limited only by the claims and their equivalents.
１ クラウドサーバ（サーバ）
１０１、２０１ 通信インタフェース
１１１ 映像合成部
１１２ クライアント決定部
１１３ 入出力制御部
１１３ａ 送信要求決定部
２、２Ａ、２Ｂ、２Ｃ 自動車
２０、２０Ａ、２０Ｂ、２０Ｃ 端末（クライアント）
２０２ 測位部
２０３ カメラ
２０４ ディスプレイ（ＤＰ）
２１１ 入出力制御部
２１２ 位置情報取得部
２１３ 映像生成部
２１４ 対象検出部
２１５ 追加画像選択部
２１６ 提示情報生成部
３ 道路情報サーバ
1 Cloud server (server)
101, 201 Communication interface 111 Video synthesis unit 112 Client determination unit 113 Input / output control unit 113a Transmission request determination unit 2, 2A, 2B, 2C Automobile 20, 20A, 20B, 20C Terminal (client)
202 Positioning unit 203 Camera 204 Display (DP)
211 Input / output control unit 212 Position information acquisition unit 213 Video generation unit 214 Target detection unit 215 Additional image selection unit 216 Presentation information generation unit 3 Road information server
Claims (12)
当該クライアントから取得された当該クライアントの位置情報に基づいて、当該対象映像を生成するために、既に取得された画像データに加えて必要となる追加画像データを生成可能なクライアントを決定するクライアント決定手段と、
決定されたクライアントに対し、当該追加画像データに係る情報を通知し、該クライアントから当該追加画像データを受け取る入出力制御手段と
してコンピュータを機能させることを特徴とする映像生成プログラム。 It is a program that makes a computer installed in a server that generates a target image related to a predetermined target by using image data acquired from a plurality of movable clients to function.
A client determination means for determining a client that can generate additional image data required in addition to the image data already acquired in order to generate the target video based on the position information of the client acquired from the client. When,
A video generation program characterized in that a computer functions as an input / output control means for notifying a determined client of information related to the additional image data and receiving the additional image data from the client.
前記クライアント決定手段は、当該追加基準フレームに続く追加フレームであって、当該対象の画像内位置が当該追加基準フレームでの画像内位置に対し所定の位置間隔要件を満たすものとなっている追加フレームを生成可能なクライアントを、当該追加画像データの要求先に決定する
ことを特徴とする請求項１に記載の映像生成プログラム。 The information related to the additional image data is the data of the additional reference frame which is a frame to which a frame should be added after itself in order to generate the target image, and / or the information related to the target included in the additional reference frame. And the information related to the position in the image of the target
The client determination means is an additional frame following the additional reference frame, and the position in the target image satisfies a predetermined position spacing requirement with respect to the position in the image in the additional reference frame. The video generation program according to claim 1, wherein a client capable of generating the image data is determined as a request destination of the additional image data.
前記クライアント決定手段は、当該追加基準フレームの提供元であるクライアントに続いて当該対象に近づくクライアントを、当該追加画像データの要求先に決定する
ことを特徴とする請求項２に記載の映像生成プログラム。 The client is moving closer to and then away from the subject.
The video generation program according to claim 2, wherein the client determination means determines a client approaching the target following the client that is the provider of the additional reference frame as a request destination of the additional image data. ..
当該追加画像データに係る情報は、生成の途中である対象映像における、その間に埋め込むべき追加フレームの映像内位置情報、並びに／又は、当該追加フレームに含まれる当該対象に係る情報及び当該対象の画像内位置に係る情報を含み、
前記クライアント決定手段は、当該埋め込むべき追加フレームを生成可能なクライアントを、当該追加画像データの要求先に決定する
ことを特徴とする請求項１に記載の映像生成プログラム。 The additional image data is image data that fills the space between the already acquired image data in order to generate the target video.
The information related to the additional image data includes the position information in the video of the additional frame to be embedded in the target video being generated, and / or the information related to the target included in the additional frame and the image of the target. Including information about the inner position
The video generation program according to claim 1, wherein the client determination means determines a client capable of generating the additional frame to be embedded as a request destination of the additional image data.
自らを含むクライアントに係る位置情報を取得し当該サーバへ通知させる位置情報取得手段と、
受け取った当該位置情報に基づいて、当該対象映像を生成するために必要となる追加画像データを生成可能なクライアントとして自らを含むクライアントを指定してきた当該サーバから、当該追加画像データに係る情報が取得された際、当該追加画像データに係る情報に基づいて、生成された画像データ群の中から当該追加画像データを選択し当該サーバへ提供させる追加画像選択手段と
してコンピュータを機能させることを特徴とする映像生成支援プログラム。 It is a program that provides the generated image data to a server and causes the server to generate a target video related to a predetermined target. It is a program that functions a computer mounted on a movable client.
A location information acquisition means that acquires location information related to clients including itself and notifies the server.
Based on the received location information, the information related to the additional image data is acquired from the server that has specified the client including itself as the client that can generate the additional image data required to generate the target video. When the data is generated, the computer functions as an additional image selection means for selecting the additional image data from the generated image data group based on the information related to the additional image data and providing the additional image data to the server. Video generation support program.
当該画像データにおいて検出された当該対象に係る情報を当該サーバへ提供し、当該サーバから、当該対象に係る情報及び当該位置情報に基づき決定された当該追加画像データに係る情報を受け取るクライアント入出力制御手段と
してコンピュータを更に機能させることを特徴とする請求項６に記載の映像生成支援プログラム。 Target detection means for detecting the target in the generated image data,
Client input / output control that provides the information related to the target detected in the image data to the server and receives the information related to the target and the information related to the additional image data determined based on the position information from the server. The image generation support program according to claim 6, wherein the computer is further functioned as a means.
前記追加画像選択手段は、当該サーバ又は別のサーバから取得された、当該対象付近における当該クライアントの通行量に係る情報に基づいて、選択する当該追加画像データの量及び／又は提供タイミングを決定する
ことを特徴とする請求項６及び７に記載の映像生成支援プログラム。 Multiple clients, including clients including themselves, are moving in sequence to approach the target and then move away from it.
The additional image selection means determines the amount and / or the provision timing of the additional image data to be selected based on the information related to the traffic volume of the client in the vicinity of the target acquired from the server or another server. The video generation support program according to claims 6 and 7, characterized in that.
前記追加画像選択手段は、当該追加基準フレームに続く追加フレームであって、当該対象の画像内位置が当該追加基準フレームでの画像内位置に対し所定の位置間隔要件を満たすものとなっている追加フレームを、生成された画像データ群の中から選択する
ことを特徴とする請求項６から８のいずれか１項に記載の映像生成支援プログラム。 The information related to the additional image data is the data of the additional reference frame which is a frame to which a frame should be added after itself in order to generate the target image, and / or the information related to the target included in the additional reference frame. And the information related to the position in the image of the target
The additional image selection means is an additional frame following the additional reference frame, and the position in the target image satisfies a predetermined position spacing requirement with respect to the position in the image in the additional reference frame. The video generation support program according to any one of claims 6 to 8, wherein the frame is selected from the generated image data group.
当該クライアントから取得された当該クライアントの位置情報に基づいて、当該対象映像を生成するために、既に取得された画像データに加えて必要となる追加画像データを生成可能なクライアントを決定するクライアント決定手段と、
決定されたクライアントに対し、当該追加画像データに係る情報を通知し、該クライアントから当該追加画像データを受け取る入出力制御手段と
を有することを特徴とする映像生成サーバ。 A server that generates a target video related to a predetermined target using image data acquired from multiple movable clients.
A client determination means for determining a client that can generate additional image data required in addition to the image data already acquired in order to generate the target video based on the position information of the client acquired from the client. When,
A video generation server having an input / output control means for notifying a determined client of information related to the additional image data and receiving the additional image data from the client.
自らに係る位置情報を取得し当該サーバへ通知させる位置情報取得手段と、
受け取った当該位置情報に基づいて、当該対象映像を生成するために必要となる追加画像データを生成可能なクライアントとして自らを指定してきた当該サーバから、当該追加画像データに係る情報が取得された際、当該追加画像データに係る情報に基づいて、生成された画像データ群の中から当該追加画像データを選択し当該サーバへ提供させる追加画像選択手段と
を有することを特徴とする映像生成支援クライアント。 A mobile client that provides the generated image data to a server and causes the server to generate a target video related to a predetermined target.
Location information acquisition means that acquires location information related to itself and notifies the server
When the information related to the additional image data is acquired from the server that has designated itself as a client that can generate the additional image data required to generate the target video based on the received location information. , A video generation support client characterized by having an additional image selection means for selecting the additional image data from the generated image data group based on the information related to the additional image data and providing the additional image data to the server.
当該クライアントから取得された当該クライアントの位置情報に基づいて、当該対象映像を生成するために、既に取得された画像データに加えて必要となる追加画像データを生成可能なクライアントを決定するステップと、
決定されたクライアントに対し、当該追加画像データに係る情報を通知し、該クライアントから当該追加画像データを受け取るステップと
を有することを特徴とする映像生成方法。 This is a target video generation method in a computer installed in a server that generates a target video related to a predetermined target using image data acquired from a plurality of movable clients.
Based on the position information of the client acquired from the client, a step of determining a client capable of generating the additional image data required in addition to the image data already acquired in order to generate the target video, and
A video generation method comprising a step of notifying a determined client of information related to the additional image data and receiving the additional image data from the client.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019117065A JP7107629B2 (en) | 2019-06-25 | 2019-06-25 | Server, client, program and method for generating target video |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019117065A JP7107629B2 (en) | 2019-06-25 | 2019-06-25 | Server, client, program and method for generating target video |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021005744A true JP2021005744A (en) | 2021-01-14 |
| JP7107629B2 JP7107629B2 (en) | 2022-07-27 |
Family
ID=74097264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019117065A Active JP7107629B2 (en) | 2019-06-25 | 2019-06-25 | Server, client, program and method for generating target video |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7107629B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009212701A (en) * | 2008-03-03 | 2009-09-17 | Nissan Motor Co Ltd | Camera control apparatus, and photographing system |
| JP2015128259A (en) * | 2013-12-27 | 2015-07-09 | キヤノン株式会社 | Image processing device, photographing device, photographing system, image processing method, and computer program |
-
2019
- 2019-06-25 JP JP2019117065A patent/JP7107629B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009212701A (en) * | 2008-03-03 | 2009-09-17 | Nissan Motor Co Ltd | Camera control apparatus, and photographing system |
| JP2015128259A (en) * | 2013-12-27 | 2015-07-09 | キヤノン株式会社 | Image processing device, photographing device, photographing system, image processing method, and computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7107629B2 (en) | 2022-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102343651B1 (en) | Generating apparatus and generating method, and reproducing apparatus and playing method | |
| JP6988815B2 (en) | Image processing device and image processing method | |
| US20190361436A1 (en) | Remote monitoring system and remote monitoring device | |
| CN109644256B (en) | Vehicle-mounted video system | |
| EP3413570B1 (en) | Video display method and video display device | |
| US20200143593A1 (en) | Augmented reality (ar) remote vehicle assistance | |
| CN102951089B (en) | Vehicle-mounted navigation and active safety system based on mobile equipment camera | |
| US20200223454A1 (en) | Enhanced social media experience for autonomous vehicle users | |
| US11138784B2 (en) | Image processing apparatus and image processing method | |
| JPWO2019039282A1 (en) | Image processing device and image processing method | |
| US11991477B2 (en) | Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium | |
| EP3528495A1 (en) | Image processing device and image processing method | |
| JPWO2019003953A1 (en) | Image processing apparatus and image processing method | |
| WO2013121471A1 (en) | Image generating device | |
| CN113221756A (en) | Traffic sign detection method and related equipment | |
| JPWO2018034171A1 (en) | Image processing apparatus and image processing method | |
| JP7107629B2 (en) | Server, client, program and method for generating target video | |
| CN114756700B (en) | Scene library establishing method and device, vehicle, storage medium and chip | |
| US20200252544A1 (en) | Camera, method, non-transitory computer-readable medium, and system | |
| EP3706413B1 (en) | Information processing device, information processing method, and information processing program | |
| JP7254000B2 (en) | Image delivery device and method, and image delivery system | |
| JP7163257B2 (en) | METHOD, APPARATUS, AND PROGRAM FOR GENERATING A MULTI-VIEW VIEW IMAGE USING A MOVEABLE IMAGE GENERATION SOURCE IMAGE | |
| JP7348724B2 (en) | In-vehicle device and display method | |
| JP2006031583A (en) | On-vehicle system and remote observation system | |
| CN110979319A (en) | Driving assistance method, device and system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210601 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220531 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220531 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220615 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220713 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220713 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7107629 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |