JP2023181086A

JP2023181086A - Video processing system, video processing method, and video processing program

Info

Publication number: JP2023181086A
Application number: JP2023071013A
Authority: JP
Inventors: 隆竹内; Takashi Takeuchi; 碧加藤; Midori Kato
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2022-06-09
Filing date: 2023-04-24
Publication date: 2023-12-21

Abstract

To provide a video processing system that is both versatile and reliable.SOLUTION: A processor 201 for a video processing system 20 is designed to process video frames Fm acquired from an infrastructure camera 10 through a network NW. The processor 201 for the video processing system 20 is configured to execute acquiring the video frames Fm in chronological order, identifying a video frame Fm for which an acquisition interval Tr has increased outside a delay tolerance range Ra as a delayed frame Fd that is delayed even more than the video frame Fm acquired on a regular interval Ti, adding delay information Id on the delayed frame Fd, and outputting time-series video data Dm of the video frames Fm that includes the delayed frame Fd to which the delay information Id has been added.SELECTED DRAWING: Figure 3

Description

本開示は、ネットワークを通じてカメラから取得される映像フレームを処理する映像処理技術に、関する。 The present disclosure relates to video processing techniques for processing video frames obtained from cameras over a network.

特許文献１には、カメラにより撮像時刻と共に取得された撮像データを、処理する映像処理システムが開示されている。 Patent Document 1 discloses a video processing system that processes image data acquired by a camera together with the image capture time.

特許第６４４３１４５号公報Patent No. 6443145

一般にカメラからネットワークを通じて撮像データを取得する場合、例えばネットワークにおける外乱等により、撮像データのカメラによる送信から映像処理システムでの取得までの間に遅延が生じるおそれがある。この点について、カメラが撮像データと共に撮像時刻を提供する特許文献１の如きタイムスタンプ機能を有していない仕様の場合、撮像データの遅延状況を認識することができず、システムの信頼性が低下するおそれがあった。逆に、特許文献１の映像処理システムは、信頼性を確保するためにタイムスタンプ機能を有する仕様のカメラを用いることを前提としており、汎用性に欠けるおそれがあった。 Generally, when acquiring imaging data from a camera through a network, there is a possibility that a delay may occur between the transmission of the imaging data by the camera and the acquisition by the video processing system due to, for example, disturbance in the network. Regarding this point, if the camera does not have a time stamp function such as the one disclosed in Patent Document 1, which provides the imaging time along with the imaging data, it is not possible to recognize the delay status of the imaging data, and the reliability of the system decreases. There was a risk that On the contrary, the video processing system disclosed in Patent Document 1 is based on the premise of using a camera having a time stamp function in order to ensure reliability, and therefore may lack versatility.

本開示の課題は、汎用性と信頼性とを両立する映像処理システムを、提供することにある。本開示の別の課題は、汎用性と信頼性とを両立する映像処理方法を、提供することにある。本開示の別の課題は、汎用性と信頼性とを両立する映像処理プログラムを、提供することにある。 An object of the present disclosure is to provide a video processing system that is both versatile and reliable. Another object of the present disclosure is to provide a video processing method that is both versatile and reliable. Another object of the present disclosure is to provide a video processing program that is both versatile and reliable.

以下、課題を解決するための本開示の技術的手段について、説明する。尚、特許請求の範囲及び本欄に記載された括弧内の符号は、後に詳述する実施形態に記載された具体的手段との対応関係を示すものであり、本開示の技術的範囲を限定するものではない。 Hereinafter, technical means of the present disclosure for solving the problems will be explained. Note that the symbols in parentheses described in the claims and this column indicate correspondence with specific means described in the embodiments described in detail later, and do not limit the technical scope of the present disclosure. It's not something you do.

本開示の第一態様は、
プロセッサ（２０１）を有し、ネットワーク（ＮＷ，ＮＷＡ）を通じてカメラ（１０，１０Ａ）から取得される映像フレーム（Ｆｍ）を処理する映像処理システム（２０，２０Ａ）であって、
プロセッサは、
映像フレームを時系列順に取得することと、
正規間隔（Ｔｉ）で取得される映像フレームよりも遅延した遅延フレーム（Ｆｄ）として、取得間隔（Ｔｒ）が遅延許容範囲（Ｒａ）外に増大した映像フレームを、特定することと、
遅延フレームに遅延情報（Ｉｄ）を付加することと、
遅延情報の付加された遅延フレームを内包する、映像フレームの時系列な映像データ（Ｄｍ）を出力することと、
を実行するように構成される。 A first aspect of the present disclosure includes:
A video processing system (20, 20A) having a processor (201) and processing video frames (Fm) acquired from a camera (10, 10A) through a network (NW, NWA),
The processor is
acquiring video frames in chronological order;
Identifying a video frame whose acquisition interval (Tr) has increased outside the delay tolerance range (Ra) as a delayed frame (Fd) delayed from a video frame acquired at a regular interval (Ti);
Adding delay information (Id) to the delayed frame;
outputting time-series video data (Dm) of video frames including delay frames to which delay information is added;
configured to run.

本開示の第二態様は、
ネットワーク（ＮＷ，ＮＷＡ）を通じてカメラ（１０，１０Ａ）から取得される映像フレーム（Ｆｍ）における遅延を検出するために、プロセッサ（２０１）に実行される映像処理方法であって、
映像フレームを時系列順に取得することと、
正規間隔（Ｔｉ）で取得される映像フレームよりも遅延した遅延フレーム（Ｆｄ）として、取得間隔（Ｔｒ）が遅延許容範囲（Ｒａ）外に増大した映像フレームを、特定することと、
遅延フレームに遅延情報（Ｉｄ）を付加することと、
遅延情報の付加された遅延フレームを内包する、映像フレームの時系列な映像データ（Ｄｍ）を出力することと、
を含む。 A second aspect of the present disclosure includes:
A video processing method executed by a processor (201) to detect a delay in a video frame (Fm) acquired from a camera (10, 10A) through a network (NW, NWA), the method comprising:
acquiring video frames in chronological order;
Identifying a video frame whose acquisition interval (Tr) has increased outside the delay tolerance range (Ra) as a delayed frame (Fd) delayed from a video frame acquired at a regular interval (Ti);
Adding delay information (Id) to the delayed frame;
outputting time-series video data (Dm) of video frames including delay frames to which delay information is added;
including.

本開示の第三態様は、
記憶媒体（２０２）に記憶され、ネットワーク（ＮＷ，ＮＷＡ）を通じてカメラ（１０，１０Ａ）から取得される映像フレーム（Ｆｍ）における遅延を検出するためにプロセッサ（２０１）に実行させる命令を含む映像処理プログラムであって、
命令は、
映像フレームを時系列順に取得させることと、
正規間隔（Ｔｉ）で取得される映像フレームよりも遅延した遅延フレーム（Ｆｄ）として、取得間隔（Ｔｒ）が遅延許容範囲（Ｒａ）外に増大した映像フレームを、特定させることと、
遅延フレームに遅延情報（Ｉｄ）を付加させることと、
遅延情報の付加された遅延フレームを内包する、映像フレームの時系列な映像データ（Ｄｍ）を出力させることと、
を含む。 A third aspect of the present disclosure is
Video processing that is stored in the storage medium (202) and includes instructions for the processor (201) to execute to detect delays in video frames (Fm) acquired from the camera (10, 10A) through the network (NW, NWA) A program,
The command is
acquiring video frames in chronological order;
Identifying a video frame whose acquisition interval (Tr) has increased outside a delay tolerance range (Ra) as a delayed frame (Fd) delayed from a video frame acquired at a regular interval (Ti);
Adding delay information (Id) to the delayed frame;
Outputting time-series video data (Dm) of video frames including delay frames to which delay information is added;
including.

これら第一～第三態様によると、取得間隔が遅延許容範囲外に増大した映像フレームは、正規間隔で取得される映像フレームよりも遅延した遅延フレームとして、遅延情報を付加される。これによれば、遅延情報の付加された遅延フレームを内包する、映像フレームの時系列な映像データが出力されることで、カメラの仕様に関わらず、遅延フレームに付加された遅延情報に基づき、映像フレームの遅延状況を認識することができる。故に、汎用性と信頼性とを両立させることが可能となる。 According to these first to third aspects, a video frame whose acquisition interval has increased beyond the allowable delay range is added with delay information as a delayed frame that is delayed from a video frame that is acquired at regular intervals. According to this, by outputting time-series video data of video frames including delayed frames to which delay information has been added, regardless of camera specifications, based on the delay information added to the delayed frames, It is possible to recognize the delay situation of video frames. Therefore, it is possible to achieve both versatility and reliability.

第一実施形態による映像配信システムの全体構成を示す模式図である。1 is a schematic diagram showing the overall configuration of a video distribution system according to a first embodiment. 第一実施形態による映像処理システムの構成を示すブロック図である。FIG. 1 is a block diagram showing the configuration of a video processing system according to a first embodiment. 第一実施形態による映像処理方法を示すフローチャートである。3 is a flowchart showing a video processing method according to the first embodiment. 正常状態について説明するための模式図である。FIG. 2 is a schematic diagram for explaining a normal state. 遅延フレーム及び準遅延フレームについて説明するための模式図である。FIG. 3 is a schematic diagram for explaining a delayed frame and a semi-delayed frame. 第二実施形態による映像処理方法を示すフローチャートである。12 is a flowchart showing a video processing method according to a second embodiment. 第三実施形態による映像配信システムの全体構成を示す模式図である。FIG. 2 is a schematic diagram showing the overall configuration of a video distribution system according to a third embodiment. 第三実施形態による映像配信システムの別な全体構成を示す模式図である。FIG. 3 is a schematic diagram showing another overall configuration of a video distribution system according to a third embodiment. 第三実施形態による映像配信システムのさらに別な全体構成を示す模式図である。FIG. 3 is a schematic diagram showing still another overall configuration of the video distribution system according to the third embodiment.

以下、本開示の実施形態を図面に基づき複数説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことで、重複する説明を省略する場合がある。また、各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。さらに、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。 Hereinafter, multiple embodiments of the present disclosure will be described based on the drawings. In addition, duplicate explanation may be omitted by attaching the same reference numerals to corresponding components in each embodiment. Further, when only a part of the configuration is described in each embodiment, the configuration of the other embodiments previously described can be applied to other parts of the configuration. Furthermore, in addition to the combinations of configurations specified in the description of each embodiment, it is also possible to partially combine the configurations of multiple embodiments even if not explicitly specified, as long as the combination does not cause any problems.

（第一実施形態）
以下、本開示の第一実施形態を図面に基づき説明する。 (First embodiment)
Hereinafter, a first embodiment of the present disclosure will be described based on the drawings.

図１に示すように第一実施形態による映像配信ネットワークシステム１は、インフラカメラ１０により撮像された映像フレームＦｍを処理して情報を付加した映像データＤｍを、配信先システム３０へと配信する。そのために映像配信ネットワークシステム１は、インフラカメラ１０と共に、映像処理システム２０、配信先システム３０、及び通信ネットワークＮＷを含んで構成されている。ここで通信ネットワークＮＷとは、無線通信と有線通信とを融合させた、インフラネットワークである。 As shown in FIG. 1, the video distribution network system 1 according to the first embodiment processes the video frame Fm captured by the infrastructure camera 10 and distributes video data Dm to which information is added to the distribution destination system 30. For this purpose, the video distribution network system 1 is configured to include an infrastructure camera 10, a video processing system 20, a distribution destination system 30, and a communication network NW. The communication network NW here is an infrastructure network that combines wireless communication and wired communication.

道路周辺の定点に設置された、固定式又は可動式カメラであるインフラカメラ１０は、対象とする道路上の、例えば道路ユーザー、及び障害物等を撮像する。インフラカメラ１０は、撮像した時系列の画像である映像フレームＦｍを、通信ネットワークＮＷを通じて映像処理システム２０へと送信する。このときインフラカメラ１０は、定常的な送信周期毎に時系列に、映像フレームＦｍの送信を実行する。こうしたインフラカメラ１０としては、複数台のカメラが想定されるが、以下の説明では、一台のインフラカメラ１０による処理が代表的にとりあげられる。 The infrastructure camera 10, which is a fixed or movable camera installed at a fixed point around a road, captures images of, for example, road users and obstacles on the target road. The infrastructure camera 10 transmits video frames Fm, which are captured time-series images, to the video processing system 20 via the communication network NW. At this time, the infrastructure camera 10 transmits the video frames Fm in time series at every regular transmission cycle. Although it is assumed that a plurality of cameras are used as such infrastructure camera 10, the following description will typically take up processing by one infrastructure camera 10.

映像処理システム２０は、例えばクラウドサーバ、又はエッジサーバ等、少なくとも一つのネットワークサーバによって構築される。映像処理システム２０は、インフラカメラ１０との間の通信ネットワークＮＷを通じてインフラカメラ１０から映像フレームＦｍを受信し、復号によって取得される映像フレームＦｍを、処理する。映像処理システム２０は、映像フレームＦｍを処理することで得られる映像データＤｍを、通信ネットワークＮＷを通じて配信先システム３０へ出力する。このような映像処理システム２０は、例えば通信混雑等によって通信ネットワークＮＷに生じる遅延として、インフラカメラ１０による映像フレームＦｍの送信から自システム２０による取得までの間の遅延を、検出する。そこで映像処理システム２０は、遅延検出結果を表す情報を、映像データＤｍに付加して配信先システム３０へと提供する。 The video processing system 20 is constructed of at least one network server, such as a cloud server or an edge server. The video processing system 20 receives the video frame Fm from the infrastructure camera 10 through the communication network NW with the infrastructure camera 10, and processes the video frame Fm obtained by decoding. The video processing system 20 outputs video data Dm obtained by processing the video frame Fm to the distribution destination system 30 via the communication network NW. Such a video processing system 20 detects a delay between transmission of the video frame Fm by the infrastructure camera 10 and acquisition by the own system 20, as a delay occurring in the communication network NW due to, for example, communication congestion. Therefore, the video processing system 20 adds information representing the delay detection result to the video data Dm and provides it to the distribution destination system 30.

ここで配信先システム３０は、映像処理システム２０から出力される映像フレームＦｍの時系列な映像データＤｍを必要とする、当該出力先の受信ユーザーによって管理される。配信先システム３０は、映像処理システム２０からの出力によって配信される映像データＤｍを、受信ユーザー別の受信目的に応じて利用する。配信先システム３０は、例えば自動運転車等の道路ユーザーである車両の制御に映像データＤｍを利用する、当該車両のＥＣＵ（Electronic Control Unit）によって構築されてもよい。配信先システム３０は、例えば交通関連等のサービスに映像データＤｍを利用する、ユーザーとしてのサービサのネットワークサーバによって構築されてもよい。 Here, the distribution destination system 30 is managed by a receiving user of the output destination who requires the time-series video data Dm of the video frames Fm output from the video processing system 20. The distribution destination system 30 uses the video data Dm distributed by the output from the video processing system 20 according to the reception purpose of each receiving user. The distribution destination system 30 may be constructed by an ECU (Electronic Control Unit) of a vehicle that uses the video data Dm to control a vehicle that is a road user, such as a self-driving car. The distribution destination system 30 may be constructed by a network server of a servicer serving as a user, which uses the video data Dm for transportation-related services, for example.

こうした配信先システム３０へと情報提供する、映像処理システム２０を構成の専用コンピュータは、メモリ２０２及びプロセッサ２０１を、少なくとも一つずつ有している。メモリ２０２は、コンピュータにより読み取り可能なプログラム及びデータ等を非一時的に記憶する、例えば半導体メモリ、磁気媒体、及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。プロセッサ２０１は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、及びＲＩＳＣ（Reduced Instruction Set Computer）－ＣＰＵ等のうち、少なくとも一種類をコアとして含む。 A dedicated computer constituting the video processing system 20 that provides information to the distribution destination system 30 has at least one memory 202 and one processor 201. The memory 202 is at least one type of non-transitory physical storage medium, such as a semiconductor memory, a magnetic medium, and an optical medium, that non-temporarily stores computer-readable programs and data. tangible storage medium). The processor 201 includes, as a core, at least one type of, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and a RISC (Reduced Instruction Set Computer)-CPU.

プロセッサ２０１は、メモリ２０２に記憶された映像処理プログラムに含まれる複数の命令を、実行する。これにより映像処理システム２０は、映像フレームＦｍを処理するための機能ブロックを、複数構築する。このように映像処理システム２０では、映像フレームにおける遅延を検出するためにメモリ２０２に記憶された映像処理プログラムが複数命令をプロセッサ２０１に実行させることで、機能ブロックが複数構築される。図２に示すように、映像処理システム２０により構築される複数の機能ブロックには、映像フレーム取得ブロック２００、遅延判定ブロック２１０、及び映像データ出力ブロック２２０が含まれる。 Processor 201 executes a plurality of instructions included in a video processing program stored in memory 202. Thereby, the video processing system 20 constructs a plurality of functional blocks for processing the video frame Fm. In this way, in the video processing system 20, a plurality of functional blocks are constructed by the video processing program stored in the memory 202 causing the processor 201 to execute a plurality of instructions in order to detect delays in video frames. As shown in FIG. 2, the plurality of functional blocks constructed by the video processing system 20 include a video frame acquisition block 200, a delay determination block 210, and a video data output block 220.

これら映像フレーム取得ブロック２００、遅延判定ブロック２１０、及び映像データ出力ブロック２２０の共同により、映像フレームＦｍにおける遅延を検出する映像処理方法のフロー（以下、映像処理フロー）を、図３に従って以下に説明する。本フローは、映像処理システムの起動時に開始され、停止時に終了される。尚、本フローにおいて「Ｓ」とは、映像処理プログラムに含まれた複数命令により実行される、複数ステップをそれぞれ意味する。 A flow of a video processing method (hereinafter referred to as a video processing flow) for detecting a delay in a video frame Fm by the collaboration of the video frame acquisition block 200, delay determination block 210, and video data output block 220 will be described below with reference to FIG. do. This flow starts when the video processing system starts up and ends when it stops. Note that in this flow, "S" means a plurality of steps each executed by a plurality of instructions included in the video processing program.

映像処理フローのＳ１００において遅延判定ブロック２１０は、遅延フレーム残数Ｎｄを初期化する（Ｎｄ＝０）。遅延フレーム残数Ｎｄは、後述のＳ１０３にて算出された数の遅延フレームＦｄのうち、Ｓ１０４での遅延情報付加を受けていない遅延フレームＦｄの数である。 In S100 of the video processing flow, the delay determination block 210 initializes the remaining number of delayed frames Nd (Nd=0). The remaining number of delayed frames Nd is the number of delayed frames Fd to which delay information has not been added in S104, out of the number of delayed frames Fd calculated in S103, which will be described later.

Ｓ１０１において映像フレーム取得ブロック２００は、インフラカメラ１０から時系列順に送信される映像フレームＦｍを、図４に示すように受信する。ここで映像フレーム取得ブロック２００は、インフラカメラ１０にて定常に設定される送信周期を正規間隔Ｔｉとして、映像フレームＦｍを定期的に取得する。 In S101, the video frame acquisition block 200 receives video frames Fm transmitted in chronological order from the infrastructure camera 10, as shown in FIG. 4. Here, the video frame acquisition block 200 periodically acquires video frames Fm, with the transmission period regularly set in the infrastructure camera 10 being a regular interval Ti.

図３に示すＳ１０２において遅延判定ブロック２１０は、正規間隔Ｔｉで取得される映像フレームＦｍよりも遅延した遅延フレームＦｄを特定するために、図５に示すように映像フレームＦｍを取得する間隔（以下、取得間隔という）Ｔｒが遅延許容範囲Ｒａ外に増大しているか、及び、遅延フレーム残数Ｎｄが１以上であるか、を判定する。ここで、遅延許容範囲Ｒａは正規間隔Ｔｉを超過する範囲であればよい。特に本実施形態では、遅延許容範囲Ｒａは正規間隔Ｔｉの２倍の時間（２Ｔｉ）として設定されている。尚、映像処理システム２０の起動後における初回の映像処理フローでは、取得間隔Ｔｒの基準となる前回取得の映像フレームＦｍが存在しない。そのため、初回のサイクルにおけるＳ１０２では、取得間隔Ｔｒが遅延許容範囲Ｒａ外に増大していないと判定する。 In S102 shown in FIG. 3, the delay determination block 210 determines the interval at which video frames Fm are acquired (hereinafter referred to as , acquisition interval) has increased outside the allowable delay range Ra, and whether the remaining number of delayed frames Nd is 1 or more. Here, the delay tolerance range Ra may be any range that exceeds the normal interval Ti. In particular, in this embodiment, the delay tolerance range Ra is set as a time twice the normal interval Ti (2Ti). Note that in the first video processing flow after the video processing system 20 is started, there is no previously acquired video frame Fm that serves as a reference for the acquisition interval Tr. Therefore, in S102 in the first cycle, it is determined that the acquisition interval Tr has not increased beyond the allowable delay range Ra.

図３に示すＳ１０２により、映像フレームＦｍの取得間隔Ｔｒが遅延許容範囲Ｒａ外に増大している（図５参照）、かつ／又は遅延フレーム残数Ｎｄが１以上、と判定された場合のＳ１０３において遅延判定ブロック２１０は、正規間隔Ｔｉと、遅延許容範囲Ｒａ外の取得間隔Ｔｒである遅延取得間隔Ｔｄとの比率Ｔｄ／Ｔｉに応じたフレーム数Ｎの映像フレームＦｍを、遅延フレームＦｄとして特定する。具体的に遅延判定ブロック２１０は、比率Ｔｄ／Ｔｉに応じた、遅延フレームＦｄのフレーム数Ｎを、以下の数１に従って算出する。 S103 when it is determined in S102 shown in FIG. 3 that the acquisition interval Tr of video frames Fm has increased outside the allowable delay range Ra (see FIG. 5) and/or the remaining number of delayed frames Nd is 1 or more , the delay determination block 210 specifies, as a delayed frame Fd, a video frame Fm with a number N of frames corresponding to the ratio Td/Ti between the normal interval Ti and the delayed acquisition interval Td, which is an acquisition interval Tr outside the allowable delay range Ra. do. Specifically, the delay determination block 210 calculates the number N of delayed frames Fd according to the ratio Td/Ti according to Equation 1 below.

Ｓ１０３における、数１によるフレーム数Ｎの算出により遅延フレームＦｄを特定する原理を、図５に基づき詳細に説明する。図５では、正規間隔Ｔｉによる映像フレームＦｍの取得タイミングが、二点鎖線で示されている。図５の例では、映像フレームＦｍ１の取得間隔Ｔｒが、遅延取得間隔Ｔｄとして４Ｔｉ以上５Ｔｉ未満に増大している。この場合、映像フレームＦｍ１の遅延により、映像フレームＦｍ１に続く３枚の映像フレームＦｍも、正規間隔Ｔｉによる取得タイミングよりも遅延して取得されることとなる。そこで遅延判定ブロック２１０は、遅延した映像フレームＦｍ１である遅延フレームＦｄの遅延取得間隔Ｔｄに基づいて、当該映像フレームＦｍ１に続く３枚の映像フレームＦｍも、遅延フレームＦｄとして特定する。

The principle of specifying the delayed frame Fd by calculating the frame number N using Equation 1 in S103 will be explained in detail based on FIG. 5. In FIG. 5, the acquisition timing of the video frame Fm according to the regular interval Ti is indicated by a two-dot chain line. In the example of FIG. 5, the acquisition interval Tr of the video frame Fm1 is increased to 4Ti or more and less than 5Ti as the delayed acquisition interval Td. In this case, due to the delay of the video frame Fm1, the three video frames Fm following the video frame Fm1 are also acquired with a delay from the acquisition timing based on the regular interval Ti. Therefore, the delay determination block 210 also identifies three video frames Fm following the video frame Fm1 as delayed frames Fd, based on the delayed acquisition interval Td of the delayed frame Fd, which is the delayed video frame Fm1.

図３に示すように、Ｓ１０３に続くＳ１０４において遅延判定ブロック２１０は、通信の遅延状態を示す、例えばフラグ等の遅延情報Ｉｄを、遅延フレームＦｄに付加する。 As shown in FIG. 3, in S104 following S103, the delay determination block 210 adds delay information Id, such as a flag, indicating the communication delay state to the delayed frame Fd.

Ｓ１０４に続くＳ１０５において遅延判定ブロック２１０は、遅延フレーム残数Ｎｄを、Ｎ―１に設定する（Ｎｄ＝Ｎ－１）。Ｓ１０５の実行後、映像処理フローはＳ１０９へ進む。 In S105 following S104, the delay determination block 210 sets the remaining number of delayed frames Nd to N-1 (Nd=N-1). After executing S105, the video processing flow advances to S109.

上述のＳ１０２により、映像フレームＦｍの取得間隔Ｔｒが遅延許容範囲Ｒａ外に増大していない、かつ、遅延フレーム残数Ｎｄが１以上ではない、と判定された場合に映像処理フローはＳ１０６へ進む。Ｓ１０６において遅延判定ブロック２１０は、映像フレームＦｍの取得間隔Ｔｒが復帰判定範囲Ｒｒ内から復帰判定範囲Ｒｒ外に増大したか否かを、判定する。ここで復帰判定範囲Ｒｒは、正規間隔Ｔｉ未満の範囲であればよい。特に本実施形態では、復帰判定範囲Ｒｒは正規間隔Ｔｉの１／２の時間（Ｔｉ／２）として設定されている。 If it is determined in S102 that the acquisition interval Tr of the video frames Fm has not increased beyond the allowable delay range Ra, and that the remaining number of delayed frames Nd is not greater than or equal to 1, the video processing flow advances to S106. . In S106, the delay determination block 210 determines whether the acquisition interval Tr of the video frames Fm has increased from within the return determination range Rr to outside the return determination range Rr. Here, the return determination range Rr may be any range that is less than the normal interval Ti. In particular, in this embodiment, the return determination range Rr is set as a time (Ti/2) that is 1/2 of the normal interval Ti.

Ｓ１０６により、取得間隔Ｔｒが復帰判定範囲Ｒｒ外に増大したと判定された場合、映像処理フローはＳ１０７へ進む。この場合、映像フレームＦｍは、取得間隔Ｔｒが遅延許容範囲Ｒａ内かつ復帰判定範囲Ｒｒ外となっている正常フレームである。Ｓ１０７において遅延判定ブロック２１０は、遅延が生じていない正常状態を示す、例えばフラグ等の正常情報Ｉｎを正常な映像フレームＦｍに付加する。これにより遅延判定ブロック２１０は、映像フレームＦｍの取得間隔Ｔｒが遅延許容範囲Ｒａ内において復帰判定範囲Ｒｒ内から復帰判定範囲Ｒｒ外に増大するのに応じて、後述の準遅延フレームＦｓ特定を中止することとなる。Ｓ１０７の実行後、映像処理フローはＳ１０９へ進む。 If it is determined in S106 that the acquisition interval Tr has increased outside the return determination range Rr, the video processing flow advances to S107. In this case, the video frame Fm is a normal frame in which the acquisition interval Tr is within the delay tolerance range Ra and outside the return determination range Rr. In S107, the delay determination block 210 adds normal information In, such as a flag, indicating a normal state in which no delay occurs, to the normal video frame Fm. As a result, the delay determination block 210 stops identifying the semi-delayed frame Fs, which will be described later, as the acquisition interval Tr of the video frame Fm increases from within the return determination range Rr to outside the return determination range Rr within the delay tolerance range Ra. I will do it. After executing S107, the video processing flow advances to S109.

一方、Ｓ１０６において取得間隔Ｔｒが復帰判定範囲Ｒｒ外に増大していないと判定される場合であっても、今回取得した映像フレームＦｍは、遅延フレームＦｄではない。しかし、この場合に今回取得の映像フレームＦｍは、図５に示すように正規の取得時刻よりも遅延して取得された、準遅延フレームＦｓであると考えられる。そこで遅延判定ブロック２１０は、比率Ｔｄ／Ｔｉに応じたフレーム数Ｎの遅延フレームＦｄを特定後に、取得間隔Ｔｒが遅延許容範囲Ｒａ内のうち復帰判定範囲Ｒｒ内に減少している映像フレームＦｍを、準遅延フレームＦｓとして特定する。Ｓ１０６により、取得間隔Ｔｒが復帰判定範囲Ｒｒ外に増大していないと判定された場合、映像処理フローはＳ１０８へ進む。Ｓ１０８において遅延判定ブロック２１０は、遅延情報Ｉｄとは区別して通信の準遅延状態を示す、例えばフラグ等の準遅延情報Ｉｓを準遅延フレームＦｓに付加する。Ｓ１０８の実行後、映像処理フローはＳ１０９へ進む。 On the other hand, even if it is determined in S106 that the acquisition interval Tr has not increased beyond the return determination range Rr, the video frame Fm acquired this time is not a delayed frame Fd. However, in this case, the currently acquired video frame Fm is considered to be a semi-delayed frame Fs that is acquired later than the regular acquisition time, as shown in FIG. Therefore, after specifying the delayed frames Fd of the number N of frames according to the ratio Td/Ti, the delay determination block 210 selects video frames Fm whose acquisition interval Tr is within the delay tolerance range Ra and falls within the return determination range Rr. , is specified as a semi-delayed frame Fs. If it is determined in S106 that the acquisition interval Tr has not increased outside the return determination range Rr, the video processing flow advances to S108. In S108, the delay determination block 210 adds semi-delay information Is, such as a flag, to the semi-delayed frame Fs, which indicates the semi-delayed state of communication, in distinction from the delay information Id. After executing S108, the video processing flow advances to S109.

Ｓ１０９において映像データ出力ブロック２２０は、遅延情報Ｉｄ、正常情報Ｉｎ、又は準遅延情報Ｉｓが付加された映像フレームＦｍを内包するデータとして、映像フレームＦｍの時系列な映像データＤｍを、配信先システム３０へ向けて出力する。このとき出力される映像データＤｍは、情報Ｉｄ，Ｉｎ，Ｉｓのいずれかが付加された映像フレームＦｍ自体であってもよい。このとき出力される映像データＤｍは、情報Ｉｄ，Ｉｎ，Ｉｓのいずれかが付加されてから、例えば認識処理による認識情報等の他情報も映像データ出力ブロック２２０によって付加された映像フレームＦｍであってもよい。Ｓ１０９の実行後、映像処理フローはＳ１０１へと戻る。 In S109, the video data output block 220 outputs the time-series video data Dm of the video frame Fm to the distribution destination system as data including the video frame Fm to which delay information Id, normal information In, or semi-delay information Is is added. Output towards 30. The video data Dm output at this time may be the video frame Fm itself to which any of the information Id, In, and Is is added. The video data Dm output at this time is a video frame Fm to which any of the information Id, In, and Is has been added, and other information such as recognition information through recognition processing has also been added by the video data output block 220. It's okay. After executing S109, the video processing flow returns to S101.

以上の映像処理フローのＳ１０１～Ｓ１０９が繰り返されることにより、インフラカメラ１０より時系列に受信される映像フレームＦｍを処理した映像データＤｍが、当該時系列順に出力されることとなる By repeating S101 to S109 of the above video processing flow, video data Dm obtained by processing the video frames Fm received in chronological order from the infrastructure camera 10 will be output in the chronological order.

（作用効果）
以上説明した第一実施形態の作用効果を、以下に説明する。 (effect)
The effects of the first embodiment described above will be described below.

第一実施形態では、取得間隔Ｔｒが遅延許容範囲Ｒａ外に増大した映像フレームＦｍは、正規間隔Ｔｉで取得される映像フレームＦｍよりも遅延した遅延フレームＦｄとして、遅延情報Ｉｄを付加される。これによれば、遅延情報Ｉｄの付加された遅延フレームＦｄを内包する、映像フレームＦｍの時系列な映像データＤｍが出力されることで、インフラカメラ１０の仕様に関わらず、遅延フレームＦｄに付加された遅延情報Ｉｄに基づき、映像フレームＦｍの遅延状況を認識することができる。故に、汎用性と信頼性とを両立させることが可能となる。 In the first embodiment, a video frame Fm whose acquisition interval Tr has increased outside the allowable delay range Ra is added with delay information Id as a delayed frame Fd delayed from a video frame Fm acquired at a regular interval Ti. According to this, by outputting the time-series video data Dm of the video frame Fm including the delayed frame Fd to which the delay information Id is added, regardless of the specifications of the infrastructure camera 10, Based on the delay information Id, the delay status of the video frame Fm can be recognized. Therefore, it is possible to achieve both versatility and reliability.

第一実施形態では、定常に設定される正規間隔Ｔｉと、遅延許容範囲Ｒａ外の取得間隔Ｔｒである遅延取得間隔Ｔｄとの比率に応じたフレーム数Ｎの映像フレームＦｍが、遅延フレームＦｄとして特定される。これによれば、遅延取得間隔Ｔｄ内に取得されたフレーム数Ｎの映像フレームＦｍを全て遅延フレームＦｄとして、遅延情報Ｉｄを付加することができる。故に、汎用性を確保しつつ、遅延フレームＦｄの数の見極めにより信頼性を向上させることが可能となる。 In the first embodiment, the video frames Fm of the number N of frames corresponding to the ratio between the regular interval Ti set at a constant time and the delayed acquisition interval Td which is the acquisition interval Tr outside the delay tolerance range Ra are used as the delayed frames Fd. be identified. According to this, all the video frames Fm of the number N of frames acquired within the delayed acquisition interval Td can be treated as delayed frames Fd, and the delay information Id can be added. Therefore, while ensuring versatility, reliability can be improved by determining the number of delayed frames Fd.

第一実施形態では、正規間隔Ｔｉと遅延取得間隔Ｔｄとの比率に応じたフレーム数Ｎの遅延フレームＦｄを特定後に取得間隔Ｔｒが遅延許容範囲Ｒａ内のうち復帰判定範囲Ｒｒ内に減少している映像フレームＦｍが、準遅延フレームＦｓとして特定される。そして、遅延情報Ｉｄとは区別される準遅延情報Ｉｓが、準遅延フレームＦｓに付加される。これによれば、遅延フレームＦｄの影響によって副次的に遅延した準遅延フレームＦｓを特定して、準遅延情報Ｉｓを付加することができる。故に、汎用性を確保しつつ、副次的な遅延まで考慮して信頼性を向上させることが可能となる。 In the first embodiment, after specifying delayed frames Fd of the number N of frames according to the ratio between the normal interval Ti and the delayed acquisition interval Td, the acquisition interval Tr is reduced to within the return determination range Rr within the delay tolerance range Ra. The video frame Fm that is present is specified as the semi-delayed frame Fs. Then, semi-delay information Is, which is distinguished from delay information Id, is added to the semi-delay frame Fs. According to this, it is possible to specify the semi-delayed frame Fs that is secondarily delayed due to the influence of the delayed frame Fd, and to add the semi-delay information Is. Therefore, while ensuring versatility, it is possible to improve reliability by taking even secondary delays into account.

第一実施形態では、取得間隔Ｔｒが遅延許容範囲Ｒａ内で復帰判定範囲Ｒｒ内から復帰判定範囲Ｒｒ外に増大するのに応じて、遅延フレームＦｄの特定が中止される。これによれば、映像フレームＦｍの遅延が解消されるまで遅延フレームＦｄの特定が継続されることになるので、当該遅延の影響を受けた遅延フレームＦｄに限定して正確に遅延情報Ｉｄを付加することができる。故に、汎用性を確保しつつ、信頼性を向上させることが可能となる。 In the first embodiment, the identification of the delayed frame Fd is stopped as the acquisition interval Tr increases from within the return determination range Rr to outside the return determination range Rr within the delay tolerance range Ra. According to this, since the identification of the delayed frame Fd will continue until the delay of the video frame Fm is resolved, the delay information Id will be added accurately only to the delayed frame Fd that has been affected by the delay. can do. Therefore, it is possible to improve reliability while ensuring versatility.

第一実施形態の復帰判定範囲Ｒｒは、正規間隔Ｔｉ未満の範囲である。これによれば、遅延フレームＦｄの影響によって副次的に遅延した準遅延フレームＦｓを正確に特定して、準遅延情報Ｉｓを付加することができる。故に、副次的な遅延まで考慮した高い信頼性を担保することが可能となる。 The return determination range Rr of the first embodiment is a range that is less than the normal interval Ti. According to this, it is possible to accurately identify the semi-delayed frame Fs that is secondarily delayed due to the influence of the delayed frame Fd, and to add the semi-delay information Is. Therefore, it is possible to ensure high reliability even in consideration of secondary delays.

第一実施形態の映像処理システムは、遅延情報Ｉｄが付加された遅延フレームＦｄを内包する、映像フレームＦｍの時系列な映像データＤｍを、出力先のユーザーへ配信する。これにより出力先のユーザーには、遅延フレームＦｄの遅延情報Ｉｄに基づく映像フレームＦｍの遅延状況を考慮して、映像データＤｍを利用させることができる。故に、出力先のユーザーに対して汎用性と信頼性とを両立させることが可能となる。 The video processing system of the first embodiment delivers time-series video data Dm of video frames Fm, including a delayed frame Fd to which delay information Id is added, to an output destination user. Thereby, the user at the output destination can use the video data Dm in consideration of the delay situation of the video frame Fm based on the delay information Id of the delayed frame Fd. Therefore, it is possible to achieve both versatility and reliability for the output destination user.

（第二実施形態）
第二実施形態は、第一実施形態の変形例である。 (Second embodiment)
The second embodiment is a modification of the first embodiment.

第二実施形態による映像処理フローでは、図６に示すように、第一実施形態と同様のＳ１００～Ｓ１０５が実行される。第二実施形態による映像処理フローのＳ１０２において、映像フレームを取得する間隔Ｔｒが遅延許容範囲Ｒａ外に増大していない、かつ、遅延フレーム残数Ｎｄが１以上でないと判定された場合、映像処理フローはＳ１１０へ進む。Ｓ１１０において遅延判定ブロック２１０は、現在時刻を、映像フレームＦｍの正規取得時刻Ｔｏとして設定する。Ｓ１１０の実行後、映像処理フローはＳ１０６へ進む。尚、Ｓ１０６～Ｓ１０８は、第一実施形態と同様である。 In the video processing flow according to the second embodiment, as shown in FIG. 6, steps S100 to S105 similar to those in the first embodiment are executed. In S102 of the video processing flow according to the second embodiment, if it is determined that the interval Tr for acquiring video frames has not increased outside the delay tolerance range Ra and the remaining number of delayed frames Nd is not 1 or more, the video processing The flow advances to S110. In S110, the delay determination block 210 sets the current time as the regular acquisition time To of the video frame Fm. After executing S110, the video processing flow advances to S106. Note that S106 to S108 are the same as in the first embodiment.

一方、Ｓ１０５に続くＳ１１１において遅延判定ブロック２１０は、正規間隔Ｔｉと、遅延フレームＦｄのフレーム数Ｎとに相関する時刻として、正規取得時刻Ｔｏを推定する。具体的に、遅延判定ブロック２１０は、遅延フレームＦｄが特定される直前に取得した映像フレームＦｍの取得時刻に対して、正規間隔Ｔｉに遅延フレームＦｄのフレーム数Ｎを掛けた値（Ｔｉ×Ｎ）を足すことで算出される時刻を、映像フレームＦｍの正規取得時刻Ｔｏとして推定する。 On the other hand, in S111 following S105, the delay determination block 210 estimates the normal acquisition time To as a time that correlates with the normal interval Ti and the number N of frames of the delayed frame Fd. Specifically, the delay determination block 210 calculates a value obtained by multiplying the regular interval Ti by the number N of delayed frames Fd (Ti×N ) is estimated as the regular acquisition time To of the video frame Fm.

Ｓ１１１の実行後、映像処理フローはＳ１１２へ進む。またＳ１０７の実行後も、映像処理フローはＳ１１２へ進む。さらにＳ１０８の実行後も、映像処理フローはＳ１１２へ進む。Ｓ１１２において遅延判定ブロック２１０は、正規取得時刻Ｔｏを映像フレームＦｍに付加する。 After executing S111, the video processing flow advances to S112. Further, even after executing S107, the video processing flow proceeds to S112. Furthermore, even after executing S108, the video processing flow proceeds to S112. In S112, the delay determination block 210 adds the regular acquisition time To to the video frame Fm.

Ｓ１１２に続くＳ１１３において遅延判定ブロック２１０は、インフラカメラ１０からの映像フレームＦｍの送信時刻を推定する。具体的に遅延判定ブロック２１０は、正規取得時刻Ｔｏから定常遅延時間Ｔｒｄ分遡った時刻を、映像フレームＦｍの送信時刻として推定する。ここで定常遅延時間Ｔｒｄとは、通信ネットワークＮＷにおける例えば外乱等の影響が存在しない正常な場合に、インフラカメラ１０による映像フレームＦｍの送信から、映像処理システム２０による当該映像フレームＦｍの取得までに定常的に生じる時間に、定義される。さらにＳ１１３において遅延判定ブロック２１０は、上記したように推定した送信時刻を、映像フレームＦｍに付加する。尚、Ｓ１１３に続くＳ１０９は、第一実施形態と同様である。 In S113 following S112, the delay determination block 210 estimates the transmission time of the video frame Fm from the infrastructure camera 10. Specifically, the delay determination block 210 estimates a time that is a regular delay time Trd from the regular acquisition time To as the transmission time of the video frame Fm. Here, the steady delay time Trd is defined as the period from transmission of the video frame Fm by the infrastructure camera 10 to acquisition of the video frame Fm by the video processing system 20 in a normal case where the communication network NW is not affected by disturbances or the like. Defined as a regularly occurring time. Furthermore, in S113, the delay determination block 210 adds the transmission time estimated as described above to the video frame Fm. Note that S109 following S113 is the same as in the first embodiment.

以上の映像処理フローにより、映像処理システム２０は、正規取得時刻Ｔｏを、遅延情報Ｉｄ、準遅延情報Ｉｓ、又は正常情報と共に映像フレームＦｍに付加することとなる。さらに映像処理システム２０は、定常遅延時間Ｔｒｄ分、正規取得時刻Ｔｏから遡った時刻を遅延フレームＦｄの送信時刻として、遅延情報Ｉｄ、準遅延情報Ｉｓ、又は正常情報と共に映像フレームＦｍに付加することとなる。 Through the above video processing flow, the video processing system 20 adds the regular acquisition time To to the video frame Fm together with the delay information Id, the semi-delay information Is, or the normal information. Furthermore, the video processing system 20 adds a time that is a regular delay time Trd back from the normal acquisition time To to the video frame Fm together with the delay information Id, semi-delay information Is, or normal information as the transmission time of the delayed frame Fd. becomes.

（作用効果）
以上説明した第二実施形態の作用効果を、以下に説明する。 (effect)
The effects of the second embodiment described above will be described below.

第二実施形態では、正規間隔Ｔｉと遅延フレームＦｄのフレーム数Ｎとに相関する正規取得時刻Ｔｏが、遅延情報Ｉｄと共に遅延フレームＦｄに付加される。これによれば、遅延情報Ｉｄだけでなく、映像処理システム２０による正規取得時刻Ｔｏにも基づき遅延フレームＦｄの遅延を、正確に認識することができる。故に、汎用性を確保しつつ、信頼性を向上させることが可能となる。 In the second embodiment, a regular acquisition time To that correlates with the regular interval Ti and the number N of frames of the delayed frame Fd is added to the delayed frame Fd together with the delay information Id. According to this, the delay of the delayed frame Fd can be accurately recognized based not only on the delay information Id but also on the regular acquisition time To by the video processing system 20. Therefore, it is possible to improve reliability while ensuring versatility.

第二実施形態の映像処理システム２０では、映像フレームＦｍのインフラカメラ１０による送信に対して自システム２０による取得までに定常に生じる定常遅延時間Ｔｒｄ分、正規取得時刻Ｔｏから遡った時刻が遅延フレームＦｄの送信時刻として、遅延情報Ｉｄ及び正規取得時刻Ｔｏと共に遅延フレームＦｄに付加される。これによれば、遅延情報Ｉｄだけでなく、映像処理システム２０による正規取得時刻Ｔｏとインフラカメラ１０からの送信時刻とにも基づき遅延フレームＦｄの遅延を、正確に認識することができる。故に、特に高い信頼性を担保することが可能となる。 In the video processing system 20 of the second embodiment, the time that goes back from the regular acquisition time To is a delayed frame by a steady delay time Trd that regularly occurs between the transmission of the video frame Fm by the infrastructure camera 10 and the acquisition by the own system 20. The Fd transmission time is added to the delayed frame Fd along with the delay information Id and the regular acquisition time To. According to this, the delay of the delayed frame Fd can be accurately recognized based not only on the delay information Id but also on the regular acquisition time To by the video processing system 20 and the transmission time from the infrastructure camera 10. Therefore, it is possible to ensure particularly high reliability.

（第三実施形態）
第三実施形態は、第一実施形態の変形例である。 (Third embodiment)
The third embodiment is a modification of the first embodiment.

図７～９に示すように第三実施形態による映像送信ネットワークシステム１Ａは、車載カメラ１０Ａによって撮像された映像フレームＦｍを処理して情報を付加した映像データＤｍを、送信先システム３０Ａへと送信する。そのために映像送信ネットワークシステム１Ａは、車載カメラ１０Ａと共に、映像処理システム２０Ａ、送信先システム３０Ａ、並びに車載ネットワークＮＷＡ及び／又は通信ネットワークＮＷを含んで構成されている。ここで車載ネットワークＮＷＡは、ホスト車両４０Ａに構築された、例えばＬＡＮ（local area network）等であって、ホスト車両４０Ａにおける車載カメラ１０Ａ以外の、例えばセンサ及び／又はアクチュエータ等といった複数の電子機器と接続されている。 As shown in FIGS. 7 to 9, the video transmission network system 1A according to the third embodiment processes the video frame Fm captured by the in-vehicle camera 10A and transmits video data Dm with information added to the destination system 30A. do. For this purpose, the video transmission network system 1A is configured to include an on-vehicle camera 10A, a video processing system 20A, a destination system 30A, and an on-vehicle network NWA and/or a communication network NW. Here, the in-vehicle network NWA is, for example, a LAN (local area network) built in the host vehicle 40A, and is connected to a plurality of electronic devices such as sensors and/or actuators other than the in-vehicle camera 10A in the host vehicle 40A. It is connected.

映像送信ネットワークシステム１Ａのうち車載カメラ１０Ａ及び映像処理システム２０Ａは、ホスト車両４０Ａに搭載されて、車載ネットワークＮＷＡを介して相互接続されている。図７，９に示すように映像送信ネットワークシステム１Ａのうち送信先システム３０Ａは、ホスト車両４０Ａ（即ち、自車両）に搭載されて、車載ネットワークＮＷＡを介して映像処理システム２０Ａと接続されていてもよい。図８，９に示すように映像送信ネットワークシステム１Ａのうち送信先システム３０Ａは、ホスト車両４０Ａ外の他車両に搭載されて、又はホスト車両４０Ａ外のネットワークサーバによって構築されて、通信ネットワークＮＷを介して映像処理システム２０Ａと接続されていてもよい。 Of the video transmission network system 1A, the vehicle-mounted camera 10A and the video processing system 20A are mounted on a host vehicle 40A and interconnected via the vehicle-mounted network NWA. As shown in FIGS. 7 and 9, a destination system 30A of the video transmission network system 1A is mounted on a host vehicle 40A (i.e., own vehicle) and connected to a video processing system 20A via an in-vehicle network NWA. Good too. As shown in FIGS. 8 and 9, the destination system 30A of the video transmission network system 1A is installed in another vehicle other than the host vehicle 40A, or is constructed by a network server outside the host vehicle 40A, and is connected to the communication network NW. It may be connected to the video processing system 20A via a video processing system 20A.

図７～９に示すように、第一実施形態のインフラカメラ１０に対応する第三実施形態の車載カメラ１０Ａは、ホスト車両４０Ａに対して固定式、又は可動式のカメラである。車載カメラ１０Ａは、ホスト車両４０Ａ外における道路上の、例えば道路ユーザー、及び障害物等を撮像する。車載カメラ１０Ａは、撮像した時系列の画像である映像フレームＦｍを、車載ネットワークＮＷＡを通じて、映像処理システム２０Ａへと送信する。このとき車載カメラ１０Ａは、定常的な送信周期毎に時系列に、映像フレームＦｍの送信を実行する。こうした車載カメラ１０Ａとしては、ホスト車両４０Ａにおいて単一又は複数のカメラが想定されるが、以下の説明では、単一の車載カメラ１０Ａによる処理が代表的にとりあげられる。 As shown in FIGS. 7 to 9, the vehicle-mounted camera 10A of the third embodiment, which corresponds to the infrastructure camera 10 of the first embodiment, is a fixed or movable camera with respect to the host vehicle 40A. The vehicle-mounted camera 10A captures images of, for example, road users and obstacles on the road outside the host vehicle 40A. The vehicle-mounted camera 10A transmits video frames Fm, which are captured time-series images, to the video processing system 20A via the vehicle-mounted network NWA. At this time, the vehicle-mounted camera 10A transmits the video frames Fm in time series at each regular transmission cycle. As the vehicle-mounted camera 10A, a single camera or a plurality of cameras may be used in the host vehicle 40A, but in the following description, processing by a single vehicle-mounted camera 10A will be typically taken up.

第一実施形態の映像処理システム２０に対応する第三実施形態の映像処理システム２０Ａは、例えば自動運転車等のホスト車両４０Ａにおいて車載カメラ１０Ａを制御することにより映像データＤｍを処理する、ＥＣＵによって構築される。映像処理システム２０Ａは、車載カメラ１０Ａとの間の車載ネットワークＮＷＡを通じて車載カメラ１０Ａから映像フレームＦｍを受信し、復号によって取得される映像フレームＦｍを、処理する。映像処理システム２０Ａは、映像フレームＦｍを処理することで得られる映像データＤｍを、車載ネットワークＮＷＡ及び／又は通信ネットワークＮＷを通じて送信先システム３０Ａへと出力する。このような映像処理システム２０Ａは、例えば通信混雑等によって車載ネットワークＮＷＡに生じる遅延として、車載カメラ１０Ａによる映像フレームＦｍの送信から映像処理システム２０Ａによる取得までの間の遅延を、検出する。そこで映像処理システム２０Ａは、遅延検出結果を表す情報を、映像データＤｍに付加して送信先システム３０Ａに提供する。 The video processing system 20A of the third embodiment, which corresponds to the video processing system 20 of the first embodiment, uses an ECU that processes video data Dm by controlling an on-vehicle camera 10A in a host vehicle 40A such as a self-driving car. Constructed. The video processing system 20A receives the video frame Fm from the vehicle-mounted camera 10A through the vehicle-mounted network NWA connected to the vehicle-mounted camera 10A, and processes the video frame Fm obtained by decoding. The video processing system 20A outputs video data Dm obtained by processing the video frame Fm to the destination system 30A via the in-vehicle network NWA and/or the communication network NW. Such a video processing system 20A detects a delay between transmission of the video frame Fm by the on-vehicle camera 10A and acquisition by the video processing system 20A as a delay occurring in the in-vehicle network NWA due to, for example, communication congestion. Therefore, the video processing system 20A adds information representing the delay detection result to the video data Dm and provides it to the destination system 30A.

第一実施形態の配信先システム３０に対応する第三実施形態の送信先システム３０Ａは、映像処理システム２０Ａから出力される映像フレームＦｍの時系列な映像データＤｍを必要とする、当該出力先の受信ユーザーによって管理される。送信先システム３０Ａは、映像処理システム２０Ａからの出力によって送信される映像データＤｍを、受信ユーザー別の受信目的に応じて利用する。送信先システム３０Ａは、例えば自動運転車等の道路ユーザである、ホスト車両４０Ａ又は他車両の制御に映像データＤｍを利用する、ＥＣＵによって構築されてもよい。送信先システム３０Ａは、例えば交通関連等のサービスに映像データＤｍを利用する、ユーザとしてのサービサのネットワークサーバによって構築されてもよい。 A transmission destination system 30A of the third embodiment corresponding to the distribution destination system 30 of the first embodiment is an output destination system that requires time-series video data Dm of video frames Fm output from the video processing system 20A. Managed by recipient user. The transmission destination system 30A uses the video data Dm transmitted by the output from the video processing system 20A according to the reception purpose of each receiving user. The destination system 30A may be constructed by an ECU that uses the video data Dm to control the host vehicle 40A or other vehicles, which are road users such as self-driving cars. The destination system 30A may be constructed by a network server of a servicer serving as a user, which uses the video data Dm for transportation-related services, for example.

こうした送信先システム３０Ａへと情報提供する、映像処理システム２０Ａを構成の専用コンピュータは、第一実施形態に準ずるメモリ２０２及びプロセッサ２０１を、少なくとも一つずつ有している。そこで、映像処理システム２０Ａによって構築される複数の機能ブロックには、図２の第一実施形態に準じて映像フレーム取得ブロック２００、遅延判定ブロック２１０、及び映像データ出力ブロック２２０が含まれることになる。但し、これらブロック２００，２１０，２２０の共同による第三実施形態の映像処理フローでは、第一実施形態で説明のフローにおいてインフラカメラ１０、映像処理システム２０、及び配信先システム３０を、それぞれ車載カメラ１０Ａ、映像処理システム２０Ａ、及び送信先システム３０Ａと読み替えた処理が、実行される。 A dedicated computer constituting the video processing system 20A that provides information to the destination system 30A has at least one memory 202 and one processor 201 according to the first embodiment. Therefore, the plurality of functional blocks constructed by the video processing system 20A include a video frame acquisition block 200, a delay determination block 210, and a video data output block 220 according to the first embodiment shown in FIG. . However, in the video processing flow of the third embodiment in which these blocks 200, 210, and 220 cooperate, the infrastructure camera 10, the video processing system 20, and the distribution destination system 30 are replaced with the in-vehicle camera in the flow described in the first embodiment. 10A, video processing system 20A, and destination system 30A are executed.

このような第三実施形態によると、第一実施形態に準ずる作用効果が発揮され得る。ここで第三実施形態によっても、遅延情報Ｉｄの付加された遅延フレームＦｄを内包する、映像フレームＦｍの時系列な映像データＤｍが出力されることで、車載カメラ１０Ａの仕様に関わらず映像フレームＦｍの遅延状況を認識することができるので、汎用性と信頼性とを両立させることが可能となる。 According to such a third embodiment, effects similar to those of the first embodiment can be exhibited. Here, also in the third embodiment, by outputting the time-series video data Dm of the video frame Fm including the delayed frame Fd to which the delay information Id is added, the video frame is Since the delay status of Fm can be recognized, it is possible to achieve both versatility and reliability.

（他の実施形態）
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。 (Other embodiments)
Although multiple embodiments have been described above, the present disclosure is not to be construed as being limited to those embodiments, and may be applied to various embodiments and combinations within the scope of the gist of the present disclosure. Can be done.

変形例では、第二実施形態で説明の映像処理フローにおいてＳ１１１～Ｓ１１３が省略されて、映像フレームＦｍに正規取得時刻Ｔｏが付加されなくてもよい。変形例では、第三実施形態に第二実施形態が適用されてもよい。但し、第三実施形態に適用される第二実施形態の映像処理フローにおける定常遅延時間Ｔｒｄは、車載ネットワークＮＷＡにおける例えば外乱等の影響が存在しない正常な場合に、車載カメラ１０Ａによる映像フレームＦｍの送信から、映像処理システム２０Ａによる当該映像フレームＦｍの取得までに定常的に生じる時間に、定義されるとよい。 In a modified example, S111 to S113 may be omitted in the video processing flow described in the second embodiment, and the regular acquisition time To may not be added to the video frame Fm. In a modification, the second embodiment may be applied to the third embodiment. However, the steady delay time Trd in the video processing flow of the second embodiment applied to the third embodiment is the constant delay time Trd of the video frame Fm by the in-vehicle camera 10A in a normal case where there is no influence of disturbance etc. on the in-vehicle network NWA. It is preferable to define the period of time that regularly occurs from transmission to acquisition of the video frame Fm by the video processing system 20A.

（技術的思想の開示）
この明細書は、以下に列挙する複数の項に記載された複数の技術的思想を開示している。いくつかの項は、後続の項において先行する項を択一的に引用する多項従属形式（a multiple dependent form）により記載されている場合がある。さらに、いくつかの項は、他の多項従属形式の項を引用する多項従属形式（a multiple dependent form referring to another multiple dependent form）により記載されている場合がある。これらの多項従属形式で記載された項は、複数の技術的思想を定義している。尚、本思想の開示欄に記載された括弧内の符号は、先に詳述の実施形態に記載された具体的手段との対応関係を示すものであり、本開示の技術的範囲を限定するものではない。 (Disclosure of technical ideas)
This specification discloses multiple technical ideas described in multiple sections listed below. Some sections may be written in a multiple dependent form, in which subsequent sections alternatively cite preceding sections. Additionally, some terms may be written in a multiple dependent form referring to another multiple dependent form. The terms written in these multiple dependent forms define multiple technical ideas. Note that the symbols in parentheses written in the disclosure column of this idea indicate the correspondence with the specific means described in the previously detailed embodiment, and limit the technical scope of the present disclosure. It's not a thing.

（技術的思想１）
プロセッサを有し、ネットワークを通じてカメラから取得される映像フレームを処理する映像処理システムであって、
プロセッサは、
映像フレームを時系列順に取得することと、
正規間隔で取得される映像フレームよりも遅延した遅延フレームとして、取得間隔が遅延許容範囲外に増大した映像フレームを、特定することと、
遅延フレームに遅延情報を付加することと、
遅延情報の付加された遅延フレームを内包する、映像フレームの時系列な映像データを出力することと、
を実行するように構成される映像処理システム。 (Technical thought 1)
A video processing system having a processor and processing video frames acquired from a camera through a network,
The processor is
acquiring video frames in chronological order;
Identifying a video frame whose acquisition interval has increased beyond a delay tolerance range as a delayed frame delayed from video frames acquired at regular intervals;
Adding delay information to the delayed frame;
Outputting time-series video data of video frames including delay frames to which delay information is added;
A video processing system configured to perform.

（技術的思想２）
遅延フレームを特定することは、
定常に設定される正規間隔と、遅延許容範囲外の取得間隔である遅延取得間隔との比率に応じたフレーム数の映像フレームを遅延フレームとして特定することを、含む技術的思想１に記載の映像処理システム。 (Technical thought 2)
Identifying delayed frames is
The video according to technical idea 1, which includes identifying as delayed frames video frames whose number of frames corresponds to the ratio between a regular interval that is set regularly and a delayed acquisition interval that is an acquisition interval that is outside the delay tolerance range. processing system.

（技術的思想３）
遅延フレームを特定することは、
比率に応じたフレーム数の遅延フレームを特定後に取得間隔が遅延許容範囲内のうち復帰判定範囲内に減少している映像フレームを準遅延フレームとして特定し、
遅延情報を付加することは、
遅延情報とは区別される準遅延情報を、準遅延フレームに付加することを、含み、
映像データを出力することは、
準遅延情報の付加された準遅延フレームを内包する、映像データを出力することを含む、技術的思想２に記載の映像処理システム。 (Technical thought 3)
Identifying delayed frames is
After identifying the number of delayed frames according to the ratio, a video frame whose acquisition interval is within the delay tolerance range and has decreased to within the recovery determination range is identified as a semi-delayed frame,
Adding delay information is
Adding quasi-delay information that is distinguished from delay information to the quasi-delay frame,
To output video data,
The video processing system according to technical idea 2, which includes outputting video data including a semi-delayed frame to which semi-delayed information is added.

（技術的思想４）
遅延フレームを特定することは、
取得間隔が遅延許容範囲内で復帰判定範囲内から復帰判定範囲外に増大するのに応じて、準遅延フレームの特定を中止することを、含む技術的思想３に記載の映像処理システム。 (Technical thought 4)
Identifying delayed frames is
The video processing system according to technical concept 3, further comprising: stopping the identification of the semi-delayed frame in response to the acquisition interval increasing from within the return determination range to outside the return determination range within the delay tolerance range.

（技術的思想５）
復帰判定範囲は、正規間隔未満の範囲である技術的思想３又は４に記載の映像処理システム。 (Technical Thought 5)
The video processing system according to technical concept 3 or 4, wherein the return determination range is a range less than the normal interval.

（技術的思想６）
遅延情報を付加することは、
正規間隔とフレーム数とに相関する正規取得時刻を、遅延情報と共に遅延フレームに付加することを、含む技術的思想２ないし５のいずれか一項に記載の映像処理システム。 (Technical Thought 6)
Adding delay information is
6. The video processing system according to any one of technical ideas 2 to 5, including adding a regular acquisition time that correlates to the regular interval and the number of frames to the delayed frame together with delay information.

（技術的思想７）
遅延情報を付加することは、
映像フレームのカメラによる送信に対して自システムによる取得までに定常に生じる定常遅延時間分、正規取得時刻から遡った時刻を遅延フレームの送信時刻として、遅延情報及び正規取得時刻と共に遅延フレームに付加することを、含む技術的思想６に記載の映像処理システム。 (Technical Thought 7)
Adding delay information is
The time that is past the normal acquisition time is added to the delayed frame along with the delay information and the normal acquisition time as the transmission time of the delayed frame, which corresponds to the regular delay time that occurs between the transmission of the video frame by the camera and the acquisition by the own system. The video processing system according to technical idea 6, which includes:

（技術的思想８）
遅延情報を付加することは、
映像フレームのカメラによる送信に対して自システムによる取得までに定常に生じる定常遅延時間分、正規間隔とフレーム数とに相関する正規取得時刻から遡った時刻を遅延フレームの送信時刻として、遅延情報と共に遅延フレームに付加することを、含む技術的思想２ないし５のいずれか一項に記載の映像処理システム。 (Technical Thought 8)
Adding delay information is
For the regular delay time that occurs between the transmission of the video frame by the camera and the acquisition by the own system, the time back from the regular acquisition time that correlates with the regular interval and the number of frames is set as the transmission time of the delayed frame, along with the delay information. 6. The video processing system according to any one of technical ideas 2 to 5, further comprising adding to a delayed frame.

（技術的思想９）
映像フレームを出力することは、
映像データを、出力先のユーザーへ配信又は送信することを、含む技術的思想１ないし８のいずれか一項に記載の映像処理システム。 (Technical Thought 9)
Outputting video frames is
The video processing system according to any one of technical ideas 1 to 8, which includes distributing or transmitting video data to an output destination user.

（技術的思想１０）
ネットワークとしてのインフラネットワークを通じてカメラとしてのインフラカメラから取得される映像フレームを処理する技術的思想１ないし９のいずれか一項に記載の映像処理システム。 (Technical Thought 10)
The video processing system according to any one of technical ideas 1 to 9, which processes video frames acquired from an infrastructure camera as a camera through an infrastructure network as a network.

（技術的思想１１）
ネットワークとしての車載ネットワークを通じてカメラとしての車載カメラから取得される映像フレームを処理する技術的思想１ないし９のいずれか一項に記載の映像処理システム。 (Technical Thought 11)
The video processing system according to any one of technical ideas 1 to 9, which processes video frames acquired from an in-vehicle camera as a camera through an in-vehicle network as a network.

尚、上述した技術的思想１ないし１１は、方法及びプログラムの各形態で実現されてもよい。 Note that the above-mentioned technical ideas 1 to 11 may be realized in various forms of methods and programs.

１：映像配信ネットワークシステム、１Ａ：映像送信ネットワークシステム、１０：インフラカメラ、１０Ａ：車載カメラ、２０，２０Ａ：映像処理システム、２０１：プロセッサ、２０２：記憶媒体、Ｄｍ：映像データ、Ｆｄ：遅延フレーム、Ｆｍ：映像フレーム、Ｆｓ：準遅延フレーム、Ｉｄ：遅延情報、Ｉｓ：準遅延情報、ＮＷ：通信ネットワーク、ＮＷＡ：車載ネットワーク、Ｒａ：遅延許容範囲、Ｒｒ：復帰判定範囲、Ｔｄ：遅延取得間隔、Ｔｉ：正規間隔、Ｔｏ：正規取得時刻、Ｔｒ：取得間隔、Ｔｒｄ：定常遅延時間 1: Video distribution network system, 1A: Video transmission network system, 10: Infrastructure camera, 10A: Vehicle-mounted camera, 20, 20A: Video processing system, 201: Processor, 202: Storage medium, Dm: Video data, Fd: Delayed frame , Fm: video frame, Fs: semi-delayed frame, Id: delay information, Is: semi-delayed information, NW: communication network, NWA: in-vehicle network, Ra: delay tolerance range, Rr: return determination range, Td: delay acquisition interval , Ti: regular interval, To: regular acquisition time, Tr: acquisition interval, Trd: steady delay time

Claims

プロセッサ（２０１）を有し、ネットワーク（ＮＷ，ＮＷＡ）を通じてカメラ（１０，１０Ａ）から取得される映像フレーム（Ｆｍ）を処理する映像処理システム（２０，２０Ａ）であって、
前記プロセッサは、
前記映像フレームを時系列順に取得することと、
正規間隔（Ｔｉ）で取得される前記映像フレームよりも遅延した遅延フレーム（Ｆｄ）として、取得間隔（Ｔｒ）が遅延許容範囲（Ｒａ）外に増大した前記映像フレームを、特定することと、
前記遅延フレームに遅延情報（Ｉｄ）を付加することと、
前記遅延情報の付加された前記遅延フレームを内包する、前記映像フレームの時系列な映像データ（Ｄｍ）を出力することと、
を実行するように構成される映像処理システム。 A video processing system (20, 20A) having a processor (201) and processing video frames (Fm) acquired from a camera (10, 10A) through a network (NW, NWA),
The processor includes:
acquiring the video frames in chronological order;
Identifying the video frame whose acquisition interval (Tr) has increased outside the delay tolerance range (Ra) as a delayed frame (Fd) delayed from the video frame acquired at a regular interval (Ti);
Adding delay information (Id) to the delayed frame;
outputting time-series video data (Dm) of the video frame including the delayed frame to which the delay information is added;
A video processing system configured to perform.

前記遅延フレームを特定することは、
定常に設定される前記正規間隔と、前記遅延許容範囲外の前記取得間隔である遅延取得間隔（Ｔｄ）との比率に応じたフレーム数の前記映像フレームを前記遅延フレームとして特定することを、含む請求項１に記載の映像処理システム。 Identifying the delayed frame includes:
identifying as the delayed frames the video frames whose number of frames corresponds to the ratio between the regular interval set at a constant time and the delayed acquisition interval (Td) which is the acquisition interval outside the delay tolerance range; The video processing system according to claim 1.

前記遅延フレームを特定することは、
前記フレーム数の前記遅延フレームを特定後に前記取得間隔が前記遅延許容範囲内のうち復帰判定範囲（Ｒｒ）内に減少している前記映像フレームを準遅延フレーム（Ｆｓ）として特定し、
前記遅延情報を付加することは、
前記遅延情報とは区別される準遅延情報（Ｉｓ）を、前記準遅延フレームに付加することを、含み、
前記映像データを出力することは、
前記準遅延情報の付加された前記準遅延フレームを内包する、前記映像データを出力することを含む、請求項２に記載の映像処理システム。 Identifying the delayed frame includes:
After identifying the delayed frames of the number of frames, identifying the video frame whose acquisition interval is within the delay tolerance range and falling within a return determination range (Rr) as a semi-delayed frame (Fs);
Adding the delay information includes:
Adding semi-delay information (Is) that is distinguished from the delay information to the semi-delay frame,
Outputting the video data includes:
The video processing system according to claim 2, further comprising outputting the video data including the semi-delay frame to which the semi-delay information is added.

前記遅延フレームを特定することは、
前記取得間隔が前記遅延許容範囲内で前記復帰判定範囲内から前記復帰判定範囲外に増大するのに応じて、前記準遅延フレームの特定を中止することを、含む請求項３に記載の映像処理システム。 Identifying the delayed frame includes:
4. The video processing according to claim 3, further comprising: ceasing identification of the semi-delayed frame in response to the acquisition interval increasing from within the return determination range to outside the return determination range within the delay tolerance range. system.

前記復帰判定範囲は、前記正規間隔未満の範囲である請求項３に記載の映像処理システム。 4. The video processing system according to claim 3, wherein the return determination range is a range less than the normal interval.

前記遅延情報を付加することは、
前記正規間隔と前記フレーム数とに相関する正規取得時刻（Ｔｏ）を、前記遅延情報と共に前記遅延フレームに付加することを、含む請求項２に記載の映像処理システム。 Adding the delay information includes:
3. The video processing system according to claim 2, further comprising adding a regular acquisition time (To) correlated to the regular interval and the number of frames to the delayed frame together with the delay information.

前記遅延情報を付加することは、
前記映像フレームの前記カメラによる送信に対して自システムによる取得までに定常に生じる定常遅延時間（Ｔｒｄ）分、前記正規取得時刻から遡った時刻を前記遅延フレームの送信時刻として、前記遅延情報及び前記正規取得時刻と共に前記遅延フレームに付加することを、含む請求項６に記載の映像処理システム。 Adding the delay information includes:
A steady delay time (Trd) that regularly occurs between transmission of the video frame by the camera and acquisition by the own system, and a time back from the regular acquisition time as the transmission time of the delayed frame, and the delay information and the The video processing system according to claim 6, further comprising adding a regular acquisition time to the delayed frame.

前記遅延情報を付加することは、
前記映像フレームの前記カメラによる送信に対して自システムによる取得までに定常に生じる定常遅延時間（Ｔｒｄ）分、前記正規間隔と前記フレーム数とに相関する正規取得時刻（Ｔｏ）から遡った時刻を前記遅延フレームの送信時刻として、前記遅延情報と共に前記遅延フレームに付加することを、含む請求項２に記載の映像処理システム。 Adding the delay information includes:
A time that goes back from the normal acquisition time (To) that correlates with the normal interval and the number of frames by a steady delay time (Trd) that regularly occurs between the transmission of the video frame by the camera and the acquisition by the own system. 3. The video processing system according to claim 2, further comprising adding the delay information to the delayed frame as the transmission time of the delayed frame.

前記映像フレームを出力することは、
前記映像データを、出力先のユーザーへ配信又は送信することを、含む請求項１又は２に記載の映像処理システム。 Outputting the video frame includes:
The video processing system according to claim 1 or 2, further comprising distributing or transmitting the video data to an output destination user.

前記ネットワークとしてのインフラネットワーク（ＮＷ）を通じて前記カメラとしてのインフラカメラ（１０）から取得される前記映像フレームを処理する請求項１又は２に記載の映像処理システム。 The video processing system according to claim 1 or 2, which processes the video frame acquired from an infrastructure camera (10) as the camera through an infrastructure network (NW) as the network.

前記ネットワークとしての車載ネットワーク（ＮＷＡ）を通じて前記カメラとしての車載カメラ（１０Ａ）から取得される前記映像フレームを処理する請求項１又は２に記載の映像処理システム。 The video processing system according to claim 1 or 2, wherein the video frame acquired from an in-vehicle camera (10A) as the camera is processed through an in-vehicle network (NWA) as the network.

ネットワーク（ＮＷ，ＮＷＡ）を通じてカメラ（１０，１０Ａ）から取得される映像フレーム（Ｆｍ）における遅延を検出するために、プロセッサ（２０１）に実行される映像処理方法であって、
前記映像フレームを時系列順に取得することと、
正規間隔（Ｔｉ）で取得される前記映像フレームよりも遅延した遅延フレーム（Ｆｄ）として、取得間隔（Ｔｒ）が遅延許容範囲（Ｒａ）外に増大した前記映像フレームを、特定することと、
前記遅延フレームに遅延情報（Ｉｄ）を付加することと、
前記遅延情報の付加された前記遅延フレームを内包する、前記映像フレームの時系列な映像データ（Ｄｍ）を出力することと、
を含む映像処理方法。 A video processing method executed by a processor (201) to detect a delay in a video frame (Fm) acquired from a camera (10, 10A) through a network (NW, NWA), the method comprising:
acquiring the video frames in chronological order;
Identifying the video frame whose acquisition interval (Tr) has increased outside the delay tolerance range (Ra) as a delayed frame (Fd) delayed from the video frame acquired at a regular interval (Ti);
Adding delay information (Id) to the delayed frame;
outputting time-series video data (Dm) of the video frame including the delayed frame to which the delay information is added;
Video processing methods including.

記憶媒体（２０２）に記憶され、ネットワーク（ＮＷ，ＮＷＡ）を通じてカメラ（１０，１０Ａ）から取得される映像フレーム（Ｆｍ）における遅延を検出するためにプロセッサ（２０１）に実行させる命令を含む映像処理プログラムであって、
前記命令は、
前記映像フレームを時系列順に取得させることと、
正規間隔（Ｔｉ）で取得される前記映像フレームよりも遅延した遅延フレーム（Ｆｄ）として、取得間隔（Ｔｒ）が遅延許容範囲（Ｒａ）外に増大した前記映像フレームを、特定させることと、
前記遅延フレームに遅延情報（Ｉｄ）を付加させることと、
前記遅延情報の付加された前記遅延フレームを内包する、前記映像フレームの時系列な映像データ（Ｄｍ）を出力させることと、
を含む映像処理プログラム。 Video processing that is stored in the storage medium (202) and includes instructions for the processor (201) to execute to detect delays in video frames (Fm) acquired from the camera (10, 10A) through the network (NW, NWA) A program,
The said instruction is
acquiring the video frames in chronological order;
Identifying the video frame whose acquisition interval (Tr) has increased outside the delay tolerance range (Ra) as a delayed frame (Fd) delayed from the video frame acquired at a regular interval (Ti);
Adding delay information (Id) to the delayed frame;
Outputting time-series video data (Dm) of the video frame including the delayed frame to which the delay information is added;
Video processing program including.