JP2023181086A - Video processing system, video processing method, and video processing program - Google Patents
Video processing system, video processing method, and video processing program Download PDFInfo
- Publication number
- JP2023181086A JP2023181086A JP2023071013A JP2023071013A JP2023181086A JP 2023181086 A JP2023181086 A JP 2023181086A JP 2023071013 A JP2023071013 A JP 2023071013A JP 2023071013 A JP2023071013 A JP 2023071013A JP 2023181086 A JP2023181086 A JP 2023181086A
- Authority
- JP
- Japan
- Prior art keywords
- video
- frame
- delayed
- delay
- video processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 8
- 230000003111 delayed effect Effects 0.000 claims abstract description 106
- 238000000034 method Methods 0.000 claims abstract description 14
- 230000005540 biological transmission Effects 0.000 claims description 31
- 230000001934 delay Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 2
- 230000002596 correlated effect Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本開示は、ネットワークを通じてカメラから取得される映像フレームを処理する映像処理技術に、関する。 The present disclosure relates to video processing techniques for processing video frames obtained from cameras over a network.
特許文献1には、カメラにより撮像時刻と共に取得された撮像データを、処理する映像処理システムが開示されている。
一般にカメラからネットワークを通じて撮像データを取得する場合、例えばネットワークにおける外乱等により、撮像データのカメラによる送信から映像処理システムでの取得までの間に遅延が生じるおそれがある。この点について、カメラが撮像データと共に撮像時刻を提供する特許文献1の如きタイムスタンプ機能を有していない仕様の場合、撮像データの遅延状況を認識することができず、システムの信頼性が低下するおそれがあった。逆に、特許文献1の映像処理システムは、信頼性を確保するためにタイムスタンプ機能を有する仕様のカメラを用いることを前提としており、汎用性に欠けるおそれがあった。
Generally, when acquiring imaging data from a camera through a network, there is a possibility that a delay may occur between the transmission of the imaging data by the camera and the acquisition by the video processing system due to, for example, disturbance in the network. Regarding this point, if the camera does not have a time stamp function such as the one disclosed in
本開示の課題は、汎用性と信頼性とを両立する映像処理システムを、提供することにある。本開示の別の課題は、汎用性と信頼性とを両立する映像処理方法を、提供することにある。本開示の別の課題は、汎用性と信頼性とを両立する映像処理プログラムを、提供することにある。 An object of the present disclosure is to provide a video processing system that is both versatile and reliable. Another object of the present disclosure is to provide a video processing method that is both versatile and reliable. Another object of the present disclosure is to provide a video processing program that is both versatile and reliable.
以下、課題を解決するための本開示の技術的手段について、説明する。尚、特許請求の範囲及び本欄に記載された括弧内の符号は、後に詳述する実施形態に記載された具体的手段との対応関係を示すものであり、本開示の技術的範囲を限定するものではない。 Hereinafter, technical means of the present disclosure for solving the problems will be explained. Note that the symbols in parentheses described in the claims and this column indicate correspondence with specific means described in the embodiments described in detail later, and do not limit the technical scope of the present disclosure. It's not something you do.
本開示の第一態様は、
プロセッサ(201)を有し、ネットワーク(NW,NWA)を通じてカメラ(10,10A)から取得される映像フレーム(Fm)を処理する映像処理システム(20,20A)であって、
プロセッサは、
映像フレームを時系列順に取得することと、
正規間隔(Ti)で取得される映像フレームよりも遅延した遅延フレーム(Fd)として、取得間隔(Tr)が遅延許容範囲(Ra)外に増大した映像フレームを、特定することと、
遅延フレームに遅延情報(Id)を付加することと、
遅延情報の付加された遅延フレームを内包する、映像フレームの時系列な映像データ(Dm)を出力することと、
を実行するように構成される。
A first aspect of the present disclosure includes:
A video processing system (20, 20A) having a processor (201) and processing video frames (Fm) acquired from a camera (10, 10A) through a network (NW, NWA),
The processor is
acquiring video frames in chronological order;
Identifying a video frame whose acquisition interval (Tr) has increased outside the delay tolerance range (Ra) as a delayed frame (Fd) delayed from a video frame acquired at a regular interval (Ti);
Adding delay information (Id) to the delayed frame;
outputting time-series video data (Dm) of video frames including delay frames to which delay information is added;
configured to run.
本開示の第二態様は、
ネットワーク(NW,NWA)を通じてカメラ(10,10A)から取得される映像フレーム(Fm)における遅延を検出するために、プロセッサ(201)に実行される映像処理方法であって、
映像フレームを時系列順に取得することと、
正規間隔(Ti)で取得される映像フレームよりも遅延した遅延フレーム(Fd)として、取得間隔(Tr)が遅延許容範囲(Ra)外に増大した映像フレームを、特定することと、
遅延フレームに遅延情報(Id)を付加することと、
遅延情報の付加された遅延フレームを内包する、映像フレームの時系列な映像データ(Dm)を出力することと、
を含む。
A second aspect of the present disclosure includes:
A video processing method executed by a processor (201) to detect a delay in a video frame (Fm) acquired from a camera (10, 10A) through a network (NW, NWA), the method comprising:
acquiring video frames in chronological order;
Identifying a video frame whose acquisition interval (Tr) has increased outside the delay tolerance range (Ra) as a delayed frame (Fd) delayed from a video frame acquired at a regular interval (Ti);
Adding delay information (Id) to the delayed frame;
outputting time-series video data (Dm) of video frames including delay frames to which delay information is added;
including.
本開示の第三態様は、
記憶媒体(202)に記憶され、ネットワーク(NW,NWA)を通じてカメラ(10,10A)から取得される映像フレーム(Fm)における遅延を検出するためにプロセッサ(201)に実行させる命令を含む映像処理プログラムであって、
命令は、
映像フレームを時系列順に取得させることと、
正規間隔(Ti)で取得される映像フレームよりも遅延した遅延フレーム(Fd)として、取得間隔(Tr)が遅延許容範囲(Ra)外に増大した映像フレームを、特定させることと、
遅延フレームに遅延情報(Id)を付加させることと、
遅延情報の付加された遅延フレームを内包する、映像フレームの時系列な映像データ(Dm)を出力させることと、
を含む。
A third aspect of the present disclosure is
Video processing that is stored in the storage medium (202) and includes instructions for the processor (201) to execute to detect delays in video frames (Fm) acquired from the camera (10, 10A) through the network (NW, NWA) A program,
The command is
acquiring video frames in chronological order;
Identifying a video frame whose acquisition interval (Tr) has increased outside a delay tolerance range (Ra) as a delayed frame (Fd) delayed from a video frame acquired at a regular interval (Ti);
Adding delay information (Id) to the delayed frame;
Outputting time-series video data (Dm) of video frames including delay frames to which delay information is added;
including.
これら第一~第三態様によると、取得間隔が遅延許容範囲外に増大した映像フレームは、正規間隔で取得される映像フレームよりも遅延した遅延フレームとして、遅延情報を付加される。これによれば、遅延情報の付加された遅延フレームを内包する、映像フレームの時系列な映像データが出力されることで、カメラの仕様に関わらず、遅延フレームに付加された遅延情報に基づき、映像フレームの遅延状況を認識することができる。故に、汎用性と信頼性とを両立させることが可能となる。 According to these first to third aspects, a video frame whose acquisition interval has increased beyond the allowable delay range is added with delay information as a delayed frame that is delayed from a video frame that is acquired at regular intervals. According to this, by outputting time-series video data of video frames including delayed frames to which delay information has been added, regardless of camera specifications, based on the delay information added to the delayed frames, It is possible to recognize the delay situation of video frames. Therefore, it is possible to achieve both versatility and reliability.
以下、本開示の実施形態を図面に基づき複数説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことで、重複する説明を省略する場合がある。また、各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。さらに、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。 Hereinafter, multiple embodiments of the present disclosure will be described based on the drawings. In addition, duplicate explanation may be omitted by attaching the same reference numerals to corresponding components in each embodiment. Further, when only a part of the configuration is described in each embodiment, the configuration of the other embodiments previously described can be applied to other parts of the configuration. Furthermore, in addition to the combinations of configurations specified in the description of each embodiment, it is also possible to partially combine the configurations of multiple embodiments even if not explicitly specified, as long as the combination does not cause any problems.
(第一実施形態)
以下、本開示の第一実施形態を図面に基づき説明する。
(First embodiment)
Hereinafter, a first embodiment of the present disclosure will be described based on the drawings.
図1に示すように第一実施形態による映像配信ネットワークシステム1は、インフラカメラ10により撮像された映像フレームFmを処理して情報を付加した映像データDmを、配信先システム30へと配信する。そのために映像配信ネットワークシステム1は、インフラカメラ10と共に、映像処理システム20、配信先システム30、及び通信ネットワークNWを含んで構成されている。ここで通信ネットワークNWとは、無線通信と有線通信とを融合させた、インフラネットワークである。
As shown in FIG. 1, the video
道路周辺の定点に設置された、固定式又は可動式カメラであるインフラカメラ10は、対象とする道路上の、例えば道路ユーザー、及び障害物等を撮像する。インフラカメラ10は、撮像した時系列の画像である映像フレームFmを、通信ネットワークNWを通じて映像処理システム20へと送信する。このときインフラカメラ10は、定常的な送信周期毎に時系列に、映像フレームFmの送信を実行する。こうしたインフラカメラ10としては、複数台のカメラが想定されるが、以下の説明では、一台のインフラカメラ10による処理が代表的にとりあげられる。
The
映像処理システム20は、例えばクラウドサーバ、又はエッジサーバ等、少なくとも一つのネットワークサーバによって構築される。映像処理システム20は、インフラカメラ10との間の通信ネットワークNWを通じてインフラカメラ10から映像フレームFmを受信し、復号によって取得される映像フレームFmを、処理する。映像処理システム20は、映像フレームFmを処理することで得られる映像データDmを、通信ネットワークNWを通じて配信先システム30へ出力する。このような映像処理システム20は、例えば通信混雑等によって通信ネットワークNWに生じる遅延として、インフラカメラ10による映像フレームFmの送信から自システム20による取得までの間の遅延を、検出する。そこで映像処理システム20は、遅延検出結果を表す情報を、映像データDmに付加して配信先システム30へと提供する。
The
ここで配信先システム30は、映像処理システム20から出力される映像フレームFmの時系列な映像データDmを必要とする、当該出力先の受信ユーザーによって管理される。配信先システム30は、映像処理システム20からの出力によって配信される映像データDmを、受信ユーザー別の受信目的に応じて利用する。配信先システム30は、例えば自動運転車等の道路ユーザーである車両の制御に映像データDmを利用する、当該車両のECU(Electronic Control Unit)によって構築されてもよい。配信先システム30は、例えば交通関連等のサービスに映像データDmを利用する、ユーザーとしてのサービサのネットワークサーバによって構築されてもよい。
Here, the
こうした配信先システム30へと情報提供する、映像処理システム20を構成の専用コンピュータは、メモリ202及びプロセッサ201を、少なくとも一つずつ有している。メモリ202は、コンピュータにより読み取り可能なプログラム及びデータ等を非一時的に記憶する、例えば半導体メモリ、磁気媒体、及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。プロセッサ201は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、及びRISC(Reduced Instruction Set Computer)-CPU等のうち、少なくとも一種類をコアとして含む。
A dedicated computer constituting the
プロセッサ201は、メモリ202に記憶された映像処理プログラムに含まれる複数の命令を、実行する。これにより映像処理システム20は、映像フレームFmを処理するための機能ブロックを、複数構築する。このように映像処理システム20では、映像フレームにおける遅延を検出するためにメモリ202に記憶された映像処理プログラムが複数命令をプロセッサ201に実行させることで、機能ブロックが複数構築される。図2に示すように、映像処理システム20により構築される複数の機能ブロックには、映像フレーム取得ブロック200、遅延判定ブロック210、及び映像データ出力ブロック220が含まれる。
これら映像フレーム取得ブロック200、遅延判定ブロック210、及び映像データ出力ブロック220の共同により、映像フレームFmにおける遅延を検出する映像処理方法のフロー(以下、映像処理フロー)を、図3に従って以下に説明する。本フローは、映像処理システムの起動時に開始され、停止時に終了される。尚、本フローにおいて「S」とは、映像処理プログラムに含まれた複数命令により実行される、複数ステップをそれぞれ意味する。
A flow of a video processing method (hereinafter referred to as a video processing flow) for detecting a delay in a video frame Fm by the collaboration of the video
映像処理フローのS100において遅延判定ブロック210は、遅延フレーム残数Ndを初期化する(Nd=0)。遅延フレーム残数Ndは、後述のS103にて算出された数の遅延フレームFdのうち、S104での遅延情報付加を受けていない遅延フレームFdの数である。
In S100 of the video processing flow, the
S101において映像フレーム取得ブロック200は、インフラカメラ10から時系列順に送信される映像フレームFmを、図4に示すように受信する。ここで映像フレーム取得ブロック200は、インフラカメラ10にて定常に設定される送信周期を正規間隔Tiとして、映像フレームFmを定期的に取得する。
In S101, the video
図3に示すS102において遅延判定ブロック210は、正規間隔Tiで取得される映像フレームFmよりも遅延した遅延フレームFdを特定するために、図5に示すように映像フレームFmを取得する間隔(以下、取得間隔という)Trが遅延許容範囲Ra外に増大しているか、及び、遅延フレーム残数Ndが1以上であるか、を判定する。ここで、遅延許容範囲Raは正規間隔Tiを超過する範囲であればよい。特に本実施形態では、遅延許容範囲Raは正規間隔Tiの2倍の時間(2Ti)として設定されている。尚、映像処理システム20の起動後における初回の映像処理フローでは、取得間隔Trの基準となる前回取得の映像フレームFmが存在しない。そのため、初回のサイクルにおけるS102では、取得間隔Trが遅延許容範囲Ra外に増大していないと判定する。
In S102 shown in FIG. 3, the
図3に示すS102により、映像フレームFmの取得間隔Trが遅延許容範囲Ra外に増大している(図5参照)、かつ/又は遅延フレーム残数Ndが1以上、と判定された場合のS103において遅延判定ブロック210は、正規間隔Tiと、遅延許容範囲Ra外の取得間隔Trである遅延取得間隔Tdとの比率Td/Tiに応じたフレーム数Nの映像フレームFmを、遅延フレームFdとして特定する。具体的に遅延判定ブロック210は、比率Td/Tiに応じた、遅延フレームFdのフレーム数Nを、以下の数1に従って算出する。
S103 when it is determined in S102 shown in FIG. 3 that the acquisition interval Tr of video frames Fm has increased outside the allowable delay range Ra (see FIG. 5) and/or the remaining number of delayed frames Nd is 1 or more , the
図3に示すように、S103に続くS104において遅延判定ブロック210は、通信の遅延状態を示す、例えばフラグ等の遅延情報Idを、遅延フレームFdに付加する。
As shown in FIG. 3, in S104 following S103, the
S104に続くS105において遅延判定ブロック210は、遅延フレーム残数Ndを、N―1に設定する(Nd=N-1)。S105の実行後、映像処理フローはS109へ進む。 In S105 following S104, the delay determination block 210 sets the remaining number of delayed frames Nd to N-1 (Nd=N-1). After executing S105, the video processing flow advances to S109.
上述のS102により、映像フレームFmの取得間隔Trが遅延許容範囲Ra外に増大していない、かつ、遅延フレーム残数Ndが1以上ではない、と判定された場合に映像処理フローはS106へ進む。S106において遅延判定ブロック210は、映像フレームFmの取得間隔Trが復帰判定範囲Rr内から復帰判定範囲Rr外に増大したか否かを、判定する。ここで復帰判定範囲Rrは、正規間隔Ti未満の範囲であればよい。特に本実施形態では、復帰判定範囲Rrは正規間隔Tiの1/2の時間(Ti/2)として設定されている。
If it is determined in S102 that the acquisition interval Tr of the video frames Fm has not increased beyond the allowable delay range Ra, and that the remaining number of delayed frames Nd is not greater than or equal to 1, the video processing flow advances to S106. . In S106, the
S106により、取得間隔Trが復帰判定範囲Rr外に増大したと判定された場合、映像処理フローはS107へ進む。この場合、映像フレームFmは、取得間隔Trが遅延許容範囲Ra内かつ復帰判定範囲Rr外となっている正常フレームである。S107において遅延判定ブロック210は、遅延が生じていない正常状態を示す、例えばフラグ等の正常情報Inを正常な映像フレームFmに付加する。これにより遅延判定ブロック210は、映像フレームFmの取得間隔Trが遅延許容範囲Ra内において復帰判定範囲Rr内から復帰判定範囲Rr外に増大するのに応じて、後述の準遅延フレームFs特定を中止することとなる。S107の実行後、映像処理フローはS109へ進む。
If it is determined in S106 that the acquisition interval Tr has increased outside the return determination range Rr, the video processing flow advances to S107. In this case, the video frame Fm is a normal frame in which the acquisition interval Tr is within the delay tolerance range Ra and outside the return determination range Rr. In S107, the
一方、S106において取得間隔Trが復帰判定範囲Rr外に増大していないと判定される場合であっても、今回取得した映像フレームFmは、遅延フレームFdではない。しかし、この場合に今回取得の映像フレームFmは、図5に示すように正規の取得時刻よりも遅延して取得された、準遅延フレームFsであると考えられる。そこで遅延判定ブロック210は、比率Td/Tiに応じたフレーム数Nの遅延フレームFdを特定後に、取得間隔Trが遅延許容範囲Ra内のうち復帰判定範囲Rr内に減少している映像フレームFmを、準遅延フレームFsとして特定する。S106により、取得間隔Trが復帰判定範囲Rr外に増大していないと判定された場合、映像処理フローはS108へ進む。S108において遅延判定ブロック210は、遅延情報Idとは区別して通信の準遅延状態を示す、例えばフラグ等の準遅延情報Isを準遅延フレームFsに付加する。S108の実行後、映像処理フローはS109へ進む。
On the other hand, even if it is determined in S106 that the acquisition interval Tr has not increased beyond the return determination range Rr, the video frame Fm acquired this time is not a delayed frame Fd. However, in this case, the currently acquired video frame Fm is considered to be a semi-delayed frame Fs that is acquired later than the regular acquisition time, as shown in FIG. Therefore, after specifying the delayed frames Fd of the number N of frames according to the ratio Td/Ti, the
S109において映像データ出力ブロック220は、遅延情報Id、正常情報In、又は準遅延情報Isが付加された映像フレームFmを内包するデータとして、映像フレームFmの時系列な映像データDmを、配信先システム30へ向けて出力する。このとき出力される映像データDmは、情報Id,In,Isのいずれかが付加された映像フレームFm自体であってもよい。このとき出力される映像データDmは、情報Id,In,Isのいずれかが付加されてから、例えば認識処理による認識情報等の他情報も映像データ出力ブロック220によって付加された映像フレームFmであってもよい。S109の実行後、映像処理フローはS101へと戻る。
In S109, the video
以上の映像処理フローのS101~S109が繰り返されることにより、インフラカメラ10より時系列に受信される映像フレームFmを処理した映像データDmが、当該時系列順に出力されることとなる
By repeating S101 to S109 of the above video processing flow, video data Dm obtained by processing the video frames Fm received in chronological order from the
(作用効果)
以上説明した第一実施形態の作用効果を、以下に説明する。
(effect)
The effects of the first embodiment described above will be described below.
第一実施形態では、取得間隔Trが遅延許容範囲Ra外に増大した映像フレームFmは、正規間隔Tiで取得される映像フレームFmよりも遅延した遅延フレームFdとして、遅延情報Idを付加される。これによれば、遅延情報Idの付加された遅延フレームFdを内包する、映像フレームFmの時系列な映像データDmが出力されることで、インフラカメラ10の仕様に関わらず、遅延フレームFdに付加された遅延情報Idに基づき、映像フレームFmの遅延状況を認識することができる。故に、汎用性と信頼性とを両立させることが可能となる。
In the first embodiment, a video frame Fm whose acquisition interval Tr has increased outside the allowable delay range Ra is added with delay information Id as a delayed frame Fd delayed from a video frame Fm acquired at a regular interval Ti. According to this, by outputting the time-series video data Dm of the video frame Fm including the delayed frame Fd to which the delay information Id is added, regardless of the specifications of the
第一実施形態では、定常に設定される正規間隔Tiと、遅延許容範囲Ra外の取得間隔Trである遅延取得間隔Tdとの比率に応じたフレーム数Nの映像フレームFmが、遅延フレームFdとして特定される。これによれば、遅延取得間隔Td内に取得されたフレーム数Nの映像フレームFmを全て遅延フレームFdとして、遅延情報Idを付加することができる。故に、汎用性を確保しつつ、遅延フレームFdの数の見極めにより信頼性を向上させることが可能となる。 In the first embodiment, the video frames Fm of the number N of frames corresponding to the ratio between the regular interval Ti set at a constant time and the delayed acquisition interval Td which is the acquisition interval Tr outside the delay tolerance range Ra are used as the delayed frames Fd. be identified. According to this, all the video frames Fm of the number N of frames acquired within the delayed acquisition interval Td can be treated as delayed frames Fd, and the delay information Id can be added. Therefore, while ensuring versatility, reliability can be improved by determining the number of delayed frames Fd.
第一実施形態では、正規間隔Tiと遅延取得間隔Tdとの比率に応じたフレーム数Nの遅延フレームFdを特定後に取得間隔Trが遅延許容範囲Ra内のうち復帰判定範囲Rr内に減少している映像フレームFmが、準遅延フレームFsとして特定される。そして、遅延情報Idとは区別される準遅延情報Isが、準遅延フレームFsに付加される。これによれば、遅延フレームFdの影響によって副次的に遅延した準遅延フレームFsを特定して、準遅延情報Isを付加することができる。故に、汎用性を確保しつつ、副次的な遅延まで考慮して信頼性を向上させることが可能となる。 In the first embodiment, after specifying delayed frames Fd of the number N of frames according to the ratio between the normal interval Ti and the delayed acquisition interval Td, the acquisition interval Tr is reduced to within the return determination range Rr within the delay tolerance range Ra. The video frame Fm that is present is specified as the semi-delayed frame Fs. Then, semi-delay information Is, which is distinguished from delay information Id, is added to the semi-delay frame Fs. According to this, it is possible to specify the semi-delayed frame Fs that is secondarily delayed due to the influence of the delayed frame Fd, and to add the semi-delay information Is. Therefore, while ensuring versatility, it is possible to improve reliability by taking even secondary delays into account.
第一実施形態では、取得間隔Trが遅延許容範囲Ra内で復帰判定範囲Rr内から復帰判定範囲Rr外に増大するのに応じて、遅延フレームFdの特定が中止される。これによれば、映像フレームFmの遅延が解消されるまで遅延フレームFdの特定が継続されることになるので、当該遅延の影響を受けた遅延フレームFdに限定して正確に遅延情報Idを付加することができる。故に、汎用性を確保しつつ、信頼性を向上させることが可能となる。 In the first embodiment, the identification of the delayed frame Fd is stopped as the acquisition interval Tr increases from within the return determination range Rr to outside the return determination range Rr within the delay tolerance range Ra. According to this, since the identification of the delayed frame Fd will continue until the delay of the video frame Fm is resolved, the delay information Id will be added accurately only to the delayed frame Fd that has been affected by the delay. can do. Therefore, it is possible to improve reliability while ensuring versatility.
第一実施形態の復帰判定範囲Rrは、正規間隔Ti未満の範囲である。これによれば、遅延フレームFdの影響によって副次的に遅延した準遅延フレームFsを正確に特定して、準遅延情報Isを付加することができる。故に、副次的な遅延まで考慮した高い信頼性を担保することが可能となる。 The return determination range Rr of the first embodiment is a range that is less than the normal interval Ti. According to this, it is possible to accurately identify the semi-delayed frame Fs that is secondarily delayed due to the influence of the delayed frame Fd, and to add the semi-delay information Is. Therefore, it is possible to ensure high reliability even in consideration of secondary delays.
第一実施形態の映像処理システムは、遅延情報Idが付加された遅延フレームFdを内包する、映像フレームFmの時系列な映像データDmを、出力先のユーザーへ配信する。これにより出力先のユーザーには、遅延フレームFdの遅延情報Idに基づく映像フレームFmの遅延状況を考慮して、映像データDmを利用させることができる。故に、出力先のユーザーに対して汎用性と信頼性とを両立させることが可能となる。 The video processing system of the first embodiment delivers time-series video data Dm of video frames Fm, including a delayed frame Fd to which delay information Id is added, to an output destination user. Thereby, the user at the output destination can use the video data Dm in consideration of the delay situation of the video frame Fm based on the delay information Id of the delayed frame Fd. Therefore, it is possible to achieve both versatility and reliability for the output destination user.
(第二実施形態)
第二実施形態は、第一実施形態の変形例である。
(Second embodiment)
The second embodiment is a modification of the first embodiment.
第二実施形態による映像処理フローでは、図6に示すように、第一実施形態と同様のS100~S105が実行される。第二実施形態による映像処理フローのS102において、映像フレームを取得する間隔Trが遅延許容範囲Ra外に増大していない、かつ、遅延フレーム残数Ndが1以上でないと判定された場合、映像処理フローはS110へ進む。S110において遅延判定ブロック210は、現在時刻を、映像フレームFmの正規取得時刻Toとして設定する。S110の実行後、映像処理フローはS106へ進む。尚、S106~S108は、第一実施形態と同様である。 In the video processing flow according to the second embodiment, as shown in FIG. 6, steps S100 to S105 similar to those in the first embodiment are executed. In S102 of the video processing flow according to the second embodiment, if it is determined that the interval Tr for acquiring video frames has not increased outside the delay tolerance range Ra and the remaining number of delayed frames Nd is not 1 or more, the video processing The flow advances to S110. In S110, the delay determination block 210 sets the current time as the regular acquisition time To of the video frame Fm. After executing S110, the video processing flow advances to S106. Note that S106 to S108 are the same as in the first embodiment.
一方、S105に続くS111において遅延判定ブロック210は、正規間隔Tiと、遅延フレームFdのフレーム数Nとに相関する時刻として、正規取得時刻Toを推定する。具体的に、遅延判定ブロック210は、遅延フレームFdが特定される直前に取得した映像フレームFmの取得時刻に対して、正規間隔Tiに遅延フレームFdのフレーム数Nを掛けた値(Ti×N)を足すことで算出される時刻を、映像フレームFmの正規取得時刻Toとして推定する。
On the other hand, in S111 following S105, the delay determination block 210 estimates the normal acquisition time To as a time that correlates with the normal interval Ti and the number N of frames of the delayed frame Fd. Specifically, the
S111の実行後、映像処理フローはS112へ進む。またS107の実行後も、映像処理フローはS112へ進む。さらにS108の実行後も、映像処理フローはS112へ進む。S112において遅延判定ブロック210は、正規取得時刻Toを映像フレームFmに付加する。
After executing S111, the video processing flow advances to S112. Further, even after executing S107, the video processing flow proceeds to S112. Furthermore, even after executing S108, the video processing flow proceeds to S112. In S112, the
S112に続くS113において遅延判定ブロック210は、インフラカメラ10からの映像フレームFmの送信時刻を推定する。具体的に遅延判定ブロック210は、正規取得時刻Toから定常遅延時間Trd分遡った時刻を、映像フレームFmの送信時刻として推定する。ここで定常遅延時間Trdとは、通信ネットワークNWにおける例えば外乱等の影響が存在しない正常な場合に、インフラカメラ10による映像フレームFmの送信から、映像処理システム20による当該映像フレームFmの取得までに定常的に生じる時間に、定義される。さらにS113において遅延判定ブロック210は、上記したように推定した送信時刻を、映像フレームFmに付加する。尚、S113に続くS109は、第一実施形態と同様である。
In S113 following S112, the delay determination block 210 estimates the transmission time of the video frame Fm from the
以上の映像処理フローにより、映像処理システム20は、正規取得時刻Toを、遅延情報Id、準遅延情報Is、又は正常情報と共に映像フレームFmに付加することとなる。さらに映像処理システム20は、定常遅延時間Trd分、正規取得時刻Toから遡った時刻を遅延フレームFdの送信時刻として、遅延情報Id、準遅延情報Is、又は正常情報と共に映像フレームFmに付加することとなる。
Through the above video processing flow, the
(作用効果)
以上説明した第二実施形態の作用効果を、以下に説明する。
(effect)
The effects of the second embodiment described above will be described below.
第二実施形態では、正規間隔Tiと遅延フレームFdのフレーム数Nとに相関する正規取得時刻Toが、遅延情報Idと共に遅延フレームFdに付加される。これによれば、遅延情報Idだけでなく、映像処理システム20による正規取得時刻Toにも基づき遅延フレームFdの遅延を、正確に認識することができる。故に、汎用性を確保しつつ、信頼性を向上させることが可能となる。
In the second embodiment, a regular acquisition time To that correlates with the regular interval Ti and the number N of frames of the delayed frame Fd is added to the delayed frame Fd together with the delay information Id. According to this, the delay of the delayed frame Fd can be accurately recognized based not only on the delay information Id but also on the regular acquisition time To by the
第二実施形態の映像処理システム20では、映像フレームFmのインフラカメラ10による送信に対して自システム20による取得までに定常に生じる定常遅延時間Trd分、正規取得時刻Toから遡った時刻が遅延フレームFdの送信時刻として、遅延情報Id及び正規取得時刻Toと共に遅延フレームFdに付加される。これによれば、遅延情報Idだけでなく、映像処理システム20による正規取得時刻Toとインフラカメラ10からの送信時刻とにも基づき遅延フレームFdの遅延を、正確に認識することができる。故に、特に高い信頼性を担保することが可能となる。
In the
(第三実施形態)
第三実施形態は、第一実施形態の変形例である。
(Third embodiment)
The third embodiment is a modification of the first embodiment.
図7~9に示すように第三実施形態による映像送信ネットワークシステム1Aは、車載カメラ10Aによって撮像された映像フレームFmを処理して情報を付加した映像データDmを、送信先システム30Aへと送信する。そのために映像送信ネットワークシステム1Aは、車載カメラ10Aと共に、映像処理システム20A、送信先システム30A、並びに車載ネットワークNWA及び/又は通信ネットワークNWを含んで構成されている。ここで車載ネットワークNWAは、ホスト車両40Aに構築された、例えばLAN(local area network)等であって、ホスト車両40Aにおける車載カメラ10A以外の、例えばセンサ及び/又はアクチュエータ等といった複数の電子機器と接続されている。
As shown in FIGS. 7 to 9, the video
映像送信ネットワークシステム1Aのうち車載カメラ10A及び映像処理システム20Aは、ホスト車両40Aに搭載されて、車載ネットワークNWAを介して相互接続されている。図7,9に示すように映像送信ネットワークシステム1Aのうち送信先システム30Aは、ホスト車両40A(即ち、自車両)に搭載されて、車載ネットワークNWAを介して映像処理システム20Aと接続されていてもよい。図8,9に示すように映像送信ネットワークシステム1Aのうち送信先システム30Aは、ホスト車両40A外の他車両に搭載されて、又はホスト車両40A外のネットワークサーバによって構築されて、通信ネットワークNWを介して映像処理システム20Aと接続されていてもよい。
Of the video
図7~9に示すように、第一実施形態のインフラカメラ10に対応する第三実施形態の車載カメラ10Aは、ホスト車両40Aに対して固定式、又は可動式のカメラである。車載カメラ10Aは、ホスト車両40A外における道路上の、例えば道路ユーザー、及び障害物等を撮像する。車載カメラ10Aは、撮像した時系列の画像である映像フレームFmを、車載ネットワークNWAを通じて、映像処理システム20Aへと送信する。このとき車載カメラ10Aは、定常的な送信周期毎に時系列に、映像フレームFmの送信を実行する。こうした車載カメラ10Aとしては、ホスト車両40Aにおいて単一又は複数のカメラが想定されるが、以下の説明では、単一の車載カメラ10Aによる処理が代表的にとりあげられる。
As shown in FIGS. 7 to 9, the vehicle-mounted
第一実施形態の映像処理システム20に対応する第三実施形態の映像処理システム20Aは、例えば自動運転車等のホスト車両40Aにおいて車載カメラ10Aを制御することにより映像データDmを処理する、ECUによって構築される。映像処理システム20Aは、車載カメラ10Aとの間の車載ネットワークNWAを通じて車載カメラ10Aから映像フレームFmを受信し、復号によって取得される映像フレームFmを、処理する。映像処理システム20Aは、映像フレームFmを処理することで得られる映像データDmを、車載ネットワークNWA及び/又は通信ネットワークNWを通じて送信先システム30Aへと出力する。このような映像処理システム20Aは、例えば通信混雑等によって車載ネットワークNWAに生じる遅延として、車載カメラ10Aによる映像フレームFmの送信から映像処理システム20Aによる取得までの間の遅延を、検出する。そこで映像処理システム20Aは、遅延検出結果を表す情報を、映像データDmに付加して送信先システム30Aに提供する。
The
第一実施形態の配信先システム30に対応する第三実施形態の送信先システム30Aは、映像処理システム20Aから出力される映像フレームFmの時系列な映像データDmを必要とする、当該出力先の受信ユーザーによって管理される。送信先システム30Aは、映像処理システム20Aからの出力によって送信される映像データDmを、受信ユーザー別の受信目的に応じて利用する。送信先システム30Aは、例えば自動運転車等の道路ユーザである、ホスト車両40A又は他車両の制御に映像データDmを利用する、ECUによって構築されてもよい。送信先システム30Aは、例えば交通関連等のサービスに映像データDmを利用する、ユーザとしてのサービサのネットワークサーバによって構築されてもよい。
A
こうした送信先システム30Aへと情報提供する、映像処理システム20Aを構成の専用コンピュータは、第一実施形態に準ずるメモリ202及びプロセッサ201を、少なくとも一つずつ有している。そこで、映像処理システム20Aによって構築される複数の機能ブロックには、図2の第一実施形態に準じて映像フレーム取得ブロック200、遅延判定ブロック210、及び映像データ出力ブロック220が含まれることになる。但し、これらブロック200,210,220の共同による第三実施形態の映像処理フローでは、第一実施形態で説明のフローにおいてインフラカメラ10、映像処理システム20、及び配信先システム30を、それぞれ車載カメラ10A、映像処理システム20A、及び送信先システム30Aと読み替えた処理が、実行される。
A dedicated computer constituting the
このような第三実施形態によると、第一実施形態に準ずる作用効果が発揮され得る。ここで第三実施形態によっても、遅延情報Idの付加された遅延フレームFdを内包する、映像フレームFmの時系列な映像データDmが出力されることで、車載カメラ10Aの仕様に関わらず映像フレームFmの遅延状況を認識することができるので、汎用性と信頼性とを両立させることが可能となる。 According to such a third embodiment, effects similar to those of the first embodiment can be exhibited. Here, also in the third embodiment, by outputting the time-series video data Dm of the video frame Fm including the delayed frame Fd to which the delay information Id is added, the video frame is Since the delay status of Fm can be recognized, it is possible to achieve both versatility and reliability.
(他の実施形態)
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
(Other embodiments)
Although multiple embodiments have been described above, the present disclosure is not to be construed as being limited to those embodiments, and may be applied to various embodiments and combinations within the scope of the gist of the present disclosure. Can be done.
変形例では、第二実施形態で説明の映像処理フローにおいてS111~S113が省略されて、映像フレームFmに正規取得時刻Toが付加されなくてもよい。変形例では、第三実施形態に第二実施形態が適用されてもよい。但し、第三実施形態に適用される第二実施形態の映像処理フローにおける定常遅延時間Trdは、車載ネットワークNWAにおける例えば外乱等の影響が存在しない正常な場合に、車載カメラ10Aによる映像フレームFmの送信から、映像処理システム20Aによる当該映像フレームFmの取得までに定常的に生じる時間に、定義されるとよい。
In a modified example, S111 to S113 may be omitted in the video processing flow described in the second embodiment, and the regular acquisition time To may not be added to the video frame Fm. In a modification, the second embodiment may be applied to the third embodiment. However, the steady delay time Trd in the video processing flow of the second embodiment applied to the third embodiment is the constant delay time Trd of the video frame Fm by the in-
(技術的思想の開示)
この明細書は、以下に列挙する複数の項に記載された複数の技術的思想を開示している。いくつかの項は、後続の項において先行する項を択一的に引用する多項従属形式(a multiple dependent form)により記載されている場合がある。さらに、いくつかの項は、他の多項従属形式の項を引用する多項従属形式(a multiple dependent form referring to another multiple dependent form)により記載されている場合がある。これらの多項従属形式で記載された項は、複数の技術的思想を定義している。尚、本思想の開示欄に記載された括弧内の符号は、先に詳述の実施形態に記載された具体的手段との対応関係を示すものであり、本開示の技術的範囲を限定するものではない。
(Disclosure of technical ideas)
This specification discloses multiple technical ideas described in multiple sections listed below. Some sections may be written in a multiple dependent form, in which subsequent sections alternatively cite preceding sections. Additionally, some terms may be written in a multiple dependent form referring to another multiple dependent form. The terms written in these multiple dependent forms define multiple technical ideas. Note that the symbols in parentheses written in the disclosure column of this idea indicate the correspondence with the specific means described in the previously detailed embodiment, and limit the technical scope of the present disclosure. It's not a thing.
(技術的思想1)
プロセッサを有し、ネットワークを通じてカメラから取得される映像フレームを処理する映像処理システムであって、
プロセッサは、
映像フレームを時系列順に取得することと、
正規間隔で取得される映像フレームよりも遅延した遅延フレームとして、取得間隔が遅延許容範囲外に増大した映像フレームを、特定することと、
遅延フレームに遅延情報を付加することと、
遅延情報の付加された遅延フレームを内包する、映像フレームの時系列な映像データを出力することと、
を実行するように構成される映像処理システム。
(Technical thought 1)
A video processing system having a processor and processing video frames acquired from a camera through a network,
The processor is
acquiring video frames in chronological order;
Identifying a video frame whose acquisition interval has increased beyond a delay tolerance range as a delayed frame delayed from video frames acquired at regular intervals;
Adding delay information to the delayed frame;
Outputting time-series video data of video frames including delay frames to which delay information is added;
A video processing system configured to perform.
(技術的思想2)
遅延フレームを特定することは、
定常に設定される正規間隔と、遅延許容範囲外の取得間隔である遅延取得間隔との比率に応じたフレーム数の映像フレームを遅延フレームとして特定することを、含む技術的思想1に記載の映像処理システム。
(Technical thought 2)
Identifying delayed frames is
The video according to
(技術的思想3)
遅延フレームを特定することは、
比率に応じたフレーム数の遅延フレームを特定後に取得間隔が遅延許容範囲内のうち復帰判定範囲内に減少している映像フレームを準遅延フレームとして特定し、
遅延情報を付加することは、
遅延情報とは区別される準遅延情報を、準遅延フレームに付加することを、含み、
映像データを出力することは、
準遅延情報の付加された準遅延フレームを内包する、映像データを出力することを含む、技術的思想2に記載の映像処理システム。
(Technical thought 3)
Identifying delayed frames is
After identifying the number of delayed frames according to the ratio, a video frame whose acquisition interval is within the delay tolerance range and has decreased to within the recovery determination range is identified as a semi-delayed frame,
Adding delay information is
Adding quasi-delay information that is distinguished from delay information to the quasi-delay frame,
To output video data,
The video processing system according to technical idea 2, which includes outputting video data including a semi-delayed frame to which semi-delayed information is added.
(技術的思想4)
遅延フレームを特定することは、
取得間隔が遅延許容範囲内で復帰判定範囲内から復帰判定範囲外に増大するのに応じて、準遅延フレームの特定を中止することを、含む技術的思想3に記載の映像処理システム。
(Technical thought 4)
Identifying delayed frames is
The video processing system according to technical concept 3, further comprising: stopping the identification of the semi-delayed frame in response to the acquisition interval increasing from within the return determination range to outside the return determination range within the delay tolerance range.
(技術的思想5)
復帰判定範囲は、正規間隔未満の範囲である技術的思想3又は4に記載の映像処理システム。
(Technical Thought 5)
The video processing system according to technical concept 3 or 4, wherein the return determination range is a range less than the normal interval.
(技術的思想6)
遅延情報を付加することは、
正規間隔とフレーム数とに相関する正規取得時刻を、遅延情報と共に遅延フレームに付加することを、含む技術的思想2ないし5のいずれか一項に記載の映像処理システム。
(Technical Thought 6)
Adding delay information is
6. The video processing system according to any one of technical ideas 2 to 5, including adding a regular acquisition time that correlates to the regular interval and the number of frames to the delayed frame together with delay information.
(技術的思想7)
遅延情報を付加することは、
映像フレームのカメラによる送信に対して自システムによる取得までに定常に生じる定常遅延時間分、正規取得時刻から遡った時刻を遅延フレームの送信時刻として、遅延情報及び正規取得時刻と共に遅延フレームに付加することを、含む技術的思想6に記載の映像処理システム。
(Technical Thought 7)
Adding delay information is
The time that is past the normal acquisition time is added to the delayed frame along with the delay information and the normal acquisition time as the transmission time of the delayed frame, which corresponds to the regular delay time that occurs between the transmission of the video frame by the camera and the acquisition by the own system. The video processing system according to technical idea 6, which includes:
(技術的思想8)
遅延情報を付加することは、
映像フレームのカメラによる送信に対して自システムによる取得までに定常に生じる定常遅延時間分、正規間隔とフレーム数とに相関する正規取得時刻から遡った時刻を遅延フレームの送信時刻として、遅延情報と共に遅延フレームに付加することを、含む技術的思想2ないし5のいずれか一項に記載の映像処理システム。
(Technical Thought 8)
Adding delay information is
For the regular delay time that occurs between the transmission of the video frame by the camera and the acquisition by the own system, the time back from the regular acquisition time that correlates with the regular interval and the number of frames is set as the transmission time of the delayed frame, along with the delay information. 6. The video processing system according to any one of technical ideas 2 to 5, further comprising adding to a delayed frame.
(技術的思想9)
映像フレームを出力することは、
映像データを、出力先のユーザーへ配信又は送信することを、含む技術的思想1ないし8のいずれか一項に記載の映像処理システム。
(Technical Thought 9)
Outputting video frames is
The video processing system according to any one of
(技術的思想10)
ネットワークとしてのインフラネットワークを通じてカメラとしてのインフラカメラから取得される映像フレームを処理する技術的思想1ないし9のいずれか一項に記載の映像処理システム。
(Technical Thought 10)
The video processing system according to any one of
(技術的思想11)
ネットワークとしての車載ネットワークを通じてカメラとしての車載カメラから取得される映像フレームを処理する技術的思想1ないし9のいずれか一項に記載の映像処理システム。
(Technical Thought 11)
The video processing system according to any one of
尚、上述した技術的思想1ないし11は、方法及びプログラムの各形態で実現されてもよい。
Note that the above-mentioned
1:映像配信ネットワークシステム、1A:映像送信ネットワークシステム、10:インフラカメラ、10A:車載カメラ、20,20A:映像処理システム、201:プロセッサ、202:記憶媒体、Dm:映像データ、Fd:遅延フレーム、Fm:映像フレーム、Fs:準遅延フレーム、Id:遅延情報、Is:準遅延情報、NW:通信ネットワーク、NWA:車載ネットワーク、Ra:遅延許容範囲、Rr:復帰判定範囲、Td:遅延取得間隔、Ti:正規間隔、To:正規取得時刻、Tr:取得間隔、Trd:定常遅延時間 1: Video distribution network system, 1A: Video transmission network system, 10: Infrastructure camera, 10A: Vehicle-mounted camera, 20, 20A: Video processing system, 201: Processor, 202: Storage medium, Dm: Video data, Fd: Delayed frame , Fm: video frame, Fs: semi-delayed frame, Id: delay information, Is: semi-delayed information, NW: communication network, NWA: in-vehicle network, Ra: delay tolerance range, Rr: return determination range, Td: delay acquisition interval , Ti: regular interval, To: regular acquisition time, Tr: acquisition interval, Trd: steady delay time
Claims (13)
前記プロセッサは、
前記映像フレームを時系列順に取得することと、
正規間隔(Ti)で取得される前記映像フレームよりも遅延した遅延フレーム(Fd)として、取得間隔(Tr)が遅延許容範囲(Ra)外に増大した前記映像フレームを、特定することと、
前記遅延フレームに遅延情報(Id)を付加することと、
前記遅延情報の付加された前記遅延フレームを内包する、前記映像フレームの時系列な映像データ(Dm)を出力することと、
を実行するように構成される映像処理システム。 A video processing system (20, 20A) having a processor (201) and processing video frames (Fm) acquired from a camera (10, 10A) through a network (NW, NWA),
The processor includes:
acquiring the video frames in chronological order;
Identifying the video frame whose acquisition interval (Tr) has increased outside the delay tolerance range (Ra) as a delayed frame (Fd) delayed from the video frame acquired at a regular interval (Ti);
Adding delay information (Id) to the delayed frame;
outputting time-series video data (Dm) of the video frame including the delayed frame to which the delay information is added;
A video processing system configured to perform.
定常に設定される前記正規間隔と、前記遅延許容範囲外の前記取得間隔である遅延取得間隔(Td)との比率に応じたフレーム数の前記映像フレームを前記遅延フレームとして特定することを、含む請求項1に記載の映像処理システム。 Identifying the delayed frame includes:
identifying as the delayed frames the video frames whose number of frames corresponds to the ratio between the regular interval set at a constant time and the delayed acquisition interval (Td) which is the acquisition interval outside the delay tolerance range; The video processing system according to claim 1.
前記フレーム数の前記遅延フレームを特定後に前記取得間隔が前記遅延許容範囲内のうち復帰判定範囲(Rr)内に減少している前記映像フレームを準遅延フレーム(Fs)として特定し、
前記遅延情報を付加することは、
前記遅延情報とは区別される準遅延情報(Is)を、前記準遅延フレームに付加することを、含み、
前記映像データを出力することは、
前記準遅延情報の付加された前記準遅延フレームを内包する、前記映像データを出力することを含む、請求項2に記載の映像処理システム。 Identifying the delayed frame includes:
After identifying the delayed frames of the number of frames, identifying the video frame whose acquisition interval is within the delay tolerance range and falling within a return determination range (Rr) as a semi-delayed frame (Fs);
Adding the delay information includes:
Adding semi-delay information (Is) that is distinguished from the delay information to the semi-delay frame,
Outputting the video data includes:
The video processing system according to claim 2, further comprising outputting the video data including the semi-delay frame to which the semi-delay information is added.
前記取得間隔が前記遅延許容範囲内で前記復帰判定範囲内から前記復帰判定範囲外に増大するのに応じて、前記準遅延フレームの特定を中止することを、含む請求項3に記載の映像処理システム。 Identifying the delayed frame includes:
4. The video processing according to claim 3, further comprising: ceasing identification of the semi-delayed frame in response to the acquisition interval increasing from within the return determination range to outside the return determination range within the delay tolerance range. system.
前記正規間隔と前記フレーム数とに相関する正規取得時刻(To)を、前記遅延情報と共に前記遅延フレームに付加することを、含む請求項2に記載の映像処理システム。 Adding the delay information includes:
3. The video processing system according to claim 2, further comprising adding a regular acquisition time (To) correlated to the regular interval and the number of frames to the delayed frame together with the delay information.
前記映像フレームの前記カメラによる送信に対して自システムによる取得までに定常に生じる定常遅延時間(Trd)分、前記正規取得時刻から遡った時刻を前記遅延フレームの送信時刻として、前記遅延情報及び前記正規取得時刻と共に前記遅延フレームに付加することを、含む請求項6に記載の映像処理システム。 Adding the delay information includes:
A steady delay time (Trd) that regularly occurs between transmission of the video frame by the camera and acquisition by the own system, and a time back from the regular acquisition time as the transmission time of the delayed frame, and the delay information and the The video processing system according to claim 6, further comprising adding a regular acquisition time to the delayed frame.
前記映像フレームの前記カメラによる送信に対して自システムによる取得までに定常に生じる定常遅延時間(Trd)分、前記正規間隔と前記フレーム数とに相関する正規取得時刻(To)から遡った時刻を前記遅延フレームの送信時刻として、前記遅延情報と共に前記遅延フレームに付加することを、含む請求項2に記載の映像処理システム。 Adding the delay information includes:
A time that goes back from the normal acquisition time (To) that correlates with the normal interval and the number of frames by a steady delay time (Trd) that regularly occurs between the transmission of the video frame by the camera and the acquisition by the own system. 3. The video processing system according to claim 2, further comprising adding the delay information to the delayed frame as the transmission time of the delayed frame.
前記映像データを、出力先のユーザーへ配信又は送信することを、含む請求項1又は2に記載の映像処理システム。 Outputting the video frame includes:
The video processing system according to claim 1 or 2, further comprising distributing or transmitting the video data to an output destination user.
前記映像フレームを時系列順に取得することと、
正規間隔(Ti)で取得される前記映像フレームよりも遅延した遅延フレーム(Fd)として、取得間隔(Tr)が遅延許容範囲(Ra)外に増大した前記映像フレームを、特定することと、
前記遅延フレームに遅延情報(Id)を付加することと、
前記遅延情報の付加された前記遅延フレームを内包する、前記映像フレームの時系列な映像データ(Dm)を出力することと、
を含む映像処理方法。 A video processing method executed by a processor (201) to detect a delay in a video frame (Fm) acquired from a camera (10, 10A) through a network (NW, NWA), the method comprising:
acquiring the video frames in chronological order;
Identifying the video frame whose acquisition interval (Tr) has increased outside the delay tolerance range (Ra) as a delayed frame (Fd) delayed from the video frame acquired at a regular interval (Ti);
Adding delay information (Id) to the delayed frame;
outputting time-series video data (Dm) of the video frame including the delayed frame to which the delay information is added;
Video processing methods including.
前記命令は、
前記映像フレームを時系列順に取得させることと、
正規間隔(Ti)で取得される前記映像フレームよりも遅延した遅延フレーム(Fd)として、取得間隔(Tr)が遅延許容範囲(Ra)外に増大した前記映像フレームを、特定させることと、
前記遅延フレームに遅延情報(Id)を付加させることと、
前記遅延情報の付加された前記遅延フレームを内包する、前記映像フレームの時系列な映像データ(Dm)を出力させることと、
を含む映像処理プログラム。 Video processing that is stored in the storage medium (202) and includes instructions for the processor (201) to execute to detect delays in video frames (Fm) acquired from the camera (10, 10A) through the network (NW, NWA) A program,
The said instruction is
acquiring the video frames in chronological order;
Identifying the video frame whose acquisition interval (Tr) has increased outside the delay tolerance range (Ra) as a delayed frame (Fd) delayed from the video frame acquired at a regular interval (Ti);
Adding delay information (Id) to the delayed frame;
Outputting time-series video data (Dm) of the video frame including the delayed frame to which the delay information is added;
Video processing program including.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2023/016579 WO2023238547A1 (en) | 2022-06-09 | 2023-04-27 | Video processing system, video processing method, and video processing program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022093934 | 2022-06-09 | ||
JP2022093934 | 2022-06-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023181086A true JP2023181086A (en) | 2023-12-21 |
Family
ID=89306945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023071013A Pending JP2023181086A (en) | 2022-06-09 | 2023-04-24 | Video processing system, video processing method, and video processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023181086A (en) |
-
2023
- 2023-04-24 JP JP2023071013A patent/JP2023181086A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112997227B9 (en) | Traffic support system, server, method, vehicle-mounted device, method of operating vehicle-mounted device, recording medium, computer, and semiconductor integrated circuit | |
EP3343532B1 (en) | Probe data collection method and probe data collection device | |
US8654797B2 (en) | Data relay device and data relay method used in the device | |
JP7003544B2 (en) | Anomaly detection device, anomaly detection method, program and communication system | |
EP2053510A2 (en) | Electronic apparatus in which functioning of a microcomputer is monitored by another microcomputer to detect abnormal operation | |
CN105774729A (en) | V2V active safety system and control method thereof | |
US20230115290A1 (en) | In-vehicle/out-vehicle cooperation device and method | |
JP6279090B2 (en) | Image processing device | |
JPWO2016039077A6 (en) | Image processing device | |
WO2023238547A1 (en) | Video processing system, video processing method, and video processing program | |
JP2023181086A (en) | Video processing system, video processing method, and video processing program | |
CN114429711A (en) | Message distribution method, device, storage medium and server | |
JP2016522493A (en) | How to integrate computations with indefinite duration into a time-triggered architecture | |
JP2020184194A (en) | Information transfer device, in-vehicle device, system, information transfer method, and computer program | |
CN117639991A (en) | Time synchronization method and device for vehicle | |
JP2006180205A (en) | Vehicle-mounted transmitter and program | |
US20220182258A1 (en) | In-vehicle network system | |
CN113733856B (en) | Vehicle-mounted air conditioner internal and external circulation SOA system based on multi-sensor data fusion | |
JP6252462B2 (en) | Image recording device | |
JP2019161392A (en) | Vehicle information processing system, management device, and method and program for vehicle information processing | |
US11252380B2 (en) | Road management system | |
CN106157659B (en) | Electronic eye data adding method, electronic eye management device and system | |
WO2020194391A1 (en) | Accident probability calculation computer, method, and program | |
JP7283420B2 (en) | In-vehicle terminal, data collection system, and data transmission method | |
JP7444223B2 (en) | In-vehicle device, program and information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240612 |