JP7103530B2 - 映像分析方法、映像分析システム及び情報処理装置 - Google Patents
映像分析方法、映像分析システム及び情報処理装置 Download PDFInfo
- Publication number
- JP7103530B2 JP7103530B2 JP2021550948A JP2021550948A JP7103530B2 JP 7103530 B2 JP7103530 B2 JP 7103530B2 JP 2021550948 A JP2021550948 A JP 2021550948A JP 2021550948 A JP2021550948 A JP 2021550948A JP 7103530 B2 JP7103530 B2 JP 7103530B2
- Authority
- JP
- Japan
- Prior art keywords
- cloud server
- input image
- difference
- analysis
- image frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims description 102
- 230000010365 information processing Effects 0.000 title claims description 36
- 238000010191 image analysis Methods 0.000 claims description 77
- 238000011156 evaluation Methods 0.000 claims description 37
- 238000001914 filtration Methods 0.000 claims description 11
- 238000003703 image analysis method Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/1916—Validation; Performance evaluation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、映像分析方法、映像分析システム及び情報処理装置に関する。
カメラで撮影された映像分析を、計算リソースが潤沢なクラウドサーバで行う技術が普及している。しかし、撮影映像を、クラウドサーバにネットワークを介して配信するので、帯域制約により、フルレートでの映像を送れず、画質を落とす必要がある。結果的に、クラウドサーバでの映像分析の精度が向上しない。
そこで、カメラと有線で接続されたエッジ側に配置されるサーバでの映像分析と、クラウドサーバでの映像分析を組み合わせた技術が注目されている。ところが、映像分析をエッジとクラウドで分散して実行する場合、状況に応じて、どの映像フレームをクラウド側に送れば良いかの判別が難しい。
特許文献１には、エッジ側監視端末で人物の顔を含む領域を、切り出し画像として抽出し、一定の信頼度のある切り出し画像をサーバに送信する技術が開示されている。
しかしながら、特許文献１に記載の方法では、計算リソースが潤沢でないエッジ側の監視端末は、切り出し画像を適切に抽出することができない。結果的に、クラウドサーバは、不十分な精度で切り出し画像を受信することになり、クラウドサーバ側での映像分析の精度を向上させることはできない。
本発明は、このような問題点を解決するためになされたものであり、クラウドサーバとエッジでの映像分析精度を向上させた映像分析方法、映像分析システム及び情報処理装置を提供することを目的とする。
本開示の第１の態様にかかる映像分析方法は、エッジ側で入力画像フレームを分析する第１画像分析ステップと、
前記第１画像分析ステップの分析結果の評価値と、前記入力画像フレームをクラウドサーバで分析した場合において予測される分析結果の評価値との相違値を推定する相違値推定ステップと、
前記相違値に基づいて、前記入力画像フレームを前記クラウドサーバに送信するか否かを判定するフィルタリングステップと、
を含む。
前記第１画像分析ステップの分析結果の評価値と、前記入力画像フレームをクラウドサーバで分析した場合において予測される分析結果の評価値との相違値を推定する相違値推定ステップと、
前記相違値に基づいて、前記入力画像フレームを前記クラウドサーバに送信するか否かを判定するフィルタリングステップと、
を含む。
本開示の第２の態様にかかる映像分析システムは、エッジ側に配置され、入力画像フレームを分析する第１画像分析手段と、
ネットワークを介してクラウドサーバに配置された、前記第１画像分析手段より高精度な第２画像分析手段と、
前記エッジ側に配置され、前記第１画像分析手段の分析結果の評価値と、前記入力画像フレームを前記第２画像分析手段で分析した場合において予測される分析結果の評価値との相違値を推定する相違値推定手段と、
前記エッジ側に配置され、前記相違値推定手段により推定された相違値に基づいて、入力画像フレームを、前記ネットワークを介して前記クラウドサーバの前記第２画像分析手段に送信するか否かを判定するフィルタ手段と、
を備える。
ネットワークを介してクラウドサーバに配置された、前記第１画像分析手段より高精度な第２画像分析手段と、
前記エッジ側に配置され、前記第１画像分析手段の分析結果の評価値と、前記入力画像フレームを前記第２画像分析手段で分析した場合において予測される分析結果の評価値との相違値を推定する相違値推定手段と、
前記エッジ側に配置され、前記相違値推定手段により推定された相違値に基づいて、入力画像フレームを、前記ネットワークを介して前記クラウドサーバの前記第２画像分析手段に送信するか否かを判定するフィルタ手段と、
を備える。
本開示の第３の態様にかかる情報処理装置は、エッジ側で入力画像フレームを分析する第１画像分析手段と、
前記第１画像分析手段の分析結果の評価値と、前記入力画像フレームをクラウドサーバで分析した場合において予測される分析結果の評価値との相違値を推定する相違値推定手段と、
前記相違値に基づいて、前記入力画像フレームを前記クラウドサーバに送信するか否かを判定するフィルタ手段と、
を備える。
前記第１画像分析手段の分析結果の評価値と、前記入力画像フレームをクラウドサーバで分析した場合において予測される分析結果の評価値との相違値を推定する相違値推定手段と、
前記相違値に基づいて、前記入力画像フレームを前記クラウドサーバに送信するか否かを判定するフィルタ手段と、
を備える。
本開示により、クラウドサーバとエッジでの映像分析精度を向上させた映像分析方法、映像分析システム及び情報処理装置を提供することができる。
（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。
図１を参照して、映像分析システムの構成を説明する。
以下、図面を参照して本発明の実施の形態について説明する。
図１を参照して、映像分析システムの構成を説明する。
本映像分析システムでは、高精度モデルで分析を実施したほうが精度が良くなるフレームを優先してクラウドサーバに送信し、その他のフレームはエッジ側の軽量モデルの結果を信頼するものである。これにより、映像フレームをクラウドサーバに帯域制約のあるネットワークを介して配信することに伴うフレーム落ちやブロックノイズの発生を抑制する。
映像分析システム１は、カメラ１１０と、カメラ１１０からの映像を入力し画像を分析する、エッジ側に配置された情報処理装置１００（Edge deviceとも呼ばれる）と、情報処理装置１００とネットワークを介して接続されたクラウドサーバ側に配置される、映像分析のための情報処理装置２００と、を備える。
カメラ１１０は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子から映像を入力し、入力した映像を情報処理装置１００の第１画像分析部１０３に出力する。
情報処理装置１００は、第１画像分析部１０３と、フィルタ部１０４と、相違値推定部１０５と、を備える。
第１画像分析部１０３は、カメラ１１０からの映像に対して、映像分析プログラムＡ（軽量モデル又は低精度モデルとも呼ばれる）を用いて画像分析を行う。また、情報処理装置２００は、映像分析プログラムＡよりも高精度な画像分析が可能な映像分析プログラムＢ（高精度モデルとも呼ばれる）を備えた第２画像分析部２０９を有する。なお、高精度又は軽量モデルの例としては、ディープニューラルネットワークモデル、及びその他の統計的モデルを挙げることができる。
本実施の形態の特徴部分の一つである、エッジ側の相違値推定部１０５は、入力画像をクラウドサーバの高精度モデルで分析した場合の結果を予測して、どれくらい分析精度の向上を期待できるかを示す相違値を推定することにある。すなわち、相違値が大きいほど、クラウドサーバでの画像分析を行ったほうが分析精度を向上させることができる。具体的には、相違値推定部１０５は、第１画像分析部１０３の分析結果に基づき、入力画像に対する分析結果の評価値を算出する。さらに、相違値推定部１０５は、事前に学習した学習済みモデル（詳細は後述する）を用いて、入力画像を第２画像分析部２０９で分析した場合の評価値を算出することで、第１画像分析部１０３の分析結果の評価値と第２画像分析部２０９で分析した場合の評価値との相違値を推定する。なお、ここでいう評価値とは、入力画像フレーム全体に対する分析精度（信頼度とも呼ばれる）を数値化したものである。
フィルタ部１０４は、相違値推定部１０５により推定された相違値に基づき、入力画像フレームを、クラウドサーバ側の第２画像分析部２０９に送信するか否かを判定する。
以上説明した本実施の形態により、クラウドサーバとエッジでの映像分析の精度を向上させた映像分析システムを提供することができる。
図２は、情報処理装置１００，２００のハードウェア構成例を示すブロック図である。図２に示すように、本実施形態の情報処理装置１００，２００は、ＣＰＵ（Central Processing Unit）２０１、ＲＡＭ（Random access memory）２０２、ＲＯＭ（Read Only Memory）２０３などを有するコンピュータである。ＣＰＵ２０１は、ＲＡＭ２０２、ＲＯＭ２０３、または、ハードディスク２０４に格納されたソフトウェアに従い演算および制御を行う。ＲＡＭ２０２は、ＣＰＵ２０１が各種処理を実行する際の一時記憶領域として使用される。ハードディスク２０４には、オペレーティングシステム（ＯＳ）や、後述の登録プログラムなどが記憶される。ディスプレイ２０５は、液晶ディスプレイとグラフィックコントローラとから構成され、ディスプレイ２０５には、画像やアイコンなどのオブジェクト、および、ＧＵＩなどが表示される。入力部２０６は、ユーザが端末装置２００に各種指示を与えるための装置であり、例えばマウスやキーボードによって構成される。Ｉ／Ｆ（インターフェース）部２０７は、ＩＥＥＥ ８０２．１１ａなどの規格に対応した無線ＬＡＮ通信や有線ＬＡＮ通信を制御することができ、ＴＣＰ／ＩＰなどのプロトコルに基づき同一通信ネットワークおよびインターネットを介して外部機器と通信する。システムバス２０８は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、および、ハードディスク２０４などとのデータのやり取りを制御する。
図３を参照して、実施の形態１にかかる映像分析方法を説明する。
実施の形態１にかかる映像分析方法は、エッジ側で入力画像フレームを分析する（ステップＳ１１）と、第１画像分析ステップでの分析結果の評価値と、前記入力画像フレームを、クラウドサーバで分析した場合において予測される分析結果の評価値との相違値を推定する相違値推定ステップ（ステップＳ１２）と、相違値に基づいて、入力画像フレームをクラウドサーバに送信するか否かを判定するフィルタリングステップ（ステップＳ１３）と、を含む。
実施の形態１にかかる映像分析方法は、エッジ側で入力画像フレームを分析する（ステップＳ１１）と、第１画像分析ステップでの分析結果の評価値と、前記入力画像フレームを、クラウドサーバで分析した場合において予測される分析結果の評価値との相違値を推定する相違値推定ステップ（ステップＳ１２）と、相違値に基づいて、入力画像フレームをクラウドサーバに送信するか否かを判定するフィルタリングステップ（ステップＳ１３）と、を含む。
本実施の形態により、クラウドサーバとエッジでの映像分析の精度を向上させた映像分析方法を提供することができる。
（実施の形態２）
次に、図４～図１２を用いて、実施の形態２にかかる映像分析方法および映像分析システムを説明する。
本実施の形態にかかる映像分析方法は、本映像分析システムを稼働する前事前に実施する学習方法と、その学習済みモデルを用いた映像分析方法を含む。
次に、図４～図１２を用いて、実施の形態２にかかる映像分析方法および映像分析システムを説明する。
本実施の形態にかかる映像分析方法は、本映像分析システムを稼働する前事前に実施する学習方法と、その学習済みモデルを用いた映像分析方法を含む。
まず図４及び図５を参照して、相違値推定部の学習方法を説明する。
カメラ等で撮影した画像は、クラウドサーバ側で高精度モデルを実行可能な第２画像分析部２０９に入力される（ステップＳ１）。第２画像分析部２０９は、入力された画像を分析し、その分析結果から評価値を算出する（ステップＳ２）。カメラ等で撮影した画像は、エッジ側の軽量モデル（低精度モデル）を実行可能な第１画像分析部１０３に入力される（ステップＳ３）。第１画像分析部１０３は、入力された画像を分析し、その評価値を算出する（ステップＳ４）。このように並行して算出された、第２画像分析部２０９の分析結果の評価値と、第１画像分析部１０３の分析結果の評価値との差が算出される（ステップＳ５）。相違値推定部１０５は、算出した差と、入力画像と、を学習する（ステップＳ６）。
カメラ等で撮影した画像は、クラウドサーバ側で高精度モデルを実行可能な第２画像分析部２０９に入力される（ステップＳ１）。第２画像分析部２０９は、入力された画像を分析し、その分析結果から評価値を算出する（ステップＳ２）。カメラ等で撮影した画像は、エッジ側の軽量モデル（低精度モデル）を実行可能な第１画像分析部１０３に入力される（ステップＳ３）。第１画像分析部１０３は、入力された画像を分析し、その評価値を算出する（ステップＳ４）。このように並行して算出された、第２画像分析部２０９の分析結果の評価値と、第１画像分析部１０３の分析結果の評価値との差が算出される（ステップＳ５）。相違値推定部１０５は、算出した差と、入力画像と、を学習する（ステップＳ６）。
なお、評価値とは、入力画像フレーム全体に対する分析精度（信頼度とも呼ばれる）を数値化したものである。入力画像フレーム全体とは、入力画像フレーム内の一部（例えば、人物の顔を含む領域）を切り出していない、入力画像フレームそのものを意味する。
評価値の差は、絶対差を使用してもよいし、あるいは、相対差を使用してもよい。例えば、入力画像１に対する第１画像分析部１０３による分析結果の評価値は９５％であり、入力画像１に対する第２画像分析部２０９の分析結果の評価値は９７％である場合、絶対差は０．９７－０．９５＝０．０２となり、相対差は、（０．９７－０．９５）／０．９５となる。
次に、入力画像２に対する第１画像分析部１０３による分析結果の評価値は４５％であり、入力画像１に対する第２画像分析部２０９の分析結果の評価値は４７％である場合、絶対差は０．４７－０．４５＝０．０２となり、相対差は、（０．４７－０．４５）／０．４５となる。
つまり、入力画像１と入力画像２では、これらの絶対差は同じになるが、これらの相対差は、入力画像２のほうが入力画像１よりも大きくなる。これにより、相対差の大きい入力画像２を優先的にクラウドサーバ側に送るべきと判定することができる。
また、詳細は後述するが、時間帯（例えば、昼間と夜間）毎に低精度モデルおよび高性能モデルでの画像の分析精度は異なり、推定される相違値も異なるので、時間帯毎に相違値の分布を学習しておくことが好ましい。
このように事前に作成された学習済みモデルは、情報処理装置１００の記憶部（図２ではハードディスク２０４）、又は情報処理装置１００とネットワークを介して接続された外部記憶部に記憶される。なお、相違値推定部の機械学習に使用したモデルの例としては、ディープニューラルネットワークモデル、及びその他の統計的モデルを挙げることができる。
上記説明した学習段階は、映像分析方法を実施する前（映像分析システムとして動作させる前）に、実施しておく。
次に、図６～図９を参照して、学習済みモデルを用いた映像分析方法を説明する。
図６は、実施の形態２にかかる映像分析システムの構成を示すブロック図である。図５では、実施の形態１と同一の構成要素は、図１と同一の符号を付し、適宜説明を省略する。図７は本実施の形態にかかる映像分析システムにおけるエッジ側の情報処理装置１００の動作を示すフローチャートである。図８は本実施の形態にかかる映像分析システムにおけるクラウド側の情報処理装置２００の動作を示すフローチャートである。図９Ａ～図９Ｃは、時系列に沿って送られる映像の一連のフレームを説明する図である。
図６は、実施の形態２にかかる映像分析システムの構成を示すブロック図である。図５では、実施の形態１と同一の構成要素は、図１と同一の符号を付し、適宜説明を省略する。図７は本実施の形態にかかる映像分析システムにおけるエッジ側の情報処理装置１００の動作を示すフローチャートである。図８は本実施の形態にかかる映像分析システムにおけるクラウド側の情報処理装置２００の動作を示すフローチャートである。図９Ａ～図９Ｃは、時系列に沿って送られる映像の一連のフレームを説明する図である。
本実施の形態にかかるエッジ側の情報処理装置１００には、閾値変更部１０１が追加されている。閾値変更部１０１は、所定の条件に応じて閾値を動的に変更する（詳細は後述する）。また、本実施の形態にかかるエッジ側の情報処理装置１００には、フィルタ部１０４に接続されたエンコーダ１０６が追加されている。さらに、エンコーダ１０６とネットワーク１２０を介してクラウド側の情報処理装置２００には、デコーダ２１０が追加されている。エンコーダ１０６は、送信するフレームのみＨ．２６４やＨ．２６５などの映像エンコーディングによりエンコーディングして送信する。なお、エンコーダ１０６は、送信部とも呼ばれ得る。また、図６に示す情報処理装置１００は、カメラ１１０を含まない構成としたが、カメラ１１０を含んでもよい。
ここで、エッジ側からクラウドサーバ側に送信するフレームが一定でない場合、エッジ側にあるフレーム数とクラウドサーバ側にあるフレーム数が異なるものとなるため、エッジ側とクラウドサーバ側とで時間のずれが発生することとなる。そのため、エッジ側の時間とクラウドサーバでの時間を一致させるようにフレームレートを一定にするため、エンコーダ１０６は、送信しないフレームについては、前回送信したフレームと同一のフレームを送る。
デコーダ２１０は、受信した映像をデコードし、フレームに分割する。さらに、デコーダ２１０は、前段のフレームとの差分を計算し、差分が無い場合は、エンコーダ１０６でコピーされたフレームであると判断し、破棄する。
図７のフローチャートを参照して、エッジ側の情報処理装置１００の動作を説明する。
まず、図６に示すように、カメラ１１０で撮影した映像を複数のフレームに分割した画像フレームが、軽量モデルを搭載した第１画像分析部１０３に入力される（図７のステップＳ１０１）と、軽量モデルによる画像分析が行われる（ステップＳ１０２）。次に、前述したように、相違値推定部１０５は、学習済みモデルを用いて、この入力画像に対して、第１画像分析部１０３による分析結果の評価値と、クラウドサーバ側に送った場合に高性能モデルでの分析で得られるであろう分析結果の評価値との差（相対差）を推定する（ステップＳ１０３）。次に、フィルタ部１０４が相違値と比較して、入力画像をクラウドサーバ側に送るか否かを決定するための閾値を設定する（ステップＳ１０４）。閾値の設定方法の詳細については、後述する。
まず、図６に示すように、カメラ１１０で撮影した映像を複数のフレームに分割した画像フレームが、軽量モデルを搭載した第１画像分析部１０３に入力される（図７のステップＳ１０１）と、軽量モデルによる画像分析が行われる（ステップＳ１０２）。次に、前述したように、相違値推定部１０５は、学習済みモデルを用いて、この入力画像に対して、第１画像分析部１０３による分析結果の評価値と、クラウドサーバ側に送った場合に高性能モデルでの分析で得られるであろう分析結果の評価値との差（相対差）を推定する（ステップＳ１０３）。次に、フィルタ部１０４が相違値と比較して、入力画像をクラウドサーバ側に送るか否かを決定するための閾値を設定する（ステップＳ１０４）。閾値の設定方法の詳細については、後述する。
フィルタ部１０４は、推定された相違値と、閾値を比較する（ステップＳ１０５）。相違値が閾値以上の場合は（ステップＳ１０５でＹ）、エンコーダ１０６は、画像をエンコードしてクラウドサーバ側の第２画像分析部２０９に送信する（ステップＳ１０６）。
一方、推定された相違値が閾値未満の場合は（ステップＳ１０５でＮ）、エンコーダ１０６は、前回送信した画像をコピーして、クラウドサーバ側の第２画像分析部２０９に送信する（ステップＳ１０６）。ここで、図９を参照して、時系列に沿って送られる映像の一連のフレームを説明する。図９Ａに示すように、時系列に沿って送られる映像の一連のフレームのうち、時刻ｔ１、ｔ３、ｔ４では、フレームの相違値が閾値未満であると判定されるため、そのフレームは、クラウドサーバに送信されない（図９Ａでは、送信されないフレームは破線で示す）。このため、フレームレートが動的に変動する（フレームが飛び飛びになる）こととなり、エンコーダおよびデコーダが実施できない場合がある。そのため、図９Ｂに示すように、送信しないと判断されたフレームについては、前回送信したフレームをコピーしエンコーディングして送信するようにする。すなわち、ｔ１では、ｔ０でのフレームをコピーして送信し、ｔ３，ｔ４では、ｔ２でのフレームをコピーしてエンコーディングして送信する。こうして、図９Ｃに示すように前回送信したフレームと、コピーしたフレームとの差分情報は０になる。結果的に、エンコード後のトラフィック量は、ほぼ０（一定）となる。
次に、図８のフローチャートを参照して、クラウド側の情報処理装置２００の動作を説明する。
情報処理装置２００のデコーダ２１０は、情報処理装置１００のエンコーダ１０６でエンコーディングされた画像を受信する（ステップＳ２０１）。デコーダ２１０は、受信した映像をデコードし、時系列の複数のフレームに分割する。図９Ｃに示すように、画像フレームと前回の画像フレームとの差分が０より大きいと判定する場合は（ステップＳ２０２でＹ）、そのフレームをクラウドサーバ側の第２画像分析部２０９に送信する。なお、フレーム差分は、MSE（Mean Squared Error）を想定しているが、Hashを用いてもよい。第２画像分析部２０９は、受信した画像に対して、高精度モデルでの画像分析を実行する（ステップＳ２０３）。
情報処理装置２００のデコーダ２１０は、情報処理装置１００のエンコーダ１０６でエンコーディングされた画像を受信する（ステップＳ２０１）。デコーダ２１０は、受信した映像をデコードし、時系列の複数のフレームに分割する。図９Ｃに示すように、画像フレームと前回の画像フレームとの差分が０より大きいと判定する場合は（ステップＳ２０２でＹ）、そのフレームをクラウドサーバ側の第２画像分析部２０９に送信する。なお、フレーム差分は、MSE（Mean Squared Error）を想定しているが、Hashを用いてもよい。第２画像分析部２０９は、受信した画像に対して、高精度モデルでの画像分析を実行する（ステップＳ２０３）。
一方、図９Ｃに示すように、画像フレームと前回の画像フレームとの差分が０である（すなわち、当該フレームは、前回送信したフレームのコピーが送信されたもの）と判定される場合は（ステップＳ２０２でＮ）、デコーダ２１０は、そのフレームを破棄する（すなわち、そのフレームは第２画像分析部２０９で分析されない）。このように、フレームが飛び飛びとなった場合でも、エッジ側で前回送信したフレームのコピーを挿入してクラウドサーバに送信し、クラウドサーバ側でフレーム間の差分を算出することで、どれがコピーされたフレームかを認識でき、フレーム毎に分析が必要か否かを判断することができる。
次に、図１０を参照して、閾値変更部１０１による閾値の動的な設定方法を説明する。
この閾値の設定方法は、複数のフレームをマイクロバッチ処理し、エッジ側からクラウド側にフレームを送信するために使用可能な帯域（以降、使用可能帯域と記載することもある）に応じて、相違値が大きいフレームを優先して送るように、閾値を動的に設定するものである。これにより、使用可能帯域の変動により、ブロックノイズやフレーム落ちが発生するという問題を抑制し得る。
この閾値の設定方法は、複数のフレームをマイクロバッチ処理し、エッジ側からクラウド側にフレームを送信するために使用可能な帯域（以降、使用可能帯域と記載することもある）に応じて、相違値が大きいフレームを優先して送るように、閾値を動的に設定するものである。これにより、使用可能帯域の変動により、ブロックノイズやフレーム落ちが発生するという問題を抑制し得る。
具体的には、閾値変更部１０１はまず、定期的に使用可能帯域を取得する（ステップＳ３０１）。使用可能帯域は絶えず変動し得るので、例えば、１秒毎に使用可能帯域を取得してもよい。次に、取得した使用可能帯域での所定時間（例えば、単位時間）当たりの送信可能な画像数を算出する（ステップＳ３０２）。例えば、単位時間当たりの送信可能な画像数は３と算出される。次に、直近の所定時間（例えば、単位時間）における相違値を推定する（ステップＳ３０３）。例えば、直近の単位時間当たりのフレーム毎の相違値は［２．２，１．１，５．３，３．０，１．９，２．６，４．２，３．５］と推定される。送信可能な画像数は３であるので、この推定された一連の相違値の分布から上位３番目である３．５を閾値として設定する（ステップＳ３０４）。これにより、クラウドサーバ側での画像分析で精度の向上が見込めない画像をクラウドサーバに送信しないことで、帯域制約のあるネットワークを用いても、不必要なブロックノイズやフレーム落ちの発生を抑制することができる。
続いて、図１１及び図１２を参照して、閾値変更部１０１による別の閾値の設定方法を説明する。
この閾値の設定方法は、現在時刻に応じて画像分析の精度が異なる（すなわち、時間帯ごとの相違値の分布が異なる）ので、現在時刻に応じた閾値を動的に設定するものである。すなわち、例えば、夜間では、対象物を認識しづらく、画像の分析精度も悪化するため、夜間に対応した相違値の分布を用いる必要がある。
この閾値の設定方法は、現在時刻に応じて画像分析の精度が異なる（すなわち、時間帯ごとの相違値の分布が異なる）ので、現在時刻に応じた閾値を動的に設定するものである。すなわち、例えば、夜間では、対象物を認識しづらく、画像の分析精度も悪化するため、夜間に対応した相違値の分布を用いる必要がある。
閾値変更部１０１は、現在時刻（例えば、２３：００）を取得する（ステップＳ４０１）。次に、現在時刻に対応する相違値の分布を取得する（ステップＳ４０２）。現在時刻２３：００に対応する相違値の分布曲線（図１２において破線で示した２２：００～５：００の分布曲線）を取得する。例えば、図１２に示すように、分布の上位３０％に対応する相違値を算出し、閾値として設定する（ステップＳ４０３）。なお、ここでは、基準値として上位３０％と設定したが、これに限定されない。この基準値は、画像をクラウドサーバに送ることで精度向上が期待される任意の値に設定することができる。
このように、本実施の形態にかかるエッジ側の閾値変更部は、閾値を動的に変更でき、状況に応じて、どの映像フレームを、クラウドサーバに送るべきかを判別することができる。また、本実施の形態にかかる映像分析方法および映像分析システムによれば、帯域制約のあるネットワークを用いても、エッジとクラウドサーバで分散して、高精度な映像分析を実行することができる。
なお、以上説明した図３、図７及び図８並びに図１０及び図１１のフローチャートは、実行の具体的な順番を示しているが、実行の順番は描かれている形態と異なっていてもよい。例えば、２つ以上のステップの実行の順番は、示された順番に対して入れ替えられてもよい。また、図３、図７及び図８並びに図１０及び図１１の中で連続して示された２つ以上のステップは、同時に、または部分的に同時に実行されてもよい。さらに、いくつかの実施形態では、図３、図７及び図８並びに図１０及び図１１に示された１つまたは複数のステップがスキップまたは省略されてもよい。
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリを含む。磁気記録媒体は、例えばフレキシブルディスク、磁気テープ、ハードディスクドライブであってもよい。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）であってもよい。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
エッジ側で入力画像フレームを分析する第１画像分析ステップと、
前記第１画像分析ステップの分析結果の評価値と、前記入力画像フレームをクラウドサーバで分析した場合において予測される分析結果の評価値との相違値を推定する相違値推定ステップと、
前記相違値に基づいて、前記入力画像フレームを前記クラウドサーバに送信するか否かを判定するフィルタリングステップと、
を含む、映像分析方法。
（付記２）
前記判定を行うための相違値の閾値を、動的に変更する閾値変更ステップを更に含む、付記１に記載の映像分析方法。
（付記３）
前記閾値変更ステップでは、現在時刻を取得し、前記現在時刻における相違値の分布に応じて、前記閾値を変更する、付記２に記載の映像分析方法。
（付記４）
前記閾値変更ステップでは、使用可能帯域を取得し、
前記取得された使用可能帯域での所定時間あたりの送信可能な画像数と、直近の所定時間における一連の推定相違値に応じて、前記閾値を変更する、付記２に記載の映像分析方法。
（付記５）
前記フィルタリングステップは、前記入力画像フレームの全体を、前記クラウドサーバに送信するか否かを判定する、付記１～４のいずれか一項に記載の映像分析方法。
（付記６）
前記フィルタリングステップで、前記クラウドサーバに送ると判断した入力画像フレームの全体を前記クラウドサーバに送信し、前記クラウドサーバに送ると判断しなかった入力画像フレームについては、前回送信したフレームをコピーして前記クラウドサーバに送信するステップを更に含む、付記１～５のいずれか一項に記載の映像分析方法。
（付記７）
エッジ側に配置され、入力画像フレームを分析する第１画像分析手段と、
ネットワークを介してクラウドサーバに配置された、前記第１画像分析手段より高精度な第２画像分析手段と、
前記エッジ側に配置され、前記第１画像分析手段の分析結果の評価値と、前記入力画像フレームを前記第２画像分析手段で分析した場合において予測される分析結果の評価値との相違値を推定する相違値推定手段と、
前記エッジ側に配置され、前記相違値推定手段により推定された相違値に基づいて、入力画像フレームを、前記ネットワークを介して前記クラウドサーバの前記第２画像分析手段に送信するか否かを判定するフィルタ手段と、
を備える、映像分析システム。
（付記８）
前記判定を行うための相違値の閾値を、所定の条件に応じて動的に変更する閾値変更手段を更に備える、付記７に記載の映像分析システム。
（付記９）
前記閾値変更手段は、現在時刻を取得し、前記取得された現在時刻における相違値の分布に応じて、前記閾値を変更する、付記８に記載の映像分析システム。
（付記１０）
前記閾値変更手段は、使用帯域を取得し、前記取得された使用帯域での所定時間あたりの送信可能な画像数と、直近の所定時間における一連の推定相違値に応じて、前記閾値を変更する、付記８に記載の映像分析システム。
（付記１１）
前記フィルタ手段は、前記入力画像フレームの全体を、前記ネットワークを介して前記第２画像分析手段に送信するか否かを判定する、付記７～１０のいずれか一項に記載の映像分析システム。
（付記１２）
前記フィルタ手段が前記第２画像分析手段に送ると判断した入力画像フレームの全体を、前記第２画像分析手段に送信するとともに、前記フィルタ手段が前記第２画像分析手段に送ると判断しなかった入力画像フレームについては、前回送信したフレームをコピーして、前記第２画像分析手段に送信する送信手段を更に備える、付記７～１１のいずれか一項に記載の映像分析システム。
（付記１３）
エッジ側で入力画像フレームを分析する第１画像分析手段と、
前記第１画像分析手段の分析結果の評価値と、前記入力画像フレームをクラウドサーバで分析した場合において予測される分析結果の評価値との相違値を推定する相違値推定手段と、
前記相違値に基づいて、前記入力画像フレームを前記クラウドサーバに送信するか否かを判定するフィルタ手段と、
を備える、情報処理装置。
（付記１４）
前記判定を行うための相違値の閾値を、動的に変更する閾値変更手段を更に備える、付記１３に記載の情報処理装置。
（付記１５）
前記閾値変更手段は、現在時刻を取得し、前記現在時刻における相違値の分布に応じて、前記閾値を変更する、付記１４に記載の情報処理装置。
（付記１６）
前記閾値変更手段は、使用可能帯域を取得し、
前記取得された使用可能帯域での所定時間あたりの送信可能な画像数と、直近の所定時間における一連の推定相違値に応じて、前記閾値を変更する、付記１４に記載の情報処理装置。
（付記１７）
前記フィルタ手段は、前記入力画像フレームの全体を、ネットワークを介して前記クラウドサーバに送信するか否かを判定する、付記１３～１６のいずれか一項に記載の情報処理装置。
（付記１８）
前記フィルタ手段により前記クラウドサーバに送ると判断された入力画像フレームの全体を前記クラウドサーバに送信し、前記フィルタ手段により前記クラウドサーバに送ると判断されなかった入力画像フレームについては、前回送信したフレームをコピーして前記クラウドサーバに送信する送信手段を更に含む、付記１３～１７のいずれか一項に記載の情報処理装置。
エッジ側で入力画像フレームを分析する第１画像分析ステップと、
前記第１画像分析ステップの分析結果の評価値と、前記入力画像フレームをクラウドサーバで分析した場合において予測される分析結果の評価値との相違値を推定する相違値推定ステップと、
前記相違値に基づいて、前記入力画像フレームを前記クラウドサーバに送信するか否かを判定するフィルタリングステップと、
を含む、映像分析方法。
（付記２）
前記判定を行うための相違値の閾値を、動的に変更する閾値変更ステップを更に含む、付記１に記載の映像分析方法。
（付記３）
前記閾値変更ステップでは、現在時刻を取得し、前記現在時刻における相違値の分布に応じて、前記閾値を変更する、付記２に記載の映像分析方法。
（付記４）
前記閾値変更ステップでは、使用可能帯域を取得し、
前記取得された使用可能帯域での所定時間あたりの送信可能な画像数と、直近の所定時間における一連の推定相違値に応じて、前記閾値を変更する、付記２に記載の映像分析方法。
（付記５）
前記フィルタリングステップは、前記入力画像フレームの全体を、前記クラウドサーバに送信するか否かを判定する、付記１～４のいずれか一項に記載の映像分析方法。
（付記６）
前記フィルタリングステップで、前記クラウドサーバに送ると判断した入力画像フレームの全体を前記クラウドサーバに送信し、前記クラウドサーバに送ると判断しなかった入力画像フレームについては、前回送信したフレームをコピーして前記クラウドサーバに送信するステップを更に含む、付記１～５のいずれか一項に記載の映像分析方法。
（付記７）
エッジ側に配置され、入力画像フレームを分析する第１画像分析手段と、
ネットワークを介してクラウドサーバに配置された、前記第１画像分析手段より高精度な第２画像分析手段と、
前記エッジ側に配置され、前記第１画像分析手段の分析結果の評価値と、前記入力画像フレームを前記第２画像分析手段で分析した場合において予測される分析結果の評価値との相違値を推定する相違値推定手段と、
前記エッジ側に配置され、前記相違値推定手段により推定された相違値に基づいて、入力画像フレームを、前記ネットワークを介して前記クラウドサーバの前記第２画像分析手段に送信するか否かを判定するフィルタ手段と、
を備える、映像分析システム。
（付記８）
前記判定を行うための相違値の閾値を、所定の条件に応じて動的に変更する閾値変更手段を更に備える、付記７に記載の映像分析システム。
（付記９）
前記閾値変更手段は、現在時刻を取得し、前記取得された現在時刻における相違値の分布に応じて、前記閾値を変更する、付記８に記載の映像分析システム。
（付記１０）
前記閾値変更手段は、使用帯域を取得し、前記取得された使用帯域での所定時間あたりの送信可能な画像数と、直近の所定時間における一連の推定相違値に応じて、前記閾値を変更する、付記８に記載の映像分析システム。
（付記１１）
前記フィルタ手段は、前記入力画像フレームの全体を、前記ネットワークを介して前記第２画像分析手段に送信するか否かを判定する、付記７～１０のいずれか一項に記載の映像分析システム。
（付記１２）
前記フィルタ手段が前記第２画像分析手段に送ると判断した入力画像フレームの全体を、前記第２画像分析手段に送信するとともに、前記フィルタ手段が前記第２画像分析手段に送ると判断しなかった入力画像フレームについては、前回送信したフレームをコピーして、前記第２画像分析手段に送信する送信手段を更に備える、付記７～１１のいずれか一項に記載の映像分析システム。
（付記１３）
エッジ側で入力画像フレームを分析する第１画像分析手段と、
前記第１画像分析手段の分析結果の評価値と、前記入力画像フレームをクラウドサーバで分析した場合において予測される分析結果の評価値との相違値を推定する相違値推定手段と、
前記相違値に基づいて、前記入力画像フレームを前記クラウドサーバに送信するか否かを判定するフィルタ手段と、
を備える、情報処理装置。
（付記１４）
前記判定を行うための相違値の閾値を、動的に変更する閾値変更手段を更に備える、付記１３に記載の情報処理装置。
（付記１５）
前記閾値変更手段は、現在時刻を取得し、前記現在時刻における相違値の分布に応じて、前記閾値を変更する、付記１４に記載の情報処理装置。
（付記１６）
前記閾値変更手段は、使用可能帯域を取得し、
前記取得された使用可能帯域での所定時間あたりの送信可能な画像数と、直近の所定時間における一連の推定相違値に応じて、前記閾値を変更する、付記１４に記載の情報処理装置。
（付記１７）
前記フィルタ手段は、前記入力画像フレームの全体を、ネットワークを介して前記クラウドサーバに送信するか否かを判定する、付記１３～１６のいずれか一項に記載の情報処理装置。
（付記１８）
前記フィルタ手段により前記クラウドサーバに送ると判断された入力画像フレームの全体を前記クラウドサーバに送信し、前記フィルタ手段により前記クラウドサーバに送ると判断されなかった入力画像フレームについては、前回送信したフレームをコピーして前記クラウドサーバに送信する送信手段を更に含む、付記１３～１７のいずれか一項に記載の情報処理装置。
１ 映像分析システム
１００ 情報処理装置
１０１ 閾値変更部
１０３ 第１画像分析部
１０４ フィルタ部
１０５ 相違値推定部
１０６ エンコーダ
１１０ カメラ
１２０ ネットワーク
２００ 情報処理装置
２０９ 第２画像分析部
２１０ デコーダ
１００ 情報処理装置
１０１ 閾値変更部
１０３ 第１画像分析部
１０４ フィルタ部
１０５ 相違値推定部
１０６ エンコーダ
１１０ カメラ
１２０ ネットワーク
２００ 情報処理装置
２０９ 第２画像分析部
２１０ デコーダ
Claims (10)
- エッジ側で入力画像フレームを分析する第１画像分析ステップと、
前記第１画像分析ステップの分析結果の評価値と、前記入力画像フレームをクラウドサーバで分析した場合において予測される分析結果の評価値との相違値を推定する相違値推定ステップと、
前記相違値に基づいて、前記入力画像フレームを前記クラウドサーバに送信するか否かを判定するフィルタリングステップと
を含む、映像分析方法。 - 前記判定を行うための相違値の閾値を、動的に変更する閾値変更ステップを更に含む、請求項１に記載の映像分析方法。
- 前記閾値変更ステップでは、現在時刻を取得し、前記現在時刻における相違値の分布に応じて、前記閾値を変更する、請求項２に記載の映像分析方法。
- 前記閾値変更ステップでは、使用可能帯域を取得し、
前記取得された使用可能帯域での所定時間あたりの送信可能な画像数と、直近の所定時間における一連の推定相違値に応じて、前記閾値を変更する、請求項２に記載の映像分析方法。 - 前記フィルタリングステップは、前記入力画像フレームの全体を、前記クラウドサーバに送信するか否かを判定する、請求項１～４のいずれか一項に記載の映像分析方法。
- 前記フィルタリングステップで、前記クラウドサーバに送ると判断した入力画像フレームの全体を前記クラウドサーバに送信し、前記クラウドサーバに送ると判断しなかった入力画像フレームについては、前回送信したフレームをコピーして前記クラウドサーバに送信するステップを更に含む、請求項１～５のいずれか一項に記載の映像分析方法。
- エッジ側に配置され、入力画像フレームを分析する第１画像分析手段と、
ネットワークを介してクラウドサーバに配置された、前記第１画像分析手段より高精度な第２画像分析手段と、
前記エッジ側に配置され、前記第１画像分析手段の分析結果の評価値と、前記入力画像フレームを前記第２画像分析手段で分析した場合において予測される分析結果の評価値との相違値を推定する相違値推定手段と、
前記エッジ側に配置され、前記相違値推定手段により推定された相違値に基づいて、入力画像フレームを、前記ネットワークを介して前記クラウドサーバの前記第２画像分析手段に送信するか否かを判定するフィルタ手段と、
を備える、映像分析システム。 - 前記判定を行うための相違値の閾値を、所定の条件に応じて動的に変更する閾値変更手段を更に備える、請求項７に記載の映像分析システム。
- 前記閾値変更手段は、現在時刻を取得し、前記取得された現在時刻における相違値の分布に応じて、前記閾値を変更する、請求項８に記載の映像分析システム。
- エッジ側で入力画像フレームを分析する第１画像分析手段と、
前記第１画像分析手段の分析結果の評価値と、前記入力画像フレームをクラウドサーバで分析した場合において予測される分析結果の評価値との相違値を推定する相違値推定手段と、
前記相違値に基づいて、前記入力画像フレームを前記クラウドサーバに送信するか否かを判定するフィルタ手段と、
を備える、情報処理装置。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/039453 WO2021070215A1 (ja) | 2019-10-07 | 2019-10-07 | 映像分析方法、映像分析システム及び情報処理装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPWO2021070215A1 JPWO2021070215A1 (ja) | 2021-04-15 |
| JPWO2021070215A5 JPWO2021070215A5 (ja) | 2022-05-30 |
| JP7103530B2 true JP7103530B2 (ja) | 2022-07-20 |
Family
ID=75437021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021550948A Active JP7103530B2 (ja) | 2019-10-07 | 2019-10-07 | 映像分析方法、映像分析システム及び情報処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220345590A1 (ja) |
| JP (1) | JP7103530B2 (ja) |
| WO (1) | WO2021070215A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023149174A1 (ja) * | 2022-02-02 | 2023-08-10 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
| WO2024079901A1 (ja) * | 2022-10-14 | 2024-04-18 | 日本電気株式会社 | 処理制御システム、処理制御装置、および処理制御方法 |
| CN116320536B (zh) * | 2023-05-16 | 2023-08-18 | 瀚博半导体(上海)有限公司 | 视频处理方法、装置、计算机设备及计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013084130A (ja) | 2011-10-11 | 2013-05-09 | Fujitsu Ltd | 画像認識システムおよび画像認識方法 |
| JP2013088477A (ja) | 2011-10-13 | 2013-05-13 | Alpine Electronics Inc | 音声認識システム |
| WO2017038100A1 (ja) | 2015-09-03 | 2017-03-09 | 日本電気株式会社 | 監視サーバ、分散処理決定方法、及びプログラムが格納された非一時的なコンピュータ可読媒体 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11809297B2 (en) * | 2018-04-26 | 2023-11-07 | Nec Corporation | Data analysis device, precision estimation device, data analysis method, and storage medium |
| JP2019215807A (ja) * | 2018-06-14 | 2019-12-19 | 日本電気株式会社 | データ制御装置、データ制御方法、およびプログラム |
| CN113380254B (zh) * | 2021-06-21 | 2024-05-24 | 枣庄福缘网络科技有限公司 | 一种基于云计算和边缘计算的语音识别方法、设备及介质 |
| KR102456189B1 (ko) * | 2021-11-23 | 2022-10-18 | 쿨사인 주식회사 | 클라우드 엣지 기반의 영상 분석 시스템 |
| US11503101B1 (en) * | 2021-12-15 | 2022-11-15 | Motorola Solutions, Inc. | Device and method for assigning video analytics tasks to computing devices |
| CN117079108A (zh) * | 2023-04-28 | 2023-11-17 | 国网山西省电力公司信息通信分公司 | 一种基于深度估计的云边协同视频流分析方法和装置 |
-
2019
- 2019-10-07 JP JP2021550948A patent/JP7103530B2/ja active Active
- 2019-10-07 US US17/765,512 patent/US20220345590A1/en active Pending
- 2019-10-07 WO PCT/JP2019/039453 patent/WO2021070215A1/ja active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013084130A (ja) | 2011-10-11 | 2013-05-09 | Fujitsu Ltd | 画像認識システムおよび画像認識方法 |
| JP2013088477A (ja) | 2011-10-13 | 2013-05-13 | Alpine Electronics Inc | 音声認識システム |
| WO2017038100A1 (ja) | 2015-09-03 | 2017-03-09 | 日本電気株式会社 | 監視サーバ、分散処理決定方法、及びプログラムが格納された非一時的なコンピュータ可読媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2021070215A1 (ja) | 2021-04-15 |
| WO2021070215A1 (ja) | 2021-04-15 |
| US20220345590A1 (en) | 2022-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7103530B2 (ja) | 映像分析方法、映像分析システム及び情報処理装置 | |
| EP3413265B1 (en) | Panoramic video processing method and device and non-transitory computer-readable medium | |
| US8558903B2 (en) | Accelerometer / gyro-facilitated video stabilization | |
| US20210105517A1 (en) | Method and system for adaptive data transmission | |
| US8274602B2 (en) | Image processing apparatus and image processing method with redundant frame detection | |
| CN105282547B (zh) | 一种视频编码的码率控制方法及装置 | |
| WO2021093060A1 (zh) | 一种视频编码方法、***及设备 | |
| US20210342593A1 (en) | Method and apparatus for detecting target in video, computing device, and storage medium | |
| CN110012324B (zh) | 一种嵌入式无线视频传输的码率自适应方法、wifi相机、控制装置以及码率自适应*** | |
| JP2002232882A (ja) | 事前解析を用いた動画像符号化装置、動画像符号化方法、及びそのプログラム。 | |
| US11270438B2 (en) | System and method for triggering machine learning (ML) annotation model retraining | |
| JP6365253B2 (ja) | 映像データ処理装置、映像データ処理プログラムおよび映像データ処理方法 | |
| TW201306601A (zh) | 基於圖框相似性及視覺品質及興趣之圖框編碼選擇 | |
| JP7106968B2 (ja) | 管理装置、データ抽出方法及びプログラム | |
| CN108540827B (zh) | 数据处理方法及装置 | |
| CN105208388B (zh) | 视频通讯中动态调整编码帧率的方法和*** | |
| JP2014236312A (ja) | 設定装置および設定方法 | |
| CN113660465A (zh) | 图像处理方法、装置、可读介质及电子设备 | |
| JP6390167B2 (ja) | 通信スループット予測装置、通信スループット予測方法、及び、プログラム | |
| JP5807102B1 (ja) | 通信帯域算出装置、通信帯域算出方法及びプログラム | |
| CN116886949A (zh) | 直播码率控制方法、装置、电子设备及存储介质 | |
| US10924593B2 (en) | Virtualization with distributed adaptive message brokering | |
| JP2017034307A (ja) | 情報収集管理装置、方法、及び情報収集システム | |
| CN103517074A (zh) | 图像编码设备及其控制方法 | |
| JP2022075518A (ja) | 生産ライン監視方法および生産ライン監視システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220316 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220316 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220607 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220620 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7103530 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |