JP2023544948A - コンピュータ実装方法、コンピュータプログラム、及び映像処理と映像シーケンスからのサムネイルの生成とのための装置、並びにそのような装置を備える映像監視システム - Google Patents
コンピュータ実装方法、コンピュータプログラム、及び映像処理と映像シーケンスからのサムネイルの生成とのための装置、並びにそのような装置を備える映像監視システム Download PDFInfo
- Publication number
- JP2023544948A JP2023544948A JP2023505805A JP2023505805A JP2023544948A JP 2023544948 A JP2023544948 A JP 2023544948A JP 2023505805 A JP2023505805 A JP 2023505805A JP 2023505805 A JP2023505805 A JP 2023505805A JP 2023544948 A JP2023544948 A JP 2023544948A
- Authority
- JP
- Japan
- Prior art keywords
- video
- interest
- search
- frames
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 238000004590 computer program Methods 0.000 title claims abstract description 7
- 230000000694 effects Effects 0.000 claims abstract description 122
- 241001465754 Metazoa Species 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000037308 hair color Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19641—Multiple cameras having overlapping views on a single scene
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
- G08B13/19673—Addition of time stamp, i.e. time metadata, to video stream
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/22—Means responsive to presence or absence of recorded information signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
コンピュータ実装方法、コンピュータプログラム、及び映像処理と映像シーケンスからのサムネイルの生成とのための装置、並びにそのような装置を備える映像監視システム。映像処理のコンピュータ実装方法が提供される。この方法は、第1の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第1の映像シーケンスを取得することと、第2の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第2の映像シーケンスを取得することとを含む。この方法は、第1の映像シーケンスの記録期間と第2の映像シーケンスの記録期間とがある期間にわたって重複するかどうかを判定することと、第1及び第2の映像シーケンスの記録期間がある期間にわたって重複する場合に、少なくとも重複の期間からの第1及び/又は第2の映像シーケンスのフレームを使用して少なくとも1つの第1の映像クリップを定義することとをさらに含む。図3
Description
本開示は、コンピュータ実装方法、映像処理のためのコンピュータプログラム及び装置、並びにそのような装置を備える映像監視システムに関する。本開示はまた、映像シーケンスからサムネイルを生成するためのコンピュータ実装方法、コンピュータプログラム、及び装置に関する。特に、本開示は関心のある異なるオブジェクト又はアクティビティを示す映像シーケンスを処理しそのサムネイルを生成する必要がある映像監視の分野に関する。
映像監視システムは一般に、1つ以上のビデオカメラの視野内の物体及び/若しくはアクティビティの検出時に映像データを記録する多数のビデオカメラを含む。これらのビデオカメラは、常時動作しビデオカメラの面積よりも広い面積をカバーする1つ以上のセンサによって、オブジェクト及び/又はアクティビティの検出時に起動することができる。したがって、ビデオカメラによる記録は、有利にはオブジェクト及び/又はアクティビティがビデオカメラの対象領域に現れた時に作動し、残りの時間に停止することができる。このような動作方法は、映像シーケンスの記録を潜在的に重要なイベントに制限し、映像監視システムを動作させるために必要な記憶容量を制限することを可能にする。
記録された映像シーケンスは一般に、1つ以上の記録サーバに格納され、関心のあるオブジェクト又はアクティビティの映像シーケンスを引き出すことを望むオペレータ又はユーザによってアクセスされ得る。オペレータは一般に、映像分析ソフトウェアによって生成されたメタデータに依拠し、関連する映像シーケンスを見つけるために、1つ以上の検索プラグインを用いてメタデータを照会する。この1つ以上の検索プラグインは、有利には外部及び/又は互いに独立し得る(若しくは情報を共有する自然な方法を有さない)、異なるデータベース内のメタデータを照会することができる。そのようなデータベースは、有利には異なる関係者(例えば、パートナー又は第三者)によって作成されてもよい。これらの異なるデータベースは、有利には同じ映像シーケンスに関連するメタデータを含んでもよく、例えば、1つのデータベースは車両の色に関連するメタデータを含んでもよく、別のデータベースは、1つ以上のビデオカメラによって検出される車両の形式及び/又はモデルに関連するメタデータを含んでもよく。1つのデータベースはまた、それが関連する映像シーケンス内の気象に関連するメタデータを含んでもよい。
メタデータはまた、ウェブリソースを介したオンデマンドクエリを介して、又は任意の他の適切な方法でアクセスされてもよい。メタデータは、有利には仮想(又は仮想化)管理ソフトウェア(VMS)内のメタデータストリームの形で供給することもできる。
したがって、通常、異なるソースからのメタデータを、単一のビデオカメラに由来する、又は異なるビデオカメラに由来する映像シーケンスに添付する(又は結合する若しくは関連付ける)ことが可能である。言い換えれば、場合によっては、1つのメタデータとビデオカメラとの間に1対1の関係を設ける必要がない。
映像監視データを分析し、特定のオブジェクト又はアクティビティを検出することができる多くの映像分析ソフトウェアモジュールが利用可能である。これらは、典型的には検出されたオブジェクト又はアクティビティの性質を記述するデータと共に、オブジェクト又はアクティビティが検出されたフレーム内の時間及び位置を示すメタデータをビデオストリームに添付するだろう。検出可能なオブジェクトの種類の例は、人、車、ライセンスプレートなどである。いくつかのオブジェクト認識アルゴリズムは年齢及び性別によって人々を分類するのに十分に洗練されており、メタデータは、色、車両の種類、又は人の年齢若しくは人の性別などの検出されたオブジェクトの特性を示すことができる。いくつかの映像分析モジュールはまた、徘徊などの行動のパターンのようなアクティビティを検出することができ、これらはまた、映像監視データに含まれ映像データに関連付けられたメタデータによって示すことができる。メタデータが映像監視データに含まれたとき、特定のオブジェクト、アクティビティ、又はイベントの検索を実行するためにメタデータを使用することができる。例えば、黒のSUV、若しくは特定の年齢、性別及び髪の色の人物、又は特定のライセンスプレートを有する車両について、検索を実行することができる。
メタデータを生成する映像分析ソフトウェアは、様々な場所で実行することができる。分析ソフトウェアは、ビデオカメラ、分析サーバ、記録サーバー、又はクライアントデバイスで実行することができる。クラウドベースのシステムでは、映像分析がクラウドで実行されてもよい。
オペレータ又はユーザが特定の期間中に2つ以上の検索条件に一致する対象領域の映像シーケンスを引き出すことを望むとき、いくつかの問題が現れる。
第1に、ユーザの検索の結果として、ユーザは検索に使用された各検索プラグインからの映像シーケンスを提示されてもよく、すなわち、各検索プラグインは、検索する条件が何であれ検索結果を、たとえこれらの検索結果が別の検索プラグインからの検索結果と重複していても提供するだろう。例えば、第1の検索プラグインは特定の髪色を有する男性を含む映像シーケンスを提供し、第2の検索プラグインは特定の年齢グループの男性を含む映像シーケンスを提供し、第3の検索プラグインは特定の色の車を含む映像シーケンスを提供するだろう。これらの条件を探していることをユーザが指定した場合、同じシーンを同時に示す3つの映像シーケンスを提示されることはユーザにとって必ずしも有用ではない。この問題は、1つ以上の検索プラグインが複数の検索結果を提供する場合に悪化する。さらにユーザは、これらの映像シーケンスが検索条件にどのように一致するかについての首尾一貫した理解を作成するために、関連付けられたメタデータによって提供されるこれらの映像シーケンスの全てを組み合わせ、閲覧し、処理することができない。要約すると、ユーザは、全ての映像シーケンスについて時間のかかる分析を伴う過度に多くの検索結果を提示される。
第2に、ユーザは、検索結果が検索条件にどの程度一致するべきかを指定することができない。例えば、ユーザは、各プラグインが追加の検索結果を提供するであろうことから、より多くの検索プラグイン(例えば条件)を追加することで検索結果の数を絞り込むことができない。したがって、多くのビデオカメラが多くの記録された映像シーケンスを生成する環境(例えば、ショッピングモール内)では、関連する検索結果を生成するためにより多くの検索条件を追加することと、検索条件の個数を制限することで検索結果の個数を妥当な個数に制限することとの間に、ユーザのトレードオフが存在する。さらに、ユーザは、例えばユーザが1つの条件(例えば、自分が探している車が青色であるか黒色であるか)について自信がないときに、検索条件のいくつかにのみ一致する検索結果を提示することを選択することができない。要約すると、検索結果として提示される映像シーケンスのコンテンツは、ユーザの検索リクエストと適切に一致しない場合がある。したがって、検索結果の関連性を改善することによって、そのようなユーザの検索リクエストにより良く対処することが一般的に必要とされている。
さらに、ユーザによって検索された、関心のある2つのオブジェクト又はアクティビティを示す、より関連するサムネイルを定義することによって、検索結果のユーザへの提示(又は表示)され方を改善する必要もある。
より詳細には、ユーザにより実行された検索の結果として提示されるべき映像シーケンスが、特定のオブジェクト及び/若しくはアクティビティの検出時に別個に記録された2つの映像シーケンスから作成されたシーケンス(又はクリップ)である場合、このクリップのサムネイルを定義する必要がある。
本開示及び添付の特許請求の範囲において提示される技術的解決策は、上記の問題のうちの少なくとも1つに対処することを目的とする。
本発明は、映像処理のコンピュータ実装方法であって、第1の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第1の映像シーケンスを取得することと、第2の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第2の映像シーケンスを取得することと、第1の映像シーケンスの記録期間と第2の映像シーケンスの記録期間とがある期間にわたって重複するかどうかを判定することと、第1及び第2の映像シーケンスの記録期間がある期間にわたって重複する場合に、少なくとも重複の期間からの第1及び/又は第2の映像シーケンスのフレームを使用して少なくとも1つの第1の映像クリップを定義することと、を含む方法を提供する。
本発明は、映像シーケンスからサムネイルを生成する方法であって、第1の関心のあるオブジェクト又はアクティビティを含む映像シーケンスの第1のフレームを識別することと、第2の関心のあるオブジェクト又はアクティビティを含む映像シーケンスの第2のフレームを識別することと、 映像シーケンスの、第1のフレームの少なくとも一部と第2のフレームの少なくとも一部とを使用してサムネイルを生成することであって、このサムネイルは、第1及び第2の所定のオブジェクト又はアクティビティを含む、生成することと、を含む方法も提供する。この映像シーケンスは、有利には上述した第1の映像クリップであり、第1及び第2のオブジェクト又はアクティビティはそれぞれ、上述した第1の所定の関心のあるオブジェクト若しくはアクティビティ並びに第2の所定の関心のあるオブジェクト若しくはアクティビティである。
この発明の好ましい特徴は、請求項1から19において記載される。
本発明は、請求項20に記載の映像処理のためのコンピュータプログラムも提供する。
本発明は、請求項21又は22に記載の映像処理装置も提供する。
本発明はまた、請求項23乃至25のいずれか一項に記載の映像監視システムを提供する。
ここで、本発明の実施形態は、単なる例として、添付の図面を参照して説明される。
図1は、本発明の実施形態を実装することができる映像監視システム100の一例を示す。システム100は、クライアント装置120、管理サーバ130、映像処理装置140、サムネイル生成装置150、索引付けサーバ160、及び複数のビデオカメラ110a、110b、110cに接続された記録サーバ170を備える。本発明がこの構成に限定されるものではないことに留意されたい。前述のサーバ又は装置のうちの1つ以上は、単一の装置又はサーバに組み合わされてもよい。例えば、クライアント装置120、映像処理装置140及びサムネイル生成装置150の機能は、単一の装置、例えばクライアント装置120によって実行することができる。同様に、管理サーバ130、索引付けサーバ160、及び記録サーバ170の機能は、単一のサーバ、例えば記録サーバ170によって実行されてもよい。本発明はこの構成に限定されない。他のサーバ又は装置が、システム100内に存在してもよい。例えば、記録サーバ170から即座にアクセスする必要はないが、ユーザが永久に削除することを望んではいない、記録サーバ170に格納された古いデータをアーカイブするために、アーカイブサーバ(不図示)が設けられてもよい。なお、主記録サーバに障害が発生した場合には、フェイルオーバ記録サーバ(図示せず)が設けられてもよい。分析サーバは、動き又はオブジェクト検出、顔認識、イベント検出などの画像解析のための分析ソフトウェアを実行することもできる。これらの装置又はサーバのうちのいくつかの機能はまた、異なる装置又はサーバにわたって分散されてもよい。例えば、サムネイル生成装置150の機能は、クライアント装置120及び記録サーバ170にわたって分散されてもよい。
複数の映像監視カメラ110a、110b、110cは、記録サーバ170に映像データを送信する。クライアント装置120は例えば、オペレータが、ビデオカメラ110a、110b、110cから映像データライブを、又は記録サーバ170から記録された映像データを閲覧できるインタフェースを提供する固定端末である。
ビデオカメラ110a、110b、110cは画像データを撮像し、これを複数の映像データストリームとして記録サーバ170に送信する。
記録サーバ170は、ビデオカメラ110a、110b、110cによって撮像された映像データストリームを格納する。映像データは、視聴するオペレータによってどのライブストリーム又は記録ストリームが選択されるかに応じて、記録サーバ170からクライアント装置120にストリーミングされる。
クライアント装置120は、第1のネットワーク/バス121を介して、管理サーバ130、映像処理装置140、サムネイル生成装置150、索引付けサーバ160、及び記録サーバ170と通信するように構成される。記録サーバ170は、第2のネットワーク/バス122を介してカメラ110a、110b、110cと通信する。本発明はこれらの特定のネットワーク/バス121、122に限定されず、上述の装置及びサーバは異なる方法で接続されてもよいことに留意されたい。例えば、クライアント装置120、映像処理装置140、サムネイル生成装置150、索引付けサーバ160、及び記録サーバ170は、管理サーバ130に直接接続され、それらの間のインタフェースとして機能してもよい。あるいは、管理サーバ130、映像処理装置140、サムネイル生成装置150、索引付けサーバ160、及び記録サーバ170は、クライアント装置120に直接接続され、それらの間のインタフェースとして機能してもよい。
管理サーバ130は、アラームの条件、取り付けられている周辺機器(ハードウェア)の詳細、どの記録サーバにどのデータストリームが記録されているかなど、監視/モニタリングシステム100の構成に関する情報を管理する管理ソフトウェアを含む。管理サーバ130は、オペレータ権限等のユーザ情報も管理する。クライアント装置120がシステムに接続されているとき、又はユーザがログインするとき、管理サーバ130は、ユーザが映像データを閲覧する権限を与えられているかどうかを判定する。管理サーバ130はまた、管理サーバ130が構成データをクライアント装置120に送信する初期化又はセットアップ処置を開始する。この構成データは、システム内のビデオカメラを定義し、各カメラが接続されている記録サーバを(複数の記録サーバがある場合)定義する。そして、クライアント装置120は、構成データをキャッシュに格納する。この構成データは、クライアント装置120がビデオカメラを識別し、ビデオカメラ及び/又は記録サーバからデータを取得するために必要な情報を含む。なお、本発明はこの特定の例に限定されるものではなく、構成データが映像監視システムの他の装置やサーバに格納されていてもよいことに留意されたい。
オブジェクト検出/認識は、オブジェクト認識ソフトウェアによって映像データに適用することができる。このオブジェクト認識ソフトウェアは、ビデオストリームに関連付けられ、フレーム内のどこでオブジェクトが検出されたかを定義するメタデータ(又はコンテンツメタデータ)を生成する。このコンテンツメタデータはまた、どの種類のオブジェクト又はアクティビティが検出されたか、例えば、人、車、犬、自転車、アラーム、動きを定義してもよい。他の種類の映像分析ソフトウェアも、挙動検出(例えば、徘徊検出)、ライセンスプレート認識、又は顔認識などのコンテンツメタデータを生成することができる。
メタデータを生成するオブジェクト検出/認識ソフトウェア、若しくは任意の映像分析ソフトウェアは、クライアント装置120上で若しくは分析サーバ上で、又は記録サーバ170上で若しくはビデオカメラ自体上で実行されてもよい。メタデータが生成されることは、本発明に必須ではない。メタデータは、映像監視データと共に記録サーバに格納され、それに関連付けられる映像データを有していてもいなくても、クライアント装置にストリーミングされてもよい。
図1の映像監視システムは、本発明が実装され得るシステムの一例である。しかしながら、他の構成が可能である。例えば、図1のシステムは「オンプレミス」システムであるが、本発明はクラウドベースのシステムに実装することもできる。クラウドベースのシステムでは、ビデオカメラはデータをクラウドにストリーミングし、少なくとも記録サーバ170がクラウド内にある。さらに、映像分析がクラウドにおいて実行されてもよい。クライアント装置は、クラウドからユーザが視聴する映像データを要求する。
クライアント装置120は例えば、索引付けサーバ160又は記録サーバ170からメタデータを取得することができる。あるいは、クライアント装置120によって取得された映像データが、他の場所(例えば、分析サーバ、記録サーバ、又はビデオカメラ)で実行される映像分析によって生成されたメタデータを含んでもよい。
本発明を実装することができるさらに別の方法もある。例えば、映像シーケンスの検索は索引付けサーバ160又は記録サーバ170で実行することができ、検索クエリは、クライアント装置120から送信される。
本例では、記録サーバ170が専用の分析サーバを必要とせずに分析ソフトウェアを実行し、生成されたメタデータは例えば、図2に示されるものなどのグラフィカルユーザインタフェース(GUI)を介して、クライアント装置120を介してユーザによって照会され得る索引付けサーバ160上で、編成された手法で索引付けされる。
図2のGUIは2つの検索プラグイン(SP)200、210を備え、記録サーバ170に格納された映像シーケンス内の特定の種類のコンテンツを検索し、異なる検索クエリに一致する検索結果として特定の映像シーケンスを返すことができる。本例では、第1の検索プラグイン200が特定の色及び種類の車両を検索することができ、第2の検索プラグイン210は特定の姿勢の、又は特定の動きをしている人を検索することができる。しかしながら本発明は、この例に限定されず、3つ以上の検索プラグインを含むことができる。本発明は例えば、分析ソフトウェアによって生成され、インデックス付けサーバ160においてインデックス付けされたメタデータを検索するように構成された1つ以上の検索プラグインを用いて実行することもできる。
ユーザは、ユーザが少なくとも2つの異なる検索条件を定義していれば、同じ種類の、又はそれらの組合せの、関心のある異なるオブジェクト又はアクティビティを検索してもよい。例えば、ユーザは、青い車及び赤い車を検索してもよい。あるいは、ユーザは、青い車及びその音が映像シーケンスに記録されているアラームなどの、異なる種類の関心のあるオブジェクト又はアクティビティを検索してもよい。ユーザは、関心のある2つのオブジェクト、関心のある2つのアクティビティ、又は関心のある1つ以上のオブジェクト及び1つ以上のアクティビティの組合せを検索してもよい。オブジェクトの例としては車両、ナンバープレート、人、動物、標識(矢印など)、又は幾何学的形成が挙げられるが、これらに限定されない。関心のあるアクティビティの例としては、アラーム、音、人、車両、若しくは動物による所定の領域(例えば、フェンスの周囲若しくは後ろの領域など)へのアクセス、又はアクセス制御システム(例えば、バッジシステムによって制御されるドアの後ろの廊下)によって制御若しくはモニタリングされる場所、若しくは資源へのアクセスが挙げられる(ただし、これらに限定されない)。
有利には、映像シーケンスに関連付けられ、映像シーケンス内の関心のあるオブジェクト又はアクティビティに関連するコンテンツメタデータは、アクセス制御に関連する追加のメタデータ(例えば、対象領域を備える建物内のアラームの非アクティブ化に関連するデータなど)で増加されてもよい。次いで、前述のプラグインのうちの1つ以上を、この追加のメタデータを検索するように構成することができる。この追加のメタデータは、当業者に知られている任意の適切なソフトウェアによって生成することができる。
図3は、本質的に4つの工程を含む、本発明による映像処理のコンピュータ実装方法のフローチャートを示す。第1の工程S300においてコンピュータは、第1の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第1の映像シーケンスを取得し、第2の工程S310においてコンピュータは、第2の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第2の映像シーケンスを取得するだろう。工程S300と工程S310とを同時に実行できることは留意されたい。工程S300及びS310は上述のように、ユーザが2つの検索プラグインに1つ以上の検索条件を入力することによって実行することができる。このようにして、関心のあるオブジェクト及び/又はアクティビティは、ユーザによって事前に決定される。次の工程S320においてコンピュータは、第1及び第2の映像シーケンスの記録期間が時間的に重複するかどうかを判定するだろう。「時間的に重複する」とは、映像シーケンスが少なくとも部分的に同時に記録されていたことを意味する。例えば、2020年10月1日の4時から4時15分の間に、対象領域内の青い車(第1の所定のオブジェクト)が検出されて消滅したときに、第1の映像シーケンスが記録され、同日の4時12から4時17分の間に、同じ対象領域内の走行者(第2の所定のオブジェクト)が検出されたときに、第2の映像シーケンスが記録された。この第1及び第2の映像シーケンスが重複するので、少なくとも2つのオブジェクトを同時に示す重複期間から、第1及び/又は第2の映像シーケンスのフレームを使用して第1のクリップを定義することが可能である。上記の例では、重複の期間である午後4時12分~4時15分の期間からの第1及び/又は第2の映像シーケンスからのフレームを使用して、クリップが定義され得る。また、重複期間の前及び/又は後のより多くのフレームを含むより長い映像クリップを定義することも可能である。上記の例では、例えば、午後4時00分から4時17分の間の記録期間に対応するクリップを定義するために、第1の映像シーケンスからの全てのフレームと第2の映像シーケンスからの全てのフレームとを含むより長い映像クリップを定義することが可能である。あるいは、1つ以上の中間クリップ、例えば、第2の映像シーケンスからの重複期間からの第1及び第2の映像シーケンスからの全てのフレームと、第2の映像シーケンスからの他のどのフレームもない第1の映像シーケンスからの他の全てのフレームと、を含むクリップ、すなわち午後4時00分から4時15分の間の記録期間に対応するクリップ、又はその重複期間からのからの第1及び第2の映像シーケンスからの全てのフレームと、第1の映像シーケンスからの他のどのフレームもない第2の映像シーケンスからの他の全てのフレームと、を含むクリップ、すなわち午後4時12分から4時17分の間の記録期間に対応するクリップを定義することも可能である。
好ましくは、このクリップは、時間的に重複する第1及び第2の映像シーケンスからの全てのフレーム、すなわち、第1及び第2の映像シーケンス間の重複期間からの第1及び第2の映像シーケンスの全てのフレーム、並びに前記重複期間外に存在する第1及び第2の映像シーケンスの全てのフレーム(以下、「OR」シナリオと称する)、又は重複期間からの第1及び/又は第2の映像シーケンスからの全てのフレームを含むべきであり、これらはあり得る最長の期間の間、全てのユーザの検索調査条件と一致するシーケンスに対応する(以下、「AND」シナリオと称する)。この「OR」及び「AND」シナリオに対応するクリップは、関心のある2つのオブジェクト及び/若しくはアクティビティを、それらが単独であろうと一緒であろうと対象領域に現れた時間全てにおいて示すクリップ(「OR」シナリオ又は「OR」結果)を、又は関心のある2つのオブジェクト及び/若しくはアクティビティのみを、それらが同じ対象領域に一緒に存在した時間全てにおいて示すクリップ(「AND」シナリオ又は「AND」結果)を、ユーザがそれぞれ見ることを可能にするため、ユーザにとって最も有意義となるだろう。
「AND」シナリオに対応するクリップは例えば、ランナーが青い車をカージャックしようとしたかどうかをオペレータが迅速にチェックすることを可能にし、「OR」シナリオに対応するクリップは例えば、オペレータが青い車が出発した後にランナーをより容易に識別することを可能にする。
明らかに、「OR」及び「AND」シナリオに対応するクリップは、ユーザの検索条件に基づいて自動化された基準で定義することができる。
このシステムは、「OR」及び「AND」のいずれかの結果に対応するクリップのみをユーザに提示するように構成されてもよいことは留意されたい。
さらに、「OR」シナリオに従ってクリップを定義することが可能である場合、「AND」シナリオに従ってクリップを定義することが可能であり、逆もまた同様である。「OR」及び「AND」シナリオによるクリップは、異なる検索プラグインからの重複検索結果の記録期間が同一である場合にも同一であってもよい。しかしながら、以下でより詳細に説明されるように、そのようなクリップがユーザの検索条件の全てを満たさないとき、例えば、3つの所定の関心のあるオブジェクト及び/又はアクティビティ(又は使用した3つの異なる検索プラグイン)をユーザが検索し、2つの検索プラグインのみから取得された検索結果が時間的に重複するとき、「AND」シナリオに従ってクリップを表示しないことが有利であってもよい。このようにして、ユーザは、ユーザの検索条件全てを同時に示すクリップが存在し得ないということに気が付く。
第1及び第2の映像シーケンスは、同じ対象領域をカバーするように記録される。このようにして、重複期間中に記録された第1及び第2の映像シーケンスからのフレームは同一であり、少なくとも重複期間からの2つの映像シーケンスのいずれかからのフレーム、又は両方の映像シーケンスからのフレームを使用して第1のクリップを定義することが可能である。本発明の文脈では、異なる映像シーケンスのフレームは、それらが互いのコピーである場合、それらに添付されたメタデータを考慮することなく、同一であると見なされる。この目的は、映像シーケンスが同じビデオカメラに由来し、ビデオカメラの単一の視野に対応する場合に、さらに容易に達成される。このビデオカメラは、180度を超える、例えば360度の視野を提供することができる。しかしながら、対象領域は、複数のビデオカメラによって観察される領域、例えば、異なるビデオカメラの視野を組み合わせることによって得られるパノラマの視野に対応する領域にも対応することができる。
この方法はまた、第1及び/又は第2の映像シーケンスとの重複期間中に少なくとも部分的に記録されており、関心のある別のオブジェクト及び/又はアクティビティを備える対象領域の、任意の追加の映像シーケンスを取得することを含んでもよい。このようにして、第1及び追加の映像シーケンスの間、又は第2及び追加の映像シーケンスの間の重複期間に対応する少なくとも1つの第2のクリップを定義することが可能である。2つ以上のそのような追加の映像シーケンスがある場合、第2のクリップは、(第1、第2、及び追加の映像シーケンスのうちの)取得された映像シーケンスのうちの少なくとも2つの間、例えば2つの追加の映像シーケンスの間の重複期間に対応することができる。「第1の」又は「第2の」クリップという表現は、前述の「AND」及び「OR」シナリオによる複数の第1若しくは第2の映像クリップの存在を妨げないことに留意されたい。
本発明によれば、第1並びに第2の映像クリップの各々は、前述の「AND」及び「OR」シナリオに従って、少なくとも2つの映像シーケンスに由来する。クリップは、ある期間中に3つ以上の映像シーケンスが重複する場合、前記3つ以上の映像シーケンスに由来し得ることに留意されたい。
次に、上述の方法を、「AND」及び「OR」シナリオによる検索結果の組合せを示す図4~図17の例を用いて説明する。
本開示では、「検索結果」又は「個々の検索結果」という用語は、別段の指定がない限り、「検索プラグイン」から取得される、上述の第1、第2、若しくは追加の映像シーケンスなどの映像シーケンス(又は個々の映像シーケンス)を意味すると理解されなければならない。「検索プラグイン」という語は、任意のそのような映像シーケンスを少なくとも1つの検索条件に基づいて検索するための、例えば、検索可能な所定の関心のあるオブジェクト又はアクティビティの一覧を備えるスクロールダウンメニューを有する検索エンジンを、又は、前記少なくとも1つの検索条件に対応する文章をオペレータが入力することができる検索フィールドなどの手段を指定する。本発明は、検索プラグインがソフトウェア又はコーディングの観点から互いに独立している場合には限定されない。
これらの図では、以下のキーが使用されている。
-SPx-Ry:検索プラグイン「x」で検索された入力検索結果「y」。
-OR:「OR」シナリオの出力結果。
-AND:「AND」シナリオの出力結果。
-{z}:「OR」又は「AND」の結果を構成する入力検索結果のコンマ区切りリスト。
-[------|------]:開始括弧及び終了括弧で定義される「タイムライン」上の検索結果のスパン並びにトリガ時間。「-」は映像シーケンスのフレームを示す。「|」はトリガ時間を示す。「!」は、以下でさらに説明するように、作られたトリガ時間を示す。
-SPx-Ry:検索プラグイン「x」で検索された入力検索結果「y」。
-OR:「OR」シナリオの出力結果。
-AND:「AND」シナリオの出力結果。
-{z}:「OR」又は「AND」の結果を構成する入力検索結果のコンマ区切りリスト。
-[------|------]:開始括弧及び終了括弧で定義される「タイムライン」上の検索結果のスパン並びにトリガ時間。「-」は映像シーケンスのフレームを示す。「|」はトリガ時間を示す。「!」は、以下でさらに説明するように、作られたトリガ時間を示す。
映像シーケンスに関連付けられたメタデータは、有利には以下の要素のうちの1つ以上を備えることができる。
「BeginTime」:検索結果の開始時間又はスタート時間。
「EndTime」:検索結果の終了時間。
「TriggerTime」:映像シーケンス内のオブジェクト及び/若しくはアクティビティが可視又は認識可能である、BeginTime並びにEndTimeタイムスパン内のタイムスタンプ。
「BeginTime」:検索結果の開始時間又はスタート時間。
「EndTime」:検索結果の終了時間。
「TriggerTime」:映像シーケンス内のオブジェクト及び/若しくはアクティビティが可視又は認識可能である、BeginTime並びにEndTimeタイムスパン内のタイムスタンプ。
本発明は、前述の定義に与えられた特定の名称に限定されないことに留意されたい。有利には、トリガ時間は、映像シーケンス内の所定のオブジェクト及び/若しくはアクティビティが最も明らかである又は認識可能である映像シーケンス内の時間に対応する。言い換えれば、トリガ時間は好ましくは、映像シーケンス内の「最も重要である」フレーム、例えば映像シーケンスが歩いて過ぎる疑わしい人を含む場合に対応し、次いでトリガ時間は、その人の顔が最も認識可能であるフレームを指すことができる。
図4は、第1の検索プラグイン(SP1)及び第2の検索プラグイン(SP2)がそれぞれ、前述のように、オペレータの2つの検索クエリ(又は条件)のうちの1つにそれぞれ対応する第1の(SP1-R01)及び第2(SP2-R01)の映像シーケンスを返す例を示す。ここで、第1の映像シーケンスが記録されている間に、第2の映像シーケンスが完全に記録されたことが分かる。したがって、第1及び第2の映像シーケンスの記録期間は時間的に重複し、第1及び第2の映像シーケンスの両方の組合せに対応する第1のクリップ(「OR」シナリオ {SP1-R01,SP2-R01})並びに/又は第1及び第2の映像シーケンス間の重複の時間期間からのフレームのみを含む第1のクリップ(「AND」シナリオ {SP1-R01,SP2-R01})を定義することが可能である。前述のように、オペレータは「AND」及び「OR」シナリオの両方から、又はそれらのうちの1つだけからクリップを見ることを選択してもよい。あるいは、コンピュータは、両方のシナリオからの、又は1つのシナリオのみからの結果を表示するように構成されてもよい。この例では、第1の映像シーケンス(SP1-R01)のトリガ時間が第1の映像シーケンスと第2の映像シーケンスとの間の重複時間内に入らないことも分かる。しかしながら、第2の映像シーケンス(SP2-R01)のトリガ時間は重複期間内にある。したがって、このトリガ時間に対応する第1及び/若しくは第2の映像シーケンスからのフレームを使用して、第1の映像シーケンスからの第1の所定の関心のあるオブジェクト又はアクティビティを含むサムネイルを、第2の映像シーケンスからの関心のある第2のオブジェクト又はアクティビティとともに生成することが有利である。したがって、このサムネイルは、「AND」及び「OR」結果におけるオブジェクト又はアクティビティの両方を表す。
図5は、第1(SP1-R01)及び第2(SP1-R02)の映像シーケンスの記録期間が重ならない、すなわち、第1及び第2の映像シーケンスが同時に記録されていなかった例を示す。さらに、同じ検索プラグインに由来する検索結果は、それらの検索結果が同じ所定の関心のあるオブジェクト又はアクティビティを含み、ユーザが検索している、第2の又は追加の所定の関心のあるオブジェクト又はアクティビティを含まないことから、クリップを定義するために使用されない。したがって、これらの2つの理由から、「AND」及び「OR」シナリオに従ってクリップを定義することは不可能であり、そのようなクリップを表す共通サムネイルはなおさらである。この場合、検索結果は例えば、4つの個々の検索結果(「OR」結果:{SP1-R01}及び{SP1-R02}、並びに「AND」結果:{SP1-R01}及び{SP1-R02})としてオペレータに提示することができ、あるいは全く提示しないこともできる。
図6は、第1(SP1-R01)及び第2(SP1-R02)の映像シーケンスの記録期間が重複するが、映像シーケンスが(図5の例のように)同じ検索プラグイン(SP1)に由来する例を示す。例えば、第1({SP1-R01})及び第2({SP1-R02})映像シーケンスはそれぞれ、青い車、すなわち、ユーザの検索リクエストと同じ所定の関心のあるオブジェクトを含む。このため、ここでも、「AND」及び「OR」シナリオに従って任意のクリップを定義することは不可能であり、そのような任意のクリップを表す共通サムネイルはなおさらである。この場合、検索結果は、4つの個々の検索結果(「OR」結果:{SP1-R01}及び{SP1-R02}、並びに「AND」結果:{SP1-R01}及び{SP1-R02})としてオペレータに提示することもでき、あるいは全く提示しないこともできる。
図7は図5と同様の例を示すが、第1(SP1-R01)及び第2(SP2-R01)の映像シーケンスは2つの異なる検索プラグイン(SP1及びSP2)に由来する。異なる検索プラグインの検索結果が時間的に重複しないような場合、「AND」シナリオのために、いかなる検索結果もオペレータに提示しないことが有利であり得る。このようにして、オペレータは、オペレータの検索クエリに対応する2つの所定の関心のあるオブジェクト及び/又はアクティビティを含むクリップを定義することが、これらの2つの所定の関心のあるオブジェクト及び/又はアクティビティが決して対象領域に同時に現れないことから、不可能であることに気が付く。
図8は、2つの異なる検索プラグインからの検索結果が時間的に重複するが、第1(SP1-R01)及び第2の映像シーケンス(SP2-R01)のいずれも、第1及び第2の映像シーケンスの他方の記録期間中に完全には記録されなかった例を示す。この場合、第1及び第2の映像シーケンスの全てのフレームを含むクリップ(「OR」シナリオ {SP1-R01,SP2-R01})並びに/又は重複の全期間からの第1及び第2の映像シーケンスからの全てのフレームを含むクリップ(「AND」シナリオ {SP1-R01,SP2-R01})を定義することが可能である。この例では、第1及び第2の映像シーケンスのトリガ時間のいずれも、重複の期間内に収まらないことが分かる。異なる検索プラグインからの2つの検索結果のみが互いに重複するような場合、最も早いトリガ時間を有する第1又は第2の映像シーケンスからのフレームを使用して、「OR」シナリオに対応するクリップを表すサムネイルを生成することと、「OR」シナリオに対応するクリップの第1のフレームを使用して、このクリップを表すサムネイルを生成することが提案される。サムネイルを生成するために使用される「AND」シナリオに対応するクリップの最初のフレームは、このフレームに対応するトリガ時間が個々の検索結果に存在しなかったため、「作られたトリガ時間」を有するものとして定義することができる。
不図示の例によれば、2つの異なる検索プラグインからの検索結果が時間的に重複するが、第1及び第2の映像シーケンスのうちの他方の記録期間中に第1及び第2の映像シーケンスのいずれも完全に記録されなかった場合には、「OR」シナリオに対応するクリップを表すサムネイルを生成するために、「AND」シナリオのために作られたトリガ時間に対応するフレームを使用することも可能である。この場合、「OR」シナリオのサムネイルは、図8の例とは対照的に、第1及び第2の所定の関心のあるオブジェクト又はアクティビティの両方を示すであろうし、第1の所定の関心のあるオブジェクト又はアクティビティのみが、「OR」シナリオに対応するクリップを表すサムネイルに存在する。
関心のある異なるオブジェクト及び/若しくはアクティビティを示すフレームが映像シーケンス又はクリップのサムネイルとして選択されるとき、オペレータによる識別を容易にするために、前記関心のあるオブジェクト及び/又はアクティビティをバウンディングボックス内に囲むことが有利であり得ることに留意されたい。
図9は、第1の検索プラグイン(SP1)が単一の検索結果(SP1-R01)を返し、第2の検索プラグイン(SP2)が2つの検索結果(SP2-R01及びSP2-R02)を返しており、2つの検索プラグインからの第1の結果のみが時間的に重複する(SP1-R01及びSP2-R01)別の例を示す。この場合、時間的に重複する映像シーケンスの全てのフレームを含む第1のクリップ(「OR」シナリオ {SP1-R01,SP2-R01})及び/又は時間的に重複する映像シーケンス間の重複期間からのフレームのみを含む第1のクリップ(「AND」シナリオ {SP1-R01,SP2-R01})を定義することが可能である。前述のように、異なる検索プラグインからの2つの検索結果のみが互いに重複するような場合には、時間的に重複する映像シーケンスのトリガ時間の中で最も早いトリガ時間を使用して、「OR」シナリオに対応する任意のそのようなクリップを表すサムネイルを生成するために使用されるフレームを定義することができる。任意の他の映像シーケンスと時間的に重複しない映像シーケンスは「OR」シナリオ(本例ではシーケンス{SP2-R02}など)における個々の検索結果として提示することができ、あるいは全く提示しないこともできる。
図10は、3つ以上の検索プラグイン、より具体的には3つの検索プラグインを含む例を示す。ここで、第1の検索プラグイン(SP1)は単一の検索結果(SP1-R01)を返し、第2の検索プラグイン(SP2)は単一の検索結果(SP2-R01)を返し、第3の検索プラグイン(SP3)は2つの検索結果(SP3-R01及びSP3-R02)を返している。第3のプラグインからの2つの検索結果は、前述のように「追加の映像シーケンス」と見なすことができる。この例では、第3の検索プラグイン(SP3)からの第1の検索結果(SP3-R01)が第1の検索プラグイン(SP1)からの第1の検索結果(SP1-R01)と重複し、第3の検索プラグイン(SP3)からの第2の検索結果(SP3-R02)は第2の検索プラグイン(SP2)からの第1の検索結果(SP2-R02)と重複する。この場合、時間的に重複する異なるプラグインからの映像シーケンスの全てのフレームをそれぞれ含む2つの第1のクリップ(「OR」シナリオ {SP1-R01,SP3-R01}及び{SP2-R01,SP3-R02})を定義することが可能である。前述のように、異なる検索プラグインからの2つの検索結果のみが互いに重複するような場合には、時間的に重複する映像シーケンスのトリガ時間の中で最も早いトリガ時間を使用して、「OR」シナリオに対応する任意のそのようなクリップを表すサムネイルを生成するために使用されるフレームを定義することができる。しかしながら、時間的に同時に重複する全ての異なる検索プラグインからの映像シーケンスが存在しないので、「AND」シナリオのために、いかなる検索結果もオペレータに提示しないことが有利であり得る。したがって、「AND」シナリオに対応するクリップ{SP1-R01,SP3-R01}及び{SP2-R01,SP3-R02}は、好ましくはユーザに提示されないか、又は除去/削除される。「NONE」という単語は例えば、「AND」結果の一覧に表示することができる。このようにして、オペレータは、オペレータの検索クエリに対応する3つの所定の関心のあるオブジェクト及び/又はアクティビティを含むクリップを定義することが、これらの3つの所定の関心のあるオブジェクト及び/又はアクティビティが決して対象領域に同時に現れないことから、不可能であることに気が付く。あるいは、任意のそのようなクリップを定義することができなかったことを、ユーザに示すことができない。
図11は2つの検索プラグインを含む例を示しており、第1の検索プラグイン(SP1)は3つの検索結果(SP1-R01、SP1-R02、SP1-R03)を返し、第2の検索プラグイン(SP2)は2つの検索結果(SP2-R01、SP2-R02)を返している。この例では、第1の検索プラグイン(SP1)の第1の検索結果(SP1-R01)が、第2の検索プラグイン(SP2)の第1の検索結果(SP2-R01)及び第2の検索結果(SP2-R02)と重複する。また、第1の検索プラグイン(SP1)の第2の検索結果(SP1-R02)は、第2の検索プラグイン(SP2)の第2の検索結果(SP2-R02)と重複する。前述のように(例えば、図6の例においてなど)、同じ検索プラグインに由来する検索結果は、それらの検索結果が同じ所定の関心のあるオブジェクト又はアクティビティを含み、ユーザが検索している、第2の又は追加の所定の関心のあるオブジェクト又はアクティビティを含まないことから、クリップを定義するために使用されない。本例では、時間的に重複する異なる検索プラグインからの映像シーケンスの全てのフレームを含む3つのクリップ(「OR」シナリオ {SP1-R01,SP2-R01}、{SP1-R01,SP2-R02}及び{SP1-R02,SP2-R02})、異なる検索プラグインからの映像シーケンス間の重複時間のフレームのみを含む2つのクリップ(「AND」シナリオ {SP1-R01,SP2-R01}及び{SP1-R02,SP2-R02})、並びに/又は1つのフレームだけ重複する異なる検索プラグインからの映像シーケンス間の重複時間の単一のフレームを含む1つのクリップ(「AND」シナリオ {SP1-R01,SP2-R02})を定義することが可能である。他の映像シーケンスと重複しない個々の検索結果は、これらの結果がユーザの検索リクエストの検索条件の少なくとも1つを満たすため、「OR」シナリオにおいてそのように提示することができる。図10の例と同様に、異なる検索プラグインからの2つの検索結果のみが互いに重複するような場合には、時間的に重複する異なる検索プラグインからの映像シーケンスのトリガ時間の中で最も早いトリガ時間を使用して、「OR」シナリオに対応する任意のそのようなクリップを表すサムネイルを生成するために使用されるフレームを定義することができる。(「AND」結果 {SP1-R01,SP2-R01}などの)「AND」シナリオに対応する任意のそのようなクリップを表すサムネイルを生成するために使用されるフレームを定義するために、時間的に重複する異なる検索プラグインからの映像シーケンスの重複期間内に収まるトリガ時間のうちの最も早いトリガ時間を使用することができる。図8の例と同様に、互いに時間的に重複する異なる検索プラグインからの映像シーケンスの重複期間内にトリガ時間が収まらない場合、「AND」シナリオで定義された対応するクリップの第1のフレームを使用して、このクリップを表すサムネイルを生成することが可能である。サムネイルを生成するために使用される「AND」シナリオに対応する各クリップの最初のフレームは、図8を参照して以前に説明したように、作られたトリガ時間を有するものとして定義することができる(この例では、「AND」シナリオ {SP1-R01,SP2-R02}及び{SP1-R02,SP2-R02}を参照)。
図12は、3つの検索プラグインを含む例を示している。ここでは、異なる検索プラグインからの3つの映像シーケンスが時間的に重複している(検索結果SP1~R01、SP2~R01、SP3~R02)。したがって、時間的に重複する異なるプラグインからの全ての映像シーケンスの全てのフレームを使用するクリップ(「OR」シナリオ({SP1-R01,SP2-R01,SP3-R02})及び/又は時間的に重複する異なるプラグインからの全ての映像シーケンスの重複時間のフレームのみを使用するクリップ(「AND」シナリオ {SP1-R01,SP2-R01,SP3-R02})を定義することが可能である。異なる検索プラグインからの3つ以上の検索結果が互いに重複するような場合、時間的に重複する異なる検索プラグインからの映像シーケンスのトリガ時間の中で最も早い検索結果と重なり合う最も早いトリガ時間を使用して、「OR」シナリオに対応する任意のこのようなクリップを表すサムネイルを生成するために使用されるフレームを定義することができる。さらに、図10の例と同様に、時間的に重複する異なる検索プラグインからの映像シーケンスの重複期間に収まるトリガ時間のうちの最も早いトリガ時間を使用して、「AND」シナリオに対応する任意のそのようなクリップを表すサムネイルを生成するために使用されるフレームを定義することができる(ここで、SP1-R01のトリガ時間は検索結果SP1-R01、SP2-R01、及びSP3-R02の重複期間に収まる唯一のトリガ時間であり、したがって、「AND」シナリオ{SP1-R01、SP2-R01、SP3-R02}に対応するクリップを表すサムネイルを生成するために使用されるフレームを定義するために使用される)。この例では、映像シーケンスSP2-R01及びSP3-R01、個々の検索結果SP3-R03、並びにそれらのサムネイル(「OR」シナリオでは)に由来するクリップが以前の例で説明したように取得される。
図13~図16は、個々の検索結果のうちの少なくとも1つが、映像シーケンスの開始時の予備シーケンスと、前記映像シーケンスの終了時の少なくとも1つの閉鎖シーケンスとを含む、追加の例を示す。この予備シーケンス及び閉鎖シーケンスは、個々に、パディングシーケンス、すなわち、映像シーケンスの所定のオブジェクト若しくはアクティビティが必ずしも現れないシーケンスと、及び/又は映像品質が映像シーケンスの残りのものよりも低いシーケンスと呼ばれる。映像シーケンスの取得の条件が正規化される前に変化するので、例えば、対象領域が暗い部屋であり、光がオンにされ、したがって、光がまだその完全な明るさに達しておらず、映像シーケンスの記録の品質が結果的に低いパディングシーケンスを作成するので、そのようなパディングシーケンスが存在する可能性がある。ビデオカメラが対象領域より広い領域をカバーするセンサによって起動されると記録をスタートし、映像シーケンスの記録のスタート後に所定の関心のあるオブジェクト又はアクティビティが対象領域に収まることからも、このパディングシーケンスは存在し得る。
そのようなパディングシーケンスが存在するときは必ず、映像シーケンスの記録期間が互いに時間的に重複するかどうかを判定するために、そのようなパディングシーケンスを考慮に入れないことが好ましい。しかしながら、「AND」及び「OR」シナリオに従って定義されたクリップに任意のそのようなパディングシーケンスを含めることが有利である可能性がある。
図13~図16では、任意のパディングシーケンスが細線によって提示され、任意の非パディングシーケンスが太線によって提示される。映像シーケンスの個々のフレームは、簡略化のためにもはや示されていない。
映像シーケンスに関連付けられたメタデータは、有利には以下の要素のうちの1つ以上を備えることができる。
「BeginTime」:パディングを含まない検索結果の開始時間又はスタート時間。
「BeginTimeWithPadding」:パディングを含む検索結果の開始時間又はスタート時間。
「EndTime」:パディングを含まない検索結果の終了時間。
「EndTimeWithPadding」:パディングを含む検索結果の終了時間。
「TriggerTime」:映像シーケンス内のオブジェクト及び/若しくはアクティビティが可視又は認識可能である、BeginTime並びにEndTimeタイムスパン内のタイムスタンプ。
「BeginTime」:パディングを含まない検索結果の開始時間又はスタート時間。
「BeginTimeWithPadding」:パディングを含む検索結果の開始時間又はスタート時間。
「EndTime」:パディングを含まない検索結果の終了時間。
「EndTimeWithPadding」:パディングを含む検索結果の終了時間。
「TriggerTime」:映像シーケンス内のオブジェクト及び/若しくはアクティビティが可視又は認識可能である、BeginTime並びにEndTimeタイムスパン内のタイムスタンプ。
本発明は、前述の定義に与えられた特定の名称に限定されないことに留意されたい。
前述のように、トリガ時間は、映像シーケンス内の所定のオブジェクト及び/若しくはアクティビティが最も明らかである又は認識可能である映像シーケンス内の時間に対応する。
図13は、第1の検索プラグイン(SP1)の第1の検索結果(SP1-R01)が2つのパディングシーケンス、すなわち、予備及び閉鎖シーケンスを含み、一方で第2の検索プラグインの第1の検索結果がパディングシーケンスを含まない例を示す。この例では、第1の検索プラグイン(SP1)の第1の検索結果(SP1-R01)の閉鎖シーケンスが第2の検索プラグイン(SP2)の第1の検索結果(SP2-R01)と重複しているため、これら2つのプラグインからの検索結果が互いに重複しているだけであることがわかる。映像シーケンスが重複するかどうかの判定についてはこのパディングシーケンスは考慮されないため、2つの検索結果は重複しないと考えられ、したがってここでは、「AND」及び「OR」シナリオに従って、第1及び/又は第2の映像シーケンスのフレームを使用してクリップを定義することは不可能である。しかしながら、個々の検索結果は、「OR」シナリオの下で、2つの個々の検索結果({SP1-R01}及び{SP2-R01})として依然としてオペレータに提示することができる。さらに、図10を参照して説明したように、「AND」シナリオに対応するクリップがないことから、「NONE」という単語は例えば、「AND」結果のリストに表示することができる。
図14は図13の1つと同様の例を示すが、第1の検索プラグイン(SP1)の第1の検索結果(SP1-R01)が、第1の検索プラグイン(SP1)の第1の検索結果(SP1-R01)のパディングシーケンスを考慮することなく、第2の検索プラグイン(SP2)の第1の検索結果(SP2-R01)と重複する。この場合、第1及び第2の映像シーケンスの全てのフレームを含むクリップ(「OR」シナリオ {SP1-R01,SP2-R01})並びに/又は重複の全期間からの第1及び第2の映像シーケンスからの全てのフレームを含むクリップ(「AND」シナリオ {SP1-R01,SP2-R01})を定義することが可能である。映像シーケンスが重複するかどうかの判定についてはこのパディングシーケンスは考慮されないが、時間的に重複する異なる検索プラグインからの映像シーケンスからのパディングシーケンスのフレームは「OR」シナリオの下で定義されるクリップに依然として含まれる可能性がある。しかしながら、別の検索プラグインからの別の映像シーケンスと時間的に重複する映像シーケンスからのパディングシーケンスのフレームは、パディングシーケンスが前記別の映像シーケンスのパディング又は非パディングシーケンスと重複もする程度まで、「AND」シナリオの下で定義されるクリップに含まれるのみであろう。好ましくは、異なる検索プラグインからの非パディングシーケンスと重複する任意のパディングシーケンスのフレームが、「OR」シナリオにおける非パディングシーケンス(例えば、「OR」シナリオ {SP1-R01,SP2-R01}において非パディングシーケンスとして提示される検索結果SP1-R01の閉鎖シーケンス)からのフレームとして提示されるだろう。一方で、異なる検索プラグインからの非パディングシーケンスと重複する任意のパディングシーケンスのフレームが、好ましくは、「AND」シナリオにおけるパディングシーケンス(例えば、「AND」シナリオ {SP1-R01,SP2-R01}においてパディングシーケンスとして提示される検索結果SP1-R01の閉鎖シーケンス)からのフレームとして提示されるだろう。「AND」及び「OR」シナリオに従って定義されたクリップのサムネイルは、前述の例と同様に定義される。
図15は図14の例と同様の例を示しており、第1の検索プラグイン(SP1)の第1の結果(SP1-R01)が記録される間に第2の検索プラグイン(SP2)の第1の検索結果(SP2-R01)が完全に記録されたとう差と、第1の検索プラグインの第1の検索結果の閉鎖シーケンスが第2の検索プラグインの第1の検索結果と重複しないという差とを有している。図14に関して述べた規則によれば、第1の検索プラグインの第1の検索結果のパディングシーケンスのフレームは、重複する映像シーケンスの全てのフレームを含むクリップ(「OR」シナリオ {SP1-R01,SP2-R01})に含まれており、第2の検索プラグインの第1の検索結果と重複しないことから好ましくはパディングシーケンスからのフレームとして提示される。また、第1の検索プラグインの第1の検索結果のパディングシーケンスのフレームは、第1の検索プラグインの第1の検索結果のパディングシーケンスが第2の検索プラグインの第1の検索結果と時間的に重複しないので、時間的に重複する全期間からの映像シーケンスからの全てのフレームを含むクリップ(「AND」シナリオ {SP1-R01,SP2-R01})に含まれない。「AND」及び「OR」シナリオに従って定義されたクリップのサムネイルは、ここでも前述の例と同様に定義される。
図16は図15に示された例に基づく映像処理の方法の最終例を示すが、第2の検索プラグイン(SP2)からの第1の検索結果(SP2-R01)が予備及び閉鎖パディングシーケンスも含むという差を有している。この場合、第2の検索プラグインの第1の検索結果の予備シーケンスは、第1の検索プラグインの第1の検索結果の予備シーケンスと部分的に重複し、第1の検索プラグインの第1の検索結果の非パディング部分と部分的に重複することが分かる。図14に関して上記で説明したように、異なる検索プラグインからの非パディングシーケンスと重複する任意のパディングシーケンスのフレームは、好ましくは「OR」シナリオにおいて非パディングシーケンスからのフレームとして提示され、異なる検索プラグインからの別のパディングシーケンスと重複する任意のパディングシーケンスのフレームは、好ましくは「OR」シナリオにおいてパディングシーケンスからのフレームとして提示されるだろう。一方で、異なる検索プラグインからの非パディングシーケンスと重複する任意のパディングシーケンスのフレームが、好ましくは、パディングシーケンスのフレームがパディング又は非パディングシーケンスと重複するかに関わらず、「AND」シナリオにおけるパディングシーケンスからのフレームとして提示される。
図17は、本質的に3つの工程を含む、本発明による映像シーケンスからサムネイルを生成するコンピュータ実装方法のフローチャートを示す。第1の工程S400においてコンピュータは、関心のある第1のオブジェクト又はアクティビティを含む映像シーケンス内の第1のフレームを識別し、第2の工程S410においてコンピュータは、関心のある第2のオブジェクト又はアクティビティを含む映像シーケンス内の第2のフレームを識別するだろう。あるいは、工程S400及びS410は同時に実行できる。第1及び第2のフレームは、好ましくは前述の映像処理のコンピュータ実装方法に従って、2つの映像シーケンスから生じるクリップにおいて識別される。次の工程S420においてコンピュータは、映像シーケンス又はクリップの第1のフレームの少なくとも一部及び第2のフレームの少なくとも一部を使用してサムネイルを生成し、サムネイルは、第1及び第2のオブジェクト又はアクティビティを含むだろう。
この方法は例えば、映像シーケンスの第1及び第2のフレームが、サムネイルを生成するために映像シーケンスから抽出又はコピーされる工程を含むことができる。言い換えれば、このフレームは、サムネイルを生成するために使用される前に映像シーケンス又はクリップからコピーされ得る。
図18は、通常、ランナー及び車を探しているオペレータに提示されるであろうサムネイルを示す。この例では、サムネイル500のグリッドビューにおいて提示される各サムネイルが、オペレータの検索条件のうちの少なくとも1つに対応する個々の検索結果に対応する。車結果1、6、8、及び10は第1の検索プラグインに由来し、ランナー結果2、3、4、5、7、9、11、及び12は第2の検索プラグインに由来する。ユーザによって検索された関心のあるオブジェクト及び/又はアクティビティは、オペレータによるそれらの識別を容易にするために、好ましくは各サムネイル上のバウンディングボックス内に表示される。この例及び以下の例では、サムネイルは、サムネイルが対応する映像シーケンスを開くためにクリック可能である。本発明は、上述したグリッドビュー表示に限定されるものではないことに留意されたい。サムネイルの上の数字も、本発明の本質的な特徴ではない。
しかしながら、この例から明らかなように、2つの検索プラグイン又は条件からの全ての結果を単純に個々に示すことは、オペレータにとってそれらを処理することを非常に困難にする可能性がある。しばしば多くの結果が存在するであろうし、オペレータは、結果サムネイルに示される車及びランナーが互いに合理的に時間的に近接しているかどうかを容易に判定することができない。表示されるサムネイルは、他の検索プラグインについては何も知らず、検索プラグインが独自に検索結果を選択したトリガ時間に基づいている。
前述の映像処理のコンピュータ実装方法によれば、オペレータが検索している関心のある第1及び第2のオブジェクト又はアクティビティの両方を含む少なくとも1つのクリップを定義することが可能であり、映像シーケンスからサムネイルを生成する前述のコンピュータ実装方法によれば、関心のある第1及び第2のオブジェクト又はアクティビティを含むサムネイルを定義することがさらに可能である。
図19は、映像処理及びサムネイル生成の両方の方法が使用される例を示す。この例では、結合映像シーケンス又はクリップに結果5+6、7+8、及び10+11が併合されていることを観測することができ、次いでオペレータは、これらのクリップにおいて車及びランナーが同時に出現したことを知る。
オペレータは、例えばユーザが3つの所定の関心のあるオブジェクト及び/又はアクティビティを検索した(又は3つの異なる検索プラグインを使用した)が、2つの検索プラグインのみから得られた検索結果が時間的に重複するとき、ユーザの検索条件全てに一致するクリップではない個々の検索結果を取り除くことを選択することができる。このようにして、ユーザは、ユーザの検索条件全てを同時に示すクリップが存在し得ないということに気が付く。
これを図18の例に適用すると、次にオペレータは、車及びランナーが同時に現れた3つの結合映像シーケンスを見るのみで、図20に示されるサムネイル610a、620a、630aを与える。これは関連する映像データのはるかに良好な概略を与えるが、オペレータは依然として、検索されている正確な車及び人をどれが含むかを識別するために3つのクリップを検査する必要がある。
図21は、本発明によるサムネイルを生成する方法に従って得ることができるサムネイル610b、620b、630bの3つの追加の例を示す。検索結果5+6に対応するサムネイル610bの例によれば、コンピュータは2つの個々の映像シーケンスについてのトリガ時間に一致するフレームの一部を取り、個々のサムネイルを単に1つにスティッチングすることによって単一の結合サムネイルを生成する。「スティッチング境界」は、個々の検索結果に関連する、関心のあるオブジェクト及び/又はアクティビティの位置に基づいて、コンピュータによって選択される。検索結果7+8に対応するサムネイル620bの例によれば、コンピュータは第1の例のように処理を行うが、第1及び第2のフレーム又はその一部を分離するためにいかなる境界も追加しない。検索結果10+11に対応するサムネイル630bの例によれば、コンピュータは、個々の映像シーケンスのうちの1つについてのトリガ時間に一致するフレームを選択し、それを基本サムネイルとして使用する。他の個々の映像シーケンスのトリガ時間に一致するフレームから、コンピュータは、関連する関心のあるオブジェクト若しくはアクティビティを抽出し、結合映像シーケンス又はクリップを表すためにそれを前記基本サムネイルと重ねる。
図22(a)及び図22(b)は、本発明によるサムネイルを生成する方法に従って得ることができるサムネイルの追加の例を示す。検索結果5+6に対応するサムネイル610cの例によれば、2つの個々の検索結果のトリガ時間に一致するフレームから、コンピュータは、関連する関心のあるオブジェクト及び/又はアクティビティを抽出し、それらを拡大し、そして結合映像シーケンス又はクリップを表すサムネイルを生成する。このサムネイルは、図21を参照して前述したように好ましくは境界を含む。検索結果7+8に対応するサムネイル620cの例によれば、コンピュータは、所定の背景(ニュートラル参照フレームなど)を基本サムネイルとして使用する。ニュートラルフレームは、有利には関心のある第1及び第2のオブジェクト若しくはアクティビティなしで、又はその中にオブジェクト若しくはアクティビティがないことなく撮像された対象領域のピクチャであってもよい。
2つの個々の検索結果のトリガ時間に一致するフレームから、コンピュータは、関連するオブジェクトを抽出し、それらを、結合映像シーケンス又はクリップを表す所定の背景と重ねる。検索結果10+11に対応するサムネイル630c、630dの例によれば、コンピュータは、2つの個々の映像シーケンスについてのトリガ時間に一致するフレームを取得し、それらを「ページ付け制御」におけるサムネイルとして1つずつ示す。このサムネイル間の切り替えは、様々な方法で、例えば、オペレータがサムネイルの2つのフレーム間で切り替えることを可能にするボタンを手動でクリックすることによって、行うことができる。あるいは、コンピュータは、2つの個々の映像シーケンスについてのトリガ時間に一致するフレームを表示し、サムネイルとして所定の時間にわたってそれらを1つずつ示してもよい。
図19~22(b)に示される例は、関心のある2つのオブジェクト又はアクティビティのみを含むクリップに関連するが、本発明は(「追加の映像シーケンス」に関連する前述の例と同様に)3つ以上のオブジェクトが検索される場合もカバーし、したがって、対応する生成されたサムネイルは3つ以上のオブジェクト又はアクティビティを含むであろう。
本発明は様々な実施例を参照して説明されてきたが、本発明は開示された実施例に限定されないことを理解されたい。本発明は、特許請求の範囲に定義されるような本発明の主な特徴から逸脱することなく、様々な形態で実施することができる。
以下の番号付けされた記述は、本発明に関する追加の情報を提供する。特許請求の範囲は、この番号付けされた記述の後に提供される。
[記述1]
映像処理のコンピュータ実装方法であって、
第1の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第1の映像シーケンスを取得することと、
第2の所定の関心のあるオブジェクト又はアクティビティを含む前記対象領域の第2の映像シーケンスを取得することと、
前記第1の映像シーケンスの記録期間と前記第2の映像シーケンスの記録期間とがある期間にわたって重複するかどうかを判定することと、
前記第1及び第2の映像シーケンスの記録期間がある期間にわたって重複する場合に、少なくとも前記重複の期間からの前記第1及び/又は第2の映像シーケンスのフレームを使用して少なくとも1つの第1の映像クリップを定義することと、
を含む、方法。
映像処理のコンピュータ実装方法であって、
第1の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第1の映像シーケンスを取得することと、
第2の所定の関心のあるオブジェクト又はアクティビティを含む前記対象領域の第2の映像シーケンスを取得することと、
前記第1の映像シーケンスの記録期間と前記第2の映像シーケンスの記録期間とがある期間にわたって重複するかどうかを判定することと、
前記第1及び第2の映像シーケンスの記録期間がある期間にわたって重複する場合に、少なくとも前記重複の期間からの前記第1及び/又は第2の映像シーケンスのフレームを使用して少なくとも1つの第1の映像クリップを定義することと、
を含む、方法。
[記述2]
前記対象領域の少なくとも1つの追加の映像シーケンスを取得することであって、各追加の映像シーケンスは前記対象領域内の所定の関心のあるオブジェクト又はアクティビティを含み、記録期間を有する、取得することと、
各追加の映像シーケンスの前記記録期間が、任意の他の追加の映像シーケンスの記録期間、並びに/又は前記第1及び/若しくは第2の映像シーケンスの記録期間と、ある期間にわたって重複するかどうかを判定することと、
前記第1、第2及び他の追加の映像シーケンスのうちの任意の他の映像シーケンスの記録期間と前記追加の映像シーケンスの記録期間とがある期間にわたって重複する場合、前記重複の期間からの前記追加の及び/又は前記他の映像シーケンスのフレームを使用して少なくとも第2の映像クリップを定義することと、
をさらに含む、記述1に記載されるような方法。
前記対象領域の少なくとも1つの追加の映像シーケンスを取得することであって、各追加の映像シーケンスは前記対象領域内の所定の関心のあるオブジェクト又はアクティビティを含み、記録期間を有する、取得することと、
各追加の映像シーケンスの前記記録期間が、任意の他の追加の映像シーケンスの記録期間、並びに/又は前記第1及び/若しくは第2の映像シーケンスの記録期間と、ある期間にわたって重複するかどうかを判定することと、
前記第1、第2及び他の追加の映像シーケンスのうちの任意の他の映像シーケンスの記録期間と前記追加の映像シーケンスの記録期間とがある期間にわたって重複する場合、前記重複の期間からの前記追加の及び/又は前記他の映像シーケンスのフレームを使用して少なくとも第2の映像クリップを定義することと、
をさらに含む、記述1に記載されるような方法。
[記述3]
全ての前記映像シーケンスは、記録サーバに格納された映像データを検索することによって得られ、前記記録サーバは、そこに格納される複数のビデオカメラからの映像データを記憶する、記述1又は2に記載されるような方法。
全ての前記映像シーケンスは、記録サーバに格納された映像データを検索することによって得られ、前記記録サーバは、そこに格納される複数のビデオカメラからの映像データを記憶する、記述1又は2に記載されるような方法。
[記述4]
全ての前記所定の関心のあるオブジェクト又はアクティビティに関するメタデータを生成することをさらに含む、記述1乃至3のいずれか1つに記載されるような方法。
全ての前記所定の関心のあるオブジェクト又はアクティビティに関するメタデータを生成することをさらに含む、記述1乃至3のいずれか1つに記載されるような方法。
[記述5]
全ての前記映像シーケンスは、単一のビデオカメラに由来する、記述1乃至4のいずれか1つに記載されるような方法。
全ての前記映像シーケンスは、単一のビデオカメラに由来する、記述1乃至4のいずれか1つに記載されるような方法。
[記述6]
前記対象領域は、単一のビデオカメラの視野に対応する、記述1乃至5のいずれか1つに記載されるような方法。
前記対象領域は、単一のビデオカメラの視野に対応する、記述1乃至5のいずれか1つに記載されるような方法。
[記述7]
全ての前記所定のオブジェクトは、車両、ナンバープレート、人間、及び動物からなるオブジェクトのグループから選択された種類のオブジェクトである、記述1乃至6のいずれか1つに記載されるような方法。
全ての前記所定のオブジェクトは、車両、ナンバープレート、人間、及び動物からなるオブジェクトのグループから選択された種類のオブジェクトである、記述1乃至6のいずれか1つに記載されるような方法。
[記述8]
全ての前記所定のオブジェクトが、前記オブジェクトのグループ内の異なる種類のオブジェクトに対応する、記述7に記載されるような方法。
全ての前記所定のオブジェクトが、前記オブジェクトのグループ内の異なる種類のオブジェクトに対応する、記述7に記載されるような方法。
[記述9]
映像データを検索することは、ユーザが少なくとも2つの検索プラグインに1つ以上の検索条件を入力することによって行われる、記述3にと組み合わせる前述の方法。
映像データを検索することは、ユーザが少なくとも2つの検索プラグインに1つ以上の検索条件を入力することによって行われる、記述3にと組み合わせる前述の方法。
[記述10]
各検索プラグインが、前記映像シーケンスの全てにおいて、前記関心のあるオブジェクトのグループ内の1つのオブジェクト又は1つのアクティビティを識別するように構成された検索エンジンである、記述7又は8と組み合わせる前述の方法。
各検索プラグインが、前記映像シーケンスの全てにおいて、前記関心のあるオブジェクトのグループ内の1つのオブジェクト又は1つのアクティビティを識別するように構成された検索エンジンである、記述7又は8と組み合わせる前述の方法。
[記述11]
全ての前記映像シーケンスが、前記ユーザからの少なくとも2つのクエリの検索結果として取得され、各クエリは、前記所定の関心のあるオブジェクト又はアクティビティのうちの、異なる所定の関心のあるオブジェクト若しくはアクティビティに関連する、記述1乃至10のいずれか1つに記載されるような方法。
全ての前記映像シーケンスが、前記ユーザからの少なくとも2つのクエリの検索結果として取得され、各クエリは、前記所定の関心のあるオブジェクト又はアクティビティのうちの、異なる所定の関心のあるオブジェクト若しくはアクティビティに関連する、記述1乃至10のいずれか1つに記載されるような方法。
[記述12]
各前記映像シーケンスは、前記映像シーケンスの所定の関心のあるオブジェクト又はアクティビティに関するコンテンツメタデータを含む、記述1乃至11のいずれか1つに記載されるような方法。
各前記映像シーケンスは、前記映像シーケンスの所定の関心のあるオブジェクト又はアクティビティに関するコンテンツメタデータを含む、記述1乃至11のいずれか1つに記載されるような方法。
[記述13]
前記コンテンツメタデータは、前記記録サーバ上の分析プラグインによって生成される、記述3に記載されるような方法。
前記コンテンツメタデータは、前記記録サーバ上の分析プラグインによって生成される、記述3に記載されるような方法。
[記述14]
全ての前記映像シーケンスを取得することは、異なる映像シーケンスのコンテンツメタデータを検索することによって行われる、記述1乃至13のいずれか1つに記載されるような方法。
全ての前記映像シーケンスを取得することは、異なる映像シーケンスのコンテンツメタデータを検索することによって行われる、記述1乃至13のいずれか1つに記載されるような方法。
[記述15]
全ての前記映像シーケンスの少なくとも1つの映像シーケンスが、前記映像シーケンスの開始時の少なくとも1つの予備シーケンス及び/又は前記映像シーケンスの終了時の少なくとも1つの閉鎖シーケンスを含み、前記予備及び/若しくは閉鎖映像シーケンスは、個々に、前記映像シーケンスの前記所定の関心のあるオブジェクト又はアクティビティが現れない、並びに/又は映像品質が前記映像シーケンスの残りのものよりも低い、パディングシーケンスと呼ばれる、記述1乃至14のいずれか1つに記載されるような方法。
全ての前記映像シーケンスの少なくとも1つの映像シーケンスが、前記映像シーケンスの開始時の少なくとも1つの予備シーケンス及び/又は前記映像シーケンスの終了時の少なくとも1つの閉鎖シーケンスを含み、前記予備及び/若しくは閉鎖映像シーケンスは、個々に、前記映像シーケンスの前記所定の関心のあるオブジェクト又はアクティビティが現れない、並びに/又は映像品質が前記映像シーケンスの残りのものよりも低い、パディングシーケンスと呼ばれる、記述1乃至14のいずれか1つに記載されるような方法。
[記述16]
少なくとも1つの前記パディングシーケンスは、全ての前記映像シーケンスが前記ある期間の間互いに重複するかどうかを判定するオブジェクトで考慮されない、記述15に記載されるような方法。
少なくとも1つの前記パディングシーケンスは、全ての前記映像シーケンスが前記ある期間の間互いに重複するかどうかを判定するオブジェクトで考慮されない、記述15に記載されるような方法。
[記述17]
少なくとも前記第1の映像クリップは、前記重複の期間からの前記第1又は第2の映像シーケンスの全てのフレームを含む、記述1乃至16のいずれか1つに記載されるような方法。
少なくとも前記第1の映像クリップは、前記重複の期間からの前記第1又は第2の映像シーケンスの全てのフレームを含む、記述1乃至16のいずれか1つに記載されるような方法。
[記述18]
少なくとも前記第1の映像クリップは、前記重複の期間の前後からの前記第1及び/又は第2の映像シーケンスの全てのフレームをさらに含む、記述6に記載されるような方法。
少なくとも前記第1の映像クリップは、前記重複の期間の前後からの前記第1及び/又は第2の映像シーケンスの全てのフレームをさらに含む、記述6に記載されるような方法。
[記述19]
前記少なくとも1つのデータベースに問い合わせるときに3つ以上の検索プラグインが使用される場合、及び前記第1及び/又は第2の映像クリップが使用される3つ以上の検索プラグインの全てからの結果を含まないときに、前記第1及び/又は第2の映像クリップの定義をキャンセルすることをさらに含む、記述2及び9又は2及び10と組み合わせる前述の方法。
前記少なくとも1つのデータベースに問い合わせるときに3つ以上の検索プラグインが使用される場合、及び前記第1及び/又は第2の映像クリップが使用される3つ以上の検索プラグインの全てからの結果を含まないときに、前記第1及び/又は第2の映像クリップの定義をキャンセルすることをさらに含む、記述2及び9又は2及び10と組み合わせる前述の方法。
[記述20]
前記第1の映像クリップ又は前記第1の映像クリップのサムネイルを、前記第1の映像クリップが定義された前記第1及び第2の映像シーケンスを表示することなく、ユーザに表示することをさらに含む、記述1乃至19のいずれか1つに記載されるような方法。
前記第1の映像クリップ又は前記第1の映像クリップのサムネイルを、前記第1の映像クリップが定義された前記第1及び第2の映像シーケンスを表示することなく、ユーザに表示することをさらに含む、記述1乃至19のいずれか1つに記載されるような方法。
[記述21]
前記第1の所定の関心のあるオブジェクト又はアクティビティを含む前記第1の映像クリップの第1のフレームを識別することと、
前記第2の所定の関心のあるオブジェクト又はアクティビティを含む前記第1の映像クリップの第2のフレームを識別することと、
前記第1の映像クリップの、前記第1のフレームの少なくとも一部と前記第2のフレームの少なくとも一部とを使用してサムネイルを生成することであって、前記サムネイルは、前記第1及び第2の所定のオブジェクト又はアクティビティを含む、生成することと、
をさらに含む、記述1乃至19のいずれか1つに記載されるような方法。
前記第1の所定の関心のあるオブジェクト又はアクティビティを含む前記第1の映像クリップの第1のフレームを識別することと、
前記第2の所定の関心のあるオブジェクト又はアクティビティを含む前記第1の映像クリップの第2のフレームを識別することと、
前記第1の映像クリップの、前記第1のフレームの少なくとも一部と前記第2のフレームの少なくとも一部とを使用してサムネイルを生成することであって、前記サムネイルは、前記第1及び第2の所定のオブジェクト又はアクティビティを含む、生成することと、
をさらに含む、記述1乃至19のいずれか1つに記載されるような方法。
[記述22]
前記サムネイルを生成するために、前記第1の映像クリップから前記第1のフレーム及び前記第2のフレームを抽出することを含む、記述1乃至21のいずれか1つに記載されるような方法。
前記サムネイルを生成するために、前記第1の映像クリップから前記第1のフレーム及び前記第2のフレームを抽出することを含む、記述1乃至21のいずれか1つに記載されるような方法。
[記述23]
2つのフレームのうちの1つのフレームから前記第1又は第2の所定のオブジェクト若しくはアクティビティを抽出することと、
抽出された前記第1又は第2の所定のオブジェクト若しくはアクティビティを前記2つのフレームのうちの他方と重ねることと、
により前記サムネイルを生成することをさらに含む、記述21又は22に記載されるような方法。
2つのフレームのうちの1つのフレームから前記第1又は第2の所定のオブジェクト若しくはアクティビティを抽出することと、
抽出された前記第1又は第2の所定のオブジェクト若しくはアクティビティを前記2つのフレームのうちの他方と重ねることと、
により前記サムネイルを生成することをさらに含む、記述21又は22に記載されるような方法。
[記述24]
前記第1及び第2の所定のオブジェクト又はアクティビティを前記2つのフレームから抽出することと、
抽出された前記第1及び第2の所定のオブジェクト又はアクティビティを所定の背景と重ねることと、
により前記サムネイルを生成することをさらに含む、記述21又は22に記載されるような方法。
前記第1及び第2の所定のオブジェクト又はアクティビティを前記2つのフレームから抽出することと、
抽出された前記第1及び第2の所定のオブジェクト又はアクティビティを所定の背景と重ねることと、
により前記サムネイルを生成することをさらに含む、記述21又は22に記載されるような方法。
[記述25]
前記第1及び第2の所定のオブジェクト又はアクティビティは、前記所定の背景上で拡大される、記述1乃至24のいずれか1つに記載されるような方法。
前記第1及び第2の所定のオブジェクト又はアクティビティは、前記所定の背景上で拡大される、記述1乃至24のいずれか1つに記載されるような方法。
[記述26]
前記サムネイルとして、2つのフレームそれぞれを次々に表示することをさらに含む、記述21又は22に記載されるような方法。
前記サムネイルとして、2つのフレームそれぞれを次々に表示することをさらに含む、記述21又は22に記載されるような方法。
[記述27]
前記サムネイルの各フレームは、所定の時間の間順番に表示される、記述1乃至26のいずれか1つに記載されるような方法。
前記サムネイルの各フレームは、所定の時間の間順番に表示される、記述1乃至26のいずれか1つに記載されるような方法。
[記述28]
前記サムネイルは、ユーザが前記サムネイルの前記2つのフレーム間で切り替えることを可能にする少なくとも1つのクリック可能なボタンを備える、記述26に記載されるような方法。
前記サムネイルは、ユーザが前記サムネイルの前記2つのフレーム間で切り替えることを可能にする少なくとも1つのクリック可能なボタンを備える、記述26に記載されるような方法。
[記述29]
前記第1及び第2の所定のオブジェクト又はアクティビティはそれぞれ、前記サムネイル上のバウンディングボックス内に含まれる、記述21乃至28のいずれか一つに記載されるような方法。
前記第1及び第2の所定のオブジェクト又はアクティビティはそれぞれ、前記サムネイル上のバウンディングボックス内に含まれる、記述21乃至28のいずれか一つに記載されるような方法。
[記述30]
前記第1及び/又は第2の所定のオブジェクトは、車両、ナンバープレート、人間及び動物からなるオブジェクトのグループから選択される種類のオブジェクトである、記述21乃至29のいずれか一つに記載されるような方法。
前記第1及び/又は第2の所定のオブジェクトは、車両、ナンバープレート、人間及び動物からなるオブジェクトのグループから選択される種類のオブジェクトである、記述21乃至29のいずれか一つに記載されるような方法。
[記述31]
前記第1及び/又は第2の所定のオブジェクトが、前記オブジェクトのグループ内の異なる種類のオブジェクトに対応する、記述1乃至30のいずれか1つに記載されるような方法。
前記第1及び/又は第2の所定のオブジェクトが、前記オブジェクトのグループ内の異なる種類のオブジェクトに対応する、記述1乃至30のいずれか1つに記載されるような方法。
[記述32]
前記第1の映像クリップが、前記第1の映像クリップのスタート時間及び終了時間を定義するメタデータを含む、記述21乃至31のいずれか一つに記載されるような方法。
前記第1の映像クリップが、前記第1の映像クリップのスタート時間及び終了時間を定義するメタデータを含む、記述21乃至31のいずれか一つに記載されるような方法。
[記述33]
1つの前記サムネイルを表示することをさらに含む、記述21乃至32のいずれか1つに記載されるような方法。
1つの前記サムネイルを表示することをさらに含む、記述21乃至32のいずれか1つに記載されるような方法。
[記述34]
前記第1及び第2のフレームを識別する前に前記第1及び第2の所定の関心のあるオブジェクト若しくはアクティビティを識別するように、前記第1の映像クリップ内に存在するオブジェクト若しくは顔認識、動き、若しくはバウンディングボックスに基づいて、前記第1の映像クリップを検索すること、又は前記第1の映像クリップに関連付けられたコンテンツメタデータを検索することと、を含む、記述21乃至33のいずれか一つに記載されるような方法。
前記第1及び第2のフレームを識別する前に前記第1及び第2の所定の関心のあるオブジェクト若しくはアクティビティを識別するように、前記第1の映像クリップ内に存在するオブジェクト若しくは顔認識、動き、若しくはバウンディングボックスに基づいて、前記第1の映像クリップを検索すること、又は前記第1の映像クリップに関連付けられたコンテンツメタデータを検索することと、を含む、記述21乃至33のいずれか一つに記載されるような方法。
[記述35]
コンテンツメタデータを検索することが、前記コンテンツメタデータを格納するインデックス付けサーバに検索リクエストを送信することと、検索条件に一致する映像フレームを示す検索結果を前記インデックス付けサーバから受信することとを含む、記述1乃至34のいずれか1つに記載されるような方法。
コンテンツメタデータを検索することが、前記コンテンツメタデータを格納するインデックス付けサーバに検索リクエストを送信することと、検索条件に一致する映像フレームを示す検索結果を前記インデックス付けサーバから受信することとを含む、記述1乃至34のいずれか1つに記載されるような方法。
[記述36]
前記コンテンツメタデータは、前記第1及び第2の所定のオブジェクト又はアクティビティを含む前記フレームに対応するトリガ時間を含む、記述1乃至35のいずれか1つに記載されるような方法。
前記コンテンツメタデータは、前記第1及び第2の所定のオブジェクト又はアクティビティを含む前記フレームに対応するトリガ時間を含む、記述1乃至35のいずれか1つに記載されるような方法。
[記述37]
前記トリガ時間が前記第1の映像クリップのフレームに対応し、前記第1及び第2の所定のオブジェクト又はアクティビティは、前記第1の映像クリップにおいて最も明らかである又は認識可能である、記述1乃至36のいずれか1つに記載されるような方法。
前記トリガ時間が前記第1の映像クリップのフレームに対応し、前記第1及び第2の所定のオブジェクト又はアクティビティは、前記第1の映像クリップにおいて最も明らかである又は認識可能である、記述1乃至36のいずれか1つに記載されるような方法。
[記述38]
前記サムネイルは、2つのフレームのうちの1つのフレーム又はその一部を、2つのフレーム若しくはその他方の一部から切り離す内部の境界を含み、前記境界は、前記第1及び第2の所定のオブジェクト又はアクティビティを隠さないように配置される、記述21乃至37のいずれか1つに記載されるような方法。
前記サムネイルは、2つのフレームのうちの1つのフレーム又はその一部を、2つのフレーム若しくはその他方の一部から切り離す内部の境界を含み、前記境界は、前記第1及び第2の所定のオブジェクト又はアクティビティを隠さないように配置される、記述21乃至37のいずれか1つに記載されるような方法。
[記述39]
コンピュータ上で実行されると、前記コンピュータに、記述1乃至38のいずれか一つに記載されるような方法を実行させるコンピュータプログラム。
コンピュータ上で実行されると、前記コンピュータに、記述1乃至38のいずれか一つに記載されるような方法を実行させるコンピュータプログラム。
[記述40]
ユーザから、第1の所定の関心のあるオブジェクト又はアクティビティに関連する第1のクエリと、第2の所定の関心のあるオブジェクト又はアクティビティに関連する第2のクエリとを受信し、
少なくとも1つのデータベースから、第1の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第1の映像シーケンスと、第2の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第2の映像シーケンスとを取得し、
前記第1の映像シーケンスの記録期間と前記第2の映像シーケンスの記録期間とが、ある期間にわたって重複するかどうかを判定し、
前記第1及び第2の映像シーケンスの記録期間がある期間にわたって重複する場合に、前記重複の期間からの前記第1及び/又は第2の映像シーケンスのフレームを使用して少なくとも1つの第1の映像クリップを定義する
ように構成される少なくとも1つのプロセッサを備える、映像処理装置。
ユーザから、第1の所定の関心のあるオブジェクト又はアクティビティに関連する第1のクエリと、第2の所定の関心のあるオブジェクト又はアクティビティに関連する第2のクエリとを受信し、
少なくとも1つのデータベースから、第1の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第1の映像シーケンスと、第2の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第2の映像シーケンスとを取得し、
前記第1の映像シーケンスの記録期間と前記第2の映像シーケンスの記録期間とが、ある期間にわたって重複するかどうかを判定し、
前記第1及び第2の映像シーケンスの記録期間がある期間にわたって重複する場合に、前記重複の期間からの前記第1及び/又は第2の映像シーケンスのフレームを使用して少なくとも1つの第1の映像クリップを定義する
ように構成される少なくとも1つのプロセッサを備える、映像処理装置。
[記述41]
前記少なくとも1つのプロセッサは、
前記第1の所定の関心のあるオブジェクト又はアクティビティを含む前記第1の映像クリップの第1のフレームを識別し、
前記第2の所定の関心のあるオブジェクト又はアクティビティを含む前記第1の映像クリップの第2のフレームを識別し、
前記第1のフレームの少なくとも一部と、前記第1の映像クリップの前記第2のフレームの少なくとも一部とを使用して、前記第1及び第2の所定のオブジェクト又はアクティビティを含むサムネイルを生成する
ようにさらに構成される、記述40に記載されるような映像処理装置。
前記少なくとも1つのプロセッサは、
前記第1の所定の関心のあるオブジェクト又はアクティビティを含む前記第1の映像クリップの第1のフレームを識別し、
前記第2の所定の関心のあるオブジェクト又はアクティビティを含む前記第1の映像クリップの第2のフレームを識別し、
前記第1のフレームの少なくとも一部と、前記第1の映像クリップの前記第2のフレームの少なくとも一部とを使用して、前記第1及び第2の所定のオブジェクト又はアクティビティを含むサムネイルを生成する
ようにさらに構成される、記述40に記載されるような映像処理装置。
[記述42]
記述41又は42に記載されるような映像処理装置と、ディスプレイを備えるクライアント装置とを備える映像監視システムであって、前記クライアント装置は、少なくとも前記第1の映像クリップ又は前記第1の映像クリップのサムネイルを表示するように構成される少なくとも1つのプロセッサを備える、映像監視システム。
記述41又は42に記載されるような映像処理装置と、ディスプレイを備えるクライアント装置とを備える映像監視システムであって、前記クライアント装置は、少なくとも前記第1の映像クリップ又は前記第1の映像クリップのサムネイルを表示するように構成される少なくとも1つのプロセッサを備える、映像監視システム。
[記述43]
前記クライアント装置は、前記第1の映像クリップが定義された前記第1及び第2の映像シーケンスを表示することなく、前記第1の映像クリップ又は前記第1の映像クリップのサムネイルを表示するようにさらに構成される、記述42に記載されるような映像監視システム。
前記クライアント装置は、前記第1の映像クリップが定義された前記第1及び第2の映像シーケンスを表示することなく、前記第1の映像クリップ又は前記第1の映像クリップのサムネイルを表示するようにさらに構成される、記述42に記載されるような映像監視システム。
[記述44]
記述41又は42に記載されるような映像監視システムであって、ビデオカメラ及び記録サーバをさらに備え、前記記録サーバは、
映像シーケンスの記録を記憶媒体内のデータベース内のビデオカメラから撮像させ、
前記クライアント装置から検索クエリを受信し、
前記検索クエリに従って前記データベースから映像シーケンスを抽出し、
1つの前記第1の映像クリップを定義し、前記クライアント装置に送信する
ように構成されるプロセッサを備える、映像監視システム。
記述41又は42に記載されるような映像監視システムであって、ビデオカメラ及び記録サーバをさらに備え、前記記録サーバは、
映像シーケンスの記録を記憶媒体内のデータベース内のビデオカメラから撮像させ、
前記クライアント装置から検索クエリを受信し、
前記検索クエリに従って前記データベースから映像シーケンスを抽出し、
1つの前記第1の映像クリップを定義し、前記クライアント装置に送信する
ように構成されるプロセッサを備える、映像監視システム。
Claims (25)
- 映像処理のコンピュータ実装方法であって、
第1の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第1の映像シーケンスを取得することと、
第2の所定の関心のあるオブジェクト又はアクティビティを含む前記対象領域の第2の映像シーケンスを取得することと、
前記第1の映像シーケンスの記録期間と前記第2の映像シーケンスの記録期間とがある期間にわたって重複するかどうかを判定することと、
前記第1及び第2の映像シーケンスの記録期間がある期間にわたって重複する場合に、少なくとも前記重複の期間からの前記第1及び/又は第2の映像シーケンスのフレームを使用して少なくとも1つの第1の映像クリップを定義することと、
を含む、方法。 - 前記対象領域の少なくとも1つの追加の映像シーケンスを取得することであって、各追加の映像シーケンスは前記対象領域内の所定の関心のあるオブジェクト又はアクティビティを含み、記録期間を有する、取得することと、
各追加の映像シーケンスの前記記録期間が、任意の他の追加の映像シーケンスの記録期間、並びに/又は前記第1及び/若しくは第2の映像シーケンスの記録期間と、ある期間にわたって重複するかどうかを判定することと、
前記第1、第2及び他の追加の映像シーケンスのうちの任意の他の映像シーケンスの記録期間と前記追加の映像シーケンスの記録期間とがある期間にわたって重複する場合、前記重複の期間からの前記追加の及び/又は前記他の映像シーケンスのフレームを使用して少なくとも第2の映像クリップを定義することと、
をさらに含む、請求項1に記載の方法。 - 全ての前記映像シーケンスは、単一のビデオカメラに由来する、請求項1乃至2のいずれか一項に記載の方法。
- 前記対象領域は、単一のビデオカメラの視野に対応する、請求項1乃至3のいずれか一項に記載の方法。
- 全ての前記所定のオブジェクトは、車両、ナンバープレート、人間、及び動物からなるオブジェクトのグループから選択された種類のオブジェクトである、請求項1乃至4のいずれか一項に記載の方法。
- 少なくとも前記第1の映像クリップは、前記重複の期間からの前記第1又は第2の映像シーケンスの全てのフレームを含む、請求項1乃至5のいずれか一項に記載の方法。
- 少なくとも前記第1の映像クリップは、前記重複の期間の前後からの前記第1及び/又は第2の映像シーケンスの全てのフレームをさらに含む、請求項6に記載の方法。
- 前記第1の所定の関心のあるオブジェクト又はアクティビティを含む前記第1の映像クリップの第1のフレームを識別することと、
前記第2の所定の関心のあるオブジェクト又はアクティビティを含む前記第1の映像クリップの第2のフレームを識別することと、
前記第1の映像クリップの、前記第1のフレームの少なくとも一部と前記第2のフレームの少なくとも一部とを使用してサムネイルを生成することであって、前記サムネイルは、前記第1及び第2の所定のオブジェクト又はアクティビティを含む、生成することと、
をさらに含む、請求項1乃至7のいずれか一項に記載の方法。 - 2つのフレームのうちの1つのフレームから前記第1又は第2の所定のオブジェクト若しくはアクティビティを抽出することと、
抽出された前記第1又は第2の所定のオブジェクト若しくはアクティビティを前記2つのフレームのうちの他方と重ねることと、
により前記サムネイルを生成することをさらに含む、請求項8に記載の方法。 - 前記第1及び第2の所定のオブジェクト又はアクティビティを前記2つのフレームから抽出することと、
抽出された前記第1及び第2の所定のオブジェクト又はアクティビティを所定の背景と重ねることと、
により前記サムネイルを生成することをさらに含む、請求項8に記載の方法。 - 前記第1及び第2の所定のオブジェクト又はアクティビティは、前記所定の背景上で拡大される、請求項10に記載の方法。
- 前記サムネイルとして、2つのフレームそれぞれを次々に表示することをさらに含む、請求項8に記載の方法。
- 前記第1及び第2の所定のオブジェクト又はアクティビティはそれぞれ、前記サムネイル上のバウンディングボックス内に含まれる、請求項8乃至12のいずれか一項に記載の方法。
- 前記第1及び/又は第2の所定のオブジェクトは、車両、ナンバープレート、人間及び動物からなるオブジェクトのグループから選択される種類のオブジェクトである、請求項8乃至13のいずれか一項に記載の方法。
- 前記第1の映像クリップが、前記第1の映像クリップのスタート時間及び終了時間を定義するメタデータを含む、請求項8乃至14のいずれか一項に記載の方法。
- 前記第1及び第2のフレームを識別する前に前記第1及び第2の所定の関心のあるオブジェクト若しくはアクティビティを識別するように、前記第1の映像クリップ内に存在するオブジェクト若しくは顔認識、動き、若しくはバウンディングボックスに基づいて、前記第1の映像クリップを検索すること、又は前記第1の映像クリップに関連付けられたコンテンツメタデータを検索することと、を含む、請求項8乃至15のいずれか一項に記載の方法。
- コンテンツメタデータを検索することが、前記コンテンツメタデータを格納するインデックス付けサーバに検索リクエストを送信することと、検索条件に一致する映像フレームを示す検索結果を前記インデックス付けサーバから受信することとを含む、請求項16に記載の方法。
- 前記コンテンツメタデータは、前記第1及び第2の所定のオブジェクト又はアクティビティを含む前記フレームに対応するトリガ時間を含む、請求項17に記載の方法。
- 前記サムネイルは、2つのフレームのうちの1つのフレーム又はその一部を、2つのフレーム若しくはその他方の一部から切り離す内部の境界を含み、前記境界は、前記第1及び第2の所定のオブジェクト又はアクティビティを隠さないように配置される、請求項8乃至18のいずれか一項に記載の方法。
- コンピュータ上で実行されると、前記コンピュータに、請求項1乃至19のいずれか一項に記載の方法を実行させるコンピュータプログラム。
- ユーザから、第1の所定の関心のあるオブジェクト又はアクティビティに関連する第1のクエリと、第2の所定の関心のあるオブジェクト又はアクティビティに関連する第2のクエリとを受信し、
少なくとも1つのデータベースから、第1の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第1の映像シーケンスと、第2の所定の関心のあるオブジェクト又はアクティビティを含む対象領域の第2の映像シーケンスとを取得し、
前記第1の映像シーケンスの記録期間と前記第2の映像シーケンスの記録期間とが、ある期間にわたって重複するかどうかを判定し、
前記第1及び第2の映像シーケンスの記録期間がある期間にわたって重複する場合に、前記重複の期間からの前記第1及び/又は第2の映像シーケンスのフレームを使用して少なくとも1つの第1の映像クリップを定義する
ように構成される少なくとも1つのプロセッサを備える、映像処理装置。 - 前記少なくとも1つのプロセッサは、
前記第1の所定の関心のあるオブジェクト又はアクティビティを含む前記第1の映像クリップの第1のフレームを識別し、
前記第2の所定の関心のあるオブジェクト又はアクティビティを含む前記第1の映像クリップの第2のフレームを識別し、
前記第1のフレームの少なくとも一部と、前記第1の映像クリップの前記第2のフレームの少なくとも一部とを使用して、前記第1及び第2の所定のオブジェクト又はアクティビティを含むサムネイルを生成する
ようにさらに構成される、請求項21に記載の映像処理装置。 - 請求項22に記載の映像処理装置と、ディスプレイを備えるクライアント装置とを備える映像監視システムであって、前記クライアント装置は、少なくとも前記第1の映像クリップ又は前記第1の映像クリップのサムネイルを表示するように構成される少なくとも1つのプロセッサを備える、映像監視システム。
- 前記クライアント装置は、前記第1の映像クリップが定義された前記第1及び第2の映像シーケンスを表示することなく、前記第1の映像クリップ又は前記第1の映像クリップのサムネイルを表示するようにさらに構成される、請求項23に記載の映像監視システム。
- 請求項23又は24に記載の映像監視システムであって、ビデオカメラ及び記録サーバをさらに備え、前記記録サーバは、
映像シーケンスの記録を記憶媒体内のデータベース内のビデオカメラから撮像させ、
前記クライアント装置から検索クエリを受信し、
前記検索クエリに従って前記データベースから映像シーケンスを抽出し、
1つの前記第1の映像クリップを定義し、前記クライアント装置に送信する
ように構成されるプロセッサを備える、映像監視システム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB2016890.2 | 2020-10-23 | ||
GB2016885.2A GB2600404B (en) | 2020-10-23 | 2020-10-23 | Computer-implemented method, computer program and apparatus for video processing, and video surveillance system comprising such an apparatus |
GB2016885.2 | 2020-10-23 | ||
GB2016890.2A GB2600156A (en) | 2020-10-23 | 2020-10-23 | Computer-implemented method, computer program and apparatus for generating a thumbnail from a video sequence |
PCT/EP2021/076772 WO2022083990A1 (en) | 2020-10-23 | 2021-09-29 | Computer-implemented method, computer program and apparatus for video processing and for generating a thumbnail from a video sequence, and video surveillance system comprising such an apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023544948A true JP2023544948A (ja) | 2023-10-26 |
Family
ID=78078199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023505805A Pending JP2023544948A (ja) | 2020-10-23 | 2021-09-29 | コンピュータ実装方法、コンピュータプログラム、及び映像処理と映像シーケンスからのサムネイルの生成とのための装置、並びにそのような装置を備える映像監視システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230396741A1 (ja) |
EP (1) | EP4232919A1 (ja) |
JP (1) | JP2023544948A (ja) |
KR (1) | KR20230069982A (ja) |
WO (1) | WO2022083990A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2612118A (en) * | 2021-10-22 | 2023-04-26 | Milestone Systems As | Computer-implemented method and computer program for generating a thumbnail from a video stream or file, and video surveillance system |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7743064B2 (en) * | 2004-04-29 | 2010-06-22 | Harris Corporation | Media asset management system for managing video segments from fixed-area security cameras and associated methods |
US8032840B2 (en) * | 2006-01-10 | 2011-10-04 | Nokia Corporation | Apparatus, method and computer program product for generating a thumbnail representation of a video sequence |
US20070237225A1 (en) * | 2006-03-30 | 2007-10-11 | Eastman Kodak Company | Method for enabling preview of video files |
US8897603B2 (en) * | 2009-08-20 | 2014-11-25 | Nikon Corporation | Image processing apparatus that selects a plurality of video frames and creates an image based on a plurality of images extracted and selected from the frames |
US9269243B2 (en) * | 2011-10-07 | 2016-02-23 | Siemens Aktiengesellschaft | Method and user interface for forensic video search |
US9471849B2 (en) * | 2013-05-05 | 2016-10-18 | Qognify Ltd. | System and method for suspect search |
KR102092316B1 (ko) * | 2013-10-14 | 2020-03-23 | 한화테크윈 주식회사 | 모니터링 방법 |
US10176683B2 (en) * | 2014-09-18 | 2019-01-08 | Honeywell International Inc. | Virtual panoramic thumbnail to summarize and visualize video content in video surveillance and in connected home business |
US10121515B2 (en) * | 2016-06-06 | 2018-11-06 | Avigilon Corporation | Method, system and computer program product for interactively identifying same individuals or objects present in video recordings |
US10810255B2 (en) * | 2017-09-14 | 2020-10-20 | Avigilon Corporation | Method and system for interfacing with a user to facilitate an image search for a person-of-interest |
JP6573346B1 (ja) * | 2018-09-20 | 2019-09-11 | パナソニック株式会社 | 人物検索システムおよび人物検索方法 |
GB2579071B (en) * | 2018-11-19 | 2022-03-02 | Canon Kk | Method and apparatus for processing requests for thumbnail images in a video surveillance system |
-
2021
- 2021-09-29 US US18/249,315 patent/US20230396741A1/en active Pending
- 2021-09-29 WO PCT/EP2021/076772 patent/WO2022083990A1/en active Application Filing
- 2021-09-29 EP EP21786373.7A patent/EP4232919A1/en active Pending
- 2021-09-29 KR KR1020237012759A patent/KR20230069982A/ko active Search and Examination
- 2021-09-29 JP JP2023505805A patent/JP2023544948A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230396741A1 (en) | 2023-12-07 |
WO2022083990A1 (en) | 2022-04-28 |
KR20230069982A (ko) | 2023-05-19 |
EP4232919A1 (en) | 2023-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11670147B2 (en) | Method and apparatus for conducting surveillance | |
US9342594B2 (en) | Indexing and searching according to attributes of a person | |
US20080198159A1 (en) | Method and apparatus for efficient and flexible surveillance visualization with context sensitive privacy preserving and power lens data mining | |
Prati et al. | Intelligent video surveillance as a service | |
CN110851652A (zh) | 一种辅助查看行车记录视频的方法及装置 | |
CN105323656B (zh) | 成像设备和提供成像信息的方法 | |
US20170034483A1 (en) | Smart shift selection in a cloud video service | |
US20160357762A1 (en) | Smart View Selection In A Cloud Video Service | |
US11037604B2 (en) | Method for video investigation | |
US11417103B2 (en) | Investigation assist system and investigation assist method | |
KR20140141025A (ko) | 영상 검색 장치 및 방법 | |
JP2023544948A (ja) | コンピュータ実装方法、コンピュータプログラム、及び映像処理と映像シーケンスからのサムネイルの生成とのための装置、並びにそのような装置を備える映像監視システム | |
TW202303399A (zh) | 設備聯動方法、設備和電腦可讀儲存媒體 | |
CN116848522A (zh) | 用于视频处理和从视频序列生成缩略图的计算机实现的方法、计算机程序和设备以及包括这种设备的视频监控*** | |
US7965865B2 (en) | Method, system, and program product for presenting electronic surveillance data | |
Chen et al. | An intelligent surveillance video analysis service in cloud environment | |
EP4171023A1 (en) | Computer-implemented method and computer program for generating a thumbnail from a video stream or file, and video surveillance system | |
US20230055581A1 (en) | Privacy preserving anomaly detection using semantic segmentation | |
GB2600404A (en) | Computer-implemented method, computer program and apparatus for video processing, and video surveillance system comprising such an apparatus | |
US20210191978A1 (en) | Video searching using multiple query terms | |
US20230368629A1 (en) | A computer implemented method, apparatus and computer program for privacy masking video surveillance data | |
Abdelrahman | Copyright C2010, Waffled Abubakr Abdulrahman. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240617 |