JP2020518165A - 異なるデバイスによって生成されたビデオ画像、ピクチャ等のコンテンツの管理および検証のためのプラットフォーム - Google Patents
異なるデバイスによって生成されたビデオ画像、ピクチャ等のコンテンツの管理および検証のためのプラットフォーム Download PDFInfo
- Publication number
- JP2020518165A JP2020518165A JP2019556850A JP2019556850A JP2020518165A JP 2020518165 A JP2020518165 A JP 2020518165A JP 2019556850 A JP2019556850 A JP 2019556850A JP 2019556850 A JP2019556850 A JP 2019556850A JP 2020518165 A JP2020518165 A JP 2020518165A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- content
- determining
- image content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
Abstract
イベント(A)に関するビデオ画像コンテンツが改変されたかを検出するための装置(1)および方法であって、上記装置は、上記道路事故(A)の間に汎用デバイス(41、42)によって取得されることができる上記ビデオコンテンツを受信するように適合された通信手段(13)を備え、処理手段(11)は、上記通信手段(13)と通信し、上記ビデオコンテンツの少なくとも1つの改変をその取得後に識別するように適合された複数のデータおよび/またはパラメータを検証することによって上記ビデオコンテンツから変更を検索し、上記コンテンツを、上記ビデオコンテンツが上記変更のうちの少なくとも1つを含む場合に改変されたものとして、または上記ビデオコンテンツに変更が含まれていない場合に真正かつ改変されていないものとして分類するように構成される。
Description
より一般的な局面では、本発明は、異なる種別の装置によって生成された、ビデオ画像、写真の画像、オーディオレコーディングまたは他の種別のコンテンツの検証のためのプラットフォームに関する。
さらに先に進める前に、この明細書および後の特許請求の範囲において、上述のように、動画、写真、オーディオレコーディングなどのビデオ画像、オーディオビデオデータまたは写真画像のコンテンツが主に参照されることを指摘することだけでよい。
これは、例えば、ビデオカメラなどの同じ装置から取得されるオーディオトラックおよび画像、またはビデオカメラ、モバイルフォンなどの異なる位置にあることができる異なる装置によって取得された画像などのといったコンテンツが、単独で考慮され得るか、または組み合わされ得るという意味で、広範に理解される。
さらに、写真の画像は、ビデオから抽出されたフレームから導出され得、または専用の撮影装置を用いて撮影され得る。
これによって、本発明に従う検証プラットフォームは、様々な部品を含む複雑なシステムであることが留意されるべきである。簡潔さおよび明瞭さのために、提示される説明および以下の特許請求の範囲では、それらのいくつかを主に参照する。しかし、本発明の範囲および/またはその用途は、ここで考慮される装置および様々な装置を超えても及ぶので、これは限定として理解されるべきではない。
したがって、そのより特定の局面では、本発明は、特に、しかし限定することなく道路事故に関連する画像、音、または他のビデオ、オーディオ、および/またはビデオ/オーディオデータのコンテンツが元のものであるか、または改変されたかを検出する装置および/または方法に関する。
特に、本発明は、例えば、いわゆるスマート種別(スマートフォン)のモバイルフォン、タブレット、ビデオカメラ、カメラなどの、今日一般に普及し使用されているアナログまたはデジタルのいずれかの、汎用の、すなわち特殊用途ではないデバイスによって取得されたビデオ、写真、オーディオビデオデータなどの画像コンテンツに対する任意の改変の存在を検出することを目的とする。
例えば、公共領域および特に道路の概して監視及びセキュリティのために、観察スクリーン(すなわち、モニタ)上で再生されるべきビデオ、写真、またはオーディオビデオコンテンツの形態であるか、または別の方法で検出される(例えば、サーモグラフィー、放射線撮影、または他の種類の画像用の赤外線または他の電磁波を用いて、超音波、音波および他の画像用のソナーまたは他の音響プローブを用いて)かにかかわらず、画像を取得するための手段の使用が広く普及している。
そのようなコンテンツはしばしば、交通経路の管理を担う人々(例えば、警察、治安部隊など。)、または道路事故の慣例を管理する保険会社、または事故によって引き起こされる損傷について法的事例について決定しなければならない法廷などの関連状況を担当する人々によって使用される。
これらの状況下では、道路(および車道)ネットワーク上の道路交差点、信号機または予め定められた点で固定ビデオカメラを使用すること、または車載車両上の移動ビデオカメラ(「ダッシュカム」としても知られる)を使用することがますます広がっている。
これらのカメラは、交通経路の確認だけでなく、特に車両に搭載された場合、運転者の視点から画像を取得するためにも用いられ、道路事故時の証拠として利用される可能性がある。
しかし、車載ビデオカメラの使用が最新世代のモデルではどの程度一般的であるかを観察し、操作の反転においてまたはセンサとしても見ることを可能とすることを要する。
これらの(上記のさまざまなコンテンツの形態の)画像取得装置はまた、道路専門家(タクシードライバ、トラックドライバ、治安部隊など。)に加えて、個人および一般市民によっても使用されることができる。
多くのこれらの装置は、加速度計を用いて道路事故によって引き起こされる衝撃を検出し、道路事故の前、その間、およびその後にビデオストリームを永久的または半永久的に記憶することを可能にする。多くのこれらのデバイスは、モバイル通信端末(すなわち、最新の世代のモバイルフォン、いわゆるスマートフォン)であり、これらは、実際には、上記端末の加速度計が高強度の加速度を検出するが、車両が受ける衝撃に起因し得る短い持続時間の加速度を検出するときに、モバイル端末のビデオセンサによってビデオストリームを取得可能な特定のアプリケーションを実行することによってダッシュカム機能を実施することに留意されたい。
この背景技術の代表的な例は、本出願の本出願人が所有するEP2949510AlおよびEP2950311の刊行物に説明される。
道路、交通及び交通経路に関連する画像を一般に取得するための固定端末またはモバイル端末のこのような広い普及は、異なる技術及び/又は規格を採用した異種機器の普及につながり、ビデオコンテンツに関連するデータ量及び複雑さを生んでいる。
後者はまた、事故に対する責任を帰し保険会社からの補償の獲得または確立のために、道路事故のイベント、特に法廷における証拠としてもますます多くの場合に使用されるので、上述の手段を用いて撮影された画像の真正性を確認することが重要となる。
実際、道路事故に関連するビデオ画像、オーディオビデオデータ、写真の画像等のコンテンツの真正性を保証することができるものとして、幾つかの(わずかな)装置のみが今日信頼できるものと認識されており、基本的に、それらは、飛行機のブラックボックスと同様の装置であり、VEDR(ビデオイベントデータレコーダの頭字語)デバイスとしても知られる。
代わりに、固定監視ビデオカメラまたはモバイルフォンまたはダッシュカムなどのモバイル機器等の他のデバイスによって取得された画像の場合、ビデオ、オーディオ、写真コンテンツなどの信頼性は、特に法廷では認識されない。
実際、現在の技術は、フィルム又は写真の画像を一般に非常に容易に処理及び修正可能にすることが知られている。これは、専門的目的(例えば、テレビ放送または映画撮影のポストプロダクション)および娯楽目的(ビデオを友人および知人とオンラインで共有する人々、またはそれを彼ら自身の趣味として行う人々)の両方で起こるが、しかしその効果は、ビデオのまたは任意の場合の一連のフレームの元の画像と最終画像との間の多様性または不一致を有することである。
そのような状況は、道路事故に続く、司法または保険プロセスにおける文書証拠としてのビデオおよび/または写真素材の使用と互換性がないことが理解される。
結果として、ビデオまたは写真の画像の量および異種性の増加は、保険会社またはセクタ内の他のオペレータ(例えば、法廷)が、検査される資料の真正性および/または原本性、すなわち、取得された画像とそれらが参照する事実との間の対応を確認することを困難にしている。
通常、これらの評価は、素材を検査し、それが元のものであるかどうかを決定する特殊な専門家の人手の介入を必要とする。
所与の限られた利用可能性、作業を行うための専門家の(長い)時間および関連する(高い)コスト、ならびに上述の異種のソース(ビデオカメラ、カムコーダ、および同様の固定もしくはモバイル装置、モバイルフォン、または車両に搭載された他のデバイス)から来る評価されるべき画像の量の増加を考慮すると、現在の技術水準を改善することができる代替物を見出す必要があることは明らかである。
実際、ビデオまたは写真の画像の真正性または原本性を証明することの困難さは、運転手、公共管理、または保険会社に対する改ざんまたは不正行為のリスクを増加させる。
さらに、不正行為または改ざんのリスクが高くなると、企業が全顧客にこのリスクを割り振ることを促し、一般に保険料の支払い量を増加させ、保険費用が増大する。
本発明は、特に、しかし限定することなく、交通経路に関連する画像のために意図されたビデオまたは写真のドキュメントの真正性または原本性を検出するための装置および方法を提供することによって、これらおよび他の問題を解決することを提案する。
本発明の根底にある概念は、汎用デバイス(例えば、モバイル端末、ダッシュカム、固定監視カメラ等)によって道路事故の間に取得されることができ道路事故に関連するビデオコンテンツが改変されたかどうかを、自動処理手段を通して、その取得に続いてビデオコンテンツの少なくとも1つの変更をどのように識別するかを規定する検索命令の組を実行することによって、上記ビデオコンテンツから変更を検索することによって検出することである。
これによって、知られているように、それらがコンテンツの真正性の検証(すなわち、特定のデバイスおよび/または人によって取得されたことを検証すること)および/または上記コンテンツの完全性の検証(すなわち、そのようなコンテンツが取得後に修正されていないことを検証すること)を可能にする真正および/または完全データを提供しないので、修正が容易なデジタルフォーマットのビデオコンテンツを生成するためにビデオの非改変を検証することを可能としない汎用デバイスによって取得された大量のビデオコンテンツを自動的に検証することができる。
本発明のさらなる有利な特徴は、添付の特許請求の範囲の目的である。
本発明のこれらの特徴およびさらなる利点は、限定ではなく説明のために提供される、添付の図面に示されるその実施形態の説明から、より明白となるであろう。
本発明のこれらの特徴およびさらなる利点は、限定ではなく説明のために提供される、添付の図面に示されるその実施形態の説明から、より明白となるであろう。
本明細書における「実施形態」への言及は、特定の構成、構造、または特徴が本発明の少なくとも1つの実施形態に含まれることを示す。したがって、本明細書の異なる部分に存在する「実施形態では」などの用語は、必ずしも同じ実施形態を指すわけではない。さらに、特定の構成、構造または特徴は、1つまたは複数の実施形態において任意の適切な方法で組み合わせることができる。以下の参照は便宜上のものであり、保護範囲や実施の形態の範囲を限定するものではない。
図1を参照して、本発明に従う装置1について説明する。上記装置1の実施形態(これは、PC、サーバなどであり得る)は、以下の構成要素を含む。
−処理手段11、例えば、好ましくはプログラム可能な方法で上記装置1の動作を制御する1つまたは複数のCPU等。
−記憶手段12、好ましくはフラッシュおよび/または磁気および/またはRAM種別および/または別の種別のメモリであり、これらは制御および処理手段11と信号通信し、装置1が動作状態にあるときに、制御および処理手段11によって読み取り可能な命令が上記記憶手段12に少なくとも格納され、それは、本発明による方法を好ましく実行する。
−通信手段13、好ましくは、IEEE802.3ファミリ(Ethernet(登録商標)として知られる)および/またはIEEE802.11ファミリ(Wi−Fiとして知られる)および/または802.16ファミリ(WiMaxとして知られる)の規格に従って動作する1つまたは複数のネットワークインタフェース、および/またはGSM(登録商標)/GPRS/UMTS/LTE種別などのデータネットワークへのインタフェースであり、モバイル端末、ダッシュカム、監視ビデオカメラ等の汎用機器によって、1つまたは複数の道路事故の間に取得されたビデオコンテンツ(例えば、ビデオ、写真など)を受信可能に構成される。
−入力/出力(I/O)手段14、例えば、上記装置1を周辺装置(例えば、タッチスクリーン、外部大容量メモリユニットなど)または記憶手段12へ(制御および処理手段11が実行すべき)命令を書き込むように構成されたプログラミング端子に接続するために使用することができるもの。そのような入力/出力手段14は、例えば、USB、ファイアワイヤ、RS232、IEEE1284インターフェースなどを備えることができる。
−制御および処理手段11、記憶手段12、通信手段13及び入出力手段14間の情報の交換を可能にする、通信バス17。
通信バス17の代替として、制御および処理手段11、記憶手段12、通信手段13、および入出力手段14は、スタートポロジによって接続されることができる。
図2をまた参照して、例えば道路事故Aなどのイベントに関連するビデオコンテンツが改変されたかどうかを検証するためのシステムSがここで説明され、このようなシステムSは、以下の構成要素を含む。
−本発明に従う装置1。
−中央コンピュータ2(以下の記載において、「サーバ」という用語を用いて参照される)であって、これは、道路事故に関連するビデオコンテンツを取得および格納するように構成され、好ましくはデータネットワーク(例えば、LAN、イントラネット、エクストラネット等である)によって装置1と信号通信する。
−中央コンピュータ2(以下の記載において、「サーバ」という用語を用いて参照される)であって、これは、道路事故に関連するビデオコンテンツを取得および格納するように構成され、好ましくはデータネットワーク(例えば、LAN、イントラネット、エクストラネット等である)によって装置1と信号通信する。
−ユーザ端末3であって、これは、遠隔通信ネットワーク5、好ましくは、ネットワークオペレータによって管理される公衆型(例えば、インターネット)のデータネットワークを介して中央コンピュータ2にアクセスし、中央コンピュータ2に格納されたビデオコンテンツと、装置1による本発明に従う方法の実行によって生成されたその信頼性状況とを表示する。
−1つまたは複数の汎用デバイス41、42、好ましくはスマートフォン41および/またはタブレットおよび/またはダッシュカム、および/または固定監視ビデオカメラ42であり、これらは、電気通信ネットワーク5によってサーバ2と直接または間接に信号通信し、好ましくはHTTP(Hyper Text Transfer Protocol)及び/又はSOAP(単純オブジェクトアクセスプロトコル)を用いて、好ましくはTSL(Transport Layer Security)プロトコルを用いてセキュア接続を確立することによって、中央コンピュータ2とデータを交換するプログラム(例えば、インターネットブラウザおよび/または特別に開発されたアプリケーションなど)を実行することによって、ビデオコンテンツ(取得済み)をロードするように構成される。
本発明に従う方法が上記サーバ2によって直接実行される場合、上記装置1は、本発明の教示から逸脱することなく、サーバ2と一致し得ることに留意されたい。この構成では、本発明は、道路事故に関連するビデオ(またはオーディオ/ビデオ)コンテンツ取得サービスの追加アプリケーション(プラグイン)としても実施され得る。
図3をまた参照すると、本発明に従うビデオコンテンツの改変を検出するための方法は、好ましくは装置1が動作状態にあるときに装置1によって実行され、以下のステップを含む。
a. 受信ステップであって、ここでは、通信手段13を介して、汎用デバイス41、42(例えば、モバイル端末、ダッシュカム、固定監視ビデオカメラ等)によって取得された道路事故Aなどのイベントに関連する少なくとも1つのビデオコンテンツを受信する。
b. 改変検索ステップであって、ここでは、処理手段11を通して、例えば、ビデオコンテンツのその取得後の少なくとも1つの改変を識別する方法を規定する検索命令の組を実行することによって、そのビデオコンテンツからその取得後に行われた改変を検索する。
c. 分類ステップであって、ここでは、処理手段11を通して、ビデオコンテンツは、上記変更のうちの少なくとも1つを含む場合に改変されたものとして、またはビデオコンテンツが変更を含まない場合に改変されていないものとして分類される。
これによって、保険会社または他のユーザ(例えば、専門家、代理人、裁判官)は、ビデオコンテンツを迅速に分析することができ、不正行為のリスクが低減されることができる。実際、ビデオコンテンツが改変されていないものとして分類される場合、保険会社は、不正行為のリスクが低い損害の清算を進めることができ、一方、上記コンテンツが改変されたものとして分類される場合、会社は、(例えば、ビデオコンテンツを受け入れないことによって、および/または専門家をビデオコンテンツの評価に介入させることによって、および/または上記コンテンツを提供した人を管理当局および/または他の当局に報告することによって、)異なる方法で進めることができる。
変更を検索するために処理手段11の検索ステップ中に実行される検索命令の組は、ビデオコンテンツを取得したビデオセンサの種別に基づいてビデオコンテンツが改変されたか否かを決定するように機能する一連のステップを実装することができる。実際、ビデオセンサの種別は、色および/または光に対するセンサの応答を知ることを可能にし、したがって、ビデオがその種別のセンサによって実際に取得されたかどうか、またはビデオがその後改変されたかどうかを理解することを可能にする。
より詳細に、検索命令の組は、以下のステップを実行するように処理手段11を構成することができる。
−上記通信手段13によって取得されたビデオコンテンツを取得したビデオセンサの種別を規定するセンサ種別データを決定するステップであって、例えば、ビデオコンテンツに含まれるメタデータ(のファイル)からそのようなデータを読み取り、または上記ビデオコンテンツを中央コンピュータ2に送信したいユーザから上記データを要求することによって行われる。
−上記センサ種別データに基づいて可能な出力値の組を決定するステップであって、各種別のビデオセンサが出力において可能な値の全体を生成できず、その減少されたサブセットのみを生成するので、上記可能な出力値の上記組は、上記センサ種別データによって規定される種別のセンサによって上記画像が取得されたときに、画像の点によって取られることができる全ての値を含む。
−上記ビデオコンテンツから可能な出力値の組に含まれていない画像点の値を検索するステップ。
−可能な出力値の組に値が含まれていない点の数が1を超えるか、または好ましくは10〜100である閾値を超える場合に、ビデオコンテンツが変更を含む(すなわち、改変された)ものとして分類するステップ。
この特徴の組は、有利には、フォト/ビデオレタッチソフトウェアを使用することによって修正されたビデオコンテンツを検出することを可能にし、その理由は、これらのソフトウェアが利用できるツールが、(ビデオコンテンツがフレームのシーケンスである場合に)画像またはフレームのうちの少なくとも1つに残る変更を非常に容易に生成するからである。これにより、偽造ビデオコンテンツを自動的に検出する確率を有利に高めることができ、保険会社がだまされる可能性を低減させることができる。
代替的に、または上記と組み合わせて、変更を検索するために処理手段11によって検索ステップ中に実行される検索命令の組は、ビデオコンテンツが改変されたかどうかを、そのようなビデオコンテンツが取得された時刻に基づいて決定するように機能する一連のステップを実装することができる。実際、時間、任意に日付、場合によっては気象条件をも知ることにより、事故時に存在した光の量を推定し、ビデオコンテンツの輝度データを推定された光の量と比較することによって、その後コンテンツが改変されたかどうかを決定することが可能である。
より詳細に、検索命令の組は、以下のステップを実行するように処理手段11を構成することができる。
−(通信手段13を介して受信した)ビデオコンテンツが取得された時刻を規定するイベント時間データを決定するステップであって、例えば、そのビデオコンテンツ(のファイル)に含まれるメタデータからそのデータを読み出し、またはそのビデオコンテンツを中央コンピュータ2に送信したいユーザから要求することにより行われる。
−上記イベント時間データに基づいて、ビデオコンテンツの取得時に存在することができた光の量を規定する推定された光データを決定するステップであって、例えば、太陽および/または月のエフェメリスに基づいて太陽および/または月の高さを計算することによる。
−ビデオコンテンツに備えられた少なくとも1つの画像(またはフレーム)の平均輝度を決定するステップ。
−上記ビデオコンテンツから閾値を超える量だけ推定された光データとは異なる平均輝度値を有する画像(またはフレーム)を検索するステップ。
−上記閾値を超える量だけ上記推定された光データと異なる平均輝度値を有する画像の数が1よりも大きい場合に、上記ビデオコンテンツを変更を含むものとして(即ち、改変されたものとして)分類するステップ。
この特徴の組は、メタデータに存在するものまたは(例えば、記録された事故が仕組まれたために)システムのユーザによって表明されたものとは異なる時間に取得されたビデオコンテンツを検出することを可能にする。これにより、取得後に改変されたビデオコンテンツを自動的に検出する確率が有利に増加し、保険会社がだまされる可能性を低減することができる。
既に上述したように、平均光は、事故時に提示される気象条件に基づいて計算されることもできる。この目的のために、装置1はまた、事故が発生した位置を決定し、それに基づいて、事故時に存在する気象条件を、上記位置と、特定の領域における気象条件(例えば、雲被覆レベル)の経時変化を規定する過去の気象データとに基づいて決定するように構成され得、これは、好ましくは過去の全気象条件を、ある地域、例えば、国、大陸、または全球全体において提供することができる(例えば、インターネットを介してアクセス可能な)気象予報サービスから通信手段13を介して取得され得る。
より詳細に、検索命令の組は、上記で規定されたステップに加えて、以下のステップも実行することによって、少なくとも1つの画像の平均輝度を決定するように処理手段11を構成することもできる。
−(通信手段13を介して受信した)ビデオコンテンツが取得された位置を規定するイベント位置データを決定するステップであって、例えば、ビデオコンテンツ(のファイル)に含まれるメタデータからそのようなデータを読み出すこと、または中央コンピュータ2にそのようなビデオコンテンツの送信を望むユーザから要求することによる。
−上記位置データ、イベント時間データ、および上述の通りビデオコンテンツが取得された位置を含む領域における気象条件の経時変化を規定する過去の気象データに基づいて、ビデオコンテンツが取得された時間及び位置における気象条件を規定する気象データを決定するステップ。
−イベント時間データに加えて上記気象および位置データにも基づいて推定された光データを決定するステップであって、例えば、道路事故が発生した場所における領域の地形(位置データ)および雲被覆レベル(気象データ)も考慮して、太陽および/または月のエフェメリスに基づいて推定された光データを計算することによる。
このさらなる特徴は、道路事故時の気象条件も考慮されるので、ビデオコンテンツが取得後に改変されたかどうかを自動的に検出する確率をさらに増大させる。これにより、保険会社がだまされる確率が(さらに)低減される。
代替的に、または上記と組み合わせて、任意の変更を追跡するために処理手段11によって検索ステップ中に実行される検索命令の組は、例えば汎用デバイス41、42によって取得され、サーバ2に送信されたビデオコンテンツの画像に示される信号機Lなどの発光標識によって放射された色の位置および/または形状に基づいて、ビデオコンテンツが変更されたか否かを決定するように機能する一連のステップを実装することができる。これは、発光標識によって放射された表示の色および/または形を変更することにより改変されたビデオコンテンツを(自動的に)検出することができる。
より詳細に、検索命令の組は、以下のステップを実行するように処理手段11を構成することができる。
−ビデオコンテンツに含まれる少なくとも1つの画像における少なくとも1つの発光標識の存在を検出するステップ。
−上記少なくとも1つの画像内に表現された上記少なくとも1つの発光標識によって放射された発光表示の位置、例えば、信号機のどのライト(緑色、黄色、または赤色)が点灯しているかを規定する、発光表示位置データを決定するステップ。
−上記少なくとも1つの画像において表現された上記少なくとも1つの発光標識によって放射された発光表示の色および/または形、例えば、公共輸送用の汎用信号機によって放射された色(赤、緑、橙)、または歩行者信号機によって放射される形(垂直線、水平線、左右斜め線、三角形、または他の形状)を規定する発光表示構成データを決定するステップ。
−上記発光表示位置データ、上記発光表示構成データ、および(たとえば、交通法規によって提供される発光標識の規定を実装することにより)発光道路標識によって放射された発光表示の形および/または色、および位置を規定する参照データの組に基づいて、(例えば、それによって発せられた発光表示の色および/または形を変更することにより)上記少なくとも1つの発光標識の表現が改変されているかどうかを決定するステップ。
−少なくとも1つの発光標識の表現が改変されている場合、ビデオコンテンツを変更を含むものとして分類するステップ。
この特徴の組は、(例えば、フォト/ビデオレタッチソフトウェアによって)発光信号によって放射された発光表示の色および/または形を変更させるように改変されたビデオコンテンツ、例えば、他のランプの下方の位置にあるランプからよりもむしろ、他のランプの上方の位置にあるランプから緑色光を放射する信号機、または、他のランプの下方の位置にあるランプから赤色光を放射する信号機が示されているビデオコンテンツを検出することを可能にする。これによって、取得後に改変されたビデオコンテンツを自動的に検出する確率が有利に高まり、保険会社がだまされる可能性を低減することができる。
代替的に、または上記と組み合わせて、画像コンテンツの任意の変化を追跡するために処理手段11によって検索ステップ中に実行される検索命令の組は、背景技術においてよく知られた種別の三次元再構成技術によって、第1のビデオコンテンツを少なくとも1つの第2の画像コンテンツと比較することによって第1の画像コンテンツが改変されたかを決定することを可能にする一連のステップを実装することができる。この解決策は、それらを取得した汎用デバイス41、42の位置および配向が既知である少なくとも2つのビデオ画像コンテンツを使用して三次元シーンを再構成することに基づく。このアプローチは、三次元再構成の結果を(また自動的に)分析することによって、2つのコンテンツのうちの1つの任意の改変を(自動的に)識別することを可能にする。特に、(例えば、交差点近傍の優先標識または停止禁止等の詳細をビデオ画像コンテンツから削除することによって)2つのビデオのうちの1つが改変された場合、すべての対象を十分なレベルの精度で空間に配置することができないので、三次元再構成の結果は不完全となる。
言い換えれば、通信手段13は、少なくとも2つのビデオコンテンツと、上記ビデオコンテンツの各々に関連するポインティングおよび位置データとを受信するように構成することができ、上記ポインティングデータは、各デバイス41、42が上記コンテンツを取得したときに各デバイス41、42が有していた少なくとも1つの位置および1つの向きを規定し、そのようなポインティングおよび位置データは、たとえば、上記コンテンツのうちの1つを取得するスマートフォンのGPS受信機および/またはコンパスを使用して生成され得、またはコンテンツを送信するユーザによって指定され得、または既に知られ得る(固定カメラの場合、その位置および向きは既知である)。さらに、検索命令の組は、以下のステップを実行するように処理手段11を構成することができる。
上記少なくとも2つの画像コンテンツおよび上記ビデオコンテンツの各々のポインティングおよび位置データに基づいてイベントAの三次元モデルを生成するステップであって、これは、上述の通り、上記コンテンツを取得したデバイス41、42の位置および向きを規定する。
−上記少なくとも2つのコンテンツの各1つから、上記三次元モデルにおいて三次元座標を割り当てられることができなかった点、すなわち、上記3次元モデル内に配置されなかった点を検索するステップ。
−三次元座標が割り当てられなかった点の数が閾値を超えた場合に、少なくとも2つのビデオコンテンツのうちの少なくとも1つが改変されたものとして分類するステップ。
これにより、取得後に改変されたビデオコンテンツを自動的に検出する確率が有利に高まり、保険会社がだまされる可能性を低減することができる。
考えられる変形例のいくつかを上記に説明してきたが、実際的な実装において、技術的に均等である他のものによって置き換えることができる異なる要素を有する他の実施形態も存在することは、当業者には明白である。したがって、本発明は、説明される例示的な例に限定されず、以下の特許請求の範囲に特定されるような基本的な発明の概念から逸脱することなく、様々な修正、改良、部品の置換、および均等の要素にさらされる。
この点に関して、最初に述べられたものを参照すると、本発明は、主に、固定または移動カムコーダ、ビデオカメラ、およびカメラによって取得される画像のビデオに焦点を当てるが、本明細書で開示される原理は、赤外線、レーダーなど(すなわち、人間の目に見えない放射線)によって取得される画像、または超音波画像(すなわち、超音波によって取得される)にも拡張され得る。
Claims (19)
- イベント(A)に関するビデオ画像、オーディオビデオデータ、写真等のコンテンツの検証のための装置(1)であって、
−前記イベント(A)の間に、電気通信用モバイル端末(41)、ダッシュカム、固定監視ビデオカメラ(42)、カメラ等の汎用デバイス(41、42)によって取得されることができる画像コンテンツを受信するように適合された通信手段(13)と、
−前記通信手段(13)と通信する処理手段(11)とを備え、
前記処理手段(11)は、
−取得後の前記画像コンテンツに対して行われた少なくとも1つの改変を識別するのに適した複数のデータおよび/またはパラメータを検証することによって、前記画像コンテンツから変更を検索し、
−前記画像コンテンツを、それが少なくとも1つの前記変更を備える場合に改変されたものとして、または前記ビデオコンテンツが変更を含まない場合に改変されていないものとして分類するように構成される、装置(1)。 - 前記処理手段(11)は、
−前記ビデオ画像コンテンツを取得したセンサの種別を規定する、前記通信手段(13)と関連付けられたセンサ種別データを決定するステップと、
−前記センサ種別データに基づき可能な出力値の組を決定するステップであって、前記画像が前記センサ種別データによって規定されるような前記種別のセンサによって取得されるときに、前記可能な出力値の組は、前記画像の点がとることができる前記値を備えるステップと、
−前記画像コンテンツから前記可能な出力値の組に含まれていない画像点の値を検索するステップとのうちの少なくとも1つのステップを実行することによって前記画像コンテンツから変更を検索するように構成され、
前記処理手段(11)はまた、前記可能な出力値の組に値が含まれていない点の数が第1の閾値を超える場合に前記画像コンテンツを改変されたものとして分類するように構成される、請求項1に記載の装置(1)。 - 前記処理手段(11)は、
−前記画像コンテンツが取得された時刻を規定するイベント時間データを決定するステップと、
−前記イベント時間データに基づき前記画像コンテンツの取得時における光レベルを規定する推定された光データを決定するステップと、
−前記画像コンテンツに備えられた少なくとも1つの画像の平均輝度を決定するステップと、
−前記画像コンテンツから第2の閾値を超える量だけ前記推定された光データとは異なる平均輝度値を有する画像を検索するステップと、を実行することによって前記画像コンテンツから変更を検索するように構成され、
前記処理手段(11)はまた、前記第2の閾値を超える量だけ前記推定された光データとは異なる平均輝度値を有する画像の数が1よりも大きい場合に、前記画像コンテンツを改変されたものとして分類するように構成される、請求項1または請求項2に記載の装置(1)。 - 前記処理手段(11)はまた、
−前記画像コンテンツが取得された位置を規定するイベント時間データを決定するサブステップと、
−前記画像コンテンツが取得された前記時間および前記位置における気象条件を規定する気象データを、前記位置データ、イベント時間データおよび前記気象条件の経時変化を規定する前記画像コンテンツが取得された前記位置を含む領域内の過去の気象データに基づき決定するサブステップと、
−前記気象および位置データにまた基づき前記推定された光データを決定するサブステップとを実行することによって、推定された光データを決定するように構成される、請求項3に記載の装置(1)。 - 前記コンテンツは、少なくとも1つの画像を備え、前記処理手段(11)は、
−前記コンテンツの前記少なくとも1つの画像内の少なくとも1つの発行標識の存在を検出するステップと、
−前記少なくとも1つの画像内に表現された前記少なくとも1つの発行標識によって放射された前記発光表示の位置を規定する発光表示位置データを決定するステップと、
−前記少なくとも1つの画像内に表現された前記少なくとも1つの発行標識によって放射された前記発光表示の色および/または形を規定する発光表示構成データを決定するステップと、
−前記少なくとも1つの発行標識の前記表現が改変されているかを、前記発光表示位置データ、前記発光表示構成データおよび発光道路標識によって放射された前記発光表示の形および/または色および/または位置を規定する参照データの組に基づき決定するステップとを実行することによって前記コンテンツから変更を検索するように構成され、
前記処理手段(11)はまた、前記少なくとも1つの発行標識の前記表現が改変されている場合に、前記画像コンテンツを変更を含むものとして分類するように構成される、請求項1〜請求項4のいずれか1項に記載の装置(1)。 - 前記少なくとも1つの発行標識は、信号機である、請求項5に記載の装置(1)。
- 前記通信手段(13)は、少なくとも2つの画像コンテンツおよび前記画像コンテンツのうちの各1つに関するポインティングおよび/または位置データを受信するように適合され、前記ポインティングおよび/または位置データは、各汎用デバイス(41、42)のそれが前記コンテンツを取得していたときの少なくとも1つの位置および/または1つの配向を規定し、前記処理手段(11)は、
−前記少なくとも2つの画像コンテンツおよび前記ポインティングおよび位置データに基づき前記イベント(A)の三次元モデルを生成するステップと、
−前記少なくとも2つのコンテンツのうちの各1つから前記三次元モデルへと配置されなかった点を検索するステップとを実行することによって、前記画像コンテンツから変更を検索するように構成され、
前記処理手段(11)はまた、三次元座標が割り当てられることができなかった点の数が第3の閾値を超える場合に、前記少なくとも2つの画像コンテンツのうちの少なくとも1つを改変されたものとして分類するように構成される、請求項1から請求項6のいずれか1項に記載の装置。 - 前記イベント(A)は、道路事故を備える、請求項1〜請求項7のいずれか1項に記載の装置(1)。
- 前記ビデオコンテンツは、前記イベント(A)が発生した、予め規定された時間間隔内に構成された画像を備える、請求項1〜請求項8のいずれか1項に記載の装置(1)。
- イベント(A)に関する画像コンテンツの検証のための方法であって、
a.前記イベント(A)の間に、電気通信用モバイル端末(41)、ダッシュカム、固定監視ビデオカメラ(42)、カメラ等の汎用デバイス(41、42)によって取得された前記画像コンテンツが受信される受信ステップと、
b.前記処理手段(11)を通して、取得後に前記画像コンテンツに対して行われた変更が前記ビデオコンテンツにおいて検索される改変検索ステップと、
c.前記処理手段(11)を通して、前記画像コンテンツを、前記画像コンテンツが少なくとも1つの前記変更を含む場合に改変されたものとして、または前記画像コンテンツが変更を含まない場合に改変されていないものとして分類するように構成される、方法。 - 前記改変検索ステップ中に、
前記受信ステップ中に受信された前記ビデオコンテンツを取得したビデオセンサの種別を規定するセンサ種別データを決定するステップと、
前記センサ種別データに基づき可能な出力値の組を決定するステップであって、前記画像が前記センサ種別データによって規定されるような前記種別のセンサによって取得されるときに、前記可能な出力値の組は、前記画像の点がとることができる全ての値を含むステップと、
前記画像コンテンツから前記可能な出力値の組に含まれていない画像点の値を検索するステップとが実行され、
前記分類ステップ中に、前記可能な出力値の組に値が含まれていない点の数が第1の閾値を超える場合に前記ビデオコンテンツは、改変されたものとして分類される、請求項10に記載の方法。 - 前記改変検索ステップ中に、
前記画像コンテンツが取得された時刻を規定するイベント時間データを決定するステップと、
前記イベント時間データに基づき、前記画像の前記取得時に存在することができた光の量を規定する推定された光データを決定するステップと、
前記画像コンテンツに備えられた少なくとも1つの画像の平均輝度を決定するステップと、
前記画像コンテンツから第2の閾値を超える量だけ前記推定された光データとは異なる平均輝度値を有する画像を検索するステップとが実行され、
前記分類ステップ中に、前記第2の閾値を超える量だけ前記推定された光データとは異なる平均輝度値を有する画像の数が1よりも大きい場合に、前記画像コンテンツは改変されたものとして分類される、請求項10または請求項11に記載の方法。 - 前記改変検索ステップ中に、前記推定された光データを決定するために、
前記画像が取得された位置を規定するイベント位置データを決定するサブステップと、
前記画像が取得された前記時間および前記位置における気象条件を規定する気象データを、前記位置データ、イベント時間データおよび前記気象条件の経時変化を規定する前記画像が取得された前記位置を含む領域内の過去の気象データに基づき決定するサブステップと、
前記気象および位置データにまた基づき前記推定された光データを決定するサブステップとが実行される、請求項12に記載の方法。 - 前記画像コンテンツは、少なくとも1つの画像を備え、前記改変検索ステップ中に、
前記コンテンツの前記少なくとも1つの画像内の少なくとも1つの発行標識の存在を検出するステップと、
前記少なくとも1つの画像内に表現された前記少なくとも1つの発行標識によって放射された前記発光表示の位置を規定する発光表示位置データを決定するステップと、
前記少なくとも1つの画像内に表現された前記少なくとも1つの発行標識によって放射された前記発光表示の色および/または形を規定する発光表示構成データを決定するステップと、
前記少なくとも1つの発行標識の前記表現が改変されているかを、前記発光表示位置データ、前記発光表示構成データおよび発光道路標識によって放射された前記発光表示の形および/または色および/または位置を規定する参照データの組に基づき決定するステップとが実行され、
前記分類ステップ中に、前記少なくとも1つの発行標識の前記表現が改変されている場合に、前記画像コンテンツは変更を含むものとして分類される、請求項10〜請求項13のいずれか1項に記載の方法。 - 前記少なくとも1つの発行標識は、信号機である、請求項14に記載の方法。
- 前記通信手段(13)を通して、少なくとも2つのビデオコンテンツおよび前記画像コンテンツのうちの各1つに関するポインティングおよび位置データは受信され、前記ポインティングおよび位置データは、各汎用デバイス(41、42)のそれが前記コンテンツを取得していたときの少なくとも1つの位置および1つの配向を規定し、前記改変検索ステップ中に、
前記少なくとも2つの画像コンテンツおよび前記ポインティングおよび位置データに基づき前記イベント(A)の三次元モデルを生成するステップと、
前記少なくとも2つの画像コンテンツのうちの各1つから前記三次元モデルへと配置されなかった点を検索するステップとが実行され、
前記分類ステップ中に、三次元座標が割り当てられることができなかった点の数が第3の閾値を超える場合に、前記少なくとも2つの画像コンテンツのうちの少なくとも1つは改変されたものとして分類される、請求項10から請求項15のいずれか1項に記載の方法。 - 前記イベント(A)は、道路事故を備える、請求項10〜請求項16のいずれか1項に記載の方法。
- 前記コンテンツは、前記イベント(A)が発生した、予め規定された時間間隔内に構成された画像を備える、請求項10〜請求項17のいずれか1項に記載の方法。
- 請求項10〜18のいずれか1項に記載の方法のステップを実行するためのソフトウェアコードの一部を備える、電子コンピュータのメモリにロード可能なコンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IT102017000043264 | 2017-04-20 | ||
IT102017000043264A IT201700043264A1 (it) | 2017-04-20 | 2017-04-20 | Piattaforma per la gestione e validazione di contenuti di immagini video, fotografici o similari, generati da apparecchiature differenti. |
PCT/IB2018/052749 WO2018193412A1 (en) | 2017-04-20 | 2018-04-20 | Platform for the management and validation of contents of video images, pictures or similars, generated by different devices |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020518165A true JP2020518165A (ja) | 2020-06-18 |
Family
ID=60138688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019556850A Pending JP2020518165A (ja) | 2017-04-20 | 2018-04-20 | 異なるデバイスによって生成されたビデオ画像、ピクチャ等のコンテンツの管理および検証のためのプラットフォーム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20210192215A1 (ja) |
EP (1) | EP3642793A1 (ja) |
JP (1) | JP2020518165A (ja) |
IT (1) | IT201700043264A1 (ja) |
RU (1) | RU2019136604A (ja) |
WO (1) | WO2018193412A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IT201900023781A1 (it) * | 2019-12-12 | 2021-06-12 | Metakol S R L | Metodo e sistema per la asseverazione di immagini e simili |
US11682218B2 (en) | 2021-03-17 | 2023-06-20 | Geotab Inc. | Methods for vehicle data collection by image analysis |
US11669593B2 (en) | 2021-03-17 | 2023-06-06 | Geotab Inc. | Systems and methods for training image processing models for vehicle data collection |
CN113286086B (zh) * | 2021-05-26 | 2022-02-18 | 南京领行科技股份有限公司 | 一种摄像头的使用控制方法、装置、电子设备及存储介质 |
US11693920B2 (en) | 2021-11-05 | 2023-07-04 | Geotab Inc. | AI-based input output expansion adapter for a telematics device and methods for updating an AI model thereon |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8878933B2 (en) * | 2010-07-06 | 2014-11-04 | Motorola Solutions, Inc. | Method and apparatus for providing and determining integrity of video |
-
2017
- 2017-04-20 IT IT102017000043264A patent/IT201700043264A1/it unknown
-
2018
- 2018-04-20 EP EP18725641.7A patent/EP3642793A1/en not_active Withdrawn
- 2018-04-20 JP JP2019556850A patent/JP2020518165A/ja active Pending
- 2018-04-20 RU RU2019136604A patent/RU2019136604A/ru unknown
- 2018-04-20 US US16/606,288 patent/US20210192215A1/en not_active Abandoned
- 2018-04-20 WO PCT/IB2018/052749 patent/WO2018193412A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
EP3642793A1 (en) | 2020-04-29 |
RU2019136604A (ru) | 2021-05-20 |
US20210192215A1 (en) | 2021-06-24 |
WO2018193412A1 (en) | 2018-10-25 |
IT201700043264A1 (it) | 2018-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020518165A (ja) | 異なるデバイスによって生成されたビデオ画像、ピクチャ等のコンテンツの管理および検証のためのプラットフォーム | |
WO2020024457A1 (zh) | 交通事故的定责方法、装置及计算机可读存储介质 | |
US9583000B2 (en) | Vehicle-based abnormal travel event detecting and reporting | |
US10255804B2 (en) | Method for generating a digital record and roadside unit of a road toll system implementing the method | |
CN108280524A (zh) | 识别车辆和生成预约信息的***和方法 | |
JP7450287B2 (ja) | 再生装置および再生方法ならびにそのプログラムならびに記録装置および記録装置の制御方法等 | |
JP6365311B2 (ja) | 交通違反管理システムおよび交通違反管理方法 | |
WO2020100922A1 (ja) | データ配信システム、センサデバイス及びサーバ | |
JP6394402B2 (ja) | 交通違反管理システムおよび交通違反管理方法 | |
US20190050654A1 (en) | System and Method for Determining Vehicle Occupancy for Enforced Areas | |
FR3068159A1 (fr) | Borne de paiement, systeme de gestion d'un produit et/ou d'un service associe et procede de collecte de donnees correspondant | |
AU2023270232A1 (en) | Infringement detection method, device and system | |
JP6387838B2 (ja) | 交通違反管理システムおよび交通違反管理方法 | |
CN113055823A (zh) | 一种基于路侧停车管理共享单车的方法及装置 | |
CN111798667A (zh) | 非机动车的监控方法、监控服务器及监控***、存储介质 | |
JP2016130931A (ja) | 交通違反管理システムおよび交通違反管理方法 | |
JP2015210713A (ja) | ドライブレコーダおよびこれを用いたクラウド型道路情報等運用システム | |
CN202694573U (zh) | 一种基于android平台的车牌识别车辆管理装置 | |
KR20210013814A (ko) | 블록체인 기술 기반 운전자 간의 블랙박스 영상의 p2p 거래/공유 서비스를 위한 플랫폼 및 그 구현 방법 | |
EP2916542A1 (fr) | Procédé et système de supervision, notamment appliqué à la vidéosurveillance | |
KR20150140485A (ko) | Cctv 카메라를 이용한 통합 관제 시스템 | |
Górska | Application of dash-cams in road vehicle location systems | |
CN107533798B (zh) | 图像处理装置及具有该装置的交通管理***、图像处理方法 | |
CN106911550B (zh) | 信息推送方法、信息推送装置及*** | |
US20210081680A1 (en) | System and method for identifying illegal motor vehicle activity |