JP2023527100A - イベント検出方法、装置、電子機器、読み取り可能な記憶媒体、及びコンピュータプログラム - Google Patents
イベント検出方法、装置、電子機器、読み取り可能な記憶媒体、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2023527100A JP2023527100A JP2022543087A JP2022543087A JP2023527100A JP 2023527100 A JP2023527100 A JP 2023527100A JP 2022543087 A JP2022543087 A JP 2022543087A JP 2022543087 A JP2022543087 A JP 2022543087A JP 2023527100 A JP2023527100 A JP 2023527100A
- Authority
- JP
- Japan
- Prior art keywords
- event
- detection
- image data
- detection target
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 252
- 238000004590 computer program Methods 0.000 title claims description 12
- 238000012545 processing Methods 0.000 claims description 24
- 230000002159 abnormal effect Effects 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 17
- 238000012790 confirmation Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 230000010365 information processing Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
- G06V20/39—Urban scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A30/00—Adapting or protecting infrastructure or their operation
- Y02A30/60—Planning or developing urban green infrastructure
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Image Analysis (AREA)
Abstract
本開示は、人工知能技術の分野に関し、具体的には、コンピュータビジョンとディープラーニング技術の分野に関し、スマートシティシーンに適用できるイベント検出方法を開示する。イベント検出方法は、画像データを取得し、前記画像データの都市シーンを認識するステップと、前記都市シーンに対応する検出対象ターゲットと検出対象イベントを決定するステップと、前記画像データにおける検出対象ターゲットを検出して、前記検出対象イベントの検出状態を取得するステップと、前記検出対象イベントの検出状態に基づいて、前記画像データのイベント検出結果を取得するステップと、を含む。本開示は、イベント検出の精度及び効率を向上させることができる。
Description
本開示は、出願日が2021年04月28日であり、出願番号が202110466781.3であり、発明の名称が「イベント検出方法、装置、電子機器、及び読み取り可能な記憶媒体」である中国特許出願の優先権を主張する。
本開示は、人工知能技術の分野に関し、具体的には、コンピュータビジョン及びディープラーニング技術の分野に関し、スマートシティシーンに適用できる。イベント検出方法、装置、電子機器、及び読み取り可能な記憶媒体を提供する。
本開示は、人工知能技術の分野に関し、具体的には、コンピュータビジョン及びディープラーニング技術の分野に関し、スマートシティシーンに適用できる。イベント検出方法、装置、電子機器、及び読み取り可能な記憶媒体を提供する。
現在、都市管理の計画構成に従って、都市の各位置に大量のビデオデバイスが取付けられて監視する。これらの大量のデータを使用することによって、都市管理の規範化、都市グリッドのインテリジェント化に対してすべて積極的な役割を果たす。しかしながら、従来技術では、監視ビデオストリームデータを用いてイベント検出を行う際、安定性が悪く、検出結果の精度が低いという技術的問題がある。
本開示は、イベント検出の精度及び効率を向上させるために用いられるイベント検出方法、装置、電子機器、及び読み取り可能な記憶媒体を提供する。
本開示の第1の態様によれば、イベント検出方法を提供し、画像データを取得し、前記画像データの都市シーンを認識するステップと、前記都市シーンに対応する検出対象ターゲットと検出対象イベントとを決定するステップと、前記画像データにおける検出対象ターゲットを検出して、前記検出対象イベントの検出状態を取得するステップと、前記検出対象イベントの検出状態に基づいて、前記画像データのイベント検出結果を取得するステップと、を含む。
本開示の第2の態様によれば、イベント検出装置を提供し、画像データを取得し、前記画像データの都市シーンを認識するための取得ユニットと、前記都市シーンに対応する検出対象ターゲットと検出対象イベントを決定するための決定ユニットと、前記画像データにおける検出対象ターゲットを検出して、前記検出対象イベントの検出状態を取得するための検出ユニットと、前記検出対象イベントの検出状態に基づいて、前記画像データのイベント検出結果を取得するための処理ユニットと、を含む。
本開示の第3の態様によれば、電子機器を提供し、少なくとも一つのプロセッサと、前記少なくとも一つのプロセッサに通信接続されたメモリと、を含み、前記メモリに前記少なくとも一つのプロセッサにより実行可能な命令が記憶されており、前記命令が前記少なくとも一つのプロセッサにより実行されると、前記少なくとも一つのプロセッサが上記の方法を実行させる。
本開示の第4の態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、前記コンピュータに上記の方法を実行させる。
本開示の第5の態様によれば、コンピュータプログラム製品を提供し、コンピュータプログラムを含み、前記コンピュータプログラムがプロセッサによって実行される際に上記の方法を実現する。
上記の技術案から分かるように、本開示は、まず、取得された画像データの都市シーンを認識し、次に、都市シーンに対応する検出対象ターゲットと検出対象イベントとを決定し、最後に、画像データにおける検出対象ターゲットを検出して、取得された検出対象イベントの検出状態に基づいて画像データのイベント検出結果を取得し、異なる都市シーンを異なる検出対象ターゲットと検出対象イベントと対応するため、本開示は、イベント検出の精度及び効率を向上させることができる。
本明細書で説明された内容は、本開示の実施例のキー又は重要な特徴を特定することを意図しておらず、本開示の範囲を制限するためにも使用されないことを理解されたい。本開示の他の特徴は、以下の明細書を通じて容易に理解できる。
図面は、本開示をより良く理解するためのものであり、本開示を限定しない。
本開示の第1の実施例による概略図である。
本開示の第2の実施例による概略図である。
本開示の第3の実施例による概略図である。
本開示の第4の実施例による概略図である。
本開示の実施例のイベント検出方法を実現するための電子機器のブロック図である。
以下、図面に基づいて、本開示の例示的な実施例を説明する。理解を容易にするために、本開示の実施例の様々な詳細が含まれており、それらは単なる例示と見なされるべきである。従って、当業者は、本開示の範囲及び精神から逸脱することなく、本明細書に記載の実施形態に対して様々な変更及び修正を行うことができることを認識するはずである。同様に、簡明のために、以下の説明では、よく知られた機能と構造の説明は省略される。
図1は本開示の第1の実施例による概略図である。図1に示すように、本実施例のイベント検出方法は、具体的には、以下のステップを含むことができ、
S101、画像データを取得し、前記画像データの都市シーンを認識し、
S102、前記都市シーンに対応する検出対象ターゲットと検出対象イベントとを決定し、
S103、前記画像データにおける検出対象ターゲットを検出して、前記検出対象イベントの検出状態を取得し、
S104、前記検出対象イベントの検出状態に基づいて、前記画像データのイベント検出結果を取得する。
S101、画像データを取得し、前記画像データの都市シーンを認識し、
S102、前記都市シーンに対応する検出対象ターゲットと検出対象イベントとを決定し、
S103、前記画像データにおける検出対象ターゲットを検出して、前記検出対象イベントの検出状態を取得し、
S104、前記検出対象イベントの検出状態に基づいて、前記画像データのイベント検出結果を取得する。
本実施例のイベント検出方法は、まず、取得された画像データの都市シーンを認識し、次に、都市シーンに対応する検出対象ターゲットと検出対象イベントとを決定し、最後に、画像データにおける検出対象ターゲットを検出して、取得された検出対象イベントの検出状態に基づいて画像データのイベント検出結果を取得し、異なる都市シーンを異なる検出対象ターゲットと検出対象イベントと対応するため、本実施例は、イベント検出の精度及び効率を向上させることができる。
本実施例でS101を実行して取得された画像データは、都市のある監視区域の撮影装置によってリアルタイムに撮影されたビデオストリームデータから抽出して取得するものであってもよく、取得された画像データは、少なくとも1つの都市画像を含み、含まれる都市画像は、道路、広場、学校などの都市シーン内の少なくとも1つに対応することができる。
本実施例でS101を実行して画像データを取得する際、採用できる選択可能な実現方式は、都市のビデオストリームデータを取得し、異なるビデオストリームデータは、異なる都市シーンに対応し、取得されたビデオストリームデータから少なくとも1つのキーフレーム画像を画像データとして抽出する。
本実施例でS101を実行して画像データを取得した後、取得された画像データの都市シーンを認識する。通常の状況において、本実施例で認識された都市シーンは、道路、広場、学校などのうとの1つに過ぎないが、画像データを認識することによって複数の都市シーンを取得する場合がある。
本実施例でS101を実行して画像データの都市シーンを認識する際、採用できる選択可能な実現方式は、取得された画像データを第1の認識モデルに入力し、第1の認識モデルの出力結果に基づいて画像データの都市シーンを取得し、本実施例の第1の認識モデルは、予めトレーニングして取得しており、画像データに対応する都市シーンを認識することができる。
また、本実施例でS101を実行して画像データの都市シーンを認識する際、画像データと異なる基準画像との間の類似度を計算する方式によって、画像データと最も類似した基準画像に対応する都市シーンを、取得された画像データの都市シーンとすることもできる。
本実施例でS101を実行して取得された画像データの都市シーンを認識した後、S102を実行して認識された都市シーンに対応する検出対象ターゲットと検出対象イベントとを決定する。その中、本実施例でS102を実行して決定された検出対象ターゲットは、1つであってもよく、複数であってもよい。決定された検出対象イベントは、1つであってもよく、複数であってもよい。
本実施例の異なる都市シーンは、異なる検出対象ターゲットと異なる検出対象イベントに対応し、都市シーンに対応する検出対象を区別する方式によって、画像データ内の特定の検出対象のみを検出する目的を実現し、検出の盲目性を効果的に回避し、イベント検出の効率を向上させることができる。
例えば、都市シーンが市場である場合、市場に対応する検出対象ターゲットは、人、ブース、テーブルと椅子、看板、ゴミ、及び水たまりなどを含むことができ、市場に対応する検出対象イベントは、規則違反経営イベント、及び水たまりイベントなどを含むことができ、都市シーンが道路である場合、道路に対応する検出対象ターゲットは、車両、オートバイ、人力車、道路標識、緑地、及び水たまりなどを含むことができ、道路に対応する検出対象イベントは、違法駐車イベント、道路占有イベント、及び水たまりイベントなどを含むことができる。
本実施例でS102を実行して都市シーンに対応する検出対象ターゲットと検出対象イベントを決定する際、予め設定された対応関係に基づいて決定することができ、当該予め設定された対応関係は、各都市シーン、及び各都市シーンに対応する検出対象ターゲットと検出対象イベントとを含む。
本実施例でS102を実行して都市シーンに対応する検出対象ターゲットと検出対象イベントとを決定した後、S103を実行して画像データにおける検出対象ターゲットを検出して、検出対象イベントの検出状態を取得する。その中、本実施例S103を実行して取得された検出対象イベントの検出状態は、正常状態及び異常状態のうちの1つである。
理解できることは、本実施例でS102を実行して複数の検出対象イベントを決定した場合、本実施例S103を実行して各検出対象イベントに対応する検出状態をそれぞれ取得することができる。
具体的には、本実施例でS103を実行して画像データにおける検出対象ターゲットを検出して、検出対象イベントの検出状態を取得する際、採用できる選択可能な実現方式は、取得された画像データと決定された検出対象ターゲットを第2の認識モデルに入力し、第2の認識モデルの出力結果に基づいて検出対象イベントの検出状態を取得し、本実施例の第2の認識モデルは、予めトレーニングして取得しており、画像データと検出対象ターゲットとに基づいて、画像データに対応する各検出対象イベントの検出状態を取得することができる。
また、本実施例でS103を実行して画像データにおける検出対象ターゲットを検出して、検出対象イベントの検出状態を取得する際、画像データに検出対象ターゲットの検出結果が存在するか否かに基づいて、検出対象イベントの検出状態を取得することもでき、例えば、対応する道路の画像データに水たまりが存在する場合、水たまりイベントが異常状態にあると決定する。
本実施例でS103を実行して検出対象イベントの検出状態を取得した後、S104を実行して取得された検出対象イベントの検出状態に基づいて、画像データのイベント検出結果を取得する。
本実施例でS104を実行する際、直接に取得された検出対象イベントの検出状態を画像データのイベント検出結果とすることができる。
本実施例でS103を実行する際に取得された検出対象イベントの検出状態にエラーが存在する可能性があるので、取得されたイベント検出結果の精度を向上させるために、本実施例でS104を実行して検出対象イベントの検出状態に基づいて、画像データのイベント検出結果を取得する際、採用できる選択可能な実現方式は、取得された画像データと取得された検出対象イベントのイベント状態をユーザに送信して、ユーザが検出対象イベントのイベント状態を確認するために用いられ、ユーザから返された確認結果に基づいて、画像データのイベント検出結果を取得する。
つまり、本実施例ではユーザが取得された検出対象イベントのイベント状態をチェックすることによって、検出対象イベントの誤ったイベント状態を可能な限り除去し、取得されたイベント検出結果の精度をさらに向上させることもできる。本実施例ではユーザから返された確認結果を使用して第2の認識モデルを最適化することもでき、すなわち画像データ、画像データの検出対象ターゲット、及び確認結果をトレーニングデータとし、第2の認識モデルの更新を続けて、第2の認識モデルがより正確な検出対象イベントの検出状態を出力できるようにする。
また、本実施例でS104を実行して取得された画像データのイベント検出結果を取得した後、以下の内容をさらに含むことができ、取得されたイベント検出結果に異常状態にある検出対象イベントが存在するか否かを決定し、イベント検出結果に異常状態にある検出対象イベントが存在すると決定された場合、アラーム情報を発行し、発行されたアラーム情報には、検出対象イベントの異常状態と異常状態にある検出対象イベントの位置情報が含まれて、アラームの精度及び異常イベントの処理効率を向上させる。
理解できることは、本実施例では、関連部門の人が都市で発生する異常イベントを迅速に処理できるように、関連部門の人にアラーム情報を発行する。
図2は本開示の第2の実施例による概略図である。図2はイベント検出システム200を示し、基礎構成モジュール、ビデオ再生記憶モジュール、ビデオ分析モジュール、アラーム情報記憶モジュール、及び情報処理モジュールを含む。その中、基礎構成モジュールは、ユーザのニーズに応じて異なるビデオデータストリームの処理ルールを柔軟に構成するため用いられ、ビデオデータストリームがタイムシェアリングで処理することができ、バッチで処理することもでき、ビデオ再生記憶モジュールは、ビデオデータストリームのリアルタイム再生及び記憶を完了し、ビデオデータストリームの呼び出し及び閲覧をサポートするために用いられ、ビデオ分析モジュールは、上記の実施例のイベント検出及び異常イベントのアラームを完了するために用いられ、アラーム情報記憶モジュールは、アラーム情報の分類検索及び照会展示を実現するために用いられ、情報処理モジュールは、異常イベントに対する処理を実現するために用いられる。
図3は本開示の第3の実施例による概略図である。図3は情報処理ユニットの処理フローチャートを示し、ビデオデータストリームをビデオ分析モジュールに入力した後、ビデオ分析モジュールがイベント検出を行い、ビデオ分析モジュールが、異常イベントを検出した後、アラーム情報を生成し、情報処理ユニットに報告し、情報処理ユニットがアラーム情報を関連部分の人に送信して確認し、異常イベントがエラーを検出した場合、確認結果をビデオ分析モジュールに返し、異常イベントを処理する必要がない場合、プロセスを終了し、異常イベントを処理する必要がある場合、処理を伝達し、処理が既に完了したと決定した場合、チェックして異常イベントが処理を既に完了したか否かを決定し、チェックしてない場合、処理を伝達するのを実行することに移動する。
図4は本開示の第4の実施例による概略図である。図4に示すように、本実施例のイベント検出装置400は、取得ユニット401、決定ユニット402、検出ユニット403、及び処理ユニット404を含み、
取得ユニット401は、画像データを取得し、前記画像データの都市シーンを認識するために用いられ、
決定ユニット402は、前記都市シーンに対応する検出対象ターゲットと検出対象イベントを決定するために用いられ、
検出ユニット403は、前記画像データにおける検出対象ターゲットを検出して、前記検出対象イベントの検出状態を取得するために用いられ、
処理ユニット404は、前記検出対象イベントの検出状態に基づいて、前記画像データのイベント検出結果を取得するために用いられる。
取得ユニット401は、画像データを取得し、前記画像データの都市シーンを認識するために用いられ、
決定ユニット402は、前記都市シーンに対応する検出対象ターゲットと検出対象イベントを決定するために用いられ、
検出ユニット403は、前記画像データにおける検出対象ターゲットを検出して、前記検出対象イベントの検出状態を取得するために用いられ、
処理ユニット404は、前記検出対象イベントの検出状態に基づいて、前記画像データのイベント検出結果を取得するために用いられる。
取得ユニット401によって取得された画像データは、都市のある監視区域の撮影装置によってリアルタイムに撮影されたビデオストリームデータから抽出して取得するものであってもよく、取得された画像データは、少なくとも1つの都市画像を含み、含まれる都市画像は、道路、広場、学校などの都市シーン内の少なくとも1つに対応することができる。
取得ユニット401は、画像データを取得する際、採用できる選択可能な実現方式は、都市のビデオストリームデータを取得し、取得されたビデオストリームデータから少なくとも1つのキーフレーム画像を画像データとして抽出する。
取得ユニット401は、画像データを取得した後、取得された画像データの都市シーンを認識する。通常の状況において、取得ユニット401によって認識された都市シーンは、道路、広場、学校などのうちの1つに過ぎないが、画像データを認識することによって複数の都市シーンを取得する場合がある。
取得ユニット401は、画像データの都市シーンを認識する際、採用できる選択可能な実現方式は、取得された画像データを第1の認識モデルに入力し、第1の認識モデルの出力結果に基づいて画像データの都市シーンを取得する。
また、取得ユニット401は、画像データの都市シーンを認識する際、画像データと異なる基準画像との間の類似度を計算する方式によって、画像データと最も類似した基準画像に対応する都市シーンを、取得された画像データの都市シーンとすることもできる。
本実施例では、取得ユニット401によって取得された画像データの都市シーンを認識した後、決定ユニット402から認識された都市シーンに対応する検出対象ターゲットと検出対象イベントとを決定する。その中、決定ユニット402によって決定された検出対象ターゲットは、1つであってもよく、複数であってもよい。決定された検出対象イベントは、1つであってもよく、複数であってもよい。
決定ユニット402は、都市シーンに対応する検出対象ターゲットと検出対象イベントとを決定する際、予め設定された対応関係に基づいて決定することができ、当該予め設定された対応関係は、各都市シーン、及び各都市シーンに対応する検出対象ターゲットと検出対象イベントとを含む。
本実施例では、決定ユニット402から都市シーンに対応する検出対象ターゲットと検出対象イベントを決定した後、検出ユニット403から画像データにおける検出対象ターゲットを検出して、検出対象イベントの検出状態を取得する。その中、検出ユニット403によって取得された検出対象イベントの検出状態は、正常状態及び異常状態のうちの1つである。
理解できることは、決定ユニット402が複数の検出対象イベントを決定する場合、検出ユニット403は各検出対象イベントに対応する検出状態をそれぞれ取得することができる。
具体的には、検出ユニット403は、画像データにおける検出対象ターゲットを検出して、検出対象イベントの検出状態を取得する際、採用できる選択可能な実現方式は、取得された画像データと決定された検出対象ターゲットを第2の認識モデルに入力し、第2の認識モデルの出力結果に基づいて検出対象イベントの検出状態を取得する。
また、検出ユニット403は、画像データにおける検出対象ターゲットを検出して、検出対象イベントの検出状態を取得する際、画像データに検出対象ターゲットの検出結果が存在するか否かに基づいて、検出対象イベントの検出状態を取得することもでき、例えば、対応する道路の画像データに水たまりが存在する場合、水たまりイベントが異常状態にあると決定する。
本実施例では検出ユニット403から検出対象イベントの検出状態を取得した後、処理ユニット404から取得された検出対象イベントの検出状態に基づいて、画像データのイベント検出結果を取得する。
処理ユニット404は、直接に検出ユニット403によって取得された検出対象イベントの検出状態を画像データのイベント検出結果とすることができる。
検出ユニット403によって取得された検出対象イベントの検出状態にエラーが存在する可能性があるので、取得されたイベント検出結果の精度を向上させるために、処理ユニット404は、検出対象イベントの検出状態に基づいて、画像データのイベント検出結果を取得する際、採用できる選択可能な実現方式は、取得された画像データと取得された検出対象イベントのイベント状態をユーザに送信して、ユーザが検出対象イベントのイベント状態を確認するために用いられ、ユーザから返された確認結果に基づいて、画像データのイベント検出結果を取得する。
つまり、処理ユニット404によってユーザが取得された検出対象イベントのイベント状態をチェックすることによって、検出対象イベントのエラーのイベント状態を可能な限り除去し、取得されたイベント検出結果の精度をさらに向上させることもできる。処理ユニット404によってユーザから返された確認結果を使用して第2の認識モデルを最適化することもでき、すなわち画像データ、画像データの検出対象ターゲット、及び確認結果をトレーニングデータとし、第2の認識モデルの更新を続けて、第2の認識モデルがより正確な検出対象イベントの検出状態を出力できるようにする。
また、本実施例のイベント検出装置400は、アラームユニット405をさらに含むことができ、前記アラームユニット405は、取得された画像データのイベント検出結果を取得した後、取得されたイベント検出結果に異常状態にある検出対象イベントが存在するか否かを決定し、イベント検出結果に異常状態にある検出対象イベントが存在すると決定された場合、アラーム情報を発行するために用いられ、発行されたアラーム情報には、検出対象イベントの異常状態と異常状態にある検出対象イベントの位置情報が含まれる。
本開示の実施例によれば、本開示は、電子機器、読み取り可能な記憶媒体、及びコンピュータプログラム製品をさらに提供する。
図5は、本開示の実施例に係るイベント検出方法の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータなどの様々な形式のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス、他の同様の計算デバイスなどの様々な形式のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び/又は要求される本開示の実現を制限することを意図したものではない。
図5に示すように、機器500は計算ユニット501を含み、計算ユニット501は、読み取り専用メモリ(ROM)502に記憶されているコンピュータプログラム又は記憶ユニット508からランダムアクセスメモリ(RAM)503にローディングされたコンピュータプログラムに基づいて、様々な適切な動作と処理を実行することができる。RAM503には、機器500が動作するに必要な様々なプログラムとデータも記憶することができる。計算ユニット501、ROM502、及びRAM503は、バス504を介してお互いに接続される。入出力(I/O)インターフェース505もバス504に接続される。
機器500内の複数のコンポーネントは、I/Oインターフェース505に接続されており、キーボード、マウスなどの入力ユニット506と、様々なタイプのディスプレイ、スピーカなどの出力ユニット507と、ディスク、光ディスクなどの記憶ユニット508と、ネットワークカード、モデム、無線通信トランシーバなどの通信ユニット509と、を含む。通信ユニット509は、機器500が、インターネットなどのコンピュータネットワーク、及び/又は様々な電気通信ネットワークを介して他の機器と情報/データを交換することを可能にする。
計算ユニット501は、様々な処理と計算能力を備える汎用及び/又は専用の処理コンポーネントである。計算ユニット501のいくつかの例は、中央処理装置(CPU)、グラフィックス処理ユニット(GPU)、様々な専用の人工知能(AI)計算チップ、様々な機械学習モデルアルゴリズムを実行する計算ユニット、デジタル信号プロセッサ(DSP)、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット501は、イベント検出方法などの上記の様々な方法と処理を実行する。例えば、いくつかの実施例では、イベント検出方法は、記憶ユニット508などの機械読み取り可能な媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現することができる。
いくつかの実施例では、コンピュータプログラムの一部又は全部は、ROM502及び/又は通信ユニット509を介して機器500にローディング及び/又はインストールされる。コンピュータプログラムがRAM503にローディングされて計算ユニット501によって実行される場合、上記のイベント検出方法の一つ又は複数のステップを実行することができる。代替的に、他の実施例では、計算ユニット501は、他の任意の適切な方式(例えば、ファームウェアによって)を介してイベント検出方法を実行するように構成されることができる。
本明細書で説明されるシステム及び技術の様々な実施方式は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップシステム(SOC)、ローディングプログラマブルロジックデバイス(CPLD)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせで実現することができる。これらの様々な実施方式は、一つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該一つ又は複数のコンピュータプログラムは、少なくとも一つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び/又は解釈されることができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも一つの入力装置、及び当該少なくとも一つの出力装置に伝送することができる。
本開示の方法を実施するためのプログラムコードは、一つ又は複数のプログラミング言語の任意の組み合わせを使用して作成することができる。これらのプログラムコードは、プログラムコードがプロセッサ又はコントローラによって実行される際にフローチャート及び/又はブロック図に規定された機能/動作が実施されるように、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能なデータ処理装置のプロセッサ又はコントローラに提供することができる。プログラムコードは、完全に機械上で実行されたり、部分的に機械上で実行されたり、独立したソフトウェアパッケージとして部分的に機械上で実行され、部分的にリモート機械上実行されたり、又は完全にリモート機械又はサーバ上で実行されたりすることができる。
本開示の文脈において、機械読み取り可能な媒体は、命令実行システム、装置、又は機器の使用、又は命令実行システム、装置又は機器と組み合わせて使用するプログラムを含むか、又は記憶することができる有形の媒体であってもよい。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子、磁気、光学、電磁気、赤外線、又は半導体システム、装置又は機器、又は上記の内容の任意の適切な組み合わせを含むが、これらに限定されない。機械読み取り可能な記憶媒体のより具体的な例は、一つ又は複数のワイヤに基づく電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROM 又はフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光学記憶装置、磁気記憶装置、又は上記の内容の任意の適切な組み合わせを含む。
ユーザとのインタラクションを提供するために、コンピュータ上でここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティングデバイス(例えば、マウス又はトラックボール)とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するために用いられることもでき、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、任意の形式(音響入力と、音声入力と、触覚入力とを含む)でユーザからの入力を受信することができる。
ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム(例えば、データサーバとする)、又はミドルウェアコンポーネントを含むコンピューティングシステム(例えば、アプリケーションサーバー)、又はフロントエンドコンポーネントを含むコンピューティングシステム(例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施方式とインタラクションする)、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信(例えば、通信ネットワーク)によってシステムのコンポーネントを相互に接続されることができる。通信ネットワークの例は、ローカルエリアネットワーク(LAN)と、ワイドエリアネットワーク(WAN)と、インターネットと、を含む。
コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント-サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。サーバは、クラウドサーバであってもよく、クラウド計算又はクラウドホストとも呼ばれ、クラウド計算サービスシステムの中の一つのホスト製品であり、従来の物理ホストとVPSサービス(「Virtual Private Server」、又は「VPS」と略称する)に、存在する管理困難度が高く、業務拡張性が弱い欠陥を解決する。サーバは、分散システムのサーバであってもよく、又はブロックチェーンを組み合わせるサーバであってもよい。
上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解されたい。例えば、本開示に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本開示で開示されている技術案が所望の結果を実現することができれば、本明細書では限定されない。
上記の具体的な実施方式は、本開示に対する保護範囲の制限を構成するものではない。当業者は、設計要求と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。任意の本開示の精神と原則内で行われる修正、同等の置換、及び改善などは、いずれも本開示の保護範囲内に含まれなければならない。
Claims (15)
- イベント検出方法であって、
画像データを取得し、前記画像データの都市シーンを認識するステップと、
前記都市シーンに対応する検出対象ターゲットと検出対象イベントとを決定するステップと、
前記画像データにおける検出対象ターゲットを検出して、前記検出対象イベントの検出状態を取得するステップと、
前記検出対象イベントの前記検出状態に基づいて、前記画像データのイベント検出結果を取得するステップと、を含む、
イベント検出方法。 - 前記画像データを取得するステップは、
都市のビデオストリームデータを取得するステップと、
前記ビデオストリームデータから少なくとも1つのキーフレーム画像を前記画像データとして抽出するステップと、を含む、
請求項1に記載のイベント検出方法。 - 前記都市シーンに対応する前記検出対象ターゲットと前記検出対象イベントとを決定するステップは、
予め設定された対応関係に基づいて、前記都市シーンに対応する前記検出対象ターゲットと前記検出対象イベントとを決定するステップを含む、
請求項1に記載のイベント検出方法。 - 前記画像データにおける前記検出対象ターゲットを検出して、前記検出対象イベントの前記検出状態を取得するステップは、
前記画像データと前記検出対象ターゲットとを第2の認識モデルに入力し、前記第2の認識モデルの出力結果に基づいて前記検出対象イベントの前記検出状態を取得するステップを含む、
請求項1に記載のイベント検出方法。 - 前記検出対象イベントの前記検出状態に基づいて、前記画像データの前記イベント検出結果を取得するステップは、
前記画像データと前記検出対象イベントのイベント状態とをユーザに送信するステップと、
前記ユーザから返された確認結果に基づいて、前記画像データの前記イベント検出結果を取得するステップと、を含む、
請求項1に記載のイベント検出方法。 - 前記画像データの前記イベント検出結果を取得した後、前記イベント検出結果に異常状態にある検出対象イベントが存在するか否かを決定するステップと、
前記イベント検出結果に前記異常状態にある検出対象イベントが存在すると決定された場合、アラーム情報を発行するステップと、をさらに含む、
請求項1に記載のイベント検出方法。 - イベント検出装置であって、
画像データを取得し、前記画像データの都市シーンを認識する取得ユニットと、
前記都市シーンに対応する検出対象ターゲットと検出対象イベントとを決定する決定ユニットと、
前記画像データにおける検出対象ターゲットを検出して、前記検出対象イベントの検出状態を取得する検出ユニットと、
前記検出対象イベントの検出状態に基づいて、前記画像データのイベント検出結果を取得する処理ユニットと、を含む、
イベント検出装置。 - 前記取得ユニットは、前記画像データを取得するとき、
都市のビデオストリームデータを取得し、
前記ビデオストリームデータから少なくとも1つのキーフレーム画像を前記画像データとして抽出する、
請求項7に記載のイベント検出装置。 - 前記決定ユニットは、前記都市シーンに対応する前記検出対象ターゲットと前記検出対象イベントとを決定するとき、
予め設定された対応関係に基づいて、前記都市シーンに対応する検出対象ターゲットと検出対象イベントとを決定する、
請求項7に記載のイベント検出装置。 - 前記検出ユニットは、前記画像データにおける前記検出対象ターゲットを検出して、前記検出対象イベントの検出状態を取得するとき、
前記画像データと前記検出対象ターゲットとを第2の認識モデルに入力し、前記第2の認識モデルの出力結果に基づいて前記検出対象イベントの検出状態を取得する、
請求項7に記載のイベント検出装置。 - 前記処理ユニットは、前記検出対象イベントの検出状態に基づいて、前記画像データのイベント検出結果を取得するとき、
前記画像データと前記検出対象イベントのイベント状態とをユーザに送信し、
前記ユーザから返された確認結果に基づいて、前記画像データの前記イベント検出結果を取得する、
請求項7に記載のイベント検出装置。 - アラームユニットをさらに含み、
前記アラームユニットは、
在前記処理ユニットが前記画像データのイベント検出結果を取得した後、前記イベント検出結果に異常状態にある検出対象イベントが存在するか否かを決定し、
前記イベント検出結果に前記異常状態にある検出対象イベントが存在すると決定された場合、アラーム情報を発行する、
請求項7に記載のイベント検出装置。 - 電子機器であって、
少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサに通信接続されたメモリと、を含み、
前記メモリに前記少なくとも一つのプロセッサにより実行可能な命令が記憶されており、前記命令が前記少なくとも一つのプロセッサにより実行されると、前記少なくとも一つのプロセッサが請求項1~6のいずれかの一つに記載のイベント検出方法を実行する、
電子機器。 - コンピュータに請求項1~6のいずれかの一つに記載のイベント検出方法を実行させる、コンピュータ命令が記憶されている、非一時的なコンピュータ読み取り可能な記憶媒体。
- プロセッサによって実行される際に請求項1~6のいずれかの一つに記載の方法を実現する、
コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110466781.3A CN113205037B (zh) | 2021-04-28 | 2021-04-28 | 事件检测的方法、装置、电子设备以及可读存储介质 |
CN202110466781.3 | 2021-04-28 | ||
PCT/CN2022/075019 WO2022227764A1 (zh) | 2021-04-28 | 2022-01-29 | 事件检测的方法、装置、电子设备以及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023527100A true JP2023527100A (ja) | 2023-06-27 |
Family
ID=77029196
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022543087A Pending JP2023527100A (ja) | 2021-04-28 | 2022-01-29 | イベント検出方法、装置、電子機器、読み取り可能な記憶媒体、及びコンピュータプログラム |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP2023527100A (ja) |
KR (1) | KR20220149508A (ja) |
CN (1) | CN113205037B (ja) |
WO (1) | WO2022227764A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113205037B (zh) * | 2021-04-28 | 2024-01-26 | 北京百度网讯科技有限公司 | 事件检测的方法、装置、电子设备以及可读存储介质 |
CN114118933A (zh) * | 2021-08-24 | 2022-03-01 | 泰华智慧产业集团股份有限公司 | 城市管理事件的记录方法及*** |
CN114332731A (zh) * | 2021-12-24 | 2022-04-12 | 阿波罗智联(北京)科技有限公司 | 城市事件识别方法、装置、自动驾驶车辆及云端服务器 |
CN114445711B (zh) * | 2022-01-29 | 2023-04-07 | 北京百度网讯科技有限公司 | 图像检测方法、装置、电子设备和存储介质 |
CN114943510A (zh) * | 2022-05-09 | 2022-08-26 | 上海商汤科技开发有限公司 | 城市管理案件处理方法、***、装置、设备及存储介质 |
CN115334250B (zh) * | 2022-08-09 | 2024-03-08 | 阿波罗智能技术(北京)有限公司 | 一种图像处理方法、装置及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020100408A1 (ja) * | 2018-11-13 | 2020-05-22 | 日本電気株式会社 | 危険シーン予測装置、危険シーン予測方法および危険シーン予測プログラム |
CN112507813A (zh) * | 2020-11-23 | 2021-03-16 | 北京旷视科技有限公司 | 事件检测方法、装置、电子设备及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103679189B (zh) * | 2012-09-14 | 2017-02-01 | 华为技术有限公司 | 场景识别的方法和装置 |
CN105678267A (zh) * | 2016-01-08 | 2016-06-15 | 浙江宇视科技有限公司 | 一种场景识别方法及装置 |
CN110443969B (zh) * | 2018-05-03 | 2021-06-04 | 中移(苏州)软件技术有限公司 | 一种火点检测方法、装置、电子设备及存储介质 |
CN109815852A (zh) * | 2019-01-03 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 智慧城市事件管理方法、装置、计算机设备和存储介质 |
US10885775B2 (en) * | 2019-06-06 | 2021-01-05 | Verizon Patent And Licensing Inc. | Monitoring a scene to analyze an event using a plurality of image streams |
CN113205037B (zh) * | 2021-04-28 | 2024-01-26 | 北京百度网讯科技有限公司 | 事件检测的方法、装置、电子设备以及可读存储介质 |
-
2021
- 2021-04-28 CN CN202110466781.3A patent/CN113205037B/zh active Active
-
2022
- 2022-01-29 JP JP2022543087A patent/JP2023527100A/ja active Pending
- 2022-01-29 WO PCT/CN2022/075019 patent/WO2022227764A1/zh active Application Filing
- 2022-01-29 KR KR1020227024754A patent/KR20220149508A/ko not_active Application Discontinuation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020100408A1 (ja) * | 2018-11-13 | 2020-05-22 | 日本電気株式会社 | 危険シーン予測装置、危険シーン予測方法および危険シーン予測プログラム |
CN112507813A (zh) * | 2020-11-23 | 2021-03-16 | 北京旷视科技有限公司 | 事件检测方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
KR20220149508A (ko) | 2022-11-08 |
CN113205037A (zh) | 2021-08-03 |
WO2022227764A1 (zh) | 2022-11-03 |
CN113205037B (zh) | 2024-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023527100A (ja) | イベント検出方法、装置、電子機器、読み取り可能な記憶媒体、及びコンピュータプログラム | |
CN110569846A (zh) | 图像文字识别方法、装置、设备及存储介质 | |
EP3822857B1 (en) | Target tracking method, device, electronic apparatus and storage medium | |
CN113360580B (zh) | 基于知识图谱的异常事件检测方法、装置、设备及介质 | |
JP7164644B2 (ja) | 移動式信号機の検出方法、装置、電子機器及び記憶媒体 | |
CN112132032B (zh) | 交通标志牌检测方法、装置、电子设备及存储介质 | |
WO2023273344A1 (zh) | 车辆跨线识别方法、装置、电子设备和存储介质 | |
US20210231442A1 (en) | Method and apparatus for positioning vehicle, vehicle and storage medium | |
US11443621B2 (en) | Method and apparatus for adjusting channelization of traffic intersection | |
CN111178323A (zh) | 基于视频的群体行为识别方法、装置、设备及存储介质 | |
CN112613569A (zh) | 图像识别方法、图像分类模型的训练方法及装置 | |
WO2024098699A1 (zh) | 实体对象的威胁检测方法、装置、设备及存储介质 | |
JP2023038164A (ja) | 障害物検出方法、装置、自動運転車両、機器、及び記憶媒体 | |
WO2022222445A1 (zh) | 事件的检测输出方法、事件策略确定方法及装置、电子设备和计算机可读存储介质 | |
CN114547252A (zh) | 文本识别方法、装置、电子设备和介质 | |
JP2022040063A (ja) | 地理位置点の空間関係を抽出する方法及び装置 | |
CN114238790A (zh) | 用于确定最大感知范围的方法、装置、设备以及存储介质 | |
CN113011298A (zh) | 截断物体样本生成、目标检测方法、路侧设备和云控平台 | |
CN113076358A (zh) | 一种报表生成方法、装置、设备及存储介质 | |
CN112529181A (zh) | 用于模型蒸馏的方法和装置 | |
CN116824455A (zh) | 事件检测方法、装置、设备和存储介质 | |
CN111552829A (zh) | 用于分析图像素材的方法和装置 | |
CN114674328B (zh) | 地图生成方法、装置、电子设备、存储介质、及车辆 | |
CN111783591B (zh) | 异常检测方法、装置、设备和存储介质 | |
KR20210125447A (ko) | 차량 연계 방법, 차량 연계 장치, 노변 장치 및 클라우드 제어 플랫폼 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230822 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240312 |