JP7355851B2 - ビデオを識別するための方法及び装置 - Google Patents
ビデオを識別するための方法及び装置 Download PDFInfo
- Publication number
- JP7355851B2 JP7355851B2 JP2021568598A JP2021568598A JP7355851B2 JP 7355851 B2 JP7355851 B2 JP 7355851B2 JP 2021568598 A JP2021568598 A JP 2021568598A JP 2021568598 A JP2021568598 A JP 2021568598A JP 7355851 B2 JP7355851 B2 JP 7355851B2
- Authority
- JP
- Japan
- Prior art keywords
- lgd
- global
- video
- local
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Description
式中、
1002 識別ユニット
1105 I/Oインタフェース
1106 入力部分
1107 出力部分
1108 記憶部分
1109 通信部分
1110 ドライバ
1111 リムーバブルメディア
Claims (14)
- ビデオを識別するための方法であって、
識別対象ビデオを取得することと、
前記識別対象ビデオを予めトレーニングされたLGD(Local and Global Diffusion,ローカル及びグローバルの特徴伝播)モデルに入力することであって、前記LGDモデルはローカル及びグローバルの特徴伝播によって前記識別対象ビデオの空間-時間特徴を処理するネットワークであり、前記LGDモデルは、2つ以上のカスケードされたLGDモジュール、ローカルグローバル組み合わせ分類子及び完全接続層を含む、ことと、
前記2つ以上のカスケードされたLGDモジュールが、前記識別対象ビデオのローカル特徴とグローバル特徴を並列処理することによって、前記識別対象ビデオの更新されたローカル特徴と更新されたグローバル特徴を得ることと、
前記更新されたローカル特徴と前記更新されたグローバル特徴を前記ローカルグローバル組み合わせ分類子に入力し、前記識別対象ビデオの合併特徴を合成することと、
前記識別対象ビデオの合併特徴を前記完全接続層に入力し、前記識別対象ビデオのカテゴリを取得することと、
を含む、ビデオを識別するための方法。 - 各LGDモジュールは、互いに影響を及ぼし、各空間-時間位置のローカル変化とグローバル外観を記述するためのローカルパスとグローバルパスを含む請求項1に記載の方法。
- 各LGDモジュールの伝播方向はグローバルからローカルへの伝播方向とローカルからグローバルへの伝播方向を含み、前記グローバルからローカルへの伝播方向において、前のLGDモジュールのローカル特徴マップとグローバル特徴ベクトルに基づいて現在のLGDモジュールのローカル特徴マップを生成し、前記ローカルからグローバルへの伝播方向において、前記現在のLGDモジュールのローカル特徴マップと前記前のLGDモジュールのグローバル特徴ベクトルに基づいて前記現在のLGDモジュールのグローバル特徴ベクトルを生成する請求項2に記載の方法。
- 前のLGDモジュールのローカル特徴マップとグローバル特徴ベクトルに基づいて現在のLGDモジュールのローカル特徴マップを生成することは、
前記前のLGDモジュールのグローバルパスの残差値を前記前のLGDモジュールのローカル特徴マップに付加し、前記現在のLGDモジュールのローカル特徴マップを生成することを含み、
前記現在のLGDモジュールのローカル特徴マップと前記前のLGDモジュールのグローバル特徴ベクトルに基づいて前記現在のLGDモジュールのグローバル特徴ベクトルを生成することは、
前記前のLGDモジュールのグローバル特徴ベクトルと前記現在のLGDモジュールのローカル特徴マップのグローバル平均プーリングを線形に埋め込んで、前記現在のLGDモジュールのグローバル特徴ベクトルを生成することを含む請求項3に記載の方法。 - 各LGDモジュールは少なくとも3つの射影行列によってローカル特徴マップとグローバル特徴ベクトルを生成し、各射影行列の低ランク近似を使用して該LGDモジュールの付加パラメータを減少する請求項4に記載の方法。
- 各LGDモジュールはLGD-2DモジュールまたはLGD-3Dモジュールである請求項5に記載の方法。
- 前記2つ以上のカスケードされたLGDモジュールが、前記識別対象ビデオのローカル特徴とグローバル特徴を並列処理することによって、前記識別対象ビデオの更新されたローカル特徴と更新されたグローバル特徴を得ることは、
前記識別対象ビデオを複数の識別対象ビデオセグメントに分割することと、
前記複数の識別対象ビデオセグメントからマルチフレームの識別対象ビデオフレームを選択することと、
前記マルチフレームの識別対象ビデオフレームを2つ以上のカスケードされたLGD-2Dモジュールに入力し、前記マルチフレームの識別対象ビデオフレームのローカル特徴とグローバル特徴を並列処理し、前記識別対象ビデオの更新されたローカル特徴と更新されたグローバル特徴とすることと、を含む請求項6に記載の方法。 - 前記複数の識別対象ビデオセグメントのうちの各識別対象ビデオセグメントから少なくとも1フレームの識別対象ビデオフレームを選択する請求項7に記載の方法。
- 前記2つ以上のカスケードされたLGDモジュールが、前記識別対象ビデオのローカル特徴とグローバル特徴を並列処理することによって、前記識別対象ビデオの更新されたローカル特徴と更新されたグローバル特徴を得ることは、
前記識別対象ビデオを複数の識別対象ビデオセグメントに分割することと、
前記複数の識別対象ビデオセグメントを前記2つ以上のカスケードされたLGD-3Dモジュールに入力し、前記複数の識別対象ビデオセグメントのローカル特徴とグローバル特徴を並列処理し、前記識別対象ビデオの更新されたローカル特徴と更新されたグローバル特徴とすることと、を含む請求項6に記載の方法。 - 前記複数のカスケードされたLGD-3Dモジュールは3次元処理を空間次元での2次元畳み込みと時間次元での1次元演算に分解する請求項9に記載の方法。
- 前記ローカルグローバル組み合わせ分類子は核に基づく分類子である請求項1乃至5のいずれか1項に記載の方法。
- ビデオを識別するための装置であって、
識別対象ビデオを取得するように配置されるビデオ取得ユニットと、
前記識別対象ビデオを予めトレーニングされたLGD(Local and Global Diffusion,ローカル及びグローバルの特徴伝播)モデルに入力するように配置される識別ユニットであって、前記LGDモデルはローカル及びグローバルの特徴伝播によって前記識別対象ビデオの空間-時間特徴を処理するネットワークであり、前記LGDモデルは、2つ以上のカスケードされたLGDモジュール、ローカルグローバル組み合わせ分類子及び完全接続層を含み、前記2つ以上のカスケードされたLGDモジュールが前記識別対象ビデオのローカル特徴とグローバル特徴を並列処理することによって、前記識別対象ビデオの更新されたローカル特徴と更新されたグローバル特徴を取得し、前記更新されたローカル特徴と前記更新されたグローバル特徴を前記ローカルグローバル組み合わせ分類子に入力し、前記識別対象ビデオの合併特徴を合成し、前記識別対象ビデオの合併特徴を前記完全接続層に入力し、前記識別対象ビデオのカテゴリを取得するように配置される識別ユニットと、
を備える、ビデオを識別するための装置。 - サーバであって、
1つまたは複数のプロセッサーと、
1つまたは複数のプログラムが記憶される記憶装置と、を含み、
前記1つまたは複数のプログラムは前記1つまたは複数のプロセッサーによって実行されると、前記1つまたは複数のプロセッサーに請求項1乃至11のいずれかに記載の方法を実現する、サーバ。 - コンピュータ可読媒体であって、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサーによって実行されると、請求項1乃至11のいずれかに記載の方法を実現する、コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910485621.6 | 2019-06-05 | ||
CN201910485621.6A CN111460876B (zh) | 2019-06-05 | 2019-06-05 | 用于识别视频的方法和装置 |
PCT/CN2020/080264 WO2020244279A1 (zh) | 2019-06-05 | 2020-03-19 | 用于识别视频的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022532669A JP2022532669A (ja) | 2022-07-15 |
JP7355851B2 true JP7355851B2 (ja) | 2023-10-03 |
Family
ID=71683147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021568598A Active JP7355851B2 (ja) | 2019-06-05 | 2020-03-19 | ビデオを識別するための方法及び装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11967134B2 (ja) |
EP (1) | EP3958168A4 (ja) |
JP (1) | JP7355851B2 (ja) |
CN (1) | CN111460876B (ja) |
WO (1) | WO2020244279A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112307885A (zh) * | 2020-08-21 | 2021-02-02 | 北京沃东天骏信息技术有限公司 | 模型构建及训练方法和装置、时序动作定位方法和装置 |
CN112257728B (zh) * | 2020-11-12 | 2021-08-17 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备以及存储介质 |
US11989939B2 (en) * | 2021-03-17 | 2024-05-21 | Samsung Electronics Co., Ltd. | System and method for enhancing machine learning model for audio/video understanding using gated multi-level attention and temporal adversarial training |
US11748987B2 (en) * | 2021-04-19 | 2023-09-05 | Larsen & Toubro Infotech Ltd | Method and system for performing content-aware deduplication of video files |
KR102513285B1 (ko) * | 2022-05-25 | 2023-03-23 | 오드컨셉 주식회사 | 멀티 집중 모듈을 이용한 표현 학습 방법 및 시스템 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106056082A (zh) | 2016-05-31 | 2016-10-26 | 杭州电子科技大学 | 一种基于稀疏低秩编码的视频动作识别方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120008673A1 (en) * | 2010-07-12 | 2012-01-12 | VQLink Incorporated | System, Method, and Apparatus for Detecting and Classifying Artifacts in Digital Images and Video |
US9563950B2 (en) * | 2013-03-20 | 2017-02-07 | Cornell University | Methods and tools for analyzing brain images |
CN105740773B (zh) * | 2016-01-25 | 2019-02-01 | 重庆理工大学 | 基于深度学习和多尺度信息的行为识别方法 |
US11423651B2 (en) * | 2016-02-09 | 2022-08-23 | Hrl Laboratories, Llc | System and method for the fusion of bottom-up whole-image features and top-down enttiy classification for accurate image/video scene classification |
CN106022310B (zh) * | 2016-06-14 | 2021-08-17 | 湖南大学 | 基于htg-hog和stg特征的人体行为识别方法 |
CN106650674B (zh) | 2016-12-27 | 2019-09-10 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于混合池化策略的深度卷积特征的动作识别方法 |
CN108241849B (zh) * | 2017-08-28 | 2021-09-07 | 北方工业大学 | 基于视频的人体交互动作识别方法 |
CN108133188B (zh) * | 2017-12-22 | 2021-12-21 | 武汉理工大学 | 一种基于运动历史图像与卷积神经网络的行为识别方法 |
CN108416288A (zh) * | 2018-03-04 | 2018-08-17 | 南京理工大学 | 基于全局与局部网络融合的第一视角交互动作识别方法 |
CN108960140B (zh) * | 2018-07-04 | 2021-04-27 | 国家新闻出版广电总局广播科学研究院 | 基于多区域特征提取和融合的行人再识别方法 |
CN109472248B (zh) | 2018-11-22 | 2022-03-25 | 广东工业大学 | 一种行人重识别方法、***及电子设备和存储介质 |
-
2019
- 2019-06-05 CN CN201910485621.6A patent/CN111460876B/zh active Active
-
2020
- 2020-03-19 WO PCT/CN2020/080264 patent/WO2020244279A1/zh unknown
- 2020-03-19 US US17/611,673 patent/US11967134B2/en active Active
- 2020-03-19 EP EP20819453.0A patent/EP3958168A4/en active Pending
- 2020-03-19 JP JP2021568598A patent/JP7355851B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106056082A (zh) | 2016-05-31 | 2016-10-26 | 杭州电子科技大学 | 一种基于稀疏低秩编码的视频动作识别方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2022532669A (ja) | 2022-07-15 |
CN111460876B (zh) | 2021-05-25 |
US11967134B2 (en) | 2024-04-23 |
WO2020244279A1 (zh) | 2020-12-10 |
EP3958168A1 (en) | 2022-02-23 |
US20220215649A1 (en) | 2022-07-07 |
CN111460876A (zh) | 2020-07-28 |
EP3958168A4 (en) | 2023-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7355851B2 (ja) | ビデオを識別するための方法及び装置 | |
US11870947B2 (en) | Generating images using neural networks | |
Kumar et al. | Videoflow: A flow-based generative model for video | |
CN110197229B (zh) | 图像处理模型的训练方法、装置及存储介质 | |
CN111402143B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
CN112308200B (zh) | 神经网络的搜索方法及装置 | |
WO2022134971A1 (zh) | 一种降噪模型的训练方法及相关装置 | |
US20060193535A1 (en) | Image matching method and image interpolation method using the same | |
JP2022522564A (ja) | 画像処理方法及びその装置、コンピュータ機器並びにコンピュータプログラム | |
CN113256529B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN108241855B (zh) | 图像生成方法和装置 | |
WO2019214240A1 (zh) | 动态图片的生成 | |
JP2024502105A (ja) | 深層学習に基づくカプセル内視鏡画像認識方法、機器及び媒体 | |
WO2016108847A1 (en) | Methods and apparatus for processing motion information images | |
CN115239591A (zh) | 图像处理方法、装置、电子设备、存储介质及程序产品 | |
CN115565039A (zh) | 基于自注意力机制的单目输入动态场景新视图合成方法 | |
CN115082300A (zh) | 图像生成模型的训练方法、图像生成方法及装置 | |
CN117576248B (zh) | 基于姿态引导的图像生成方法和装置 | |
CN113902789A (zh) | 图像特征处理、深度图像生成方法及装置、介质和设备 | |
JP7378500B2 (ja) | 自己回帰ビデオ生成ニューラルネットワーク | |
CN113538254A (zh) | 图像恢复方法、装置、电子设备及计算机可读存储介质 | |
JP2022037804A (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
CN117011137A (zh) | 基于rgb相似度特征匹配的图像拼接方法、装置及设备 | |
CN113688928B (zh) | 图像匹配方法、装置、电子设备和计算机可读介质 | |
CN115623242A (zh) | 一种视频处理方法及其相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221011 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230828 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230921 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7355851 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |