KR102201353B1 - Method and Apparatus for Detecting Action Frame Based on Weakly-supervised Learning through Background Frame Suppression - Google Patents
Method and Apparatus for Detecting Action Frame Based on Weakly-supervised Learning through Background Frame Suppression Download PDFInfo
- Publication number
- KR102201353B1 KR102201353B1 KR1020190151551A KR20190151551A KR102201353B1 KR 102201353 B1 KR102201353 B1 KR 102201353B1 KR 1020190151551 A KR1020190151551 A KR 1020190151551A KR 20190151551 A KR20190151551 A KR 20190151551A KR 102201353 B1 KR102201353 B1 KR 102201353B1
- Authority
- KR
- South Korea
- Prior art keywords
- class
- activation sequence
- frame
- generating
- feature map
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명이 속하는 기술 분야는 비정제 동영상 내에서 배경 프레임 억제를 통한 약한 지도 학습 기반의 행동 프레임 검출 방법 및 장치에 관한 것이다.The technical field to which the present invention pertains is to a method and apparatus for detecting weak supervised learning-based behavioral frames through suppression of background frames in unrefined video.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described in this section merely provides background information on the present embodiment and does not constitute the prior art.
유튜브(Youtube) 등의 동영상 공유 플랫폼을 통하여, 사용자들은 직접 만든 컨텐츠를 업로드하고 전 세계 사람들과 컨텐츠를 공유한다. 유튜브에 업로드된 20분 이상의 원본 스포츠 동영상의 개수는 약 11,000,000로 추산된다. 바쁜 현대인 입장에서 원본 스포츠 동영상에 대해 전체 경기 시간 동안 시청하는게 쉽지 않다. 축구 경기를 예로 들면, 골 장면과 같은 하이라이트만을 보고 싶은 시청자의 수요는 계속 증가하고 있다. Through video sharing platforms such as YouTube, users upload their own content and share the content with people around the world. The number of original sports videos over 20 minutes uploaded to YouTube is estimated to be about 11,000,000. It is not easy for a busy modern person to watch the original sports video during the entire game time. Taking a soccer game as an example, the demand of viewers who only want to see highlights such as goal scenes is increasing.
실제 세계에 존재하는 동영상의 대부분은 우리가 관심 있는 행동 프레임뿐만 아니라, 행동이 존재하지 않는 배경 프레임을 포함하고 있다. 이러한 동영상을 비정제 동영상이라 한다.Most of the videos that exist in the real world contain not only action frames that we are interested in, but also background frames in which no action exists. These videos are called unrefined videos.
행동 프레임만을 검출하는 기술이 요구되며, 행동 프레임을 검출하여 정제된 동영상은 사용자뿐만 아니라 다른 딥 러닝 모델에서 학습 데이터로 사용하는데 매우 용이하다.A technology for detecting only the action frame is required, and the video refined by detecting the action frame is very easy to use as training data not only by users but also by other deep learning models.
본 발명의 실시예들은 동영상으로부터 추출한 특징 맵에서 배경 프레임을 억제한 행동 분류 모델을 통해 조정 클래스 활성화 시퀀스를 생성하여, 약한 지도 학습 기반으로 행동 프레임을 정확하게 검출하는데 주된 목적이 있다.Embodiments of the present invention have a main purpose to accurately detect a behavior frame based on weak supervised learning by generating an adjustment class activation sequence through a behavior classification model that suppresses a background frame from a feature map extracted from a video.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.Still other objects, not specified, of the present invention may be additionally considered within the range that can be easily deduced from the following detailed description and effects thereof.
본 실시예의 일 측면에 의하면, 컴퓨팅 디바이스에 의한 약한 지도 학습 기반의 행동 프레임 검출 방법에 있어서, 동영상으로부터 특징 맵을 추출하는 단계, 및 상기 특징 맵에 전경 가중치를 적용하여 행동 분류 모델을 통해 조정 클래스 활성화 시퀀스를 생성하는 단계를 포함하는 약한 지도 학습 기반의 행동 프레임 검출 방법을 제공한다.According to an aspect of the present embodiment, in a method for detecting a behavioral frame based on weak supervised learning by a computing device, extracting a feature map from a video, and an adjustment class through a behavior classification model by applying a foreground weight to the feature map. It provides a method for detecting a weak supervised learning-based action frame including generating an activation sequence.
상기 특징 맵을 추출하는 단계는, 상기 동영상을 복수의 색상 프레임으로 변환하고 상기 복수의 색상 프레임에서 색상 특징을 추출하고, 상기 동영상을 광류(Optical FLow) 프레임으로 변환하고 상기 광류 프레임에서 광류 특징을 추출하고, 상기 색상 특징과 상기 광류 특징을 결합하여 상기 특징 맵을 생성할 수 있다.The step of extracting the feature map may include converting the video into a plurality of color frames, extracting color features from the plurality of color frames, converting the video into an optical flow frame, and determining the optical flow characteristics from the optical flow frame. The feature map may be generated by extracting and combining the color feature and the optical flow feature.
상기 조정 클래스 활성화 시퀀스를 생성하는 단계는, 상기 특징 맵에 대해서 필터링 모델을 통해 상기 조정 클래스 활성화 시퀀스에서 배경 프레임이 활성화되지 않도록 상기 배경 프레임을 여과하여 상기 전경 가중치를 조정할 수 있다.In the generating of the adjustment class activation sequence, the foreground weight may be adjusted by filtering the background frame so that the background frame is not activated in the adjustment class activation sequence through a filtering model for the feature map.
상기 조정 클래스 활성화 시퀀스를 생성하는 단계는, 상기 조정 클래스 활성화 시퀀스에 대해서 조정 클래스 점수를 산출하여 행동 클래스에 대해 포지티브 학습과 배경 클래스에 대해 네거티브 학습을 수행할 수 있다.In the generating of the adjustment class activation sequence, positive learning for the behavior class and negative learning for the background class may be performed by calculating an adjustment class score for the adjustment class activation sequence.
상기 조정 클래스 활성화 시퀀스를 생성하면서, 상기 특징 맵에 대해서 상기 행동 분류 모델을 통해 기본 클래스 활성화 시퀀스를 생성하는 단계를 포함할 수 있다.Generating the coordinated class activation sequence may include generating a basic class activation sequence for the feature map through the behavior classification model.
상기 기본 클래스 활성화 시퀀스를 생성하는 단계는, 상기 기본 클래스 활성화 시퀀스에 대해서 기본 클래스 점수를 산출하여 행동 클래스와 배경 클래스에 대해 포지티브 학습을 수행할 수 있다.In the generating of the base class activation sequence, a base class score may be calculated for the base class activation sequence, and positive learning may be performed on the behavior class and the background class.
상기 기본 클래스 활성화 시퀀스를 생성하는 단계와 상기 조정 클래스 활성화 시퀀스를 생성하는 단계는 상기 행동 분류 모델의 가중치를 공유하여 함께 학습할 수 있다.The generating of the base class activation sequence and the generating of the adjustment class activation sequence may share weights of the behavioral classification model to be learned together.
본 실시예의 다른 측면에 의하면, 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하는 행동 프레임 검출 장치에 있어서, 상기 프로세서는 동영상으로부터 특징 맵을 추출하고, 상기 프로세서는 상기 특징 맵에 전경 가중치를 적용하여 행동 분류 모델을 통해 조정 클래스 활성화 시퀀스를 생성하는 것을 특징으로 하는 행동 프레임 검출 장치를 제공할 수 있다.According to another aspect of the present embodiment, there is provided an apparatus for detecting a behavioral frame including at least one processor and a memory for storing at least one program executed by the at least one processor, wherein the processor extracts a feature map from a video, and the processor May provide an apparatus for detecting a behavioral frame, characterized in that for generating an adjustment class activation sequence through a behavioral classification model by applying a foreground weight to the feature map.
상기 프로세서는, 상기 동영상을 복수의 색상 프레임으로 변환하고 상기 복수의 색상 프레임에서 색상 특징을 추출하고, 상기 동영상을 광류(Optical FLow) 프레임으로 변환하고 상기 광류 프레임에서 광류 특징을 추출하고, 상기 색상 특징과 상기 광류 특징을 결합하여 상기 특징 맵을 생성할 수 있다.The processor converts the video into a plurality of color frames, extracts color features from the plurality of color frames, converts the video into an optical flow frame, extracts optical flow features from the optical flow frame, and The feature map may be generated by combining a feature and the optical flow feature.
상기 프로세서는, 상기 특징 맵에 대해서 필터링 모델을 통해 상기 조정 클래스 활성화 시퀀스에서 배경 프레임이 활성화되지 않도록 상기 배경 프레임을 여과하여 상기 전경 가중치를 조정하여, 상기 조정 클래스 활성화 시퀀스를 생성할 수 있다.The processor may generate the adjustment class activation sequence by filtering the background frame so that the background frame is not activated in the adjustment class activation sequence through a filtering model for the feature map to adjust the foreground weight.
상기 프로세서는, 상기 조정 클래스 활성화 시퀀스를 생성하면서, 상기 특징 맵에 대해서 상기 행동 분류 모델을 통해 기본 클래스 활성화 시퀀스를 생성할 수 있다.The processor may generate the basic class activation sequence with respect to the feature map through the behavior classification model while generating the adjustment class activation sequence.
상기 프로세서는, 상기 기본 클래스 활성화 시퀀스에 대해서 기본 클래스 점수를 산출하여 행동 클래스와 배경 클래스에 대해 포지티브 학습을 수행하고, 상기 조정 클래스 활성화 시퀀스에 대해서 조정 클래스 점수를 산출하여 상기 행동 클래스에 대해 포지티브 학습과 상기 배경 클래스에 대해 네거티브 학습을 수행할 수 있다.The processor calculates a base class score for the base class activation sequence to perform positive learning for the behavior class and the background class, and calculates an adjustment class score for the adjusted class activation sequence to positively learn the behavior class. And negative learning may be performed on the background class.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 동영상으로부터 추출한 특징 맵에서 배경 프레임을 억제한 행동 분류 모델을 통해 조정 클래스 활성화 시퀀스를 생성하여, 약한 지도 학습 기반으로 행동 프레임을 정확하게 검출할 수 있는 효과가 있다.As described above, according to the embodiments of the present invention, by generating an adjustment class activation sequence through a behavior classification model in which a background frame is suppressed from a feature map extracted from a video, it is possible to accurately detect a behavior frame based on weak supervised learning. There is an effect.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.Even if it is an effect not explicitly mentioned herein, the effect described in the following specification expected by the technical features of the present invention and the provisional effect thereof are treated as described in the specification of the present invention.
도 1은 본 발명의 일 실시예에 따른 행동 프레임 검출 장치를 예시한 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 행동 프레임 검출 방법을 예시한 흐름도이다.
도 3은 본 발명의 실시예들에 따른 행동 프레임 검출 장치의 행동 분류 모델을 예시한 도면이다.
도 4 내지 도 6은 본 발명의 실시예들에 따라 수행된 모의실험 결과를 도시한 것이다.1 is a block diagram illustrating an apparatus for detecting an action frame according to an embodiment of the present invention.
2 is a flowchart illustrating a method of detecting an action frame according to another embodiment of the present invention.
3 is a diagram illustrating a behavior classification model of a behavior frame detection apparatus according to embodiments of the present invention.
4 to 6 show simulation results performed according to embodiments of the present invention.
이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.Hereinafter, in describing the present invention, when it is determined that the subject matter of the present invention may be unnecessarily obscured as matters apparent to those skilled in the art with respect to known functions related to the present invention, a detailed description thereof will be omitted, and some embodiments of the present invention will be described. It will be described in detail through exemplary drawings.
지도 학습(Supervised Learning)은 정답이 주어지는 학습 전략으로, 어떤 입력(Input)에 대한 올바른 출력(Output)이 무엇인지 알 수 있다는 전제를 가진다. 지도 학습을 위해서는 데이터 세트에 대하여 학습할 때, 해당 데이터 세트를 구성하는 데이터 각각에 대한 정답이 필요하다.Supervised Learning is a learning strategy in which the correct answer is given, and has the premise that we can know what the correct output is for which input. For supervised learning, when learning about a data set, correct answers for each of the data constituting the data set are required.
약한 지도 학습(Weakly Supervised Learning) 환경에서는, 주어지는 정답에 대한 정보가 제한된다. 비지도 학습(Unsupervised Learning)과 같이 아무 정보도 주어지지 않는 것은 아니지만, 일부에 대한 정보만 제공받아 학습하고, 학습을 통해 제공받지 않은 정보를 예측해야 한다. 영상 처리 기계 학습을 위하여 영상 또는 동영상 등을 포함한 데이터 세트에 대하여 라벨링(Labeling)이 필요하다. 라벨링은 데이터 세트에 대한 정보를 제공한다.In a Weakly Supervised Learning environment, information about the correct answers given is limited. Like unsupervised learning, no information is given, but only some information is provided to learn and predict information not provided through learning. For image processing machine learning, labeling is required for data sets including images or videos. Labeling provides information about a data set.
프레임 단위의 정답을 갖는 강한 학습과 달리 동영상 단위의 정답을 갖는 약한 학습 환경에서는 정보가 제한되므로, 축구 동영상에서 킥을 수행하거나 농구 동영상에서 슛을 수행하는 등의 행동 프레임을 학습하고 검출하는 것은 쉽지 않다. Unlike strong learning with correct answers in units of frames, information is limited in weak learning environments with correct answers in units of video, so it is easy to learn and detect action frames such as kicking in soccer videos or shooting in basketball videos. not.
본 발명은 동영상으로부터 추출한 특징 맵에서 배경 프레임을 억제한 행동 분류 모델을 통해 조정 클래스 활성화 시퀀스를 생성하여, 약한 지도 학습 기반으로 행동 프레임을 정확하게 검출한다.The present invention generates an adjustment class activation sequence through a behavior classification model in which a background frame is suppressed from a feature map extracted from a video, and accurately detects a behavior frame based on weak supervised learning.
도 1은 본 발명의 일 실시예에 따른 행동 프레임 검출 장치를 예시한 블록도이다.1 is a block diagram illustrating an apparatus for detecting an action frame according to an embodiment of the present invention.
행동 프레임 검출 장치(110)는 적어도 하나의 프로세서(120), 컴퓨터 판독 가능한 저장매체(130) 및 통신 버스(170)를 포함한다. The action frame detection apparatus 110 includes at least one processor 120, a computer-readable storage medium 130, and a
프로세서(120)는 행동 프레임 검출 장치(110)로 동작하도록 제어할 수 있다. 예컨대, 프로세서(120)는 컴퓨터 판독 가능한 저장 매체(130)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 컴퓨터 실행 가능 명령어는 프로세서(120)에 의해 실행되는 경우 행동 프레임 검출 장치(110)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.The processor 120 may be controlled to operate as the action frame detection device 110. For example, the processor 120 may execute one or more programs stored in the computer-readable storage medium 130. One or more programs may include one or more computer-executable instructions, and when the computer-executable instructions are executed by the processor 120, the action frame detection apparatus 110 is configured to perform operations according to an exemplary embodiment. Can be.
컴퓨터 판독 가능한 저장 매체(130)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능한 저장 매체(130)에 저장된 프로그램(140)은 프로세서(120)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독한 가능 저장 매체(130)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 행동 프레임 검출 장치(110)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.Computer-readable storage medium 130 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information. The
통신 버스(170)는 프로세서(120), 컴퓨터 판독 가능한 저장 매체(140)를 포함하여 행동 프레임 검출 장치(110)의 다른 다양한 컴포넌트들을 상호 연결한다.The
행동 프레임 검출 장치(110)는 또한 하나 이상의 입출력 장치를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(150) 및 하나 이상의 통신 인터페이스(160)를 포함할 수 있다. 입출력 인터페이스(150) 및 통신 인터페이스(160)는 통신 버스(170)에 연결된다. 입출력 장치는 입출력 인터페이스(150)를 통해 행동 프레임 검출 장치(110)의 다른 컴포넌트들에 연결될 수 있다.The action frame detection device 110 may also include one or more input/output interfaces 150 and one or more communication interfaces 160 that provide interfaces for one or more input/output devices. The input/output interface 150 and the communication interface 160 are connected to the
본 실시예에 따른 행동 프레임 검출 장치는 동영상으로부터 추출한 특징 맵에서 배경 프레임을 억제한 행동 분류 모델을 통해 조정 클래스 활성화 시퀀스를 생성하여, 약한 지도 학습 기반으로 행동 프레임을 정확하게 검출한다.The behavior frame detection apparatus according to the present embodiment generates an adjustment class activation sequence through a behavior classification model in which a background frame is suppressed from a feature map extracted from a video, and accurately detects a behavior frame based on weak supervised learning.
행동 프레임 검출 장치는 특징 맵에 대해서 필터링 모델을 통해 조정 클래스 활성화 시퀀스에서 배경 프레임이 활성화되지 않도록 배경 프레임을 여과하여 전경 가중치를 조정하여, 조정 클래스 활성화 시퀀스를 생성한다.The behavioral frame detection apparatus filters the background frame so that the background frame is not activated in the adjustment class activation sequence through a filtering model for the feature map, and adjusts the foreground weight to generate the adjustment class activation sequence.
행동 프레임 검출 장치는 조정 클래스 활성화 시퀀스를 생성하면서, 특징 맵에 대해서 행동 분류 모델을 통해 기본 클래스 활성화 시퀀스를 생성한다. The behavior frame detection apparatus generates a basic class activation sequence through a behavior classification model for a feature map while generating an adjustment class activation sequence.
행동 프레임 검출 장치는 기본 클래스 활성화 시퀀스에 대해서 기본 클래스 점수를 산출하여 행동 클래스와 배경 클래스에 대해 포지티브 학습을 수행하고, 조정 클래스 활성화 시퀀스에 대해서 조정 클래스 점수를 산출하여 행동 클래스에 대해 포지티브 학습과 배경 클래스에 대해 네거티브 학습을 수행한다. The behavior frame detection device calculates the base class score for the base class activation sequence, performs positive learning for the behavior class and the background class, and calculates the adjustment class score for the adjustment class activation sequence, and calculates the positive learning and background for the behavior class. Negative learning is performed on the class.
도 2는 본 발명의 다른 실시예에 따른 행동 프레임 검출 방법을 예시한 흐름도이다. 행동 프레임 검출 방법은 행동 프레임 검출 장치 또는 컴퓨팅 디바이스 등에 의해 수행될 수 있다.2 is a flowchart illustrating a method of detecting an action frame according to another embodiment of the present invention. The action frame detection method may be performed by an action frame detection apparatus or a computing device.
단계 S210에서 프로세서는 동영상으로부터 특징 맵을 추출한다.In step S210, the processor extracts a feature map from the video.
특징 맵을 추출하는 단계(S210)는 동영상을 복수의 색상 프레임으로 변환하고 복수의 색상 프레임에서 색상 특징을 추출한다. 특징 맵을 추출하는 단계(S210)는 동영상을 광류(Optical FLow) 프레임으로 변환하고 광류 프레임에서 광류 특징을 추출한다. 특징 맵을 추출하는 단계(S210)는 색상 특징과 광류 특징을 결합하여 특징 맵을 생성한다.In the step of extracting the feature map (S210), the video is converted into a plurality of color frames and color features are extracted from the plurality of color frames. In the step of extracting the feature map (S210), the video is converted into an optical flow frame and optical flow features are extracted from the optical flow frame. In the step S210 of extracting the feature map, a feature map is generated by combining the color feature and the optical flow feature.
단계 S220에서 프로세서는 특징 맵에 대해서 행동 분류 모델을 통해 기본 클래스 활성화 시퀀스를 생성한다.In step S220, the processor generates a base class activation sequence with respect to the feature map through the behavior classification model.
기본 클래스 활성화 시퀀스를 생성하는 단계(S220)는, 기본 클래스 활성화 시퀀스에 대해서 기본 클래스 점수를 산출하여 행동 클래스와 배경 클래스에 대해 포지티브 학습을 수행한다.In the step of generating the base class activation sequence (S220), a base class score is calculated for the base class activation sequence, and positive learning is performed on the behavior class and the background class.
단계 S230에서 프로세서는 특징 맵에 전경 가중치를 적용하여 행동 분류 모델을 통해 조정 클래스 활성화 시퀀스를 생성한다.In step S230, the processor applies the foreground weight to the feature map to generate an adjustment class activation sequence through the behavior classification model.
조정 클래스 활성화 시퀀스를 생성하는 단계(S230)는, 특징 맵에 대해서 필터링 모델을 통해 조정 클래스 활성화 시퀀스에서 배경 프레임이 활성화되지 않도록 배경 프레임을 여과하여 전경 가중치를 조정한다.In the step of generating the adjustment class activation sequence (S230), the foreground weight is adjusted by filtering the background frame so that the background frame is not activated in the adjustment class activation sequence through the filtering model for the feature map.
조정 클래스 활성화 시퀀스를 생성하는 단계(S230)는, 조정 클래스 활성화 시퀀스에 대해서 클래스 점수를 산출하여 행동 클래스에 대해 포지티브 학습과 배경 클래스에 대해 네거티브 학습을 수행한다.In the step of generating an adjustment class activation sequence (S230), a class score is calculated for the adjustment class activation sequence, and positive learning for the behavior class and negative learning for the background class are performed.
기본 클래스 활성화 시퀀스를 생성하는 단계(S220)와 조정 클래스 활성화 시퀀스를 생성하는 단계(S230)는 행동 분류 모델의 가중치를 공유하여 함께 학습한다.In step S220 of generating the base class activation sequence and step S230 of generating the adjustment class activation sequence, the weights of the behavior classification model are shared and learned together.
도 3은 본 발명의 실시예들에 따른 행동 프레임 검출 장치의 행동 분류 모델을 예시한 도면이다.3 is a diagram illustrating a behavior classification model of a behavior frame detection apparatus according to embodiments of the present invention.
행동 프레임 검출 장치는 특징 추출 모델과 행동 분류 모델을 포함한다.The behavior frame detection device includes a feature extraction model and a behavior classification model.
특징 추출 모델은 레이어가 연결된 네트워크이며 가중치 및 바이어스를 학습하는 모델이다. 특징 추출 모델은 CNN(Convolutional Neural Network) 등의 신경 네트워크로 구현될 수 있다.The feature extraction model is a network with connected layers and is a model that learns weights and biases. The feature extraction model may be implemented as a neural network such as a convolutional neural network (CNN).
특징 추출 모델은 입력 동영상으로부터 RGB 프레임과 광류(Optical Flow) 프레임을 추출한다. 추출된 프레임들을 16 프레임 단위의 세그먼트로 분할한 후, 각 세그먼트로부터 각 1024 차원의 RGB 특징 정보와 광류 특징 정보를 획득한다. RGB 특징 정보와 광류 특징 정보를 연결하여 2048 차원의 특징 맵을 생성한다. The feature extraction model extracts an RGB frame and an optical flow frame from an input video. After dividing the extracted frames into segments of 16 frame units, 1024-dimensional RGB feature information and optical flow feature information are obtained from each segment. By connecting the RGB feature information and the optical flow feature information, a 2048-dimensional feature map is created.
행동 분류 모델은 데이터에 대한 클래스를 예측하고 해당하는 라벨을 부여한다. 행동 분류 모델은 신경 네트워크 등으로 구현된 다양한 분류 모델이 적용될 수 있다.The behavioral classification model predicts a class of data and assigns a corresponding label. As the behavioral classification model, various classification models implemented with neural networks can be applied.
행동 프레임 검출 장치의 기본 처리 동작(Base Branch)을 설명하면, 특징 맵을 콘볼루션 네트워크에 입력하고 각 시간에서의 행동 및 배경 클래스 점수를 생성한다. 클래스 점수를 갖는 클래스 활성화 시퀀스(Class Activation Sequence)를 생성한다. 생성된 클래스 활성화 시퀀스는 행동 클래스와 배경 클래스로 분류하도록 학습된다. 행동 클래스와 배경 클래스의 개수는 C+1로 표현되며, C는 행동 클래스의 개수이다. 클래스 활성화 시퀀스가 행동 부분에 활성화되도록 유도한다. In the description of the base branch of the behavior frame detection device, a feature map is input into the convolutional network, and the behavior and background class scores at each time are generated. Create a Class Activation Sequence with a class score. The generated class activation sequence is trained to classify into an action class and a background class. The number of behavioral classes and background classes is expressed as C+1, where C is the number of behavioral classes. Induces the class activation sequence to be activated in the behavioral part.
행동 프레임 검출 장치는 세그먼트 레벨의 클래스 점수를 예측하기 위해서, 기본 클래스 활성화 시퀀스(An)를 생성한다.The action frame detection apparatus generates a basic class activation sequence A n in order to predict a segment level class score.
φ는 컨볼루션 레이어의 학습 파라미터이다.φ is the learning parameter of the convolutional layer.
동영상 단위의 점수를 예측하기 위해서, 세그먼트 레벨의 클래스 점수를 종합한다. 동영상 단위의 점수는 검증 자료(Ground Truth)와 비교된다. 종합 점수를 산출하는데 상위 K 개의 평균을 적용한다.In order to predict the score of the video unit, class scores at the segment level are synthesized. The score of the video unit is compared with the ground truth. The top K averages are applied to calculate the composite score.
동영상 단위의 클래스 점수는 각 클래스의 포지티브 샘플의 확률(pn)을 예측하는데 사용된다. The class score in the video unit is used to predict the probability (p n ) of the positive sample of each class.
기본 처리 동작의 손실 함수는 수학식 4와 같이 표현된다.The loss function of the basic processing operation is expressed as in Equation 4.
yn은 n번째 동영상에서 동영상 레벨의 라벨이다. y n is the label of the video level in the n-th video.
행동 프레임 검출 장치의 억제 처리 동작(Suppression Branch)을 설명하면, 특징 맵을 필터링 필터링 모듈에 넣어서 전경 가중치(Foreground Weight)를 계산한 후, 전경 가중치를 특징 맵에 곱한다. 배경이 억제된 특징 맵을 획득할 수 있다. 기본 처리 동작과 마찬가지로 콘볼루션 네트워크에 입력하여 클래스 활성화 시퀀스를 생성하고 클래스를 분류한다. 억제 처리 동작은 배경 프레임을 억제하기 위한 목적으로 설계되었기 때문에 배경 클래스에 대해서 네거티브로 학습한다. 그 결과 필터링 모듈이 전경 가중치를 정확하게 계산할 수 있다. 배경 클래스에 대한 포지티브 학습은 배경 있음을 정답으로 학습하고, 배경 클래스에 대한 네거티브 학습은 배경 없음을 정답으로 학습한다.In the description of the suppression branch of the motion frame detection apparatus, a feature map is added to a filtering module to calculate a foreground weight, and then the foreground weight is multiplied by the feature map. A feature map in which the background is suppressed can be obtained. Similar to the basic processing operation, it is input to the convolutional network to generate a class activation sequence and classify the classes. Since the suppression processing operation is designed for the purpose of suppressing the background frame, it learns negatively about the background class. As a result, the filtering module can accurately calculate the foreground weight. Positive learning about the background class learns that there is a background as the correct answer, and negative learning about the background class learns that there is no background as the correct answer.
전경 가중치를 곱한 특징 맵(X'n)은 수학식 5와 같이 표현된다.The feature map (X' n ) multiplied by the foreground weight is expressed as in Equation 5.
조정 클래스 활성화 시퀀스(A'n)는 수학식 6과 같이 표현된다.The coordination class activation sequence (A' n ) is expressed as in Equation 6.
억제 처리 동작의 손실 함수는 수학식 7와 같이 표현된다.The loss function of the suppression processing operation is expressed as in Equation 7.
기본 처리 동작에서 동영상 레벨의 라벨은 
억제 처리 동작에서 동영상 레벨의 라벨은 
α, β, γ는 최적화 파라미터이고, 어텐션 가중치에 대한 L1 정규화 
행동 프레임 검출 장치는 실제 동영상을 테스트할 때, 억제 처리 동작에서 배경 프레임이 억제된 결과를 사용하여 행동 프레임을 검출한다.When testing an actual video, the action frame detection apparatus detects the action frame using the result of suppressing the background frame in the suppression processing operation.
도 4 내지 도 6은 본 발명의 실시예들에 따라 수행된 모의실험 결과를 도시한 것이다. 도 4는 배구 동영상의 스파이크 장면이고, 도 5는 투포환 동영상이고, 도 6은 축구 동영상의 페널티 킥 장면이다. 도 4 내지 도 6을 참조하면, 본 실시예에 따른 배경 프레임이 억제된 행동 분류 모델이 GT(Ground Truth)에 대응하는 행동 프레임을 정확하게 예측할 수 있음을 파악할 수 있다.4 to 6 show simulation results performed according to embodiments of the present invention. 4 is a spike scene of a volleyball video, FIG. 5 is a shot put video, and FIG. 6 is a penalty kick scene of a soccer video. Referring to FIGS. 4 to 6, it can be seen that the behavior classification model in which the background frame is suppressed according to the present exemplary embodiment can accurately predict the behavior frame corresponding to the ground truth (GT).
행동 프레임 검출 장치는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.The action frame detection apparatus may be implemented in a logic circuit by hardware, firmware, software, or a combination thereof, or may be implemented using a general purpose or specific purpose computer. The device may be implemented using a hardwired device, a Field Programmable Gate Array (FPGA), an Application Specific Integrated Circuit (ASIC), or the like. In addition, the device may be implemented as a System on Chip (SoC) including one or more processors and controllers.
행동 프레임 검출 장치는 하드웨어적 요소가 마련된 컴퓨팅 디바이스 또는 서버에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스 또는 서버는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.The action frame detection apparatus may be mounted in a form of software, hardware, or a combination thereof on a computing device or server provided with a hardware element. Computing devices or servers include all or part of a communication device such as a communication modem for performing communication with various devices or wired/wireless communication networks, a memory storing data for executing a program, and a microprocessor for calculating and commanding a program. It can mean various devices including.
도 2에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 2에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.In FIG. 2, each process is described as sequentially executing, but this is only illustrative, and if a person skilled in the field does not depart from the essential characteristics of the embodiment of the present invention, the order shown in FIG. 2 is changed and executed. Or, by executing one or more processes in parallel, or adding other processes, various modifications and variations may be applied.
본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.The operations according to the embodiments may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. Computer-readable medium refers to any medium that has participated in providing instructions to a processor for execution. The computer-readable medium may include program instructions, data files, data structures, or a combination thereof. For example, there may be a magnetic medium, an optical recording medium, a memory, and the like. Computer programs may be distributed over networked computer systems to store and execute computer-readable codes in a distributed manner. Functional programs, codes, and code segments for implementing the present embodiment may be easily inferred by programmers in the technical field to which the present embodiment belongs.
본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The present embodiments are for explaining the technical idea of the present embodiment, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of this embodiment should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present embodiment.
Claims (12)
동영상으로부터 특징 맵을 추출하는 단계; 및
상기 특징 맵에 전경 가중치를 적용하여 행동 분류 모델을 통해 조정 클래스 활성화 시퀀스를 생성하는 단계를 포함하며,
상기 조정 클래스 활성화 시퀀스를 생성하는 단계는, 상기 특징 맵에 대해서 필터링 모델을 통해 상기 조정 클래스 활성화 시퀀스에서 배경 프레임이 활성화되지 않도록 상기 배경 프레임을 여과하여 상기 전경 가중치를 조정하는 것을 특징으로 하는 약한 지도 학습 기반의 행동 프레임 검출 방법.In a method for detecting a weak supervised learning-based action frame by a computing device,
Extracting a feature map from the video; And
And generating an adjustment class activation sequence through a behavior classification model by applying a foreground weight to the feature map,
The generating of the adjustment class activation sequence comprises filtering the background frame so that the background frame in the adjustment class activation sequence is not activated through a filtering model for the feature map to adjust the foreground weight. Learning-based action frame detection method.
상기 특징 맵을 추출하는 단계는,
상기 동영상을 복수의 색상 프레임으로 변환하고 상기 복수의 색상 프레임에서 색상 특징을 추출하고,
상기 동영상을 광류(Optical FLow) 프레임으로 변환하고 상기 광류 프레임에서 광류 특징을 추출하고,
상기 색상 특징과 상기 광류 특징을 결합하여 상기 특징 맵을 생성하는 것을 특징으로 하는 약한 지도 학습 기반의 행동 프레임 검출 방법.The method of claim 1,
The step of extracting the feature map,
Converting the video into a plurality of color frames and extracting color features from the plurality of color frames,
Convert the video into an optical flow frame and extract optical flow features from the optical flow frame,
And generating the feature map by combining the color feature and the optical flow feature.
상기 조정 클래스 활성화 시퀀스를 생성하는 단계는,
상기 조정 클래스 활성화 시퀀스에 대해서 조정 클래스 점수를 산출하여 행동 클래스에 대해 포지티브 학습과 배경 클래스에 대해 네거티브 학습을 수행하는 것을 특징으로 하는 약한 지도 학습 기반의 행동 프레임 검출 방법.The method of claim 1,
Generating the coordination class activation sequence,
A method for detecting a behavior frame based on weak supervised learning, characterized in that positive learning for a behavior class and negative learning for a background class are performed by calculating an adjustment class score for the adjustment class activation sequence.
상기 조정 클래스 활성화 시퀀스를 생성하면서, 상기 특징 맵에 대해서 상기 행동 분류 모델을 통해 기본 클래스 활성화 시퀀스를 생성하는 단계를 포함하는 것을 특징으로 하는 약한 지도 학습 기반의 행동 프레임 검출 방법.The method of claim 1,
And generating a basic class activation sequence for the feature map through the behavior classification model while generating the coordinated class activation sequence.
상기 기본 클래스 활성화 시퀀스를 생성하는 단계는,
상기 기본 클래스 활성화 시퀀스에 대해서 기본 클래스 점수를 산출하여 행동 클래스와 배경 클래스에 대해 포지티브 학습을 수행하는 것을 특징으로 하는 약한 지도 학습 기반의 행동 프레임 검출 방법.The method of claim 5,
Generating the base class activation sequence,
A method of detecting a behavior frame based on weak supervised learning, characterized in that positive learning is performed for a behavior class and a background class by calculating a base class score for the base class activation sequence.
상기 기본 클래스 활성화 시퀀스를 생성하는 단계와 상기 조정 클래스 활성화 시퀀스를 생성하는 단계는 상기 행동 분류 모델의 가중치를 공유하여 함께 학습하는 것을 특징으로 하는 약한 지도 학습 기반의 행동 프레임 검출 방법.The method of claim 5,
The generating of the base class activation sequence and the generating of the adjustment class activation sequence include learning together by sharing a weight of the behavior classification model.
상기 프로세서는 동영상으로부터 특징 맵을 추출하고,
상기 프로세서는 상기 특징 맵에 전경 가중치를 적용하여 행동 분류 모델을 통해 조정 클래스 활성화 시퀀스를 생성하며,
상기 프로세서는, 상기 특징 맵에 대해서 필터링 모델을 통해 상기 조정 클래스 활성화 시퀀스에서 배경 프레임이 활성화되지 않도록 상기 배경 프레임을 여과하여 상기 전경 가중치를 조정하여, 상기 조정 클래스 활성화 시퀀스를 생성하는 것을 특징으로 하는 행동 프레임 검출 장치..In the action frame detection apparatus comprising one or more processors and a memory for storing one or more programs executed by the one or more processors,
The processor extracts a feature map from the video,
The processor generates an adjustment class activation sequence through a behavior classification model by applying a foreground weight to the feature map,
The processor, for the feature map, filters the background frame so that the background frame is not activated in the adjustment class activation sequence through a filtering model, and adjusts the foreground weight to generate the adjustment class activation sequence. Action frame detection device..
상기 프로세서는,
상기 동영상을 복수의 색상 프레임으로 변환하고 상기 복수의 색상 프레임에서 색상 특징을 추출하고,
상기 동영상을 광류(Optical FLow) 프레임으로 변환하고 상기 광류 프레임에서 광류 특징을 추출하고,
상기 색상 특징과 상기 광류 특징을 결합하여 상기 특징 맵을 생성하는 것을 특징으로 하는 행동 프레임 검출 장치.The method of claim 8,
The processor,
Converting the video into a plurality of color frames and extracting color features from the plurality of color frames,
Convert the video into an optical flow frame and extract optical flow features from the optical flow frame,
And generating the feature map by combining the color feature and the optical flow feature.
상기 프로세서는,
상기 조정 클래스 활성화 시퀀스를 생성하면서, 상기 특징 맵에 대해서 상기 행동 분류 모델을 통해 기본 클래스 활성화 시퀀스를 생성하는 것을 특징으로 하는 행동 프레임 검출 장치.The method of claim 8,
The processor,
And generating a basic class activation sequence for the feature map through the behavior classification model while generating the coordinated class activation sequence.
상기 프로세서는,
상기 기본 클래스 활성화 시퀀스에 대해서 기본 클래스 점수를 산출하여 행동 클래스와 배경 클래스에 대해 포지티브 학습을 수행하고,
상기 조정 클래스 활성화 시퀀스에 대해서 조정 클래스 점수를 산출하여 상기 행동 클래스에 대해 포지티브 학습과 상기 배경 클래스에 대해 네거티브 학습을 수행하는 것을 특징으로 하는 행동 프레임 검출 장치.The method of claim 11,
The processor,
A base class score is calculated for the base class activation sequence, and positive learning is performed on the behavior class and the background class,
An apparatus for detecting a behavioral frame, characterized in that positive learning for the behavior class and negative learning for the background class by calculating an adjustment class score for the adjustment class activation sequence.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190151551A KR102201353B1 (en) | 2019-11-22 | 2019-11-22 | Method and Apparatus for Detecting Action Frame Based on Weakly-supervised Learning through Background Frame Suppression |
| PCT/KR2020/012645 WO2021101052A1 (en) | 2019-11-22 | 2020-09-18 | Weakly supervised learning-based action frame detection method and device, using background frame suppression |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190151551A KR102201353B1 (en) | 2019-11-22 | 2019-11-22 | Method and Apparatus for Detecting Action Frame Based on Weakly-supervised Learning through Background Frame Suppression |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102201353B1 true KR102201353B1 (en) | 2021-01-08 |
Family
ID=74127672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190151551A KR102201353B1 (en) | 2019-11-22 | 2019-11-22 | Method and Apparatus for Detecting Action Frame Based on Weakly-supervised Learning through Background Frame Suppression |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102201353B1 (en) |
| WO (1) | WO2021101052A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818829A (en) * | 2021-01-27 | 2021-05-18 | 中国科学技术大学 | Weak supervision time domain action positioning method and system based on structural network |
| CN116612420A (en) * | 2023-07-20 | 2023-08-18 | 中国科学技术大学 | Weak supervision video time sequence action detection method, system, equipment and storage medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100785076B1 (en) | 2006-06-15 | 2007-12-12 | 삼성전자주식회사 | Method for detecting real time event of sport moving picture and apparatus thereof |
| KR20150127684A (en) | 2013-03-15 | 2015-11-17 | 제너럴 인스트루먼트 코포레이션 | Detection of long shots in sports video |
| KR20190127261A (en) * | 2018-05-04 | 2019-11-13 | 연세대학교 산학협력단 | Method and Apparatus for Learning with Class Score of Two Stream Network for Behavior Recognition |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3625727A1 (en) * | 2017-11-14 | 2020-03-25 | Google LLC | Weakly-supervised action localization by sparse temporal pooling network |
-
2019
- 2019-11-22 KR KR1020190151551A patent/KR102201353B1/en active IP Right Grant
-
2020
- 2020-09-18 WO PCT/KR2020/012645 patent/WO2021101052A1/en active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100785076B1 (en) | 2006-06-15 | 2007-12-12 | 삼성전자주식회사 | Method for detecting real time event of sport moving picture and apparatus thereof |
| KR20150127684A (en) | 2013-03-15 | 2015-11-17 | 제너럴 인스트루먼트 코포레이션 | Detection of long shots in sports video |
| KR20190127261A (en) * | 2018-05-04 | 2019-11-13 | 연세대학교 산학협력단 | Method and Apparatus for Learning with Class Score of Two Stream Network for Behavior Recognition |
Non-Patent Citations (1)
| Title |
|---|
| Haisheng Su ET AL:"Weakly Supervised Temporal Action Detection with Shot-Based Temporal Pooling Network", ICONIP 2018_Neural Information Processing, pp 426-436, 17 November 2018(2018.11.17.) 1부.* * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818829A (en) * | 2021-01-27 | 2021-05-18 | 中国科学技术大学 | Weak supervision time domain action positioning method and system based on structural network |
| CN112818829B (en) * | 2021-01-27 | 2022-09-09 | 中国科学技术大学 | Weak supervision time domain action positioning method and system based on structural network |
| CN116612420A (en) * | 2023-07-20 | 2023-08-18 | 中国科学技术大学 | Weak supervision video time sequence action detection method, system, equipment and storage medium |
| CN116612420B (en) * | 2023-07-20 | 2023-11-28 | 中国科学技术大学 | Weak supervision video time sequence action detection method, system, equipment and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021101052A1 (en) | 2021-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11195037B2 (en) | Living body detection method and system, computer-readable storage medium | |
| CN106776842B (en) | Multimedia data detection method and device | |
| CN111178183B (en) | Face detection method and related device | |
| CN113159073B (en) | Knowledge distillation method and device, storage medium and terminal | |
| CN108805016B (en) | Head and shoulder area detection method and device | |
| Qu et al. | A pedestrian detection method based on yolov3 model and image enhanced by retinex | |
| KR102308889B1 (en) | Method for video highlight detection and computing device for executing the method | |
| CN107316035A (en) | Object identifying method and device based on deep learning neutral net | |
| CN109840467A (en) | A kind of in-vivo detection method and system | |
| CN109493297B (en) | Low-quality face image enhancement method, system, equipment and storage medium | |
| US20110150328A1 (en) | Apparatus and method for blockiing objectionable image on basis of multimodal and multiscale features | |
| KR102201353B1 (en) | Method and Apparatus for Detecting Action Frame Based on Weakly-supervised Learning through Background Frame Suppression | |
| CN111127476A (en) | Image processing method, device, equipment and storage medium | |
| CN111047543A (en) | Image enhancement method, device and storage medium | |
| Yang et al. | Great ape detection in challenging jungle camera trap footage via attention-based spatial and temporal feature blending | |
| CA3061908C (en) | Ball trajectory tracking | |
| US20220230331A1 (en) | Method and electronic device for determining motion saliency and video playback style in video | |
| CN111353330A (en) | Image processing method, image processing device, electronic equipment and storage medium | |
| CN115731620A (en) | Method for detecting counter attack and method for training counter attack detection model | |
| Vlachynska et al. | Dogface detection and localization of dogface’s landmarks | |
| KR102348368B1 (en) | Device, method, system and computer readable storage medium for generating training data of machine learing model and generating fake image using machine learning model | |
| CN112766481A (en) | Neural network model training method and device and image detection method | |
| KR20210076660A (en) | Method and Apparatus for Stereoscopic Image Quality Assessment Based on Convolutional Neural Network | |
| Lyu | Research on subway pedestrian detection algorithm based on big data cleaning technology | |
| WO2020115565A1 (en) | Ball trajectory tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |