KR20220098311A - 조작 이벤트 인식 방법 및 장치 - Google Patents

조작 이벤트 인식 방법 및 장치 Download PDF

Info

Publication number
KR20220098311A
KR20220098311A KR1020217019190A KR20217019190A KR20220098311A KR 20220098311 A KR20220098311 A KR 20220098311A KR 1020217019190 A KR1020217019190 A KR 1020217019190A KR 20217019190 A KR20217019190 A KR 20217019190A KR 20220098311 A KR20220098311 A KR 20220098311A
Authority
KR
South Korea
Prior art keywords
target
event
image frames
manipulation
change information
Prior art date
Application number
KR1020217019190A
Other languages
English (en)
Inventor
진이 우
Original Assignee
센스타임 인터내셔널 피티이. 리미티드.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 센스타임 인터내셔널 피티이. 리미티드. filed Critical 센스타임 인터내셔널 피티이. 리미티드.
Priority claimed from PCT/IB2021/053495 external-priority patent/WO2022144604A1/en
Publication of KR20220098311A publication Critical patent/KR20220098311A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F3/00—Board games; Raffle games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3202—Hardware aspects of a gaming system, e.g. components, construction, architecture thereof
    • G07F17/3216—Construction aspects of a gaming system, e.g. housing, seats, ergonomic aspects
    • G07F17/322—Casino tables, e.g. tables having integrated screens, chip detection means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3225—Data transfer within a gaming system, e.g. data sent between gaming machines and users
    • G07F17/3232—Data transfer within a gaming system, e.g. data sent between gaming machines and users wherein the operator is informed
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3241—Security aspects of a gaming system, e.g. detecting cheating, device integrity, surveillance
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3244—Payment aspects of a gaming system, e.g. payment schemes, setting payout ratio, bonus or consolation prizes
    • G07F17/3248—Payment aspects of a gaming system, e.g. payment schemes, setting payout ratio, bonus or consolation prizes involving non-monetary media of fixed value, e.g. casino chips of fixed value
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명의 실시예는 조작 이벤트 인식 방법 및 장치를 제공하는 바, 여기서, 당해 방법은 비디오의 적어도 두 개의 이미지 프레임에 대해 대상 검출과 추적을 실행하여, 상기 적어도 두 개의 이미지 프레임 내에 포함된 대상의 대상 변화 정보를 얻는 것; 및 상기 대상 변화 정보에 기반하여 발생한 대상 조작 이벤트를 확정하는 것을 포함할 수 있으며, 여기서 상기 대상은 조작 가능 대상이다. 본 발명의 실시예는 이벤트의 자동적인 인식을 실현했다.

Description

조작 이벤트 인식 방법 및 장치
[관련 출원들의 상호 참조 인용]
본 발명은 출원일이 2020년12월31일이고, 출원 번호가 10202013260Q이며, 발명의 명칭이 "조작 이벤트 인식 방법 및 장치” 인 싱가포르 특허 출원의 우선권을 주장하는바, 당해 싱가포르 특허 출원의 모든 내용을 참조로 본원에 통합된다.
[기술분야]
본 발명은 화상 처리 기술에 관한 것으로, 구체적으로는 조작 이벤트 인식 방법 및 장치에 관한 것이다.
기술의 발전에 따라, 점점 많은 장면에서 더 많은 지능형 요구가 존재한다. 예를 들면, 그 중의 하나의 요구는 장면(예를 들면 당해 장면은 게임장일 수 있음)에서 발생한 이벤트를 자동적으로 인식하여 기록하는 것이며, 상기 장면에서 발생한 이벤트는 조작 이벤트일 수 있다. 당해 조작 이벤트는 장면 내의 참가자의 장면 내의 특정 물체를 이동하거나 가져가는 등의 조작일 수 있다. 이러한 조작 이벤트의 발생을 어떻게 자동적으로 수집하여 인식할지는 장면 인텔리전스의 구축에 있어서 해결되어야 할 과제로 되고 있다.
이를 감안하여, 본 발명의 실시예는 적어도 조작 이벤트 인식 방법 및 장치를 제공한다.
제1 양태에 따르면, 조작 이벤트 인식 방법을 제공하는바, 상기 방법은 비디오의 적어도 두 개의 이미지 프레임에 대해 대상 검출과 추적을 실행하여, 상기 적어도 두 개의 이미지 프레임 내에 포함된 대상의 대상 변화 정보를 얻는 것; 및 상기 대상의 대상 변화 정보에 기반하여, 발생한 대상 조작 이벤트를 확정하는 것을 포함하되, 여기서 상기 대상은 조작 가능 대상이다.
제2 양태에 따르면, 조작 이벤트 인식 장치를 제공하는바, 상기 장치는 비디오의 적어도 두 개의 이미지 프레임에 대해 대상 검출과 추적을 실행하여, 상기 적어도 두 개의 이미지 프레임 내에 포함된 대상의 대상 변화 정보를 얻기 위한 검출 처리 모듈; 및 상기 대상의 대상 변화 정보에 기반하여, 발생한 대상 조작 이벤트를 확정하기 위한 이벤트 확정 모듈을 구비하되, 상기 대상은 조작 가능 대상이다.
제3 양태에 따르면, 전자 디바이스를 제공하는바, 상기 전자 디바이스는 메모리와 프로세서를 구비하고, 상기 메모리는 컴퓨터 판독 가능 명령을 저장하며, 상기 프로세서는 상기 컴퓨터 명령을 호출하여 본 발명이 임의의 실시예의 조작 이벤트 인식 방법을 구현한다.
제4 양태에 따르면, 컴퓨터 프로그램이 기억되어 있는 컴퓨터 판독 가능 기록 매체를 제공하는바, 상기 프로그램이 프로세서에 의해 실행되면, 본 발명이 임의의 실시예의 조작 이벤트 인식 방법이 실현된다.
제5 양태에 따르면, 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 제공하는바, 상기 코드가 전자 디바이스에 의해 실행될 때에 상기 전자 디바이스의 프로세서가 본 발명이 임의의 실시예의 조작 이벤트 인식 방법을 실행하도록 한다.
본 발명의 실시예에 의해 제공되는 조작 이벤트 인식 방법 및 장치에 따르면, 비디오 중의 이미지 프레임 대상에 대해 검출과 추적을 실행함으로써, 비디오 중의 대상의 대상 변화 정보를 얻을 수 있고, 당해 대상 변화 정보에 기반하여 해당하는 대상 조작 이벤트를 자동적으로 인식할 수 있으며, 이벤트의 자동적인 인식을 실현했다.
이하, 본 발명의 하나 또는 복수의 실시예의 기술적 해결방안을 더 명확히 설명하기 위하여, 실시예의 설명에 필요한 도면을 간단히 소개한다. 분명히, 이하의 설명에 있어서의 도면은 본 발명의 하나 또는 복수의 실시예에 기재된 몇몇의 실시예에 지나지 않으며, 당업자는 발명적인 노력을 가하지 않고 이러한 도면에 기반하여 기타 도면을 얻을 수 있다.
도 1은 본 발명의 적어도 하나의 실시예에 의해 제공되는 조작 이벤트 인식 방법을 나타내는 플로우를 나타내는 모식도이다.
도 2는 본 발명의 적어도 하나의 실시예에 의해 제공되는 다른 하나의 조작 이벤트 인식 방법의 플로우를 나타내는 모식도이다.
도 3은 본 발명의 적어도 하나의 실시예에 의해 제공되는 게임 테이블 장면을 나타내는 모식도이다.
도 4는 본 발명의 적어도 하나의 실시예에 의해 제공되는 게임 코인의 조작 이벤트 인식을 표명하는 모식도이다.
도 5는 본 발명의 적어도 하나의 실시예에 의해 제공되는 조작 이벤트 인식 장치의 구성을 나타내는 모식도이다.
이하, 당업자가 본 발명의 하나 또는 복수의 실시예의 기술적 해결방안을 더 잘 이해하도록 하기 위하여, 본 발명의 하나 또는 복수의 실시예의 도면과 결합시켜, 본 발명의 하나 또는 복수의 실시예의 기술적 해결방안을 명확하고 완전히 설명한다. 분명히, 설명되는 실시예는 모든 실시예가 아닌바, 본 발명의 일부 실시예에 지나지 않는다. 본 발명의 하나 또는 복수의 실시예에 기반하여, 당업자가 발명적인 노력을 가하지 않고 얻은 기타의 모든 실시 형태는 본 공개의 보호 범위 내에 포함될 것이다.
본 발명의 실시예는 조작 이벤트 인식 방법을 제공하는바, 당해 방법은 장면 내의 조작 이벤트에 대한 자동적인 인식에 적용될 수 있다. 여기서, 장면에 포함된 물체는 대상이라고 불릴 수 있으며, 대상 조작물(예를 들면, 사람 손 또는 기타 대상 클램핑 도구이며, 당해 대상 클램핑 도구는 예를 들면 클립일 수 있음)을 통해 당해 대상에 대해 가져가거나 이동시키는 등의 여러 타입의 조작을 실행할 수 있다. 당해 방법은 지능형 장면에 장착된 수집 디바이스(예를 들면 카메라)을 이용하여 장면에서 발생한 조작 이벤트에 대해 비디오를 수집하고, 당해 비디오의 분석에 기반하여, 상기의 대상 조작물이 대상을 조작하는 대상 조작 이벤트(예를 들면 사람 손이 특정 물체를 가져가는 등)를 자동적으로 인식할 수 있다.
도 1에 나타낸 바와 같이, 본 발명의 적어도 하나의 실시예에 의해 제공되는 조작 이벤트 인식 방법을 나타내는 플로우 챠트이다. 도 1에 나타낸 바와 같이, 당해 방법은 이하의 단계를 포함할 수 있다.
단계 100에 있어서, 비디오의 적어도 두 개의 이미지 프레임에 대해 대상 검출과 추적을 실행하여, 상기 적어도 두 개의 이미지 프레임 내에 포함된 대상의 대상 변화 정보를 얻되, 당해 대상은 조작 가능 대상이다.
본 단계에 있어서, 비디오는 이벤트 발생 장면에 장착한 카메라를 통해 수집하여 얻은 당해 장면의 비디오이다. 여기서, 상기의 이벤트 발생 장면은 인물 또는 사물을 포함하고, 또한 인물 또는 사물의 상태 등에 변화가 발생하는 장면일 수 있다. 예시적으로, 당해 장면은 하나의 게임 테이블일 수 있다. 당해 비디오는 복수의 이미지 프레임을 포함할 수 있다.
비디오의 적어도 두 개의 이미지 프레임은 비디오 중의 연속적인 적어도 두 개의 이미지 프레임일 수 있고, 또는 비디오 중의 모든 이미지 프레임에 대해 샘플링한 후 시계열로 순서대로 선택한 적어도 두 개의 이미지 프레임일 수 있다.
상기 비디오 중의 각 이미지 프레임 내에는 "대상”이 포함될 수 있다. 대상은 이벤트 발생 장면 내의 사람, 동물, 물체 등의 실체를 가리킨다. 예시적으로, 상기의 게임 테이블 장면의 예를 들면, 게임 테이블 상의 게임 코인이 "대상”이라고 불릴 수 있다. 또한 예를 들면, 하나의 대상은 게임 테이블에 쌓아 올린 한 더미의 게임 코인일 수 있다. 카메라에 의해 수집된 비디오 중의 이미지 프레임 내에는 당해 대상이 포함될 수 있고, 당연히, 이미지 프레임 내의 대상은 두 개 이상일 수 있다.
장면 내의 대상은 조작 가능 대상이다. 여기에서의 조작 가능 대상이란, 대상이 조작성을 가지는 것을 의미하는바, 예를 들면 당해 대상이 외력의 작용 하에서 대상의 일부 속성이 변경될 수 있음을 의미한다. 당해 속성은 대상 중의 컴포넌트의 수량, 대상의 세움/펼침 등의 상태 등을 포함하지만 이에 한정되지 않는다.
적어도 두 개의 이미지 프레임 대상에 대해 검출과 추적을 실행함으로써, 시계열 상의 서로 다른 이미지 프레임 내에서 각 대상에 어떤 변화가 발생하였는지를 얻을 수 있는바, 즉 대상의 대상 변화 정보를 얻을 수 있다. 예를 들면, 앞의 이미지 프레임 내에서 검출된 특정 대상이 뒤의 이미지 프레임 내에서 나타나지 않거나, 또는 특정 대상의 상태에 변화가 발생한다(예를 들면, 세움 상태가 펼침 상태로 변경됨).
단계 102에 있어서, 대상의 대상 변화 정보에 기반하여 발생한 대상 조작 이벤트를 확정한다.
대상의 대상 변화 정보가 검출되면, 당해 대상을 변화시킨 대상 조작 이벤트가 발생했다고 간주할 수 있다. 당해 대상 조작 이벤트의 발생에 의해, 상기 대상이 변화되며, 따라서 상기 대상의 대상 변화 정보를 얻게 된다. 이에 기반하여, 본 단계에서는 대상의 대상 변화 정보에 기반하여 어떤 대상 조작 이벤트가 발생하였는지를 확정할 수 있다. 예시적으로, 검출된 대상의 대상 변화 정보가 대상의 상태를 세움으로부터 펼침으로 변화된 것이면, 대응적으로 발생한 대상 조작 이벤트는 "대상을 펼침”이다.
일 예에 있어서, 몇몇의 이벤트 발생 조건을 사전에 정의할 수 있으며, 당해 이벤트 발생 조건은 미리 설정된 특정 대상 조작 이벤트에 의해 야기된 대상의 상태, 위치, 수량, 기타 대상 사이의 관계 등의 속성 중의 적어도 하나의 변화 정보일 수 있다.
예를 들면, 대상 조작 이벤트가 "대상을 가져간다”인 예를 들면, 대상을 가져가는 이벤트가 발생했을 경우, 수집 비디오 중의 이미지 프레임 내에서 당해 대상이 최초에는 검출할 수 있으나, 그 후에 검출할 수 없으면(즉 사라짐), 당해 대상을 가져가는 이벤트에 대응하는 이벤트 발생 조건은 "대상의 대상 변화 정보에 기반하여 당해 대상이 비디오에서 사라진 것이 검출된 것으로 확정하는” 것이다.
발생할 수 있는 대상 조작 이벤트가 복수 종류 있을 수 있기 때문에, 예를 들면 "대상을 가져간다”, "대상을 놓는다”, "대상을 세움 상태로부터 펼침 상태로 변화한다” 등이 있을 수 있기 때문에, 이에 따라 각 종류의 대상 조작 이벤트에 대해 모두 대응하는 이벤트 변화 조건을 설정할 수 있다. 단계 100에서 대상의 대상 변화 정보를 검출한 후, 계속하여 당해 대상 변화 정보에 기반하여 대상에 어떤 변화가 발생하였는지를 확인할 수 있으며, 당해 변화가 소정의 이벤트 변화 조건을 충족시킬지를 확인할 수 있다. 대상의 대상 변화 정보가 소정의 이벤트 변화 조건을 충족시킬 경우, 또한 비디오의 적어도 두 개의 이미지 프레임 내에서의 적어도 일부의 이미지 프레임 내에서 대상 조작물이 검출되고, 또한 당해 대상 조작물의 위치와 상기 대상의 위치 사이의 거리가 소정의 거리 한계값 미만이면, 상기 대상 조작물을 통해 상기 대상에 대해 조작을 실행함으로써 상기 이벤트 변화 조건에 대응하는 대상 조작 이벤트가 발생한 것으로 확정할 수 있다.
상기의 대상 조작물은 상기 대상에 대해 조작을 실행하기 위한 물체일 수 있는바, 예를 들면 사람 손, 대상 클램핑 도구 등일 수 있다. 통상의 경우에는 대상 조작 이벤트의 발생은 당해 대상 조작물이 조작을 실행하고, 또한 대상을 조작할 때에 당해 대상 조작물이 상기 대상과 접촉하기 때문이다. 따라서, 이미지 프레임 내에서 검출된 대상 조작물과 상기 대상 사이의 거리가 지나치게 크지 않으며, 일반적으로 상기 대상의 위치 범위 내에서 당해 대상 조작물의 존재를 검출할 수 있다. 여기에서의 대상의 위치 범위 내는 당해 대상의 일정한 점유 영역을 포함하는 범위이며, 바꿔 말하면, 상기 대상으로부터 일정한 거리 한계값의 범위일 수 있다. 예를 들면, 상기 대상을 중심으로 하여 상기 대상으로부터 약 5cm의 범위일 수 있다. 사람 손이 대상을 가져가는 예를 들면, 사람 손이 당해 대상을 가져가는 대상 조작 이벤트가 발생했을 경우, 당해 사람 손은 대상과 접촉한 후 당해 대상을 쥐게 되며, 수집한 비디오의 적어도 일부의 이미지 프레임 내에서 촬영된 대상의 위치 범위 내에 사람 손이 동시에 존재하게 된다. 당연히, 일부의 이미지 프레임 내에서는 사람 손이 대상과 직접 접촉하지 않고 있지만, 대상과의 거리가 매우 접근되어 있는바, 사람 손이 대상의 위치 범위 내에 있다. 이러한 매우 접근한 거리는 사람 손과 대상에 큰 접촉 확률 및 조작 확률이 존재하는 것을 나타낸다. 즉, 대상 조작 이벤트가 발생하면, 적어도 일부의 이미지 프레임 내에서 대상 조작물의 존재가 검출되고, 또한 대상 조작물과 대상 사이의 거리가 거리 한계값 미만인 것이 검출되게 되며, 당해 거리 한계값은 대상 조작물과 대상 사이의 거리가 충분히 가까운 것을 한정한다.
한편, 비디오의 이미지 프레임 중에서 대상에 변화가 발생한 것이 검출된 이미지 프레임과 대상 조작물이 검출된 이미지 프레임 사이는 일반적으로 이미지 프레임의 수집 시간이 상대적으로 가까운 것을 더 설명할 필요가 있다. 예시적으로, 이미지 프레임 F1로부터 F3에 기반하여 "대상이 사라지는” 변화가 발생한 것으로 확정되었다고 가정한다. 예를 들면 이미지 프레임 F1에 상기 대상이 존재하고, 이미지 프레임 F3에 대상이 존재하지 않으며, 또한 이미지 프레임 F2에서 대상 조작물인 "사람 손”의 존재가 검출될 수 있으며, 여기서, 이미지 프레임 F2는 시계열 상에서 이미지 프레임 F1과 F3 사이에 위치한다. 알 수 있듯이, 대상 조작물이 나타난 시간이, 대상에 변화가 발생한 시간과 정확히 매칭된다.
본 실시예의 조작 이벤트 인식 방법에 따르면, 비디오 중의 이미지 프레임 대상에 대해 검출과 추적을 실행함으로써, 비디오 중의 대상의 대상 변화 정보를 얻을 수 있고, 당해 대상 변화 정보에 기반하여 해당하는 대상 조작 이벤트를 자동적으로 인식할 수 있으며, 이벤트의 자동적인 인식을 실현했다.
도 2는 본 발명의 다른 일 실시예의 조작 이벤트 인식 방법을 제공하는바, 도 2에 나타낸 바와 같이, 당해 실시예의 방법은 대상 조작 이벤트의 인식을 상세하게 설명한다. 당해 방법은 이하의 처리를 포함할 수 있다.
단계 200에 있어서, 제1 이미지 프레임 내에서 검출하여 얻은 적어도 하나의 제1 대상 프레임에 기반하여, 상기 제1 이미지 프레임 내에서 적어도 하나의 대상이 검출되었다고 확정한다.
여기서, 비디오는 복수의 이미지 프레임을 포함할 수 있는바, 예를 들면 제1 이미지 프레임 및 제2 이미지 프레임을 포함할 수 있고, 상기 제2 이미지 프레임은 시계열 상에서 제1 이미지 프레임의 뒤에 위치한다.
본 단계에 있어서, 제1 이미지 프레임 내에서 적어도 하나의 대상 프레임을 검출할 수 있다고 가정하며, 기타 이미지 프레임 내의 대상 프레임과 구분하여 설명을 쉽게 하기 위하여, 당해 제1 이미지 프레임 내의 대상 프레임을 제1 대상 프레임이라고 부를 수 있다. 예를 들면, 게임 코인의 예를 들면, 하나의 상기 대상 프레임은 한 더미의 쌓아 올린 게임 코인일 수 있다. 게임 테이블에 세 더미의 게임 코인이 쌓아 올려져 있으면, 3개의 대상 프레임을 검출할 수 있다.
그 중의 각 제 1대상 프레임은 하나의 대상에 대응하는바, 예를 들면 한 더미의 쌓아 올린 게임 코인이 하나의 대상이다. 당해 제1 이미지 프레임이 비디오 중의 첫번째 이미지 프레임이면, 당해 제1 이미지 프레임에서 검출된 상기 적어도 하나의 대상을 보존할 수 있으며, 또한 각 대상의 대상 위치, 대상 인식 결과 및 대상 상태를 취득할 수 있다.
예를 들면, 상기의 대상 위치는 당해 대상의 제1 이미지 프레임 내의 위치 정보일 수 있다.
예를 들면, 대상은 복수의 적층 가능한 대상 컴포넌트를 포함할 수 있고, 각 대상 컴포넌트는 대응하는 컴포넌트 속성을 가진다. 이 경우, 상기의 대상 인식 결과는 대상 컴포넌트의 수량 또는 대상 컴포넌트의 컴포넌트 속성 중의 적어도 하나를 포함할 수 있다. 예시적으로, 하나의 대상이 한 더미의 게임 코인인 예를 들면, 당해 대상은 5개의 게임 코인을 포함하고, 각 게임 코인이 하나의 대상 컴포넌트이다. 그 중의 대상 컴포넌트의 컴포넌트 속성은 예를 들면 컴포넌트의 종류, 컴포넌트의 액면 가격 등일 수 있는바, 예를 들면 상기의 게임 코인의 종류/액면 가격일 수 있다.
예를 들면, 대상은 적어도 두 개의 대상 상태를 가지며, 여기서 각 이미지 프레임 내의 대상은 그 중의 하나의 대상 상태에 있을 수 있다. 예시적으로, 대상이 적층 가능한 대상 컴포넌트를 포함할 경우, 당해 대상 상태는 대상 컴포넌트의 적층 상태 정보일 수 있는바, 예를 들면 대상을 구성한 이러한 대상 컴포넌트는 세움 적층 상태 또는 펼침 상태에 있다.
상기의 각 대상의 대상 위치는 제1 이미지 프레임에 기반하여 처리를 실행하여 얻을 수 있고, 대상 인식 결과 및 대상 상태는 다른 비디오의 정보를 종합하여 얻을 수 있다. 예를 들면, 본 실시예의 비디오는 이벤트 발생 장면의 상부에 설치된 카메라에 의해 수집될 수 있으며, 또한 당해 이벤트 발생 장면의 측면(예를 들면, 왼쪽 또는 오른쪽)에 적어도 두 개의 카메라를 설치하여 기타 비디오를 수집할 수 있다. 당해 기타의 비디오 중의 이미지 프레임에 대해 사전에 훈련한 기계 학습 모델을 통해 장면 내의 대상의 대상 인식 결과 및 대상 상태를 인식하며, 당해 대상 인식 결과 및 대상 상태를 비디오의 이미지 프레임 내에 포함된 대상에 매핑할 수 있다.
단계 202에 있어서, 상기 제2 이미지 프레임 내에서 적어도 하나의 제2 대상 프레임을 검출하여 얻고, 각 상기 제2 대상 프레임에 각각 대응하는 대상 위치, 대상 인식 결과 및 대상 상태를 취득한다.
여기서, 당해 제2 이미지 프레임은 시계열 상에서 제1 이미지 프레임의 뒤에 위치하며, 마찬가지로 당해 제2 이미지 프레임 내에서도 적어도 하나의 대상 프레임을 검출하여 얻을 수 있는바, 당해 대상 프레임을 제2 대상 프레임이라고 부른다. 각 제2 대상 프레임도 하나의 대상에 대응된다. 같은 방식을 통해, 당해 제2 대상 프레임에 대응하는 각 대상의 대상 위치, 대상 인식 결과 및 대상 상태를 취득할 수 있다.
단계 204에 있어서, 대상 위치 및 대상 인식 결과에 기반하여, 상기 적어도 하나의 대상 프레임에 대응하는 각 제 1대상과 이미 검출하여 보존한 제2 대상 사이를 비교하여, 대상 사이의 대응 관계를 구축한다.
본 실시예에 있어서, 제2 이미지 프레임 내에서 검출된 대상과 제1 이미지 프레임 내에서 검출된 대상을 매칭하여, 두 개의 이미지 프레임 내의 각 대상 사이의 대응 관계를 구축할 수 있다. 여기서, 제1 이미지 프레임 내에서 대상을 검출한 후, 먼저 이러한 대상의 대상 위치 및 대상 인식 결과를 보존하며, 제1 이미지 프레임 내의 대상을 제1 대상이라고 부른다. 제2 이미지 프레임 내에서 대상이 검출된 후, 당해 대상을 제2 대상이라고 부른다.
먼저 대상 위치에 기반하여 상기 제1 대상과 제2 대상 사이의 위치 유사도 매트릭스를 구축하고, 상기 대상 인식 결과에 기반하여 상기 제1 대상과 제2 대상 사이의 인식 결과 유사도 매트릭스를 구축한다. 예를 들면, 위치 유사도 매트릭스의 구축 예를 들면, 칼만 필터(Kalman Filter) 알고리즘을 사용하여 당해 위치 유사도 매트릭스를 구축할 수 있다. 각 제1 대상에 대해, 제1 대상의 대상 위치에 기반하여 상기 제2 이미지 프레임에 대응하는 예측 대상 위치(즉 당해 제2 이미지 프레임의 프레임 시점t에 대응하는 예측 대상 위치)를 예측하고, 또한 각 제1 대상의 예측 대상 위치 및 제2 대상의 대상 위치(실제의 대상 위치에 상당함)에 기반하여, 위치 유사도 매트릭스를 계산하여 얻는다. 또한 예를 들면, 각 제1 대상과 제2 대상의 대상 인식 결과 중의 최장 공통부 분열에 기반하여 양자 간의 인식 결과 유사도 매트릭스를 구축할 수 있다.
그 다음, 상기 위치 유사도 매트릭스 및 인식 결과 유사도 매트릭스에 기반하여, 대상 유사도 매트릭스를 얻는다. 예를 들면, 위치 유사도 매트릭스 및 인식 결과 유사도 매트릭스와 같은 두 개의 매트릭스를 각 요소와 곱셈하여 하나가 새로운 매트릭스를 최종의 유사도 매트릭스로 얻으며, 이를 대상 유사도 매트릭스라고 부른다.
마지막으로, 상기 대상 유사도 매트릭스에 기반하여, 각 제1 대상과 제2 대상 사이에 대해 최대 이분 그래프 매칭을 실행하여, 각 제1 대상에 대응하는 제2 대상을 확정할 수 있다.
예를 들면, 특정 제1 대상 D1이 제2 대상 D2에 대응하면, 제1 이미지 프레임 내의 제1 대상 D1이 제2 이미지 프레임 내의 제2 대상 D2인 것을 의미하는바, 이 두 대상은 같은 대상이다.
또한 예를 들면, 제1 이미지 프레임 내의 특정 제1 대상에 대해, 제2 이미지 프레임 내에서 대응하는 제2 대상이 보이지 않으면, 당해 제1 대상이 제2 이미지 프레임에서 사라진 것을 의미한다.
또한 예를 들면, 제2 이미지 프레임 내의 특정 제2 대상에 대해, 제1 이미지 프레임 내에서 대응하는 제1 대상이 보이지 않으면, 당해 제2 대상이 제2 이미지 프레임 내에 새롭게 나타난 대상인 것을 의미한다.
단계 206에 있어서, 제1 이미지 프레임 내의 대상과 제2 이미지 프레임 내의 대상을 비교함으로써 대상의 대상 변화 정보를 확정한다.
상기의 변화 정보는 대상에 어떤 변화가 발생된 것인지 일 수 있다. 예를 들면, 상기에 언급한 이러한 대상의 변화는 대상이 사라졌는지 또는 새로운 대상이 나타난 것일 수 있고, 또한 당해 대상이 두 개의 이미지 프레임 내에 모두 존재하지만, 대상 자신의 정보에 변화가 발생된 것일 수 있는바, 예를 들면 대상 상태가 세움으로부터 펼침으로 변화되거나 또는 대상에 포함된 대상 컴포넌트의 수량이 증가 또는 감소된 것일 수 있다.
한편, 상기의 단계는 모두 제1 이미지 프레임과 제2 이미지 프레임의 예를 들어 설명했지만, 실제로 실시할 때에, 하나의 "대상 라이브러리”를 보존할 수 있는바, 예를 들면 제1 이미지 프레임 내에서 대상을 검출한 후, 대상을 당해 대상 라이브러리에 기록하는바, 예를 들면, 당해 제1 이미지 프레임 내의 각 대상의 대상 위치, 대상 인식 결과 및 대상 상태를 기록한다. 후속의 이미지 프레임에서 검출된 대상에 대해, 당해 대상 라이브러리 내의 각 대상과 추적 처리를 실행하여, 대상 라이브러리에서 대응하는 대상을 검색할 수 있다.
예시적으로, 하나의 대상 라이브러리가 있으며, 제1 이미지 프레임 내에서 검출된 3개의 대상이 당해 대상 라이브러리에 보존되어 있다. 인접한 제2 이미지 프레임 내에서 4개의 대상이 검출되었고, 두 개의 이미지 프레임 사이의 대상을 비교하여, 그 중에 3개의 대상이 대상 라이브러리에서 대응하는 대상을 검색되면, 나머지 하나의 대상은 새롭게 증가된 것이며, 이 경우, 당해 새롭게 증가된 대상의 위치, 대상 인식 결과 및 대상 상태를 대상 라이브러리에 추가할 수 있고, 이 때에 대상 라이브러리에 4개의 대상이 존재한다. 계속하여, 제2 이미지 프레임에 인접한 제3 이미지 프레임 내에서 두 개의 대상이 검출되었고, 마찬가지로 당해 두 개의 대상을 대상 라이브러리 중의 각 대상과 비교하며, 대상 라이브러리에서 대응하는 두 개의 대상이 검색되고, 대상 라이브러리 중의 두 개의 다른 대상이 당해 제3 이미지 프레임 내에서 검출되지 않는바, 즉 제3 이미지 프레임 내에서 사라졌으므로, 당해 사라진 두 개의 대상을 대상 라이브러리로부터 삭제할 수 있다. 상술한 바와 같이, 각 이미지 프레임 내에서 검출된 대상을 모두 대상 라이브러리 내의 이미 검출하여 보존한 각 대상과 비교하고, 또한 현재의 이미지 프레임 내의 대상에 기반하여 대상 라이브러리 중의 대상을 갱신한다. 당해 갱신은 새로운 대상의 증가 또는 사라진 대상의 삭제, 또는 기존의 대상의 대상 인식 결과 및/또는 대상 상태의 갱신을 포함한다.
한편으로는, 확정하는 대상의 대상 변화 정보는 일반적으로 특정 시간대 내의 변화인바, 예를 들면 시점t1로부터 시점t2의 시간 간격 내의 변화이며, 또한 시점t1에서 하나의 이미지 프레임을 대응적으로 수집하고, 시점t2에서 또 하나의 이미지 프레임을 대응적으로 수집하며, 본 실시예는 당해 시간 간격 내의 이미지 프레임의 수량에 대해 한정하지 않는다. 따라서, 특정 시간대 내의 대상의 대상 변화 정보를 확정할 수 있는바, 예를 들면 어느 대상이 증가되었는지, 어느 대상이 감소되었는지, 또는 특정 대상의 대상 상태에 어떤 변화가 발생하였는지를 확정할 수 있다.
다른 한편으로는, 확정하는 대상의 대상 변화 정보는 일반적으로 대상 비교를 실행한 후 얻어진 것이다. 예를 들면, 특정 이미지 프레임 내의 대상을 검출한 후, 먼저 대상 라이브러리 중의 각 대상과 비교하여, 대응하는 대상을 발견한 후, 대상 라이브러리 중의 어느 대상이 증가 또는 감소되었는지를 확정한다. 또는 대응하는 대상을 발견한 후, 당해 대상 자신의 대상 상태 또는 대상 인식 결과에 변화가 발생하였는지 여부를 비교한다.
또 다른 한편으로는, 대상에 변화가 발생한 것이 검출되었을 경우, 대상의 증가/감소/상태 변화 등에 관계 없이, 오검출이 발생될 가능성이 있기에, 판단의 정확성을 향상시키기 위하여, 연속하여 검출되는 소정의 수의 이미지 프레임에 당해 변화가 모두 항상 존재할 경우, 당해 대상의 대상 변화 정보의 발생을 확인하도록 설정할 수 있다.
대상 변화 정보가 대상이 나타나거나 사라지는 것인 예를 든다.
상기 적어도 두 개의 이미지 프레임 중의 일부 이미지 프레임 내에서 특정 대상이 검출되지 않고, 또한 상기 일부의 이미지 프레임의 뒤의 연속된 소정의 수량의 이미지 프레임 내의 제1 목표 영역 내에서 상기 대상이 검출되면, 당해 대상이 제1 목표 영역에 나타난 새로운 대상인 것으로 확인한다.
상기 적어도 두 개의 이미지 프레임 중의 일부 이미지 프레임 내의 제2 목표 영역에서 특정 대상이 검출되고, 또한 상기 일부의 이미지 프레임의 후의 연속된 소정의 수의 이미지 프레임 내의 상기 제2 목표 영역 내에서 대상이 모두 검출되지 않으면, 당해 대상이 이벤트 발생 장면 내의 제2 목표 영역에서 사라진 것으로 확인한다.
기타 예에 있어서, 대상의 대상 변화 정보는 대상의 대상 인식 결과에 변화가 발생한 것을 포함하며, 예를 들면 대상 내에 포함된 대상 컴포넌트의 수량에 증가 또는 감소가 발생한 것을 포함한다. 또한 예를 들면, 대상의 대상 상태에 변화가 발생한 경우, 하나의 대상이 적어도 두 개의 대상 상태를 포함할 수 있으며, 각 이미지 프레임 내의 대상은 그 중에 하나의 대상 상태에 있다. 예시적으로, 대상 상태는 펼침/세움을 포함할 수 있으며, 수집한 특정 이미지 프레임 내의 대상은 세움 상태 또는 펼침 상태에 있다.
단계 208에 있어서, 상기 대상의 대상 변화 정보가 소정의 이벤트 변화 조건을 충족시킬 경우, 또한 상기 적어도 두 개의 이미지 프레임 중의 적어도 일부의 이미지 프레임 내에서 대상 조작물이 검출되고, 또한 상기 대상 조작물의 위치와 상기 대상의 위치 사이의 거리가 소정의 거리 한계값 미만이면, 상기 대상 조작물을 통해 상기 대상에 대해 조작을 실행함으로써 상기 이벤트 변화 조건에 대응하는 대상 조작 이벤트가 발생했다고 하여 확정한다.
예를 들면, 대상의 대상 변화 정보는 시점t1로부터 시점t2과 같은 시간 간격 내의 변화일 수 있으며, 또한 당해 시간 간격 내에서 상기 대상의 위치 범위 내에서 대상 조작물의 존재(예를 들면 사람 손)가 검색되면, 즉 대상 조작물과 대상 사이의 거리가 소정의 거리 한계값 미만이면, 상기 대상 조작물을 통해 상기 대상에 대해 조작을 실행함으로써 이벤트 발생 조건에 대응하는 대상 조작 이벤트가 발생한 것으로 확인할 수 있다.
예시적으로, 비디오의 적어도 두 개의 이미지 프레임 내에서 하나의 대상이 새로 나타난 것이 검출되면, 당해 대상을 제1 대상이라고 부르고, 또한 당해 제1 대상의 상기 이미지 프레임 내의 대상 위치가 당해 이미지 프레임 내의 제1 목표 영역인 것으로 확정되면, 발생한 대상 조작 이벤트가 상기 제1 대상의 상기 제1 목표 영역으로의 진입인 것으로 확정할 수 있다. 또한 예를 들면, 상기의 제1 목표 영역에서 제1 대상이 새로 나타난 것이 검출되고, 또한 당해 시간 내에 사람 손이 나타난 것이 검출되며, 또한 사람 손과 제1 대상의 거리가 소정의 거리 한계값 미만이면, 상기 제1 대상을 상기 제1 목표 영역으로 진입시키는 이벤트가 발생되었다고 확정할 수 있다.
또한 예를 들면, 대상의 대상 변화 정보가, 상기 적어도 두 개의 이미지 프레임 내에서 검출된 하나의 대상이 상기 제2 목표 영역에서 사라지는 것이면, 당해 대상을 제2 대상이라고 부를 수 있는바, 즉 제2 대상이 사라지기 전에 상기 적어도 두 개의 이미지 프레임의 제2 목표 영역에 존재하면, 발생한 대상 조작 이벤트가 상기 제2 대상의 상기 제2 목표 영역에서의 이탈인 것으로 확정할 수 있다. 또한 예를 들면, 상기의 제2 대상의 제2 목표 영역에서의 이탈이 검출된 후, 또한 당해 시간내에 사람 손이 나타난 것이 검출되고, 또한 사람 손과 제2 대상의 거리가 소정의 거리 한계값 미만이면, 상기 제2 대상을 상기 제2 목표 영역으로부터 이탈하는 이벤트가 발생한 것으로 확정할 수 있다.
이미지 내에서 제1 대상의 제1 목표 영역으로의 진입 또는 제2 대상의 제2 목표 영역에서의 이탈이 검출되면, 이벤트가 발생한 위치를 자동적으로 검출할 수 있다. 게임 등의 장면에서, 대상 조작물(예를 들면 사람 손 등)의 장면 내에서의 자유로운 조작을 가능케 하고, 유연한 이벤트 인식을 실현할 수 있다.
또한 예를 들면, 다시 비디오의 적어도 두 개의 이미지 프레임 내에서 제3 대상이 검출된 예를 제시하면, 당해 제3 대상의 대상 인식 결과에 변화가 발생된 것이 검출되면, 상기 대상 인식 결과의 변화에 대응하는 대상 조작 이벤트가 발생한 것으로 확정할 수 있다.
예시적으로, 제3 대상의 대상 인식 결과에 발생한 변화는, 제3 대상 내에 포함된 대상 컴포넌트의 수량에 변화가 발생하였고, 또한 변화 전후의 상기 제3 대상에 컴포넌트 속성이 동일한 대상 컴포넌트가 존재하는 것을 포함할 수 있다. 제3 대상에 포함된 대상 컴포넌트의 수량에 변화가 발생하였고, 또한 변화 전후의 제3 대상에 컴포넌트 속성이 동일한 대상 컴포넌트가 존재하면, 대상 인식 결과의 변화에 대응하는 대상 조작 이벤트가 상기 대상의 대상 컴포넌트의 증가 또는 상기 대상의 대상 컴포넌트의 감소인 것으로 확정할 수 있다.
예를 들면, 여전히 게임 코인의 예를 들면, 한 더미의 게임 코인이 두 개의 액면 가격이 50인 게임 코인을 포함하고, 이 뒤에 위치하는 이미지 프레임에서 검출된 당해 한 더미의 게임 코인이 4개의 액면 가격이 50인 게임 코인을 포함하면, 한편으로는, 당해 4개의 액면 가격이 50인 게임 코인이 전술한 "두 개의 액면 가격이 50인 게임 코인”과 같은 대상 컴포넌트를 포함하는바, 즉 모두 두 개의 액면 가격이 50인 게임 코인을 가진다. 다른 한편으로는, 게임 코인의 수량에 변화가 발생하였는바, 즉 코인의 수량이 증가되었기 때문에, 당해 한 더미의 게임 코인에 코인의 수량이 증가된 이벤트가 발생되었다고 확인할 수 있다. 그리고, 이 뒤의 이미지 프레임에서 당해 한 더미의 게임 코인이 3개의 액면 가격이 100인 게임 코인이 검출되면, 즉 당해 대상의 "3개의 액면 가격이 100인 게임 코인”과 전술한 대상의 "두 개의 액면 가격이 50인 게임 코인” 사이에, 어떠한 같은 종류 및 액면 가격의 게임 코인되 없는바, 즉 컴포넌트 속성이 동일한 대상 컴포넌트가 존재하지 않기 때문에, 게임 코인의 수량의 증가와 관계 없이, 게임 코인이 증가된 이벤트가 발생했다고 확정하지 않는다. 이러한 게임 코인의 수량/속성을 종합하는 인식 방식은 이벤트 인식이 더 정확해지도록 한다.
또한 예를 들면, 검출된 대상의 대상 변화 정보가 당해 대상의 대상 상태 변화 정보를 포함하면, 발생한 대상 조작 이벤트를 상기 대상 상태 변화를 제어하는 조작 이벤트로 확정한다. 예를 들면, 대상이 적층 가능한 대상 컴포넌트를 포함할 경우, 대상 상태 변화 정보는 대상 컴포넌트의 적층 상태 정보를 포함할 수 있는바, 예를 들면 한 더미의 게임 코인이 원래의 세움 상태로부터 펼침 상태에 변화되면, 당해 한 더미의 게임 코인에 펼침 조작 이벤트가 발생한 것으로 확정할 수 있다.
본 실시예의 조작 이벤트 인식 방법에 따르면, 비디오 중의 이미지 프레임 대상에 대해 검출과 추적을 실행함으로써, 비디오 중의 대상의 대상 변화 정보를 얻을 수 있고, 당해 대상 변화 정보에 기반하여 해당하는 대상 조작 이벤트를 자동적으로 인식할 수 있으며, 이벤트의 자동적인 인식을 실현했다. 또한, 대상 인식 결과와 대상 위치를 조합시켜 추적함으로써, 당해 대상을 따라 정확하게 추적할 수 있다.
인공 지능 기술의 계속적인 발전에 따라, 많은 장소에서 지능화 구축을 시도하고 있다. 예를 들면, 그 중의 하나의 과제는 스마트 게임장의 구축이다. 이 경우, 스마트 게임장의 구축 중의 하나의 요건은, 게임장에서 발생하는 조작 이벤트를 자동적으로 인식하는 것인바, 예를 들면 플레이어가 게임 코인에 대해 어떤 조작을 실행했는지를 자동적으로 인식하는 것일 수 있다. 예를 들면, 게임 코인을 추가했는지, 게임 코인을 펼쳤는지 등일 수 있다. 본 발명의 실시예에 의해 제공되는 조작 이벤트 인식 방법은 스마트 게임장 내의 조작 이벤트를 인식할 수 있다.
예시적인 테이블 게임의 장면에 있어서, 복수의 사람이 하나의 게임 테이블 주위에 앉을 수 있으며, 당해 게임 테이블은 복수의 게임 영역을 포함할 수 있다. 서로 다른 게임 영역은 서로 다른 게임 정의를 포함할 수 있으며, 이러한 게임 영역은 이하의 설명어세 서로 다른 적층 영역일 수 있다. 또한, 멀티 플레이어 게임에서는 사용자가 게임 코인을 사용하여 게임을 플레이할 수 있다.
예를 들면, 사용자는 자신에게 속하는 어떤 물품을 당해 게임 코인과 교환하고, 게임 코인을 게임 테이블 상의 서로 다른 적층 영역에 놓아 두고 게임을 플레이할 수 있다. 예를 들어 말하면, 제1 사용자는 자신이 가지고 있는 복수의 수채화 펜을 게임에서 사용하는 게임 코인과 교환하여, 게임 코인을 이용하여 게임 테이블 상의 서로 다른 적층 영역 사이에서 게임 룰을 따라 게임을 플레이할 수 있으며, 제2 사용자가 게임에서 제1 사용자를 이겼을 경우, 당해 제1 사용자의 수채화 펜이 제2 사용자에게 속하게 된다. 예를 들면, 상기의 당해 게임은 휴일 등의 여가 시간에 여러 가족 구성원이 레크리에이션을 하기에 적합하다.
계속하여, 도 3에 나타낸 게임 테이블 예를 들면, 도 3에 나타낸 바와 같이, 게임의 장면에서는 게임 테이블(20)을 이용하여 게임을 플레이할 수 있다. 양측의 카메라(211, 212)를 이용하여 게임 테이블의 각 적층 영역에 놓아 둔 게임 코인 이미지를 수집한다. 게임에 참가한 사용자(221), 사용자(222) 및 사용자(223)는 게임 테이블(20)의 일 측에 위치하고, 당해 사용자(221), 사용자(222) 및 사용자(223)를 제1 사용자로 부를 수 있다. 게임에 참가한 또 하나의 사용자(23)는 게임 테이블(20)의 다른 일 측에 위치하며, 당해 사용자(23)를 제2 사용자로 부를 수 있다. 제2 사용자는 게임의 진행을 제어하는 담당을 하는 사용자일 수 있다.
게임의 시작 단계에서, 각 제1 사용자는 자신의 교환물(예를 들면, 수채화 펜 또는 기타 사용자가 흥미를 가질 수 있는 기타 물품)을 사용하여, 제2 사용자와 게임 코인을 교환할 수 있으며, 제2 사용자는 게임 코인의 수납 영역(27) 중의 게임 코인을 제1 사용자에게 건넨다. 그 다음, 제1 사용자는 게임 코인을 게임 테이블 상의 소정의 조작 영역에 놓을 수 있는바, 예를 들면 제1 사용자(222)는 소정의 조작 영역(241)에 놓고, 제1 사용자(223)는 소정의 조작 영역(242)에 놓는다. 게임의 실행 단계에서, 카드 딜러(25)가 게임 실행 영역(26)에 카드를 나누어, 게임을 진행시킨다. 게임이 완료한 후, 제2 사용자는 게임 실행 영역(26)의 카드 상황에 따라, 게임 결과를 확정하며, 또한 게임에서 이긴 제1 사용자에게 게임 코인을 증가시킨다. 상기의 수납 영역(27), 소정의 조작 영역(241), 소정의 조작 영역(242) 등을 모두 적층 영역이라고 부를 수 있다.
한편, 도 3로부터 또한 알 수 있듯이, 게임 테이블은 복수의 소정의 조작 영역을 포함하며, 사용자(게임 플레이어)는 이러한 소정의 조작 영역 내에 게임 코인을 놓거나 회수한다. 예를 들면, 소정의 조작 영역(241) 및 소정의 조작 영역(242)의 경우, 당해 소정의 조작 영역의 게임 코인은 복수의 게임 코인을 게임 테이블에 수직으로 위부터 아래로 향하여 적층할 수 있다.
본 실시예에 있어서, 게임 테이블 상부에 배치한 조감도 카메라에 의해 촬영된 비디오를 이용하여 게임 테이블 에서 실행되어 있는 동작 즉 조작 이벤트를 판단할 수 있다. 여기서, 당해 게임 테이블을 이벤트 발생 장면이라고 부를 수 있으며, 당해 장면 내의 대상은 게임 코인일 수 있는바, 예를 들면 소정의 조작 영역에 쌓아 올린 한 더미의 게임 코인을 하나의 대상이라고 부를 수 있다. 당해 장면에서의 대상 조작물은 게임 참가자의 사람 손일 수 있고, 당해 장면에서 발생할 가능성이 있는 대상 조작 이벤트는 게임 코인을 가져가거나, 게임 코인을 추가하거나, 게임 코인을 펼치는 등일 수 있다.
한편, 조감도 카메라로 촬영한 비디오를 이용하여 장면 내의 이벤트를 자동적으로 인식할 경우, 게임 테이블 양측에 설치된 카메라(211, 212)로 수집한 대상의 측면 이미지를 이용하여 보조할 수 있다. 예를 들면, 측면 카메라에 의해 촬영된 대상 측면 이미지에 대해, 사전에 훈련한 기계 학습 모델을 이용하여 대상 상태 또는 대상 인식 결과를 인식하여 얻고, 인식한 이러한 대상 정보를 조감도 카메라가 촬영한 대상에 할당한다. 예를 들면, 조감도 카메라가 촬영한 이미지 프레임에 기반하여, 대상 위치, 대상 수량 등의 정보를 얻으며, 또한 측면 카메라에 의해 얻어진 대상 상태/대상 인식 결과를 결합시켜 함께 대상 라이브러리에 보존한다. 비디오 중의 각 이미지 프레임에 대한 계속적인 추적과 검출에 따라, 최신 검출된 대상 변화 정보에 기반하여 대상 라이브러리 중의 대상 정보를 지속적으로 갱신할 수 있음을 더욱 설명할 필요가 있다. 예를 들면, 대상 라이브러리에 있는 대상이 5개의 대상 컴포넌트를 포함하고, 현재 이미지 프레임에서 당해 대상이 7개의 대상 컴포넌트를 포함한 것이 검출되면, 이에 기반하여 대상 라이브러리에 보존한 당해 대상에 포함된 대상 컴포넌트의 수량을 7개로 갱신한다. 후속의 이미지 프레임 검출 결과를 당해 대상 라이브러리와 비교할 때, 최신 대상 컴포넌트의 수량과 비교한다.
다음과 같이, 게임 코인의 예를 들어 도 4를 참조하여 게임 코인에 대한 조작 이벤트를 어떻게 인식하는지를 설명한다.
대상 추적:
예를 들면, 게임 테이블 상부의 조감도 카메라에 의해 촬영된 비디오 중의 각각의 이미지 프레임에 대해 모두 이하의 처리를 실행한다.
단계 400에 있어서, 현재 이미지 프레임에 대해 대상 검출을 실행하여, 적어도 하나의 이미지 프레임을 검출하되, 각각의 대상 프레임은 하나의 대상에 대응하고, 각각의 대상은 적어도 하나의 게임 코인을 포함할 수 있다. 예를 들면, 특정 이미지 프레임 내에서 3개의 대상을 검출할 수 있고, 이 3개의 대상은 세 더미의 게임 코인일 수 있다.
단계 402에 있어서, 그 중의 각각의 대상의 대상 위치 및 대상 인식 결과를 얻는다.
예를 들면, 대상 위치는 당해 대상의 이미지 프레임 내의 위치일 수 있고, 대상 인식 결과는 대상에 포함된 게임 코인의 수량일 수 있다.
단계 404에 있어서, 현재의 이미지 프레임 내의 각 대상과 대상 라이브러리 중의 각 대상 사이에 대해, 상기 대상 위치 및 대상 인식 결과에 기반하여 유사도 매트릭스를 구축한다.
예를 들면, 상기 대상 위치에 기반하여, 현재 이미지 프레임 내에서 검출한 각 대상과 대상 라이브러리 중의 각 대상 사이의 위치 유사도 매트릭스를 구축할 수 있다. 대상 인식 결과에 기반하여, 현재 이미지 프레임 내에서 검출한 각 대상과 대상 라이브러리 중의 각 대상 사이의 인식 결과 유사도 매트릭스를 구축할 수 있다. 예를 들면, 대상 라이브러리에 m개의 대상이 존재하고, 현재 이미지 프레임에 n개의 대상이 존재한다고 가정하면, 하나의 m*n의 유사도 매트릭스(위치 유사도 매트릭스 또는 인식 결과 유사도 매트릭스)를 구축할 수 있으며, 여기서 m 및 n은 양의 정수다.
단계 406에 있어서, 상기 위치 유사도 매트릭스 및 인식 결과 유사도 매트릭스에 기반하여 대상 유사도 매트릭스를 얻는다.
단계 408에 있어서, 상기 대상 유사도 매트릭스에 기반하여, 현재 이미지 프레임 내에서 검출한 각 대상과 대상 라이브러리 중의 각 대상 사이에 대해 최대 이분 그래프 매칭을 실행하여, 현재의 이미지 프레임 내의 각 대상에 대응하는 대상 라이브러리 중의 대상을 확정한다.
단계 410에 있어서, 대상의 추적 결과에 기반하여 대상의 대상 변화 정보를 확정한다.
예를 들면, 어느 한 더미의 게임 코인이 제1 이미지 프레임의 특정 목표 영역에서 검출되고, 그 후의 제2 이미지 프레임에서 검출되지 않았다고 가정하면, 즉 대상 라이브러리 중의 당해 한 더미의 게임 코인이 제2 이미지 프레임 내에서 대응하는 대상이 없으면, 대상 변화 정보가 당해 한 더미의 게임 코인이 목표 영역에서 사라진 것인 것으로 확정할 수 있다.
또한 예를 들면, 어느 한 더미의 게임 코인이 항상 존재하고 있으며, 대상 라이브러리 중의 당해 대상에 포함된 게임 코인 수량이 5개이지만, 현재 이미지 프레임에서 검출된 게임 코인수량이 7개이면, 대상 변화 정보가 게임 코인의 수량 증가인 것으로 확정할 수 있다.
이벤트 인식:
대상 변화가 발생한 것으로 확정한 후, 예를 들면 어느 한 더미의 게임 코인 중의 게임 코인의 수량이 증가되었거나 또는 어느 한 더미의 게임 코인이 사라졌을 경우, 계속하여 게임 코인의 조작 이벤트에 대한 인식을 실행할 수 있다.
예를 들면, 검출된 대상 변화 정보가, 시간대 T 내에서 게임 테이블의 제1 목표 영역의 한 더미의 게임 코인이 사라진 것이고, 또한 당해 시간대 내에서 이미지 프레임 내에서 당해 한 더미의 게임 코인과의 거리 한계값 범위 내의 영역에서 사람 손이 나타난 것이 동시에 검출되면, "당해 한 더미의 게임 코인의 제1 목표 영역에서의 이탈”의 대상 조작 이벤트가 발생했다고 확인할 수 있다.
또한 예를 들면, 검출된 대상 변화 정보가, 시간대 T 내에서 게임 테이블의 제2 목표 영역에서 새로 나타난 한 더미의 게임 코인을 검출된 것이고, 또한 당해 시간대 내에서 이미지 프레임 내의 당해 한 더미의 게임 코인의 거리 한계값 범위 내의 영역에서 사람 손이 나타난 것이 동시에 검출되면, "당해 한 더미의 게임 코인의 상기 제2 목표 영역으로의 진입”의 대상 조작 이벤트가 발생했다고 확인할 수 있다.
또한 예를 들면, 검출된 대상 변화 정보가, 게임 테이블의 어느 영역의 한 더미의 게임 코인이 원래를 기준으로 하나 또는 복수의 게임 코인이 증가/감소된 것이 검출된 것이고, 또한 변화 전후의 당해 한 더미의 게임 코인에 속성이 동일한 게임 코인이 존재하고, 당해 시간대 내에서 이미지 프레임 내에서 당해 게임 코인의 거리 한계값 범위 내의 영역에서 사람 손이 나타난 것이 동시에 검출되면, "당해 한 더미의 게임 코인에의 게임 코인의 증가/감소”의 조작 이벤트가 발생했다고 확인할 수 있다.
또한 예를 들면, 검출된 대상 변화 정보가, 게임 테이블의 어느 영역의 한 더미의 게임 코인의 상태가 세움으로부터 펼침으로 변화되어진 것 또는 펼침으로부터 세움으로 변화된 것이 검출된 것이고, 또한 당해 시간대 내에서 이미지 프레임 내의 당해 게임 코인의 거리 한계값 범위 내의 영역에서 사람 손이 나타난 것이 동시에 검출되면, "당해 한 더미의 게임 코인이 펼침/당해 한 더미의 게임 코인의 세움”의 조작 이벤트가 발생했다고 확인할 수 있다.
본 발명의 실시예는 조작 이벤트 인식 방법을 제공함으로써, 이벤트 발생 장면의 조작 이벤트의 자동적인 인식을 실현할 수 있고, 또한 다른 대상 변화 정보에 대해 대응하는 조작 이벤트를 인식할 수 있으며, 미세한 조작 이벤트 인식을 실현했다.
조작 이벤트의 인식 결과에 기반하여 기타 조작을 더 실행할 수 있다. 여전히 게임 장면의 예를 들면, 도 3 중의 제2 사용자(23)가 게임에서 이긴 제1 사용자에게 게임 코인을 증가시킬 때에, 일반적으로 제1 사용자에게 할당하려고 하는 게임 코인을 수납 영역(27)에 펼쳐서, 할당 대기의 게임 코인의 수량이 정확하는지 여부를 확인한다. 스마트 게임 장면에서의 요건은 이러한 이긴 제1 사용자에게 할당하려고 하는 게임 코인이 정확하는지 여부를 자동적으로 인식하는 것이며, 그 전제는 먼저 게임 테이블의 어느 한 더미의 게임 코인이 할당 대기의 게임 코인인지를 확정하는 것이다. 본 발명의 실시예의 방법을 통해, 어느 한 더미의 게임 코인에 "당해 한 더미의 게임 코인을 펼침”의 이벤트가 발생하였는지를 검출할 수 있으며, 어느 한 더미의 게임 코인을 펼치는 것이 검출되면, 이 한 더미의 게임 코인이 이긴 제1 사용자에게 할당하려고 하는 게임 코인인 것으로 확인할 수 있으며, 계속하여 게임 코인의 금액이 정확한지 여부를 판단할 수 있다. 또한 예를 들면, 본 발명의 실시예의 방법을 이용하여 새로 나타난 어느 한 더미의 게임 코인이 검출되었을 때에, 플레이어가 새로운 게임 코인을 투입했는지를 확인할 수 있으며, 계속하여 플레이어가 투입한 게임 코인의 일시금을 판단할 수 있다.
또한 예를 들면, 본 실시예의 방법을 통해, 또한 게임 테이블 특정의 영역에 새로 나타난 한 더미의 게임 코인을 자동적으로 인식할 수 있는바, 즉 당해 영역에 새로 투입한 게임 코인이 있을 때에, 이미지 프레임 내의 사람 손이 어느 플레이어의 손인지를 인식하고, 이 한 더미의 게임 코인이 어느 플레이어가 투입했는지를 확인할 수 있다. 여기서, 사람 손을 인식할 때에, 게임 테이블의 측면의 카메라에 의해 촬영된 이미지를 조합시켜 공동으로 인식할 수 있다. 예를 들면, 게임 테이블 측면의 카메라에 의해 촬영된 이미지에 대해, 심층 학습 모델을 사용하여 사람 손과 사람 얼굴의 관련 관계를 검출하고, 또한 멀티 카메라 융합 알고리즘을 통해 조감도 카메라에 의해 수집된 이미지 프레임 내에 매핑함으로써, 어느 사용자가 게임 코인을 투입했는지를 알 수 있다.
또한 예를 들면, 본 실시예의 방법을 통해, 플레이어의 게임 테이블 특정 마커를 조작한 이벤트가 자동적으로 검출되었을 때에, 게임 단계의 변경을 확인할 수 있다.
도 5는 본 발명의 실시예의 조작 이벤트 인식 장치의 구성을 나타내는 모식도이며, 당해 장치는 본 발명이 임의의 실시예의 조작 이벤트 인식 방법에 적용될 수 있다. 도 5에 나타낸 바와 같이, 당해 장치는 검출 처리 모듈(51) 및 이벤트 확정 모듈(52)을 구비할 수 있다.
검출 처리 모듈(51)은 비디오의 적어도 두 개의 이미지 프레임에 대해 대상 검출과 추적을 실행하여, 적어도 두 개의 이미지 프레임 내에 포함된 대상의 대상 변화 정보를 얻되, 여기서 상기 대상은 조작 가능 대상이다.
이벤트 확정 모듈(52)은 대상의 대상 변화 정보에 기반하여 발생한 대상 조작 이벤트를 확정한다.
일 예에 있어서, 이벤트 확정 모듈(52)은 상기 대상의 대상 변화 정보에 기반하여 발생한 대상 조작 이벤트를 확정할 때에, 상기 대상의 대상 변화 정보가 소정의 이벤트 발생 조건을 충족시킬 경우, 또한 상기 적어도 두 개의 이미지 프레임 중의 적어도 일부의 이미지 프레임 내에서 대상 조작물이 검출되고, 또한 상기 대상 조작물의 위치와 상기 대상의 위치 사이의 거리가 소정의 거리 한계값 미만이면, 상기 대상 조작물을 통해 상기 대상에 대해 조작을 실행함으로써 상기 이벤트 발생 조건에 대응하는 대상 조작 이벤트가 발생한 것으로 확정한다.
일 예에 있어서, 검출 처리 모듈(51)은 비디오의 적어도 두 개의 이미지 프레임에 대해 대상 검출과 추적을 실행하여, 상기 적어도 두 개의 이미지 프레임 내에 포함된 대상의 대상 변화 정보를 얻을 때에, 상기 적어도 두 개의 이미지 프레임 내에 새롭게 나타난 제1 대상을 검출하고, 상기 제1 대상의 상기 적어도 두 개의 이미지 프레임 내에서 나타난 대상 위치를 제1 목표 영역으로 확정하고,
상기 이벤트 확정 모듈(52)은 구체적으로, 발생한 대상 조작 이벤트가 상기 제1 대상의 상기 제1 목표 영역으로의 진입인 것으로 확정한다.
일 예에 있어서, 검출 처리 모듈(51)은 비디오의 적어도 두 개의 이미지 프레임에 대해 대상 검출과 추적을 실행하여, 상기 적어도 두 개의 이미지 프레임 내에 포함된 대상의 대상 변화 정보를 얻을 때에, 상기 적어도 두 개의 이미지 프레임 내에서 사라진 제2 대상을 검출하고, 상기 제2 대상의 상기 적어도 두 개의 이미지 프레임 내에서 사라지기 전의 대상 위치를 제2 목표 영역으로 확정하고,
상기 이벤트 확정 모듈(52)은 구체적으로, 발생한 대상 조작 이벤트가 상기 제2 대상의 상기 제2 목표 영역에서의 이탈인 것으로 확정한다.
일 예에 있어서, 검출 처리 모듈(51)은 비디오의 적어도 두 개의 이미지 프레임에 대해 대상 검출과 추적을 실행하여, 상기 적어도 두 개의 이미지 프레임 내에 포함된 대상의 대상 변화 정보를 얻을 때에, 상기 적어도 두 개의 이미지 프레임 내의 제3 대상의 대상 인식 결과에 발생한 변화를 검출하고,
상기 이벤트 확정 모듈(52)은 구체적으로, 상기 대상 인식 결과의 변화에 대응하는 대상 조작 이벤트가 발생한 것으로 확정한다.
일 예에 있어서, 검출 처리 모듈(51)은 상기 적어도 두 개의 이미지 프레임 내의 제3 대상의 대상 인식 결과에 발생한 변화를 검출할 때에, 상기 제3 대상 내에 포함된 대상 컴포넌트의 수량에 발생한 변화를 검출하고, 또한 변화 전후의 상기 제3 대상에 컴포넌트 속성이 동일한 대상 컴포넌트가 존재하는지 여부를 검출하되, 여기서, 상기 제3 대상은 복수의 적층 가능한 대상 컴포넌트를 포함하고, 각 대상 컴포넌트는 대응하는 컴포넌트 속성을 가지며, 상기 대상 인식 결과는 대상 컴포넌트의 수량 및 대상 컴포넌트의 컴포넌트 속성 중의 적어도 하나를 포함한다.
상기 이벤트 확정 모듈(52)은 상기 대상 인식 결과의 변화에 대응하는 대상 조작 이벤트가 발생한 것으로 확정할 때에, 상기 제3 대상 내에 포함된 대상 컴포넌트의 수량에 변화가 발생하였고, 또한 변화 전후의 상기 제3 대상에 컴포넌트 속성이 동일한 대상 컴포넌트가 존재하는 것이 검출되었을 경우, 발생한 대상 조작 이벤트를 상기 제3 대상의 대상 컴포넌트의 수량이 증가 또는 감소된 것으로 확정한다.
일 예에 있어서, 이벤트 확정 모듈(52)은 상기 대상 변화 정보에 기반하여 대응하는 대상 조작 이벤트가 발생한 것으로 확정할 때에, 대상 상태 변화 정보에 기반하여 발생한 대상 조작 이벤트가 대상 상태 변화를 제어하는 조작 이벤트인 것으로 확정하되, 여기서, 상기 대상은 적어도 두 개의 대상 상태를 가지고, 각 이미지 프레임 내의 대상은 그 중에 하나의 대상 상태에 있으며, 상기 대상 변화 정보는 상기 대상의 대상 상태 변화 정보를 포함한다.
일 예에 있어서, 검출 처리 모듈(51)은 구체적으로, 비디오의 적어도 두 개의 이미지 프레임 내에서 각각 대상의 대상 위치를 검출하고, 상기 적어도 두 개의 이미지 프레임 내에서 검출된 대상을 각각 인식하여 대상 인식 결과를 얻으며, 서로 다른 이미지 프레임 내에서 검출된 대상의 각각의 대상 위치 및 대상 인식 결과에 기반하여, 서로 다른 이미지 프레임 내에서 검출된 대상을 매칭하여, 상기 적어도 두 개의 이미지 프레임 내에 포함된 대상의 대상 변화 정보를 얻는다.
몇몇의 실시예에 있어서, 상기 장치는 상기에 기재된 대응되는 임의의 방법을 실행할 수 있으며, 간소화를 위하여, 여기에서는 반복적으로 설명하지 않는다.
본 발명의 실시예는 전자 디바이스를 더 제공하는바, 당해 전자 디바이스는 상기 디바이스 포괄 메모리와 프로세서를 구비하고, 상기 메모리는 컴퓨터 판독 가능 명령을 저장하며, 상기 프로세서는 상기 컴퓨터 명령을 호출하여 본 명세서의 임의의 실시예의 방법을 구현한다.
본 발명의 실시예는 컴퓨터 프로그램이 기억되어 있는 컴퓨터 판독 가능 기록 매체를 더 제공하는바, 상기 프로그램이 프로세서에 의해 실행되면, 본 명세서의 임의의 실시예의 방법이 실현된다.
본 발명의 실시예는 컴퓨터 프로그램이 기억되어 있는 컴퓨터 판독 가능 기록 매체를 더 제공하는바, 상기 프로그램이 프로세서에 의해 실행되면, 본 명세서의 임의의 실시예의 방법이 실현된다.
본 발명의 실시예는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 더 제공하는바, 상기 코드가 전자 디바이스로 실행될 때에 상기 전자 디바이스의 프로세서가 본 명세서의 임의의 실시예의 방법을 실행하도록 한다.
당업자는 본 발명의 하나 또는 복수의 실시예는 방법, 시스템, 또는 컴퓨터 프로그램 제품으로 제공될 수 있음을 이해해야 한다. 따라서, 본 발명의 하나 또는 복수의 실시예는 완전한 하드웨어의 실시예, 완전한 소프트웨어의 실시예, 또는 소프트웨어와 하드웨어를 조합시키는 실시예의 형식을 사용할 수 있다. 또한, 본 발명의 하나 또는 복수의 실시예는 컴퓨터 이용 가능한 프로그램 코드를 포함하는 하나 또는 복수의 컴퓨터 이용 가능한 기억 매체(disk memory, CD-ROM, 광학 메모리 등을 포함하지만, 이에 한정되지 않음) 상에서 실시되는 컴퓨터 프로그램 제품의 형식을 사용할 수 있다.
본 발명의 실시예는 컴퓨터 판독 가능 기록 매체를 더 제공하는바, 당해 기록 매체에는 컴퓨터 프로그램이 기억되어 있으며, 상기 프로그램이 프로세서에 의해 실행되면, 본 발명이 임의의 실시예에 설명된 본 발명이 임의의 실시예에 설명된 조작 이벤트 인식 방법의 단계가 실현된다.
본 명세서에 기재된 "및/또는”은 적어도 양자 중의 하나를 가지는 것을 나타내며, 예를 들면, "A 및/또는 B"는 A, B 및 "A 및 B"와 같은 세 경우를 포함한다.
본 발명에 있어서의 각 실시예는 모두 점진적인 방식을 통해 서술되었고, 각 실시예 간의 동일 또는 유사한 부분은 서로 참조할 수 있으며, 각 실시예에서는 기타 실시예와의 차이점에 초점을 맞춰 설명했다. 특히, 데이터 처리 디바이스의 실시예의 경우, 방법의 실시예와 기본상 유사이기 때문에, 상대적으로 간단히 서술했지만, 관련된 부분은 방법의 실시예의 부분 설명을 참조할 수 있다.
상기에서 본 발명의 특정 실시예를 서술했다. 기타 실시예는 첨부된 "특허청구의 범위”의 범위 내에 있다. 몇몇의 경우, 특허청구의 범위에 기재된 행위 또는 단계는 실시예와 다른 순서에 따라 실행될 수 있으며, 이 경우에도 여전히 기대하는 결과가 실현될 수 있다. 또한 도면에 나타낸 과정은, 기대하는 결과를 얻기 위하여 반드시 도면에 나타낸 특정 순서 또는 연속적인 순서를 필요로 하지 않는다. 몇몇의 실시 형태에 있어서, 멀티 태스크 처리 및 병렬 처리도 가능하거나 또는 유익할 수 있다.
본 발명의 보호대상 및 기능 조작의 실시예는 디지털 전자 회로, 유형 컴퓨터 소프트웨어 또는 펌웨어, 본 발명에 개시되는 구성 및 그 구조적 동등물을 포함하는 컴퓨터 하드웨어, 또는 이들의 하나 또는 복수의 조합을 통해 실현될 수 있다. 본 발명의 보호대상의 실시예는 하나 또는 복수의 컴퓨터 프로그램으로 실현될 수 있는바, 즉 유형의 비일시적 프로그램 캐리어 상에 부호화되어 데이터 처리 장치에 의해 실행되거나, 또는 데이터 처리 장치의 조작을 제어하기 위한 컴퓨터 프로그램 명령 중의 하나 또는 복수의 모듈에 의해 실현될 수 있다. 대체적 또는 추가적으로, 프로그램 명령은 수작업으로 생성하는 전파 신호 상에 부호화될 수 있는바, 예를 들면 기계가 생성하는 전기 신호, 광 신호, 또는 전자 신호 상에 부호화될 수 있다. 정보를 부호화하여 적절한 수신기 장치에 전송하며, 데이터 처리 장치에 의해 실행되도록 하기 위하여, 당해 신호가 생성된다. 컴퓨터 기억 매체는 기계 판독 가능 기억 디바이스, 기계 판독 가능 기억 기판, 랜덤 또는 시리얼 액세스 메모리 디바이스, 또는 이들의 하나 또는 복수의 조합일 수 있다.
본 발명 중의 처리와 논리 플로우는 하나 또는 복수의 컴퓨터 프로그램을 실행하는 하나 또는 복수의 프로그램 가능한 컴퓨터에 의해 실행될 수 있으며, 입력 데이터에 기반하여 조작을 실행하여 출력을 생성함으로써 해당하는 기능을 실행한다. 상기 처리와 논리 플로우는 또한 예를 들면 FPGA(필드 프로그래밍 가능 게이트 어레이) 또는 ASIC(전용 집적 회로) 등의 전용 논리 회로에 의해 실행될 수 있고, 또한 장치도 전용 논리 회로를 통해 실현될 수 있다.
컴퓨터 프로그램의 실행에 적합한 컴퓨터는 예를 들면 범용 및/또는 전용 마이크로 프로세서, 또는 임의?? 기타 종류의 중앙 처리 유닛을 포함한다. 일반적으로 중앙 처리 유닛은 판독 전용 메모리 및/또는 랜덤 액세스 메모리로부터 명령과 데이터를 수신하게 된다. 컴퓨터의 기본 컴포넌트는 명령을 실시 또는 실행하기 위한 중앙 처리 유닛 및 명령과 데이터를 기억하기 위한 하나 또는 복수의 메모리 디바이스를 포함한다. 일반적으로 컴퓨터는 자기 디스크, 자기 광학 디스크, 또는 광학 디스크 등과 같은, 데이터를 기억하기 위한 하나 또는 복수의 대용량 기억 디바이스를 더 포함하거나, 또는 조작 가능하게 당해 대용량 기억 디바이스와 결합되어 데이터를 수신하거나, 데이터를 전송하거나, 또는 양자를 모두 포함한다. 하지만, 컴퓨터는 반드시 이러한 디바이스를 포함하는 것은 아니다. 한편, 컴퓨터는 다른 일 디바이스에 내장될 수 있는바, 예를 들면 휴대 전화, 개인용 디지털 처리 장치(PDA), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, GPS 수신기, 또는 범용 직렬 버스(USB), 플래시 드라이브 등의 휴대용 기억 디바이스에 내장될 수 있으며, 이러한 디바이스는 몇몇의 예에 지나지 않는다.
컴퓨터 프로그램 명령과 데이터의 기억에 적합한 컴퓨터 판독 가능 매체는 모든 형식의 불휘발성 메모리, 매개 및 메모리 디바이스를 포함하는바, 예를 들면 반도체 메모리 디바이스 (예를 들면 EPROM, EEPROM 및 플래시 디바이스), 자기 디스크 (예를 들면 내부 하드 디스크 또는 이동 가능 디스크), 자기 광학 디스크 및 CD ROM와 DVD-ROM 디스크를 포함한다. 프로세서와 메모리는 전용 논리 회로에 의해 보완되거나 또는 전용 논리 회로에 구비될 수 있다.
본 발명은 다양한 구체적인 실시 세부 사항을 포함하지만, 이를 본 발명의 범위 또는 보호하려고 하는 범위를 한정하는 것으로 해석해서는 안되며, 이는 주로 본 발명의 몇몇의 실시예의 특징을 서술하기 위하여 사용된다. 본 발명의 복수 실시예 중의 특정 특징은 단일 실시예에 결합되어 실시될 수도 있다. 반면에, 단일 실시예 중의 각 특징은 복수의 실시예로 나뉘어 실시되거나 또는 임의의 적절한 서브 조합에 의해 실시될 수도 있다. 한편, 특징이 상기와 같이 특정 조합으로 역할을 발휘하고, 또한 처음부터 이렇게 보호된다고 주장했지만, 보호한다고 주장한 조합 중의 하나 또는 복수의 특징은 경우에 따라 당해 조합으로부터 제외될 수도 있고, 또한 보호한다고 주장한 조합은 서브 조합 또는 서브 조합의 변형을 지향할 수 있다.
마찬가지로, 도면에서는 특정 순서에 따라 조작을 나타냈지만, 이는 이러한 조작을 나타낸 특정 순서에 따라 실행하거나 또흔 순차적으로 실행하거나, 또는 예시된 모든 조작을 실행하여야만 기대하는 결과가 실현될 수 있음을 요구하는 것으로 이해해서는 안된다. 한편, 상기의 실시예 중의 각종의 시스템 모듈과 컴포넌트의 분리는 모든 실시예에서 반드시 모두 이렇게 분리되어야 한다고 이해해서는 안되며, 또한 서술한 프로그램 컴포넌트와 시스템은 일반적으로 같이 단일 소프트웨어 제품에 통합되거나, 또는 복수의 소프트웨어 제품에 패키징될 수 있음을 이해해야 한다.
따라서, 보호대상의 특정 실시예가 서술되었다. 기타 실시예는 첨부된 "특허청구의 범위”의 범위 내에 있다. 경우에 따라 특허청구의 범위에 기재되어 있는 동작은 기타 순서에 따라 실행될 수 있으며, 이 경우에도 여전히 기대하는 결과가 실현될 수 있다. 한편, 도면에 그려진 처리는 기대하는 결과를 실현하는데, 반드시 나타낸 특정 순서를 필요로 하지 않는다. 일부 실현에 있어서, 멀티 태스크 및 병렬 처리가 더 유익할 가능성이 있다.
상기는 본 발명의 하나 또는 복수의 실시예의 바람직한 실시예에 불과할 뿐, 본 발명의 하나 또는 복수의 실시예를 한정하려는 것이 아니다. 본 발명의 하나 또는 복수의 실시예의 사상과 원리의 범위 내에서 행하여진 어떠한 수정, 동등의 치환, 개량 등은 모두 본 발명의 하나 또는 복수의 실시예의 범위에 포함된다 할 것이다.

Claims (21)

  1. 조작 이벤트 인식 방법으로서,
    비디오의 적어도 두 개의 이미지 프레임에 대해 대상 검출과 추적을 실행하여, 상기 적어도 두 개의 이미지 프레임 내에 포함된 대상의 대상 변화 정보를 얻는 것; 및
    상기 대상 변화 정보에 기반하여 발생한 대상 조작 이벤트를 확정하는 것을 포함하되,
    상기 대상은 조작 가능 대상인
    것을 특징으로 하는, 조작 이벤트 인식 방법.
  2. 제1항에 있어서,
    상기 대상 변화 정보에 기반하여 발생한 대상 조작 이벤트를 확정하는 것은,
    상기 대상 변화 정보가 소정의 이벤트 발생 조건을 충족시킬 경우, 또한 상기 적어도 두 개의 이미지 프레임 중의 적어도 일부의 이미지 프레임 내에서 대상 조작물이 검출되고, 또한 상기 대상 조작물의 위치와 상기 대상의 위치 사이의 거리가 소정의 거리 한계값 미만이면, 상기 대상 조작물을 통해 상기 대상에 대해 조작을 실행함으로써 상기 이벤트 발생 조건에 대응하는 대상 조작 이벤트가 발생한 것으로 확정하는 것을 포함하는
    것을 특징으로 하는, 조작 이벤트 인식 방법.
  3. 제2항에 있어서,
    상기 대상 조작물은 손 또는 대상 클램핑 도구를 포함하는
    것을 특징으로 하는, 조작 이벤트 인식 방법.
  4. 제1항에 있어서,
    상기 비디오의 적어도 두 개의 이미지 프레임에 대해 대상 검출과 추적을 실행하여, 상기 적어도 두 개의 이미지 프레임 내에 포함된 대상의 대상 변화 정보를 얻는 것은,
    상기 적어도 두 개의 이미지 프레임 내에 새롭게 나타난 제1 대상을 검출하는 것; 및
    상기 제1 대상의 상기 적어도 두 개의 이미지 프레임 내에서 나타난 대상 위치를 제1 목표 영역으로 확정하는 것을 포함하고,
    상기 대상 변화 정보에 기반하여 발생한 대상 조작 이벤트를 확정하는 것은,
    발생한 대상 조작 이벤트가 상기 제1 대상의 상기 제1 목표 영역으로의 진입인 것으로 확정하는 것을 포함하는
    것을 특징으로 하는, 조작 이벤트 인식 방법.
  5. 제1항에 있어서,
    상기 비디오의 적어도 두 개의 이미지 프레임에 대해 대상 검출과 추적을 실행하여, 상기 적어도 두 개의 이미지 프레임 내에 포함된 대상의 대상 변화 정보를 얻는 것은,
    상기 적어도 두 개의 이미지 프레임 내에서 사라진 제2 대상을 검출하는 것; 및
    상기 제2 대상의 상기 적어도 두 개의 이미지 프레임 내에서 사라지기 전의 대상 위치를 제2 목표 영역으로 확정하는 것을 포함하고,
    상기 대상 변화 정보에 기반하여 발생한 대상 조작 이벤트를 확정하는 것은,
    발생한 대상 조작 이벤트가 상기 제2 대상의 상기 제2 목표 영역에서의 이탈인 것으로 확정하는 것을 포함하는
    것을 특징으로 하는, 조작 이벤트 인식 방법.
  6. 제1항에 있어서,
    상기 비디오의 적어도 두 개의 이미지 프레임에 대해 대상 검출과 추적을 실행하여, 상기 적어도 두 개의 이미지 프레임 내에 포함된 대상의 대상 변화 정보를 얻는 것은,
    상기 적어도 두 개의 이미지 프레임 내의 제3 대상의 대상 인식 결과에 발생한 변화를 검출하는 것을 포함하고,
    상기 대상 변화 정보에 기반하여 발생한 대상 조작 이벤트를 확정하는 것은,
    상기 대상 인식 결과의 변화에 대응하는 대상 조작 이벤트가 발생한 것으로 확정하는 것을 포함하는
    것을 특징으로 하는, 조작 이벤트 인식 방법.
  7. 제6항에 있어서,
    상기 제3 대상은 복수의 적층 가능한 대상 컴포넌트를 포함하고, 각 대상 컴포넌트는 대응하는 컴포넌트 속성을 가지며,
    상기 대상 인식 결과는 대상 컴포넌트의 수량 및 대상 컴포넌트의 컴포넌트 속성 중의 적어도 하나를 포함하고,
    상기 적어도 두 개의 이미지 프레임 내의 제3 대상의 대상 인식 결과에 발생한 변화를 검출하는 것은,
    상기 제3 대상 내에 포함된 대상 컴포넌트의 수량에 발생한 변화를 검출하는 것; 및
    변화 전후의 상기 제3 대상에 컴포넌트 속성이 동일한 대상 컴포넌트가 존재하는지 여부를 검출하는 것을 포함하고,
    상기 대상 인식 결과의 변화에 대응하는 대상 조작 이벤트가 발생한 것으로 확정하는 것은,
    상기 제3 대상 내에 포함된 대상 컴포넌트의 수량에 변화가 발생하였고, 또한 변화 전후의 상기 제3 대상에 컴포넌트 속성이 동일한 대상 컴포넌트가 존재하는 것이 검출되었을 경우, 발생한 대상 조작 이벤트를 상기 제3 대상의 대상 컴포넌트의 수량이 증가 또는 감소된 것으로 확정하는 것을 포함하는
    것을 특징으로 하는, 조작 이벤트 인식 방법.
  8. 제1항에 있어서,
    상기 대상은 적어도 두 개의 대상 상태를 가지고, 각 이미지 프레임 내의 대상은 그 중에 하나의 대상 상태에 있으며,
    상기 대상 변화 정보는 상기 대상의 대상 상태 변화 정보를 포함하고,
    상기 대상 변화 정보에 기반하여 발생한 대상 조작 이벤트를 확정하는 것은,
    상기 대상 상태 변화 정보에 기반하여 발생한 대상 조작 이벤트를 상기 대상 상태 변화를 제어하는 조작 이벤트로 확정하는 것을 포함하는
    것을 특징으로 하는, 조작 이벤트 인식 방법.
  9. 제8항에 있어서,
    상기 대상은 적층 가능한 대상 컴포넌트를 포함하고,
    상기 대상 변화 정보는 대상 컴포넌트의 적층 상태 정보를 포함하는
    것을 특징으로 하는, 조작 이벤트 인식 방법.
  10. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 비디오의 적어도 두 개의 이미지 프레임에 대해 대상 검출과 추적을 실행하여, 상기 적어도 두 개의 이미지 프레임 내에 포함된 대상의 대상 변화 정보를 얻는 것은,
    비디오의 적어도 두 개의 이미지 프레임 내에서 각각 대상의 대상 위치를 검출하는 것;
    상기 적어도 두 개의 이미지 프레임 내에서 검출된 대상을 각각 인식하여 해당하는 대상 인식 결과를 얻는 것; 및
    서로 다른 이미지 프레임 내에서 검출된 대상의 각각의 대상 위치 및 대상 인식 결과에 기반하여, 서로 다른 이미지 프레임 내에서 검출된 대상을 매칭하여, 상기 적어도 두 개의 이미지 프레임 내에 포함된 대상의 대상 변화 정보를 얻는 것을 포함하는
    것을 특징으로 하는, 조작 이벤트 인식 방법.
  11. 조작 이벤트 인식 장치로서,
    비디오의 적어도 두 개의 이미지 프레임에 대해 대상 검출과 추적을 실행하여, 상기 적어도 두 개의 이미지 프레임 내에 포함된 대상의 대상 변화 정보를 얻기 위한 검출 처리 모듈; 및
    상기 대상 변화 정보에 기반하여 발생한 대상 조작 이벤트를 확정하기 위한 이벤트 확정 모듈을 구비하되,
    상기 대상은 조작 가능 대상인
    것을 특징으로 하는, 조작 이벤트 인식 장치.
  12. 제11항에 있어서,
    상기 이벤트 확정 모듈은, 상기 대상 변화 정보에 기반하여 발생한 대상 조작 이벤트를 확정할 때에, 상기 대상 변화 정보가 소정의 이벤트 발생 조건을 충족시킬 경우, 또한 상기 적어도 두 개의 이미지 프레임 중의 적어도 일부의 이미지 프레임 내에서 대상 조작물이 검출되고, 또한 상기 대상 조작물의 위치와 상기 대상의 위치 사이의 거리가 소정의 거리 한계값 미만이면, 상기 대상 조작물을 통해 상기 대상에 대해 조작을 실행함으로써 상기 이벤트 발생 조건에 대응하는 대상 조작 이벤트가 발생한 것으로 확정하는
    것을 특징으로 하는, 조작 이벤트 인식 장치.
  13. 제11항에 있어서,
    상기 검출 처리 모듈은, 비디오의 적어도 두 개의 이미지 프레임에 대해 대상 검출과 추적을 실행하여, 상기 적어도 두 개의 이미지 프레임 내에 포함된 대상의 대상 변화 정보를 얻을 때에, 상기 적어도 두 개의 이미지 프레임 내에 새롭게 나타난 제1 대상을 검출하고, 상기 제1 대상의 상기 적어도 두 개의 이미지 프레임 내에서 나타난 대상 위치를 제1 목표 영역으로 확정하고,
    상기 이벤트 확정 모듈은 구체적으로, 발생한 대상 조작 이벤트가 상기 제1 대상의 상기 제1 목표 영역에로의 진입인 것으로 확정하는
    것을 특징으로 하는, 조작 이벤트 인식 장치.
  14. 제11항에 있어서,
    상기 검출 처리 모듈은, 비디오의 적어도 두 개의 이미지 프레임에 대해 대상 검출과 추적을 실행하여, 상기 적어도 두 개의 이미지 프레임 내에 포함된 대상의 대상 변화 정보를 얻을 때에, 상기 적어도 두 개의 이미지 프레임 내에서 사라진 제2 대상을 검출하고, 상기 제2 대상의 상기 적어도 두 개의 이미지 프레임 내에서 사라지기 전의 대상 위치를 제2 목표 영역으로 확정하며,
    상기 이벤트 확정 모듈은 구체적으로, 발생한 대상 조작 이벤트가 상기 제2 대상의 상기 제2 목표 영역에서의 이탈인 것으로 확정하는
    것을 특징으로 하는, 조작 이벤트 인식 장치.
  15. 제11항에 있어서,
    상기 검출 처리 모듈은, 비디오의 적어도 두 개의 이미지 프레임에 대해 대상 검출과 추적을 실행하여, 상기 적어도 두 개의 이미지 프레임 내에 포함된 대상의 대상 변화 정보를 얻을 때에, 상기 적어도 두 개의 이미지 프레임 내의 제3 대상의 대상 인식 결과에 발생한 변화를 검출하고,
    상기 이벤트 확정 모듈은 구체적으로, 상기 대상 인식 결과의 변화에 대응하는 대상 조작 이벤트가 발생한 것으로 확정하는
    것을 특징으로 하는, 조작 이벤트 인식 장치.
  16. 제15항에 있어서,
    상기 검출 처리 모듈은, 상기 적어도 두 개의 이미지 프레임 내의 제3 대상의 대상 인식 결과에 발생한 변화를 검출할 때에, 상기 제3 대상 내에 포함된 대상 컴포넌트의 수량에 발생한 변화를 검출하고, 또한 변화 전후의 상기 제3 대상에 컴포넌트 속성이 동일한 대상 컴포넌트가 존재하는지 여부를 검출하되, 상기 제3 대상은 복수의 적층 가능한 대상 컴포넌트를 포함하고, 각 대상 컴포넌트는 대응하는 컴포넌트 속성을 가지며, 상기 대상 인식 결과는 대상 컴포넌트의 수량 및 대상 컴포넌트의 컴포넌트 속성 중의 적어도 하나를 포함하고,
    상기 이벤트 확정 모듈은, 상기 대상 인식 결과의 변화에 대응하는 대상 조작 이벤트가 발생한 것으로 확정할 때에, 상기 제3 대상 내에 포함된 대상 컴포넌트의 수량에 변화가 발생하였고, 또한 변화 전후의 상기 제3 대상에 컴포넌트 속성이 동일한 대상 컴포넌트가 존재하는 것이 검출되었을 경우, 발생한 대상 조작 이벤트를 상기 제3 대상의 대상 컴포넌트의 수량이 증가 또는 감소된 것으로 확정하는
    것을 특징으로 하는, 조작 이벤트 인식 장치.
  17. 제11항에 있어서,
    상기 이벤트 확정 모듈은, 상기 대상 변화 정보에 기반하여 대응하는 대상 조작 이벤트가 발생한 것으로 확정할 때에, 대상 상태 변화 정보에 기반하여 발생한 대상 조작 이벤트가 대상 상태 변화를 제어하는 조작 이벤트인 것으로 확정하되, 상기 대상은 적어도 두 개의 대상 상태를 가지고, 각 이미지 프레임 내의 대상은 그 중에 하나의 대상 상태에 있으며, 상기 대상 변화 정보는 상기 대상의 대상 상태 변화 정보를 포함하는
    것을 특징으로 하는, 조작 이벤트 인식 장치.
  18. 제11항 내지 제17항 중 어느 한 항에 있어서,
    상기 검출 처리 모듈은 구체적으로, 비디오의 적어도 두 개의 이미지 프레임 내에서 각각 대상의 대상 위치를 검출하고, 상기 적어도 두 개의 이미지 프레임 내에서 검출된 대상을 각각 인식하여 대상 인식 결과를 얻으며, 서로 다른 이미지 프레임 내에서 검출된 대상의 각각의 대상 위치 및 대상 인식 결과에 기반하여, 서로 다른 이미지 프레임 내에서 검출된 대상을 매칭하여, 상기 적어도 두 개의 이미지 프레임 내에 포함된 대상의 대상 변화 정보를 얻는
    것을 특징으로 하는, 조작 이벤트 인식 장치.
  19. 전자 디바이스로서,
    메모리와 프로세서를 구비하며,
    상기 메모리는 컴퓨터 판독 가능 명령을 저장하고,
    상기 프로세서는 상기 컴퓨터 명령을 호출하여, 제1항 내지 제10항 중 어느 한 항에 기재된 방법을 실현하는
    것을 특징으로 하는, 전자 디바이스.
  20. 컴퓨터 프로그램이 기억되어 있는 컴퓨터 판독 가능 기록 매체로서,
    상기 프로그램이 프로세서에 의해 실행되면, 제1항 내지 제10항 중 어느 한 항에 기재된 방법이 실현되는
    것을 특징으로 하는, 컴퓨터 판독 가능 기록 매체.
  21. 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서,
    상기 코드가 전자 디바이스로 실행될 때에 상기 전자 디바이스의 프로세서가 제1항 내지 제10항 중 어느 한 항에 기재된 방법을 실행하도록 하는
    것을 특징으로 하는, 컴퓨터 프로그램.
KR1020217019190A 2020-12-31 2021-04-28 조작 이벤트 인식 방법 및 장치 KR20220098311A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10202013260Q 2020-12-31
SG10202013260Q 2020-12-31
PCT/IB2021/053495 WO2022144604A1 (en) 2020-12-31 2021-04-28 Methods and apparatuses for identifying operation event

Publications (1)

Publication Number Publication Date
KR20220098311A true KR20220098311A (ko) 2022-07-12

Family

ID=78092801

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217019190A KR20220098311A (ko) 2020-12-31 2021-04-28 조작 이벤트 인식 방법 및 장치

Country Status (6)

Country Link
US (1) US20220207273A1 (ko)
JP (1) JP2023511239A (ko)
KR (1) KR20220098311A (ko)
CN (1) CN113544740B (ko)
AU (1) AU2021203742B2 (ko)
PH (1) PH12021551258A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021079087A (ja) * 2019-11-14 2021-05-27 エンゼルプレイングカード株式会社 ゲームシステム
US11538247B2 (en) * 2020-09-29 2022-12-27 Wipro Limited Method and system for manufacturing operations workflow monitoring using structural similarity index based activity detection
US11943184B2 (en) * 2021-01-21 2024-03-26 Samsung Electronics Co., Ltd. Device and method for providing notification message related to content

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6460848B1 (en) * 1999-04-21 2002-10-08 Mindplay Llc Method and apparatus for monitoring casinos and gaming
US7901285B2 (en) * 2004-05-07 2011-03-08 Image Fidelity, LLC Automated game monitoring
US10354689B2 (en) * 2008-04-06 2019-07-16 Taser International, Inc. Systems and methods for event recorder logging
AU2014200314A1 (en) * 2014-01-17 2015-08-06 Angel Playing Cards Co. Ltd. Card game monitoring system
US10604072B2 (en) * 2014-04-02 2020-03-31 Continental Automotive Gmbh Early rear view camera video display in a multiprocessor architecture
US9501915B1 (en) * 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
SG10201908300WA (en) * 2015-08-03 2019-10-30 Angel Playing Cards Co Ltd Fraud detection system in casino
CN105245828A (zh) * 2015-09-02 2016-01-13 北京旷视科技有限公司 物品分析方法和设备
CN107507243A (zh) * 2016-06-14 2017-12-22 华为技术有限公司 一种摄像机参数调整方法、导播摄像机及***
US20190005331A1 (en) * 2017-06-29 2019-01-03 Electronics And Telecommunications Research Institute Apparatus and method for detecting event based on deterministic finite automata in soccer video
US11049362B2 (en) * 2017-09-21 2021-06-29 Angel Playing Cards Co., Ltd. Fraudulence monitoring system of table game and fraudulence monitoring program of table game
CN110059521B (zh) * 2018-01-18 2022-05-13 浙江宇视科技有限公司 目标跟踪方法及装置
US10593049B2 (en) * 2018-05-30 2020-03-17 Chiral Software, Inc. System and method for real-time detection of objects in motion
JP7192888B2 (ja) * 2019-01-25 2022-12-20 日本電気株式会社 処理装置、処理方法及びプログラム
CN112262411B (zh) * 2019-12-23 2024-04-05 商汤国际私人有限公司 图像关联方法、***和装置
SG10201913152SA (en) * 2019-12-24 2021-07-29 Sensetime Int Pte Ltd Method And Apparatus For Detecting Dealing Sequence, Storage Medium And Electronic Device
SG10201913955VA (en) * 2019-12-31 2021-07-29 Sensetime Int Pte Ltd Image recognition method and apparatus, and computer-readable storage medium
US11361589B2 (en) * 2020-04-01 2022-06-14 Sensetime International Pte. Ltd. Image recognition method, apparatus, and storage medium
CN111738053B (zh) * 2020-04-15 2022-04-01 上海摩象网络科技有限公司 一种跟踪对象确定方法、设备和手持相机
AU2021240183A1 (en) * 2021-09-22 2023-04-06 Sensetime International Pte. Ltd. Object information management method, apparatus and device, and storage medium

Also Published As

Publication number Publication date
JP2023511239A (ja) 2023-03-17
CN113544740B (zh) 2024-06-14
US20220207273A1 (en) 2022-06-30
CN113544740A (zh) 2021-10-22
AU2021203742B2 (en) 2023-02-16
PH12021551258A1 (en) 2021-10-25
AU2021203742A1 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
KR20220098311A (ko) 조작 이벤트 인식 방법 및 장치
CN101401426B (zh) 跟踪装置、跟踪方法
JP6488038B1 (ja) 遊戯媒体識別システム及びそのコンピュータプログラム
KR20210084449A (ko) 목표 대상 인식 시스템, 방법, 장치, 전자 디바이스 및 기록 매체
JP2022522070A (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
JP7416782B2 (ja) 画像処理方法、電子機器、記憶媒体及びコンピュータプログラム
JP6649231B2 (ja) 検索装置、検索方法およびプログラム
KR102580282B1 (ko) 테이블톱 게임들의 상태들을 전환하는 방법들, 장치들, 디바이스들 및 저장 매체들
AU2020294217B2 (en) Gesture recognition method and apparatus, electronic device, and storage medium
CN108776800A (zh) 一种图像处理方法、移动终端及计算机可读存储介质
AU2021203818A1 (en) Object detection method and apparatus, and electronic device
KR20210084447A (ko) 목표 추적 방법, 장치, 전자 디바이스 및 기록 매체
CN114734456A (zh) 摆棋方法、装置、电子设备、对弈机器人及存储介质
US20220122352A1 (en) Method and apparatus for detecting game prop in game region, device, and storage medium
KR20220169466A (ko) 게임 상태들을 제어하기 위한 방법들 및 장치들
WO2022144604A1 (en) Methods and apparatuses for identifying operation event
CN113728326A (zh) 游戏监控
WO2020107355A1 (zh) 柔性服饰、货架、显示控制方法及***
KR20210084451A (ko) 이미지 선별 방법 및 장치, 및 전자 디바이스
CN112543935B (zh) 一种图像识别方法及装置、计算机可读存储介质
CN112166436A (zh) 图像筛选方法及装置、电子设备
JP2019155086A (ja) 遊戯媒体識別システム及びそのコンピュータプログラム
CN106127138A (zh) 一种手型识别的初始化方法和装置以及虚拟现实终端
CN110384919A (zh) 一种显示控制方法、终端及计算机可读存储介质
CN105225220A (zh) 一种确定电子设备间位置关系的方法及一种电子设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application