WO2013077546A1 - 입체 영상의 장면 전환 검출 장치 및 방법 - Google Patents

입체 영상의 장면 전환 검출 장치 및 방법 Download PDF

Info

Publication number
WO2013077546A1
WO2013077546A1 PCT/KR2012/008237 KR2012008237W WO2013077546A1 WO 2013077546 A1 WO2013077546 A1 WO 2013077546A1 KR 2012008237 W KR2012008237 W KR 2012008237W WO 2013077546 A1 WO2013077546 A1 WO 2013077546A1
Authority
WO
WIPO (PCT)
Prior art keywords
scene
feature points
frame
stereoscopic
scene change
Prior art date
Application number
PCT/KR2012/008237
Other languages
English (en)
French (fr)
Inventor
우대식
박재범
전병기
김종대
정원석
Original Assignee
에스케이플래닛 주식회사
시모스 미디어텍(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사, 시모스 미디어텍(주) filed Critical 에스케이플래닛 주식회사
Publication of WO2013077546A1 publication Critical patent/WO2013077546A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to an apparatus and method for detecting a scene change of a stereoscopic image, and more particularly, to extract feature points from a last frame of a scene change point detected from an input image, and to extract the feature points from the first frame of the scene changed image.
  • the present invention relates to an apparatus and method for detecting a scene of a stereoscopic image, wherein the stereoscopic scene continuity score is calculated using the tracked feature points, and the stereoscopic scene continuity score is compared with a preset threshold to determine the continuity of the stereoscopic scene.
  • a scene change refers to a phenomenon in which a video is restarted in another scene after one scene is finished in a sequence of video scenes.
  • a transition usually involves a fade-out and fade-in where any scene gradually fades away and then another scene, slowly overlapping over time in two different directions. overlap), simple scene transitions, etc.
  • Conventional scene change point detection basically separates the scene change point based on a numerical value such as brightness or histogram of an image. For most of these criteria, it is reasonable to select a numerically discontinuous part as a transition point as shown in the Histogram result of FIG. 1, but in the case of stereoscopic transformation, if there is visual continuity of the object, it should be separated into one continuous scene. There are many cases.
  • the present invention has been made to solve the above-described problem, and an object of the present invention is to provide an apparatus and method for detecting a scene of a stereoscopic image capable of detecting an optimal scene transition point in view of stereoscopic transformation.
  • Another object of the present invention is to determine whether to separate the scenes into independent scene transitions or distinguish them as one continuous scene transition in a conventional scene change point using characteristics of the image, thereby determining the presence or absence of the continuity of the scene change point from a stereoscopic point of view.
  • the present invention provides an apparatus and method for detecting a scene change of a stereoscopic image.
  • a scene change point detection module that detects a scene change point in an input image, extracts feature points from the last frame of the detected scene change point, and the extracted feature points are tracked in the first frame of the scene change image 3D scene continuity score calculation module for calculating a 3D scene continuity score using the extracted feature points, and a scene continuity for comparing the calculated 3D scene continuity score with a predetermined threshold value and determining the continuity of the 3D scene based on the comparison result.
  • An apparatus for detecting a scene change of a stereoscopic image including a determination module is provided.
  • the scene change point detection module detects the scene change point using at least one method of correlation, statistical sequential analysis, and histogram.
  • the stereoscopic scene continuity score calculation module may include a feature point extracting unit extracting feature points from the last frame of the scene change point detected by the scene change point detection module, and matching the feature points extracted from the last frame with the first frame.
  • a feature point matching unit for obtaining the number of feature points tracked in the first frame, a sum of absolute difference (SAD) in a predefined block based on the feature points of the last frame and the feature points tracked in the first frame, and the obtained SAD It includes a stereoscopic scene continuity score calculation unit for obtaining a stereoscopic scene continuity score.
  • the stereoscopic scene continuity score calculation module obtains the stereoscopic scene continuity score C (s) using the following equation.
  • the total number of feature points is the number of feature points extracted from the last frame of the scene change point
  • the number of tracked feature points is the number of feature points tracked in the first frame of the scene changed image
  • fn is the number of the frame
  • bm is m of the frame Means the first block.
  • the SAD (fn, bm) is obtained by using the following equation.
  • fn is the number of the frame
  • bm is the m-th block of the frame
  • i is the order of each pixel of the block.
  • the scene continuity determining module determines that the three-dimensional scene continuity score is equal to or greater than the threshold, and determines that the scene is continuous.
  • a method for detecting a scene change of a stereoscopic image by the scene change detection apparatus comprising: (a) detecting a scene change point in an input image, (b) a last frame of the detected scene change point Extracting feature points and calculating a stereoscopic scene continuity score using the feature points tracked in the first frame of the scene from which the extracted feature points are transitioned; (c) comparing the calculated stereoscopic scene continuity score with a preset threshold;
  • a scene change detection method of a stereoscopic image comprising the step of determining the continuity of the stereoscopic scene based on the comparison result.
  • step (b) extracting feature points in the last frame of the detected scene change point, matching the feature points extracted in the last frame with the first frame, and extracting the number of feature points tracked in the first frame.
  • SAD sum of absolute difference
  • the stereoscopic scene continuity score C (s) is obtained using the following equation.
  • the total number of feature points is the number of feature points extracted from the last frame of the scene change point
  • the number of tracked feature points is the number of feature points tracked in the first frame of the scene changed image
  • fn is the number of the frame
  • bm is m of the frame Means the first block.
  • step (c) if the stereoscopic scene continuity score is greater than or equal to the threshold, it is determined that the scene is continuous, and if it is not greater than or equal to the threshold, it is determined that a scene change is made.
  • a scene change detection method of a stereoscopic image includes a program and a recording medium readable by an electronic device is provided.
  • an optimum scene change point can be detected in terms of stereoscopic transformation.
  • 1 is a diagram representing a numerical value of a conventional scene change point.
  • FIG. 2 is a block diagram schematically showing the configuration of an apparatus for detecting a scene change of a stereoscopic image according to the present invention
  • Figure 3 is an exemplary view for explaining a method for obtaining the inter-frame SAD according to the present invention.
  • FIG. 4 is a flowchart illustrating a method for checking whether a scene is continuous by a scene change detection apparatus of a stereoscopic image according to the present invention
  • FIG. 5 is a flowchart illustrating a method for obtaining a stereoscopic scene continuity score by the scene change detection apparatus according to the present invention.
  • FIG. 2 is a block diagram schematically illustrating a configuration of an apparatus for detecting a scene change of a stereoscopic image according to the present invention
  • FIG. 3 is an exemplary diagram for describing a method for obtaining an inter-frame SAD according to the present invention.
  • the scene change detection apparatus 200 for a stereoscopic image includes a scene change point detection module 210, a stereoscopic scene continuity score calculation module 220, and a scene continuity determination module 230.
  • the scene change point detection module 210 detects a scene change point from an input image. That is, the scene change point detection module 210 obtains a scene change point of an input image by using methods such as brightness, correlation, statistical sequential analysis, histogram, and the like.
  • the scene change point detection module 210 detects the scene change point according to the related art, a detailed description thereof will be omitted.
  • the stereoscopic scene continuity score calculation module 220 extracts feature points from the last frame of the scene change point detected by the scene change point detection module 210, and tracks the feature points tracked in the first frame of the image after the extracted feature points are scene changed. Calculate the stereoscopic scene continuity score using.
  • the last frame of the scene change point means the last frame before the scene change
  • the first frame of the scene change image means the first frame after the scene change
  • before and after the scene change is divided by the scene change point.
  • the stereoscopic scene continuity score calculation module 220 performing the above role includes a feature point extractor 222, a feature point matcher 224, and a stereoscopic scene continuity score calculator 226.
  • the feature point extractor 222 extracts feature points using Harris's corner extraction method, SIFT (Scale Invariant Feature Transform) algorithm, etc. in the last frame of the scene change point detected by the scene change point detection module 210.
  • Harris's corner extraction method SIFT (Scale Invariant Feature Transform) algorithm, etc.
  • SIFT Scale Invariant Feature Transform
  • the feature point may be defined in advance as referring to an edge or a corner.
  • the feature point extractor 222 extracts a feature point from the last frame of the scene change point in order to find an association of objects between images before and after the scene change point.
  • the feature point matching unit 224 matches the feature points extracted in the last frame of the scene change point with the first frame of the scene changed image to obtain the number of feature points tracked in the first frame.
  • the feature points extracted from the last frame before the scene change point are feature point 1, feature point 2, feature point 3, feature point 4 and feature point 5, and as a result of matching the extracted feature points to the first frame after the scene change point feature point 1, feature point When 2 and 4 are tracked, the feature point matching unit 224 obtains "3" as the number of tracked features.
  • the stereoscopic scene continuity score calculator 226 obtains a sum of absolute difference (SAD) in a predefined block based on the feature points of the last frame and the feature points tracked in the first frame, and uses the obtained SAD. Obtain a stereoscopic scene continuity score.
  • the predefined block refers to a block having a predetermined predetermined size including neighboring pixels based on the feature point.
  • the stereoscopic scene continuity score refers to a score indicating how much the feature points are maintained in the next scene-switched image based on the feature points extracted in the last frame.
  • the three-dimensional scene continuity score calculator 226 determines the continuity of the scene (s) and the scene (s + 1) in consideration of the number of feature points that can be actually tracked and the reliability of the feature points obtained by tracking the number of feature points to be performed. Find the score for.
  • Scene (s) refers to a scene corresponding to the scene change point
  • Scene (s + 1) refers to a scene after the scene change point.
  • the stereoscopic scene continuity score calculator 226 calculates the stereoscopic scene continuity score C (s) using Equation 1.
  • the total number of feature points refers to the number of feature points extracted from the last frame of the scene change point
  • the number of tracked feature points refers to the number of feature points tracked in the first frame after the scene change point obtained by the feature point matching unit.
  • F (n) denotes reliability of each feature point
  • n denotes an index of traceable feature points
  • s denotes an index of each scene.
  • the reliability (F (n)) of each feature point is easy to track when tracking at the first frame of the scene (s + 1), which is then transitioned according to the conventional method at the last frame of the scene (s), for any feature point n. Means.
  • the reliability of each feature point represents how similarly some regions of the image formed based on the feature points exist in and close to each other in the next image to be tracked.
  • the stereoscopic scene continuity score calculator 226 calculates the stereoscopic scene continuity score using the SAD.
  • the stereoscopic scene continuity score calculator 226 calculates SAD by using Equation 2.
  • fn is the number of the frame
  • bm is the m-th block of the frame
  • i is the order of each pixel of the block
  • abs is the absolute value.
  • the sum of absolute difference (SAD) is a sum of absolute differences of all pixels in a block, and as a result, represents a difference between blocks at the same position between frames. Therefore, the large SAD value means that the change of the image is large.
  • the stereoscopic scene continuity score calculator 226 divides the frame into a predetermined number of blocks based on the feature points, and obtains SAD between the current frame and the previous frame for each block.
  • the stereoscopic scene continuity score calculator 226 determines the SAD between blocks bm at the same position in each frame, that is, SAD (fn-1, bm) between the current frame block bm and the previous frame block bm, and the current frame. And then SAD (fn, bm) between frame blocks bm are obtained, respectively.
  • the three-dimensional scene continuity score calculator 226 determines the SAD between the blocks bm at the same position in each frame, that is, the current frame. SAD (fn, bm) between block bm and subsequent frame block bm is obtained, respectively.
  • the stereoscopic scene continuity score calculator 226 calculates SAD for each block by a predetermined spatial size for the feature points selected at the scene change point. If the obtained SAD value is greater than or equal to the threshold value, this means that tracking is not practical in reality, and thus, except for the tracking number of feature points, tracking may be possible if the SAD value is not greater than or equal to the threshold value. Therefore, the smaller the actual SAD value, the greater the similarity and the greater the reliability. In other words, the smaller the SAD, the greater the reliability of the inverse scaffold relationship.
  • the stereoscopic scene continuity score calculator 226 may obtain the reliability F (n) of each feature point by using the SAD.
  • the stereoscopic scene continuity score calculator 226 may express Equation 1 as Equation 3 below.
  • the total number of feature points is the number of feature points extracted from the last frame of the scene change point
  • the number of tracked feature points is the number of feature points tracked in the first frame of the scene changed image
  • fn is the number of the frame
  • bm is m of the frame Means the second block.
  • the stereoscopic image continuity score calculation module 220 configured as described above obtains a sum of absolute difference (SAD) in a predefined block based on the feature points of the last frame and the feature points tracked in the first frame that has been transitioned.
  • SAD sum of absolute difference
  • the stereoscopic image continuity score calculation module 220 may correct the stereoscopic scene continuity score by performing feature point matching on at least one frame to the left, right (ie, before or after the scene change point) of the scene change point. .
  • the scene continuity determining module 230 compares the stereoscopic scene continuity score obtained by the stereoscopic scene continuity score calculation module 220 with a preset threshold value, and determines the continuity of the stereoscopic scene based on the comparison result.
  • the scene continuity determining module 230 determines that the scene is a continuous scene when the three-dimensional scene continuity score is greater than or equal to a preset threshold value, and determines that a scene change is performed when the scene continuity score is not more than a threshold value.
  • the scene continuity determining module 230 determines that two scene (s) and a scene (s + 1) separated in the conventional manner by the scene change point detection module 210 when the three-dimensional scene continuity score is greater than or equal to a threshold. ) Are processed by combining them into a scene in the stereoscopic image.
  • the scene change detection apparatus 200 of the stereoscopic image configured as described above automatically considers the detection of the scene change point for stereoscopic conversion, and basically selects the existing scene change point first and performs the additional detection as described above. This is done by examining whether or not you should.
  • the apparatus 200 for detecting a scene change of the stereoscopic image defines a criterion for determining whether to separate the scene into independent scene changes or to distinguish one continuous scene change from the normal scene change point.
  • FIG. 4 is a flowchart illustrating a method of checking whether a scene is continuous by a scene change detection apparatus of a stereoscopic image according to the present invention.
  • a scene change detection apparatus of a stereoscopic image detects a scene change point with respect to an input image (S302). That is, the scene change detection apparatus detects a scene change point of an input image by using a method such as correlation, statistical sequential analysis, histogram, and the like.
  • the scene change detection apparatus After performing the step S302, the scene change detection apparatus extracts the feature points from the last frame of the detected scene change point (S304), and the stereoscopic scene using the feature points tracked in the first frame of the scene where the extracted feature points are scene changed.
  • the continuity score is calculated (S306).
  • the scene change detection apparatus determines whether the obtained stereoscopic scene continuity score is equal to or greater than a preset threshold (S308).
  • the scene change detection device determines that the frame is a continuous scene (S310).
  • the scene change detection apparatus determines that the scene change is performed (S312).
  • FIG. 5 is a flowchart illustrating a method for obtaining a stereoscopic scene continuity score by the scene change detection apparatus according to the present invention.
  • the scene change detection apparatus obtains the number of feature points tracked in the first frame after the scene change point in the feature points of the last frame where the scene change point is detected (S402). That is, the scene change detection apparatus obtains the number of feature points tracked in the first frame by matching the feature points extracted in the last frame with the first frame.
  • the scene change detection apparatus After performing S402, the scene change detection apparatus obtains a sum of absolute difference (SAD) in a predefined block based on the feature points of the last frame and the feature points tracked in the first frame (S404).
  • SAD sum of absolute difference
  • the scene change detection apparatus obtains SAD by using Equation 2.
  • the scene change detection apparatus calculates a stereoscopic scene continuity score using the obtained SAD and the number of tracked feature points (S406).
  • the scene change detection apparatus obtains a stereoscopic scene continuity score by using Equation 3.
  • the present invention can be embodied as computer readable codes on a computer readable recording medium.
  • the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored.
  • An apparatus for detecting a scene change of a stereoscopic image may include a processor, a memory, a storage device and an input / output device as components, which components may be interconnected using, for example, a system bus.
  • the processor may process instructions for execution within the device.
  • the processor may be a single-threaded processor, and in other implementations, the processor may be a multi-threaded processor.
  • the processor processes instructions stored on memory or storage devices. It is possible to do
  • the memory stores information in the apparatus.
  • the memory is a computer readable medium.
  • the memory may be a volatile memory unit, and for other implementations, the memory may be a nonvolatile memory unit.
  • the storage device described above can provide a mass storage for the device.
  • the storage device is a computer readable medium.
  • the storage device may include, for example, a hard disk device, an optical disk device, or some other mass storage device.
  • the input / output device provides an input / output operation for the device according to the present invention.
  • the input / output device may include one or more network interface devices such as, for example, an Ethernet card, such as a serial communication device such as an RS-232 port and / or a wireless interface device such as, for example, an 802.11 card.
  • the input / output device can include driver devices, such as keyboards, printers, and display devices, configured to send output data to and receive input data from other input / output devices.
  • the apparatus according to the invention may be driven by instructions that cause one or more processors to perform the functions and processes described above.
  • such instructions may include instructions that are interpreted, for example, script instructions such as JavaScript or ECMAScript instructions, or executable code or other instructions stored on a computer readable medium.
  • the device according to the present invention may be implemented in a distributed manner over a network, such as a server farm, or may be implemented in a single computer device.
  • the specification and drawings describe exemplary device configurations, the functional operations and subject matter implementations described herein may be embodied in other types of digital electronic circuitry, or modified from the structures and structural equivalents disclosed herein. It may be implemented in computer software, firmware or hardware, including, or a combination of one or more of them. Implementations of the subject matter described herein relate to one or more computer program products, ie computer program instructions encoded on a program storage medium of tangible type for controlling or by the operation of an apparatus according to the invention. It may be implemented as the above module.
  • the computer readable medium may be a machine readable storage device, a machine readable storage substrate, a memory device, a composition of materials affecting a machine readable propagated signal, or a combination of one or more thereof.
  • processing system encompass all the instruments, devices and machines for processing data, including, for example, programmable processors, computers or multiple processors or computers.
  • the processing system may include, in addition to hardware, code that forms an execution environment for a computer program on demand, such as code constituting processor firmware, a protocol stack, a database management system, an operating system, or a combination of one or more thereof. .
  • a computer program (also known as a program, software, software application, script or code) mounted on an apparatus according to the invention and executing a method according to the invention is a programming comprising a compiled or interpreted language or a priori or procedural language. It can be written in any form of language, and can be deployed in any form, including stand-alone programs or modules, components, subroutines, or other units suitable for use in a computer environment.
  • a computer program does not necessarily correspond to a file in a file system.
  • a program may be in a single file provided to the requested program, in multiple interactive files (eg, a file that stores one or more modules, subprograms, or parts of code), or part of a file that holds other programs or data. (Eg, one or more scripts stored in a markup language document).
  • the computer program may be deployed to run on a single computer or on multiple computers located at one site or distributed across multiple sites and interconnected by a communication network.
  • Computer-readable media suitable for storing computer program instructions and data include, for example, semiconductor memory devices such as EPROM, EEPROM, and flash memory devices, such as magnetic disks such as internal hard disks or external disks, magneto-optical disks, and CD-ROMs. And all forms of nonvolatile memory, media and memory devices, including DVD-ROM discs.
  • semiconductor memory devices such as EPROM, EEPROM, and flash memory devices, such as magnetic disks such as internal hard disks or external disks, magneto-optical disks, and CD-ROMs. And all forms of nonvolatile memory, media and memory devices, including DVD-ROM discs.
  • the processor and memory can be supplemented by or integrated with special purpose logic circuitry.
  • Implementations of the subject matter described herein may include, for example, a backend component such as a data server, or include a middleware component such as, for example, an application server, or a web browser or graphical user, for example, where a user may interact with the implementation of the subject matter described herein. It can be implemented in a computing system that includes a front end component such as a client computer having an interface or any combination of one or more of such back end, middleware or front end components. The components of the system may be interconnected by any form or medium of digital data communication such as, for example, a communication network.
  • the present invention it is possible to determine whether to separate the scene into independent scene transitions or separate them into one continuous scene transition using the features of the image. It can be applied to a scene change detection apparatus and method of an image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 입체 영상의 장면 전환 검출 장치 및 방법에 관한 것으로서, 입력되는 영상에서 장면 전환점을 검출하는 장면 전환점 검출 모듈, 상기 검출된 장면 전환점의 마지막 프레임에서 특징점을 추출하고, 상기 추출된 특징점들이 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점을 이용하여 입체 장면 연속성 점수를 계산하는 입체 장면 연속성 점수 계산 모듈, 상기 계산된 입체 장면 연속성 점수를 기 설정된 임계치와 비교하고, 그 비교 결과를 근거로 입체 장면의 연속성 여부를 판단하는 장면 연속성 여부 판단 모듈을 포함한다. 본 발명에 따르면, 영상의 특징을 이용하여 통상적인 장면전환점에서 이를 독립적인 장면전환으로 분리할지 또는 연속적인 하나의 장면전환으로 구별하지를 결정하여, 입체의 관점에서 장면전환점의 연속성 유무를 결정할 수 있다.

Description

입체 영상의 장면 전환 검출 장치 및 방법
본 발명은 입체 영상의 장면 전환 검출 장치 및 방법에 관한 것으로서, 보다 상세하게는 입력되는 영상에서 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하고, 상기 추출된 특징점들이 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점을 이용하여 입체 장면 연속성 점수를 계산한 후, 상기 입체 장면 연속성 점수를 기 설정된 임계치와 비교하여 입체 장면의 연속성 여부를 판단하는 입체 영상의 장면 전환 검출 장치 및 방법에 관한 것이다.
일반적으로 장면전환(Scene Change)이란 연속되는 동영상의 장면에서 한 장면이 끝난 후, 다른 장면으로 동영상이 다시 시작되는 현상을 말한다. 장면전환은 통상 임의의 장면이 점차적으로 사라지다가 다시 다른 장면이 서서히 나타나는 페이드-아웃(fade out) 및 페이드-인(fade in), 임의의 두 장면이 서로 다른 방향에서 시간을 두고 천천히 겹치는 오버랩(overlap), 단순 장면전환 등으로 구분하기도 한다.
종래의 장면전환점의 검출은 기본적으로 영상의 밝기나 Histogram 등과 같은 수치를 기준으로 장면 전환점을 분리한다. 대부분의 이러한 기준은 도 1의 Histogram 결과와 같이 수치적으로 불연속인 부분을 장면전환점으로 선정하는 것이 타당하지만, 입체변환의 경우에는 시각적으로 객체의 연속성이 있다면 이를 하나의 연속적인 장면으로 분리하여야 하는 경우가 많다.
즉 일반적인 장면전환점과는 다르게 연속적인 장면에서 특정 객체가 계속 움직이는 경우, 시청자는 이 객체의 입체 특성을 유지하여야 입체의 불편함이 작다.
이것이 다른 장면전환점으로 구별되어서 다른 장면(Scene)으로 분리된다면 서로 다른 입체변환방식이 적용될 수 있고, 따라서 연속적인 장면임에도 불구하고 입체의 특성이 변화되어 시각적인 입체의 불편함이 증가할 수 있다.
물론 수작업을 통해서 입체변환 작업을 한다면 특별히 장면전환점의 구별없이 사람이 시각적으로 입체의 특성을 고려하기 때문에 문제가 없지만, 자동으로 영상처리를 통해서 입체변환을 수행하여야 할 경우에는 장면전환점 단위로 입체변환을 해야 효율적이기 때문에 이러한 장면전환점은 매우 중요하다.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 입체 변환의 관점에서 최적의 장면전환점을 검출할 수 있는 입체 영상의 장면 전환 검출 장치 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 영상의 특징을 이용하여 통상적인 장면전환점에서 이를 독립적인 장면전환으로 분리할지 또는 연속적인 하나의 장면전환으로 구별하지를 결정하여, 입체의 관점에서 장면전환점의 연속성 유무를 결정할 수 있는 입체 영상의 장면 전환 검출 장치 및 방법을 제공하는데 있다.
본 발명의 일 측면에 따르면, 입력되는 영상에서 장면 전환점을 검출하는 장면 전환점 검출 모듈, 상기 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하고, 상기 추출된 특징점들이 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점을 이용하여 입체 장면 연속성 점수를 계산하는 입체 장면 연속성 점수 계산 모듈, 상기 계산된 입체 장면 연속성 점수를 기 설정된 임계치와 비교하고, 그 비교 결과를 근거로 입체 장면의 연속성 여부를 판단하는 장면 연속성 여부 판단 모듈을 포함하는 입체 영상의 장면 전환 검출 장치가 제공된다.
상기 장면 전환점 검출 모듈은 상관(Correlation), 통계적 순차 분석(Statistical sequential analysis), 히스토그램(Histogram) 중 적어도 하나의 방법을 이용하여 장면 전환점을 검출한다.
상기 입체 장면 연속성 점수 계산 모듈은, 상기 장면 전환점 검출모듈에서 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하는 특징점 추출부, 상기 마지막 프레임에서 추출된 특징점들을 상기 첫번째 프레임과 매칭하여 상기 추출된 특징점들이 상기 첫번째 프레임에서 추적된 특징점 개수를 구하는 특징점 매칭부, 상기 마지막 프레임의 특징점들과 상기 첫번째 프레임에서 추적된 특징점들을 기준으로 미리 정의된 블록에서의 SAD(sum of absolute difference)를 구하고, 상기 구해진 SAD를 이용하여 입체 장면 연속성 점수를 구하는 입체 장면 연속성 점수 계산부를 포함한다.
상기 입체 장면 연속성 점수 계산모듈은 다음의 수학식을 이용하여 입체 장면 연속성 점수(C(s))를 구한다.
[수학식]
C(s)=(추적된 특징점 개수 / 총 특징점 개수) * (Σ(1/SAD(fn,bm))
여기서, 상기 총 특징점 개수는 장면 전환점의 마지막 프레임에서 추출된 특징점 개수, 상기 추적된 특징점 개수는 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점 개수, fn은 해당 프레임의 번호, bm은 해당 프레임의 m번째 블록을 의미함.
상기 SAD(fn,bm)는 다음의 수학식을 이용하여 구한다.
[수학식]
SAD(fn,bm)= Σ abs( Frame(fn,bm) pixel (i)- Frame(fn+1,bm) pixel(i))
여기서, fn은 해당 프레임의 번호, bm은 해당 프레임의 m번째 블록, i는 해당 블록의 각 pixel의 순서를 의미함.
상기 장면 연속성 여부 판단 모듈은 상기 입체 장면 연속성 점수가 상기 임계치 이상인 경우 연속적인 장면으로 판단하고, 임계치 이상이 아닌 경우 장면 전환이 이루어지는 것으로 판단한다.
본 발명의 다른 측면에 따르면, 장면 전환 검출 장치가 입체 영상의 장면 전환을 검출하는 방법에 있어서, (a) 입력되는 영상에서 장면 전환점을 검출하는 단계, (b) 상기 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하고, 상기 추출된 특징점들이 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점을 이용하여 입체 장면 연속성 점수를 계산하는 단계, (c) 상기 계산된 입체 장면 연속성 점수를 기 설정된 임계치와 비교하여 그 비교 결과를 근거로 입체 장면의 연속성 여부를 판단하는 단계를 포함하는 입체 영상의 장면 전환 검출 방법이 제공된다.
상기 (b) 단계는, 상기 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하는 단계, 상기 마지막 프레임에서 추출된 특징점들을 상기 첫번째 프레임과 매칭하여 상기 추출된 특징점들이 상기 첫번째 프레임에서 추적된 특징점 개수를 구하는 단계, 상기 마지막 프레임의 특징점들과 상기 첫번째 프레임에서 추적된 특징점들을 기준으로 미리 정의된 블록에서의 SAD(sum of absolute difference)를 구하는 단계, 상기 구해진 SAD와 상기 추적된 특징점 개수를 이용하여 입체 장면 연속성 점수를 계산하는 단계를 포함한다.
상기 입체 장면 연속성 점수(C(s))는 다음의 수학식을 이용하여 구해진다.
[수학식]
C(s)=(추적된 특징점 개수 / 총 특징점 개수) * (Σ(1/SAD(fn,bm))
여기서, 상기 총 특징점 개수는 장면 전환점의 마지막 프레임에서 추출된 특징점 개수, 상기 추적된 특징점 개수는 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점 개수, fn은 해당 프레임의 번호, bm은 해당 프레임의 m번째 블록을 의미함.
상기 (c) 단계는, 상기 입체 장면 연속성 점수가 상기 임계치 이상인 경우 연속적인 장면으로 판단하고, 임계치 이상이 아닌 경우 장면 전환이 이루어지는 것으로 판단한다.
본 발명의 또 다른 측면에 따르면, (a) 입력되는 영상에서 장면 전환점을 검출하는 단계, (b) 상기 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하고, 상기 추출된 특징점들이 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점을 이용하여 입체 장면 연속성 점수를 계산하는 단계, (c) 상기 계산된 입체 장면 연속성 점수를 기 설정된 임계치와 비교하여 그 비교 결과를 근거로 입체 장면의 연속성 여부를 판단하는 단계를 포함하는 입체 영상의 장면 전환 검출 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체가 제공된다.
본 발명에 따르면, 입체 변환의 관점에서 최적의 장면전환점을 검출할 수 있다.
또한, 영상의 특징을 이용하여 통상적인 장면전환점에서 이를 독립적인 장면전환으로 분리할지 또는 연속적인 하나의 장면전환으로 구별하지를 결정하여, 입체의 관점에서 장면전환점의 연속성 유무를 결정할 수 있다.
도 1은 종래의 장면전환점의 수치를 표현한 도면.
도 2는 본 발명에 따른 입체 영상의 장면 전환 검출 장치의 구성을 개략적으로 나타낸 블럭도.
도 3은 본 발명에 따른 프레임간 SAD를 구하는 방법을 설명하기 위한 예시도.
도 4는 본 발명에 따른 입체 영상의 장면전환 검출 장치가 장면의 연속성 여부를 검사하는 방법을 나타낸 흐름도.
도 5는 본 발명에 따른 장면전환 검출 장치가 입체 장면 연속성 점수를 구하는 방법을 나타낸 흐름도.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다. 첨부 도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 2는 본 발명에 따른 입체 영상의 장면 전환 검출 장치의 구성을 개략적으로 나타낸 블록도, 도 3은 본 발명에 따른 프레임간 SAD를 구하는 방법을 설명하기 위한 예시도이다.
도 2를 참조하면, 입체 영상의 장면 전환 검출 장치(200)는 장면 전환점 검출 모듈(210), 입체 장면 연속성 점수 계산 모듈(220), 장면 연속성 여부 판단 모듈(230)을 포함한다.
상기 장면 전환점 검출모듈(210)은 입력되는 영상에서 장면 전환점을 검출한다. 즉, 상기 장면 전환점 검출모듈(210)은 영상의 밝기, 상관(Correlation), 통계적 순차 분석(Statistical sequential analysis), 히스토그램(Histogram) 등의 방법을 이용하여 입력되는 영상의 장면 전환점을 구한다.
상기 장면 전환점 검출모듈(210)이 장면 전환점을 검출하는 기술은 종래의 기술을 따르므로 그에 대한 상세한 설명은 생략하기로 한다.
상기 입체 장면 연속성 점수 계산모듈(220)은 상기 장면 전환점 검출모듈(210)에서 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하고, 상기 추출된 특징점들이 장면 전환된 이후 영상의 첫번째 프레임에서 추적된 특징점을 이용하여 입체 장면 연속성 점수를 계산한다. 여기서, 상기 장면 전환점의 마지막 프레임은 장면 전환 전의 마지막 프레임을 의미하고, 상기 장면 전환된 영상의 첫번째 프레임은 장면 전환 후의 첫번째 프레임을 의미하며, 장면 전환 전과 후는 장면 전환점에 의해 구분된다.
상기와 같은 역할을 수행하는 입체 장면 연속성 점수 계산 모듈(220)은 특징점 추출부(222), 특징점 매칭부(224), 입체 장면 연속성 점수 계산부(226)를 포함한다.
상기 특징점 추출부(222)는 상기 장면 전환점 검출모듈(210)에서 검출된 장면 전환점의 마지막 프레임에서 Harris의 코너 추출 방법, SIFT(Scale Invariant Feature Transform) 알고리즘 등을 이용하여 특징점을 추출한다. 여기서, 상기 특징점은 에지(edge) 또는 코너(corner) 등을 말하는 것으로 미리 정의되어 있을 수 있다.
상기 특징점 추출부(222)는 장면 전환점 전후의 영상들간의 객체의 연관성을 찾기 위하여 장면 전환점의 마지막 프레임에서 특징점을 추출하게 된다.
상기 특징점 매칭부(224)는 상기 장면 전환점의 마지막 프레임에서 추출된 특징점들을 장면 전환된 영상의 첫번째 프레임과 매칭하여 상기 추출된 특징점들이 상기 첫번째 프레임에서 추적된 특징점 개수를 구한다.
예를 들어, 장면 전환점 이전의 마지막 프레임에서 추출된 특징점이 특징점 1, 특징점 2, 특징점 3, 특징점 4, 특징점 5이고, 상기 추출된 특징점들을 장면 전환점 이후의 첫번째 프레임에 매칭한 결과 특징점 1, 특징점 2, 특징점 4가 추적된 경우, 상기 특징점 매칭부(224)는 "3"을 추적된 특징점 개수로 구하게 된다.
상기 입체 장면 연속성 점수 계산부(226)는 상기 마지막 프레임의 특징점들과 상기 첫번째 프레임에서 추적된 특징점들을 기준으로 미리 정의된 블록에서의 SAD(sum of absolute difference)를 구하고, 상기 구해진 SAD를 이용하여 입체 장면 연속성 점수를 구한다. 여기서, 상기 미리 정의된 블록은 특징점을 기준으로 주변 화소들을 포함하는 미리 정해진 일정 크기의 블록을 의미한다. 상기 입체 장면 연속성 점수는 상기 마지막 프레임에서 추출된 특징점을 기준으로 다음으로 이어질 장면 전환된 영상에서 상기 특징점들이 어느 정도 유지되는지를 나타내는 점수를 의미한다.
상기 입체 장면 연속성 점수 계산부(226)는 수행하고자 하는 특징점의 개수에 대해서 실제 추적이 가능한 특징점의 개수와 추적으로 얻어진 특징점의 신뢰도를 고려하여 Scene(s)와 Scene(s+1)의 장면 연속성에 대한 점수를 구한다. 여기서, Scene(s)은 장면 전환점에 해당하는 장면, Scene(s+1)은 장면 전환점 이후의 장면을 말한다.
따라서, 상기 입체 장면 연속성 점수 계산부(226)는 수학식 1을 이용하여 입체 장면 연속성 점수(C(s))를 구하게 된다.
수학식 1
Figure PCTKR2012008237-appb-M000001
여기서, 상기 총 특징점 개수는 장면 전환점의 마지막 프레임에서 추출된 특징점 개수를 말하고, 상기 추적된 특징점 개수는 상기 특징점 매칭부에서 구해진 장면 전환점 이후의 첫번째 프레임에서 추적된 특징점 개수를 말한다.
상기 F(n)은 각 특징점의 신뢰도를 말하고, n은 추적이 가능한 특징점의 인덱스(index), s는 각 Scene의 index를 말한다.
상기 각 특징점의 신뢰도(F(n))는 임의 특징점 n에 대해서, Scene(s)의 마지막 프레임에서 기존 방식에 따라서 장면 전환된 다음 Scene(s+1)의 첫번째 프레임에서 추적할 때 추적의 용이함을 의미한다. 즉, 각 특징점의 신뢰도는 특징점을 기준으로 형성된 영상의 일부 영역이 추적하고자 하는 다음 영상에서 얼마나 비슷한 형태로 존재하며 근접하였는지를 표현하는 것이다.
만약 이전 영상과 관계없이 완전히 다른 영상으로 장면 전환이 이루어졌다면, 유사한 특징을 가지는 영역을 찾을 수가 없을 것이고 이것은 근본적으로 추적이 불가능하기 때문에 추적에서 제외된다. 그러나 일정 정도 이상의 유사성이 발견된다면, 발견된 유사성의 척도를 SAD(sum of absolute difference)를 이용하여 구한다.
따라서, 상기 입체 장면 연속성 점수 계산부(226)은 SAD를 이용하여 입체 장면 연속성 점수를 구하게 된다.
이때, 상기 입체 장면 연속성 점수 계산부(226)는 수학식 2를 이용하여 SAD를 구한다.
수학식 2
Figure PCTKR2012008237-appb-M000002
여기서, fn은 해당 프레임의 번호, bm은 해당 프레임의 m번째 블록, i는 해당 블록의 각 pixel의 순서, abs는 절대치를 의미한다.
상기 SAD(sum of absolute difference)는 블록내 모든 pixel의 절대 차이의 합으로, 결과적으로 프레임 간 같은 위치의 블록의 차이점을 표현한다. 따라서, SAD 값이 크다는 의미는 영상의 변화가 크다는 것을 의미한다.
따라서, 상기 입체 장면 연속성 점수 계산부(226)는 특징점을 중심으로 해당 프레임을 미리 정해진 일정 개수의 블록(block)으로 나누고, 각각의 블록에 대해 현재 프레임과 이전 프레임간의 SAD를 각각 구한다.
상기 입체 장면 연속성 점수 계산부(226)가 SAD를 구하는 방법에 대해 도 3을 참조하면, 현재 프레임이 Frame(fn)이고, 이전 프레임이 Frame(fn-1), 이후 프레임이 Frame(fn+1)인 경우, 상기 입체 장면 연속성 점수 계산부(226)는 각 프레임에서 동일한 위치의 블록(bm)간의 SAD 즉, 현재 프레임 블록 bm과 이전 프레임 블록 bm간의 SAD(fn-1,bm), 현재 프레임과 이후 프레임 블록 bm간의 SAD(fn,bm)을 각각 구한다.
따라서, 현재 프레임이 Frame(fn)이고, 이후 프레임이 Frame(fn+1)인 경우, 상기 입체 장면 연속성 점수 계산부(226)는 각 프레임에서 동일한 위치의 블록(bm)간의 SAD 즉, 현재 프레임 블록 bm과 이후 프레임 블록 bm간의 SAD(fn,bm)을 각각 구한다.
상기와 같이 상기 입체 장면 연속성 점수 계산부(226)는 장면전환점에서 선정된 특징점들에 대해 사전에 정의된 공간상의 크기만큼 각 블록에 대한 SAD을 구한다. 상기 구해진 SAD 값이 임계값 이상이면 이것은 현실적으로 추적의 의미가 없는 것이므로 특징점의 추적 개수에서 제외하고, SAD 값이 임계값 이상이 아니면 추적이 가능하다. 따라서, 실제 SAD 값이 작을수록 유사성은 커지고 신뢰도가 커진다. 즉, SAD가 작을수록 신뢰도는 커지는 역비계 관계이다.
따라서, 상기 입체 장면 연속성 점수 계산부(226)는 각 특징점의 신뢰도(F(n))를 SAD를 이용하여 구할 수 있다.
그러므로, 상기 입체 장면 연속성 점수 계산부(226)는 수학식 1을 수학식 3과 같이 표현할 수 있다.
수학식 3
Figure PCTKR2012008237-appb-M000003
여기서, 상기 총 특징점 개수는 장면 전환점의 마지막 프레임에서 추출된 특징점 개수, 상기 추적된 특징점 개수는 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점 개수, fn은 해당 프레임의 번호, bm은 해당 프레임의 m번째 블록을 의미한다.
상기와 같이 구성된 입체 영상 연속성 점수 계산 모듈(220)은 상기 마지막 프레임의 특징점과 장면 전환된 첫번째 프레임에서 추적된 특징점들을 기준으로 미리 정의된 블록에서의 SAD(sum of absolute difference)를 구하고, 상기 구해진 SAD를 이용하여 입체 장면 연속성 점수를 구한다.
또한, 상기 입체 영상 연속성 점수 계산모듈(220)은 장면 전환점의 좌, 우(즉, 장면전환점 이전 또는 이후) 최소 1 프레임에서 여러 프레임에 대해서 특징점 매칭을 수행하여 입체 장면 연속성 점수를 보정할 수 있다.
상기 장면 연속성 여부 판단 모듈(230)은 상기 입체 장면 연속성 점수 계산모듈(220)에서 구해진 입체 장면 연속성 점수를 기 설정된 임계치와 비교하고, 그 비교 결과를 근거로 입체 장면의 연속성 여부를 판단한다.
즉, 상기 장면 연속성 여부 판단 모듈(230)은 상기 입체 장면 연속성 점수가 미리 설정된 임계치 이상인 경우 연속적인 장면으로 판단하고, 임계치 이상이 아닌 경우 장면 전환이 이루어지는 것으로 판단한다.
다시 말하면, 상기 장면 연속성 여부 판단 모듈(230)은 상기 입체 장면 연속성 점수가 임계치 이상이면, 상기 장면 전환점 검출모듈(210)에서 기존의 방식으로 분리된 2개의 Scene(s)과 Scene(s+1)은 입체영상에서 하나의 Scene으로 합쳐서 처리하게 된다.
상기와 같이 구성된 입체 영상의 장면 전환 검출 장치(200)는 자동으로 입체변환을 위한 장면전환점의 검출을 고려한 것으로, 기본적으로는 기존의 장면전환점을 먼저 선정하고 상기와 같은 추가적인 검출을 수행하여 장면전환을 해야 할 지의 여부를 검토하는 방식으로 이루어진다.
또한, 상기 입체 영상의 장면 전환 검출장치(200)는 영상의 특징을 이용하여 통상적인 장면전환점에서 독립적인 장면전환으로 분리할지 또는 연속적인 하나의 장면전환으로 구별하여야 할지를 결정하는 기준을 정의한다.
도 4는 본 발명에 따른 입체 영상의 장면전환 검출 장치가 장면의 연속성 여부를 검사하는 방법을 나타낸 흐름도이다.
도 4를 참조하면, 입체 영상의 장면전환 검출장치는 입력되는 영상에 대해 장면 전환점을 검출한다(S302). 즉, 상기 장면전환 검출장치는 상관(Correlation), 통계적 순차 분석(Statistical sequential analysis), 히스토그램(Histogram) 등의 방법을 이용하여 입력되는 영상의 장면 전환점을 검출한다.
상기 S302의 수행 후, 상기 장면 전환 검출 장치는 상기 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하고(S304), 상기 추출된 특징점들이 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점들을 이용하여 입체 장면 연속성 점수를 구한다(S306). 상기 장면 전환 검출 장치가 입체 장면 연속성 점수를 구하는 방법에 대한 상세한 설명은 도 5를 참조하기로 한다.
상기 S306의 수행 후, 상기 장면 전환 검출 장치는 상기 구해진 입체 장면 연속성 점수가 기 설정된 임계치 이상인지의 여부를 판단한다(S308).
상기 S308의 판단결과 상기 입체 장면 연속성 점수가 임계치 이상이면, 상기 장면전환 검출 장치는 해당 프레임을 연속적인 장면으로 판단한다(S310).
만약, 상기 S308의 판단결과 상기 입체 장면 연속성 점수가 임계치 이상이 아니면, 상기 장면전환검출 장치는 해당 프레임을 장면전환이 이루어지는 것으로 판단한다(S312).
도 5는 본 발명에 따른 장면전환 검출 장치가 입체 장면 연속성 점수를 구하는 방법을 나타낸 흐름도이다.
도 5를 참조하면, 장면전환 검출 장치는 장면전환점이 검출된 마지막 프레임의 특징점들이 장면전환점 이후의 첫번째 프레임에서 추적된 특징점 개수를 구한다(S402). 즉, 상기 장면 전환 검출 장치는 상기 마지막 프레임에서 추출된 특징점들을 상기 첫번째 프레임과 매칭하여 상기 추출된 특징점들이 상기 첫번째 프레임에서 추적된 특징점 개수를 구한다.
상기 S402의 수행 후, 상기 장면전환 검출 장치는 상기 마지막 프레임의 특징점들과 상기 첫번째 프레임에서 추적된 특징점들을 기준으로 미리 정의된 블록에서의 SAD(sum of absolute difference)를 구한다(S404).
즉, 상기 장면 전환 검출 장치는 수학식 2를 이용하여 SAD를 구한다.
상기 S404의 수행 후, 상기 장면 전환 검출 장치는 상기 구해진 SAD와 상기 추적된 특징점 개수를 이용하여 입체 장면 연속성 점수를 계산한다(S406).
즉, 상기 장면전환 검출 장치는 수학식 3을 이용하여 입체 장면 연속성 점수를 구하게 된다.
한편 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
본 발명에 따라 입체 영상의 장면 전환을 검출하는 장치는 프로세서, 메모리, 저장 장치 및 입/출력 장치를 컴포넌트로서 포함할 수 있으며, 이들 컴포넌트는 예컨대 시스템 버스를 이용하여 상호 접속될 수 있다.
상기 프로세서는 본 장치 내에서의 실행을 위한 명령을 처리할 수 있다. 일 구현예에서, 이 프로세서는 싱글 쓰레드(Single-threaded) 프로세서일 수 있으며, 다른 구현예에서 본 프로세서는 멀티 쓰레드(Multi0threaded) 프로세서일 수 있다.본 프로세서는 메모리 또는 저장 장치 상에 저장된 명령을 처리하는 것이 가능한다.
한편, 메모리는 본 장치 내에서 정보를 저장한다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 상술한 저장 장치는 본 장치에 대한 대용량 저장부를 제공할 수 있다. 일 구현예의 경우, 저장 장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현예에서, 저장 장치는 예컨대 하드디스크 장치, 광학디스크장치, 혹은 어떤 다른 대용량 저장 장치를 포함할 수도 있다.
상술한 입/출력 장치는 본 발명에 따른 장치에 대한 입/출력 동작을 제공한다. 일 구현예에서, 입/출력 장치는 예컨대 이더넷 카드와 같은 하나 이상의 네트워크 인터페이스 장치, 예컨대 RS-232 포트와 같은 직렬 통신 장치 및/또는 예컨대 802.11 카드와 같은 무선 인터페이스 장치를 포함할 수 있다. 다른 구현예에서, 입/출력 장치는 다른 입/출력 장치로 출력 데이터를 전송하고 입력 데이터를 수신하도록 구성된 드라이버 장치, 예컨대 키보드, 프린터 및 디스플레이 장치를 포함할 수 있다.
본 발명에 따른 장치는 하나 이상의 프로세서로 하여금 앞서 설명한 기능들과 프로세스를 수행하도록 하는 명령에 의하여 구동될 수 있다. 예를 들어 그러한 명령으로는, 예컨대 JavaScript나 ECMAScript 명령 등의 스크립트 명령과 같이 해석되는 명령이나 실행 가능한 코드 혹은 컴퓨터로 판독 가능한 매체에 저장되는 기타의 명령이 포함될 수 있다. 나아가 본 발명에 따른 장치는 서버 팜(Sever Farm)과 같이 네트워크에 걸쳐서 분산형으로 구현될 수 있으며, 혹은 단일의 컴퓨터 장치에서 구현될 수도 있다.
비록 본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.
"처리 시스템", "처리 장치" 및 "하위 시스템"이라는 용어는 예컨대 프로그래머블 프로세서, 컴퓨터 혹은 다중 프로세서나 컴퓨터를 포함하여 데이터를 처리하기 위한 모든 기구, 장치 및 기계를 포괄한다. 처리 시스템은, 하드웨어에 부가하여, 예컨대 프로세서 펌웨어를 구성하는 코드, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제 혹은 이들 중 하나 이상의 조합 등 요청 시 컴퓨터 프로그램에 대한 실행 환경을 형성하는 코드를 포함할 수 있다.
본 발명에 따른 장치에 탑재되고 본 발명에 따른 방법을 실행하는 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램이 파일 시스템의 파일에 반드시 대응해야 하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.
컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 EPROM, EEPROM 및 플래시메모리 장치와 같은 반도체 메모리 장치, 예컨대 내부 하드디스크나 외장형 디스크와 같은 자기 디스크, 자기광학 디스크 및 CD-ROM과 DVD-ROM 디스크를 포함하여 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함한다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.
본 명세서에서 설명한 주제의 구현물은 예컨대 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 예컨대 어플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 예컨대 사용자가 본 명세서에서 설명한 주제의 구현물과 상호 작용할 수 있는 웹 브라우저나 그래픽 유저 인터페이스를 갖는 클라이언트 컴퓨터와 같은 프론트엔드 컴포넌트 혹은 그러한 백엔드, 미들웨어 혹은 프론트엔드 컴포넌트의 하나 이상의 모든 조합을 포함하는 연산 시스템에서 구현될 수 있다. 시스템의 컴포넌트는 예컨대 통신 네트워크와 같은 디지털 데이터 통신의 어떠한 형태나 매체에 의해서도 상호 접속 가능하다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.
본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 영상의 특징을 이용하여 통상적인 장면전환점에서 이를 독립적인 장면전환으로 분리할지 또는 연속적인 하나의 장면전환으로 구별하지를 결정하여, 입체의 관점에서 장면전환점의 연속성 유무를 결정할 수 있는 입체 영상의 장면 전환 검출 장치 및 방법에 적용할 수 있다.

Claims (11)

  1. 입력되는 영상에서 장면 전환점을 검출하는 장면 전환점 검출 모듈;
    상기 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하고, 상기 추출된 특징점들이 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점을 이용하여 입체 장면 연속성 점수를 계산하는 입체 장면 연속성 점수 계산 모듈; 및
    상기 계산된 입체 장면 연속성 점수를 기 설정된 임계치와 비교하고, 그 비교 결과를 근거로 입체 장면의 연속성 여부를 판단하는 장면 연속성 여부 판단 모듈;
    을 포함하는 입체 영상의 장면 전환 검출 장치.
  2. 제1항에 있어서,
    상기 장면 전환점 검출 모듈은 상관(Correlation), 통계적 순차 분석(Statistical sequential analysis), 히스토그램(Histogram) 중 적어도 하나의 방법을 이용하여 장면 전환점을 검출하는 것을 특징으로 하는 입체 영상의 장면 전환 검출 장치.
  3. 제1항에 있어서,
    상기 입체 장면 연속성 점수 계산 모듈은,
    상기 장면 전환점 검출모듈에서 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하는 특징점 추출부;
    상기 마지막 프레임에서 추출된 특징점들을 상기 첫번째 프레임과 매칭하여 상기 추출된 특징점들이 상기 첫번째 프레임에서 추적된 특징점 개수를 구하는 특징점 매칭부; 및
    상기 마지막 프레임의 특징점들과 상기 첫번째 프레임에서 추적된 특징점들을 기준으로 미리 정의된 블록에서의 SAD(sum of absolute difference)를 구하고, 상기 구해진 SAD를 이용하여 입체 장면 연속성 점수를 구하는 입체 장면 연속성 점수 계산부를 포함하는 것을 특징으로 하는 입체 영상의 장면 전환 검출 장치.
  4. 제3항에 있어서,
    상기 입체 장면 연속성 점수 계산부는 다음의 수학식을 이용하여 입체 장면 연속성 점수(C(s))를 구하는 것을 특징으로 하는 입체 영상의 장면 전환 검출 장치.
    [수학식]
    C(s)=(추적된 특징점 개수 / 총 특징점 개수) * (Σ(1/SAD(fn,bm))
    여기서, 상기 총 특징점 개수는 장면 전환점의 마지막 프레임에서 추출된 특징점 개수, 상기 추적된 특징점 개수는 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점 개수, fn은 해당 프레임의 번호, bm은 해당 프레임의 m번째 블록을 의미함.
  5. 제4항에 있어서,
    상기 SAD(fn,bm)는 다음의 수학식을 이용하여 구하는 것을 특징으로 하는 입에 영상의 장면 전환 검출 장치.
    [수학식]
    SAD(fn,bm)= Σ abs( Frame(fn,bm) pixel (i)- Frame(fn+1,bm) pixel(i))
    여기서, fn은 해당 프레임의 번호, bm은 해당 프레임의 m번째 블록, i는 해당 블록의 각 pixel의 순서, abs는 절대치를 의미함.
  6. 제1항에 있어서,
    상기 장면 연속성 여부 판단 모듈은 상기 입체 장면 연속성 점수가 상기 임계치 이상인 경우 연속적인 장면으로 판단하고, 임계치 이상이 아닌 경우 장면 전환이 이루어지는 것으로 판단하는 것을 특징으로 하는 입체 영상의 장면 전환 검출 장치.
  7. 장면 전환 검출 장치가 입체 영상의 장면 전환을 검출하는 방법에 있어서,
    (a) 입력되는 영상에서 장면 전환점을 검출하는 단계;
    (b) 상기 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하고, 상기 추출된 특징점들이 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점을 이용하여 입체 장면 연속성 점수를 계산하는 단계; 및
    (c) 상기 계산된 입체 장면 연속성 점수를 기 설정된 임계치와 비교하고, 그 비교 결과를 근거로 입체 장면의 연속성 여부를 판단하는 단계;
    를 포함하는 입체 영상의 장면 전환 검출 방법.
  8. 제7항에 있어서,
    상기 (b) 단계는,
    상기 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하는 단계;
    상기 마지막 프레임에서 추출된 특징점들을 상기 첫번째 프레임과 매칭하여 상기 추출된 특징점들이 상기 첫번째 프레임에서 추적된 특징점 개수를 구하는 단계;
    상기 마지막 프레임의 특징점들과 상기 첫번째 프레임에서 추적된 특징점들을 기준으로 미리 정의된 블록에서의 SAD(sum of absolute difference)를 구하는 단계; 및
    상기 구해진 SAD와 상기 추적된 특징점 개수를 이용하여 입체 장면 연속성 점수를 계산하는 단계를 포함하는 것을 특징으로 하는 입체 영상의 장면 전환 검출 방법.
  9. 제8항에 있어서,
    상기 입체 장면 연속성 점수(C(s))는 다음의 수학식을 이용하여 구해지는 것을 특징으로 하는 입체 영상의 장면 전환 검출 방법.
    [수학식]
    C(s)=(추적된 특징점 개수 / 총 특징점 개수) * (Σ(1/SAD(fn,bm))
    여기서, 상기 총 특징점 개수는 장면 전환점의 마지막 프레임에서 추출된 특징점 개수, 상기 추적된 특징점 개수는 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점 개수, fn은 해당 프레임의 번호, bm은 해당 프레임의 m번째 블록을 의미함.
  10. 제7항에 있어서,
    상기 (c) 단계는,
    상기 입체 장면 연속성 점수가 상기 임계치 이상인 경우 연속적인 장면으로 판단하고, 임계치 이상이 아닌 경우 장면 전환이 이루어지는 것으로 판단하는 것을 특징으로 하는 입체 영상의 장면 전환 검출 방법.
  11. (a) 입력되는 영상에서 장면 전환점을 검출하는 단계;
    (b) 상기 검출된 장면 전환점의 마지막 프레임에서 특징점들을 추출하고, 상기 추출된 특징점들이 장면 전환된 영상의 첫번째 프레임에서 추적된 특징점을 이용하여 입체 장면 연속성 점수를 계산하는 단계; 및
    (c) 상기 계산된 입체 장면 연속성 점수를 기 설정된 임계치와 비교하여 그 비교 결과를 근거로 입체 장면의 연속성 여부를 판단하는 단계를 포함하는 입체 영상의 장면 전환 검출 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체.
PCT/KR2012/008237 2011-11-24 2012-10-11 입체 영상의 장면 전환 검출 장치 및 방법 WO2013077546A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0123373 2011-11-24
KR1020110123373A KR101667011B1 (ko) 2011-11-24 2011-11-24 입체 영상의 장면 전환 검출 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2013077546A1 true WO2013077546A1 (ko) 2013-05-30

Family

ID=48469955

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/008237 WO2013077546A1 (ko) 2011-11-24 2012-10-11 입체 영상의 장면 전환 검출 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101667011B1 (ko)
WO (1) WO2013077546A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113225461A (zh) * 2021-02-04 2021-08-06 江西方兴科技有限公司 一种检测视频监控场景切换的***及方法
CN117456204A (zh) * 2023-09-25 2024-01-26 珠海视熙科技有限公司 目标跟踪方法、装置、视频处理***、存储介质和终端

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489191B (zh) * 2013-09-24 2016-04-13 中国科学院自动化研究所 一种遥感图像显著目标变化检测方法
KR102235386B1 (ko) 2017-07-07 2021-04-01 삼성에스디에스 주식회사 장면전환 검출 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003196662A (ja) * 2001-12-27 2003-07-11 Ntt Data Corp カット検出装置およびそのプログラム
JP2009540667A (ja) * 2006-06-08 2009-11-19 トムソン ライセンシング シーン変化を検出する方法及び装置
KR20100060330A (ko) * 2008-11-27 2010-06-07 삼성전자주식회사 스테레오 영상에 대한 다시점 영상 생성 장치 및 방법
KR20110050364A (ko) * 2009-11-06 2011-05-13 삼성전자주식회사 3차원 비디오의 깊이감 조절 방법 및 그 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100348357B1 (ko) * 2000-12-22 2002-08-09 (주)버추얼미디어 하이퍼링크 비디오를 위한 임의 객체의 효과적인 추적 장치 및 방법
KR101490521B1 (ko) 2007-10-10 2015-02-06 삼성전자주식회사 동영상 부호화 데이터율 제어를 위한 실시간 장면 전환검출 방법, 이를 이용한 영상통화 품질 향상 방법, 및영상통화 시스템
KR101050255B1 (ko) * 2009-08-25 2011-07-19 주식회사 노매드커넥션 동영상 장면 분할 시스템 및 방법
KR101167645B1 (ko) * 2010-07-27 2012-07-20 강원대학교산학협력단 장면 전환 검출 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003196662A (ja) * 2001-12-27 2003-07-11 Ntt Data Corp カット検出装置およびそのプログラム
JP2009540667A (ja) * 2006-06-08 2009-11-19 トムソン ライセンシング シーン変化を検出する方法及び装置
KR20100060330A (ko) * 2008-11-27 2010-06-07 삼성전자주식회사 스테레오 영상에 대한 다시점 영상 생성 장치 및 방법
KR20110050364A (ko) * 2009-11-06 2011-05-13 삼성전자주식회사 3차원 비디오의 깊이감 조절 방법 및 그 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHUNG-LIN HUANG ET AL., IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 11, 31 December 2001 (2001-12-31), pages 1281 - 1288 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113225461A (zh) * 2021-02-04 2021-08-06 江西方兴科技有限公司 一种检测视频监控场景切换的***及方法
CN117456204A (zh) * 2023-09-25 2024-01-26 珠海视熙科技有限公司 目标跟踪方法、装置、视频处理***、存储介质和终端

Also Published As

Publication number Publication date
KR20130057585A (ko) 2013-06-03
KR101667011B1 (ko) 2016-10-18

Similar Documents

Publication Publication Date Title
US20200322684A1 (en) Video recommendation method and apparatus
JP4909840B2 (ja) 映像処理装置、プログラムおよび方法
CN111063079B (zh) 一种基于门禁***的双目活体人脸检测方法及装置
US20120294536A1 (en) Pixel analysis and frame alignment for background frames
WO2013077546A1 (ko) 입체 영상의 장면 전환 검출 장치 및 방법
US20110135152A1 (en) Information processing apparatus, information processing method, and program
JP2009048490A (ja) 類似ショット検出装置、プログラムおよび方法
WO2016013885A1 (en) Method for retrieving image and electronic device thereof
EP3120217A1 (en) Display device and method for controlling the same
WO2017119796A1 (en) Electronic device and method of managing a playback rate of a plurality of images
JP7204786B2 (ja) 視覚的検索方法、装置、コンピュータ機器及び記憶媒体
US9497441B2 (en) Image processing device and method, and program
CN114627526A (zh) 基于多摄像头抓拍图像的融合去重方法、装置及可读介质
WO2013066095A1 (ko) 얼굴 검출 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
CN112686122B (zh) 人体及影子的检测方法、装置、电子设备、存储介质
WO2020080571A1 (ko) 영상정보기기에서의 개인정보의 비식별화 방법 및 시스템
WO2024019337A1 (en) Video enhancement method and apparatus
WO2017222228A1 (ko) 영상 컨텐츠의 화면전환 인식 방법 및 이를 운용하는 서버
WO2016159613A1 (ko) 영상 합성을 위한 객체 추적 방법 및 시스템
CN114359160A (zh) 一种屏幕的检测方法、装置、电子设备及存储介质
CN115147623A (zh) 目标图像的获取方法及相关设备
WO2016006901A1 (ko) 이미지로부터 깊이 정보를 추출하는 방법 및 장치
WO2021118048A1 (en) Electronic device and controlling method thereof
CN113449542B (zh) 一种换脸识别方法、装置、设备和介质
CN111654646B (zh) 一种影像合成方法、装置、***及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12850966

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12850966

Country of ref document: EP

Kind code of ref document: A1