KR101842546B1 - Apparatus and method for reality effect detection - Google Patents
Apparatus and method for reality effect detection Download PDFInfo
- Publication number
- KR101842546B1 KR101842546B1 KR1020110134424A KR20110134424A KR101842546B1 KR 101842546 B1 KR101842546 B1 KR 101842546B1 KR 1020110134424 A KR1020110134424 A KR 1020110134424A KR 20110134424 A KR20110134424 A KR 20110134424A KR 101842546 B1 KR101842546 B1 KR 101842546B1
- Authority
- KR
- South Korea
- Prior art keywords
- detecting
- rotation
- motion
- motion effect
- angle
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 실감 효과 검출 장치 및 방법에 관한 것으로, 사용자에게 현장감, 사실감, 몰입감을 극대화 할 수 있는 4D 실감 미디어 콘텐츠 제작을 위한 실감 효과 데이터 검출하며 미디어 콘텐츠를 분석하여 영상 내용에 맞는 모션 효과를 자동 검출하는 실감 효과 검출 장치 및 방법에 관한 것이다.
본 발명의 장치는, 실감 효과 검출 장치에 있어서, 영상내 특정 객체의 모션 효과를 검출하는 객체 모션 검출부와, 카메라의 이동 및 앵글 변화에 따라 발생하는 뷰포인트 모션 효과를 검출하는 뷰포인트 모션 검출부와, 상기 검출된 객체 모션 효과와 상기 검출된 viewpoint 모션 효과를 이용하여 최종의 모션 효과를 검출하는 모션 파라미터 검출부를 포함한다.The present invention relates to a real-time effect detection apparatus and method, and more particularly, to a real-time effect detection apparatus and method for detecting real-time effect data for 4D realistic media content production that maximizes realism, realism, And to a real-life effect detecting apparatus and method for detecting real-life effects.
The device of the present invention includes an object motion detecting unit for detecting a motion effect of a specific object in an image, a viewpoint motion detecting unit for detecting a viewpoint motion effect generated according to a camera movement and an angle change, And a motion parameter detector for detecting a final motion effect using the detected object motion effect and the detected viewpoint motion effect.
Description
본 발명은 실감 효과 검출 장치 및 방법에 관한 것으로, 사용자에게 현장감, 사실감, 몰입감을 극대화 할 수 있는 4D 실감 미디어 콘텐츠 제작을 위한 실감 효과 데이터 검출하며 미디어 콘텐츠를 분석하여 영상 내용에 맞는 모션 효과를 자동 검출하는 실감 효과 검출 장치 및 방법에 관한 것이다.
The present invention relates to a real-time effect detection apparatus and method, and more particularly, to a real-time effect detection apparatus and method for detecting real-time effect data for 4D realistic media content production that maximizes realism, realism, And to a real-life effect detecting apparatus and method for detecting real-life effects.
현재 최근 TV나 영화관에서 실감나는 영상 재현을 위하여 3D나 특수 음향효과를 적용한 미디어 콘텐츠의 제작 및 상영이 증가 추세에 있으며 가정에서도 3D 영상을 시청할 수 있는 3D TV가 출시되는 등 좀 더 실감나는 영상 재현을 위한 시도가 이루어지고 있다. 이러한 노력의 일환으로 시각/청각 위주의 3D 영화에 팬, 모션 의자, 발향기, 조명 장치 등 실감 효과 재현 장치와 연동하여 오감을 자극하는 4D 영화의 제작 및 상영도 증가하는 추세에 있다.Currently, the production and screening of media contents using 3D or special sound effects are increasing in order to reproduce realistic images in TV or movie theaters, and 3D TVs are available for viewing 3D images at home. There is an attempt to do so. As part of this effort, the production and screening of 4D movies that stimulate the senses by interlocking with realistic effects reproducing devices such as fans, motion chairs, footprints, and lighting devices are increasing in visual and auditory 3D movies.
이러한 추세에 따라 국제표준화 기구인 ISO/IEC MPEG-V에서는 실감미디어 제작 및 실감 효과 재현을 위한 빛(light), 플래쉬(flash), 온도(temperature), 바람(wind), 진동(vibration), 물보라(spray), 안개(fog), 색(color) 교정(correction), 움직임(motion) 등의 실감 효과를 기술하는 방법에 대하여 표준화를 진행하고 있다.In accordance with this trend, ISO / IEC MPEG-V, an international standardization organization, has developed a method for producing realistic media and realizing effects such as light, flash, temperature, wind, vibration, standardization is being carried out on methods to describe realistic effects such as spray, fog, color correction, and motion.
그러므로 기존의 미디어 콘텐츠에 실감 효과를 결합한 4D 실감 미디어의 제작과 4D 영화관에서의 상영이 증가할 것으로 예상되며, 가정용 4D 홈시어터 시스템용 4D 실감 미디어 콘텐츠의 제작 및 소비도 가능할 것으로 예상된다.Therefore, it is expected that the production of 4D realistic media that combines realistic effects with existing media contents and the screening at 4D movie theaters are expected to increase. It is also expected that the 4D realistic media contents for home 4D home theater system will be able to be produced and consumed.
그러나 현재까지의 4D 실감미디어 제작 또는 4D 영화 제작은 제작자가 기 제작된 영상물을 보면서 영화 장면 장면에 추가할 실감 효과 요소를 결정하고, 표현하고자 하는 실감효과에 따라 실감효과 재현 장치를 구동할 프로그램을 제작함으로써 제작이 복잡하고 어려우며 제작 기간 및 비용이 많이 드는 단점이 있다. 그러므로 제작이 간단하여 실감 효과를 증가시킬 수 있는 기술의 개발이 필요하다.
However, until now, 4D realistic media production or 4D movie production is a program in which a maker decides a real-time effect element to be added to a movie scene scene while watching a pre-made video, and a program for driving a real- The manufacturing process is complicated and difficult, and the production period and cost are increased. Therefore, it is necessary to develop a technique that can increase the sensation effect by simple fabrication.
따라서, 본 발명의 목적은 영상 미디어 콘텐츠에 실감효과 메타데이터를 추가하여 4D 실감미디어를 제작시 각 장면의 특성에 적합한 실감효과를 자동 검출하여 실감미디어를 제작하는 실감효과 자동 검출 및 4D 실감 미디어 제작 방법을 제공하는 것이다.Therefore, an object of the present invention is to provide a real-time effect detection and 4D realistic media production for realizing sensible media by automatically detecting sensation effects suitable for the characteristics of each scene when 4D reality media are added by adding real- Method.
또한, 본 발명의 다른 목적은, 영상과 오디오 신호로 구성된 기존 미디어를 구간별로 분석하여 영상 콘텐츠에 적절한 모션 효과를 자동 검출하며 특히 영상 내 특정 객체의 움직임과 카메라 앵글의 움직임에 따라 발생하는 viewpoint의 변화에 따른 모션 효과를 분석하여 떨림 효과(vibration)와 모션 효과를 자동 검출함으로써 실감미디어 제작을 용이하게 하고자 함이다.
Another object of the present invention is to provide a method and apparatus for automatically detecting an appropriate motion effect in image contents by analyzing existing media composed of video and audio signals in each section, The purpose of this study is to facilitate the production of realistic media by automatically detecting the vibration effect and motion effect by analyzing the motion effect according to the change.
상기한 목적들을 달성하기 위한 본 발명의 장치는, 실감 효과 검출 장치에 있어서, 영상내 특정 객체의 모션 효과를 검출하는 객체 모션 검출부와, 카메라의 이동 및 앵글 변화에 따라 발생하는 뷰포인트 모션 효과를 검출하는 뷰포인트 모션 검출부와, 상기 검출된 객체 모션 효과와 상기 검출된 viewpoint 모션 효과를 이용하여 최종의 모션 효과를 검출하는 모션 파라미터 검출부를 포함한다.
According to another aspect of the present invention, there is provided a real-time effect detection apparatus comprising: an object motion detector for detecting a motion effect of a specific object in an image; and a viewpoint motion effect generated in response to a camera movement and an angle change And a motion parameter detector for detecting a final motion effect using the detected object motion effect and the detected viewpoint motion effect.
본 발명은, 모션 의자에 떨림 효과 또는 모션효과를 주기 위한 실감 효과를 영상 미디어를 분석하여 영상 신호로부터 검출하며 viewpoint 검출, 객체 위치 검출, 객체 회전 검출부 각 부에서 검출된 결과를 결합하여 모션 효과를 검출하고 검출된 모션 효과를 동기를 맞추어 미디어에 결합함으로써 미디어 콘텐츠에 부합하는 4D 실감 미디어를 손쉽고 빠르게 제작할 수 있다.
In the present invention, a sensation effect for imparting a shaking effect or a motion effect to a motion chair is detected from a video signal by analyzing the image media, and a motion effect is detected by combining the results detected by the viewpoint detection, object position detection, By combining detected motion effects with the detected motion effects, it is possible to quickly and easily produce 4D realistic media compatible with media contents.
도 1은 본 발명의 실시 예에 따른 실감효과 검출 장치의 구성도,
도 2는 본 발명의 실시 예에 따른 모션 효과 검출부의 구성도,
도 3은 모션 효과 검출부의 전체적인 동작 흐름도,
도 4는 실사를 기반으로 특징점을 찾고 선택영역을 표시하는 개념도,
도 5는 도 4에서 선택된 영역에 특징정보를 추출하기 위한 모델링 개념도,
도 6은 본 발명의 실시 예에 따른 객체의 위치정보를 추출하는 과정의 흐름도.1 is a configuration diagram of a real-time effect detection apparatus according to an embodiment of the present invention;
FIG. 2 is a block diagram of a motion effect detecting unit according to an embodiment of the present invention;
FIG. 3 is a general operation flowchart of the motion effect detection unit,
FIG. 4 is a conceptual diagram for searching for a feature point based on a real image and displaying a selection area,
FIG. 5 is a conceptual modeling diagram for extracting feature information in the selected region in FIG. 4,
6 is a flowchart of a process of extracting location information of an object according to an embodiment of the present invention.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩뜨리지 않도록 생략될 것이라는 것을 유의하여야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, only parts necessary for understanding the operation according to the present invention will be described, and the description of other parts will be omitted so as not to disturb the gist of the present invention.
도 1은 본 발명의 실시 예에 따른 실감효과 검출 장치의 구성도이다.1 is a configuration diagram of a real-time effect detection apparatus according to an embodiment of the present invention.
도 1의 실감 효과 검출 장치는 4D 실감미디어 제작을 위하여 미디어 재생부(110), 영상 표시장치(120), 제어부(130), 모션효과 검출부(140), 동기제어부(150), 실감미디어 융합부(160)로 구성된다.1 includes a
도 1을 참고하여 실감 효과 검출장치의 각 구성요소의 동작에 관하여 살펴보기로 한다. The operation of each component of the real-time effect detection apparatus will be described with reference to FIG.
미디어 재생부(110)는 영상 미디어를 재생하며, 영상 표시장치(120)는 미디어 재생부(110)에서 재생한 영상을 영상 표시장치에 출력한다. 제어부(130)는 전체 구간 중 실감 효과를 검출할 특정 구간 정보, 예를 들면 N개로 구성된 프레임에서 시작 프레임과 종료 프레임 정보를 모션 효과 검출부(140)에 제공한다. 또한 제어부(130)는 MxN의 pixel size를 갖는 프레임 내에서 모션 효과를 검출하고자 하는 특정 객체의 영역 정보, 객체의 실루엣 정보, 또는 객체 탐지 및 인식을 위한 정보를 제공한다.The
모션 효과 검출부(140)는 미디어 재생부(110)로부터 재생된 영상 신호를 분석하여 모션 효과를 검출한다. 동기 제어부(160) 미디어 재생부(110)에서 재생된 영상 신호와 모션 효과 검출부(140)에서 추출한 모션 효과의 동기를 맞춘다. 실감 미디어 융합부(150)는 모션효과 검출부(140)에서 검출한 모션 효과 데이터를 동기 제어부(160)의 동기 정보를 받아 동기 정보를 포함한 실감효과 데이터로 변환하여 XML 데이터로 생성하거나 또는 영상 미디어와 결합할 수 있는 형태의 데이터로 변환하여 영상 미디어 결합하여 최종적인 4D 실감미디어를 제작한다. 모션 효과 검출부(140)의 동작은 후술되는 도 2 내지 도 6을 이용하여 상세하게 설명하기로 한다. The motion
도 2는 본 발명의 실시 예에 따른 모션 효과 검출부의 구성도이다.2 is a block diagram of a motion effect detecting unit according to an embodiment of the present invention.
도 2에서의 모션효과 검출부(140)는 영상내 특정 객체의 모션 효과를 검출하는 객체 모션 검출부(210)와 카메라의 이동 및 앵글 변화에 따라 발생하는 viewpoint 모션 효과를 검출하는 viewpoint 모션 검출부(220), 객체 모션 효과와 viewpoint 모션 효과를 종합하여 최종 모션 효과를 검출하는 모션 파라메터 검출부(230)로 구성된다.2, the motion
또한 객체 모션 검출부(210)는 객체의 이동에 따른 위치 정보를 검출하는 위치 검출부(211)와 객체의 좌/우/상/하 회전에 따른 회전 정보를 검출하는 회전 검출부(212)로 구성된다. 회전 검출부(212)는 객체 영역을 N개의 서브영역으로 분할하여 각 서브영역에서 특징점의 모션을 검출하여 객체의 회전 정보를 검출하는 것을 특징으로 한다. 위치 검출부(211)은 객체 모델링부(211a)와 객체 위치 검출부(211b)로 구성되며, 회전 검출부(212)는 객체 회전 모델링부(212a)와 객체회전 검출부(212b)로 구성된다.The object
또한 Viewpoint 모션 검출부(220)는 Viewpoint 모델링부(221)와 Viewpont 검출부(222)로 구성된다. 모션 효과 검출부(140)의 동작과정은 후술되는 도 3 내지 도 5을 이용하여 상세하게 설명하기로 한다.The Viewpoint
도 3은 모션 효과 검출부의 전체적인 동작 흐름도이다. 도 4는 실사를 기반으로 특징점을 찾고 선택영역을 표시하는 개념도이다. 도 5는 도 4에서 선택된 영역에 특징정보를 추출하기 위한 모델링 개념도이다.3 is a general operation flowchart of the motion effect detection unit. FIG. 4 is a conceptual diagram for searching for a feature point based on a real image and displaying a selection area. 5 is a modeling conceptual diagram for extracting feature information in a selected region in FIG.
도 3은 모션 효과 검출부의 전체적인 동작 흐름도이다.3 is a general operation flowchart of the motion effect detection unit.
모션 의자의 움직임을 제어하기 위한 모션 효과의 파라미터는 아래의 <표 1>에 나타낸 바와 같이 객체의 이동 각도, 객체 이동거리, 객체 좌우회전 각도, 그리고 객체 상하회전 각도로 구성할 수 있다. The parameters of the motion effect for controlling the motion of the motion chair can be composed of an object moving angle, an object moving distance, an object rotation angle, and an object rotation angle as shown in Table 1 below.
이동 각도Object
Movement angle
이동 거리Object
Travel distance
회전각도Left and right objects
Rotation angle
회전각도Objects up and down
Rotation angle
301단계에서 위치 검출부(211)의 객체 모델링부(211a)는 위치를 추적할 객체에 대한 모델링을 제공하며, 영상의 특정 구간의 첫 번째 프레임에 대해 제어부(130)에서 제공한 객체를 포함하는 영역 또는 객체의 실루엣에 해당하는 영역 내에 대하여 컬러 히스토그램, intensity, 객체 edge 검출 등의 방법에 추적할 객체를 모델링 한다.In
302단계에서 객체 위치 검출부(211b)는 객체 모델 정보를 바탕으로 각 프레임 마다 객체의 위치 정보를 검출한다. 이때 위치 정보는 객체 내의 모든 pixel의 x-y 좌표에 대하여 x 좌표의 평균값과 y 좌표의 평균값으로 구한다. 현재 프레임에서 객체의 위치 좌표가 검출되면 현재 프레임에서 객체에 대한 모델링을 재실행하고 객체 모델을 업데이트하여 다음 프레임에서 객체 위치 정보 추출을 위한 모델로 사용할 수 있다.In
303단계에서 회전 검출부(212)의 객체 회전 모델링 부(212a)는 이미지 영역 내에서 객체의 global 이동과는 별개로 객체 자체의 좌/우/상/하 회전 정보를 검출하기 위하여 객체의 회전 정보 검출에 필요한 객체의 특징 정보를 모델링한다. 도 5를 참조하면 객체 영역을 N 개의 서브영역으로 분할하고 회전정보를 검출하기 위한 특징점을 각 서브 영역에서 1개 이상, 객체 영역에서 합계 M개를 검출하고 각 특정점을 라벨링하여 메모리에 저장한다. 이때 객체의 특징점은 edge detect에 의한 edge 정보 또는 nxn pixel matrix의 eigenvalue 등이 사용될 수 있다.In
304단계에서 객체회전 검출부(212b)는 매 프레임 단위로 각 서브 영역에서 라벨링된 특징점의 위치를 검출하고 검출된 위치 정보를 메모리에 저장한다. 회전 정보는 먼저 라벨링된 각 특징점에 대하여 현재 프레임의 위치 정보와 과거 프레임의 위치 정보를 바탕으로 이동 각도를 계산한다. 객체의 전체 회전 각도는 아래의 <수학식 1> 같이 각 특징점의 이동각의 평균으로 구할 수 있다. 여기서 In
객체의 전체 회전 각도를 의미하고 는 각 특징점의 이동각을 의미한다.It refers to the full rotation angle of the object. Represents the moving angle of each feature point.
305단계에서 viewpoint 모델링부(221)는 회전 검출부(212)와 유사하게 객체 영역을 제외한 전체 프레임을 N개의 서브 영역으로 분할하고 각 서브 영역에 대해 viewpoint 검출을 위한 특징점을 검출한다. 검출된 특징점은 라벨링하여 추후의 특징점 검출 및 viewpoint 검출에서 사용한다.In
306단계에서 vewpoint 검출부(222)는 매 프레임 마다 각 특징점의 위치를 검출하고 과거 프레임의 viewpoint 정보와 비교하여 회전 각도 및 이동 각도와 이동 거리를 검출한다.In
307단계에서는 301단계와 302단계를 통해 검출된 객체 위치 정보와 305단계와 306단계를 통해 검출된 viewpoint 정보를 이용하여 객체의 위치 정보를 검출하고, 308단계에서는 304단계와 305단계를 통해 검출된 객체의 회전 정보와 305단계와 306단계에서 검출된 viewpoint 정보를 이용하여 객체의 회전 정보를 검출한다. In
모션 파라메터 검출부(230)는 viewpoint 검출부(220)의 정보와 객체 모션 검출부(210)의 정보를 바탕으로 최종적인 모션 효과를 검출한다. 예를 들어 viewpoint에서 검출된 정보가 좌측방향 10도 회전이고 객체 모션 검출부에서 검출한 객체의 회전 정보가 좌측방향 5도 회전이면 모션 효과 검출부에서는 객체 좌우회전각도를 15도로 결정한다. 또 다른 예로 viewpoint 검출부의 검출 결과가 좌측 방향 10pixel 객체 위치 검출 결과가 이동 방향이 우측, 이동거리 30 pixel이면 최종 모션 효과는 이동 방향 우측, 이동거리 20 pixel이 된다.The motion
도 6은 본 발명의 실시 예에 따른 객체의 위치정보를 추출하는 과정의 흐름도이다.6 is a flowchart illustrating a process of extracting location information of an object according to an embodiment of the present invention.
610단계에서는 분석하고자 하는 영상을 N개의 프레임으로 영역분할한다. 620단계에서는 610단계에서 분할된 각 영역의 특징점을 추출한다 630단계에서는 620단계에서 추출된 각 영역의 특징점의 위치를 검출한다. 640단계에서는 630단계에서 검출한 특징점의 위치를 이용하여 좌/우/상/하 회전 각도를 검출한다. 650단계에서는 현재 추출하고 있는 프레임이 마지막 프레임인지를 검사한다. 만약 마지막 프레임이라면 660단계로 천이하여 객체 회전 정보 추출을 종료한다. 만약 마지막 프레임이 아니라면 620단계로 천이한다. In
한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention. Therefore, the scope of the present invention should not be limited by the described embodiments, but should be determined by the scope of the appended claims, as well as the appended claims.
Claims (10)
카메라의 이동 및 앵글 변화에 따라 발생하는 뷰포인트(viewpoint) 모션 효과를 검출하는 뷰포인트 모션 검출부; 및
상기 검출된 객체 모션 효과와 상기 검출된 뷰포인트 모션 효과를 이용하여 모션 효과 파라미터를 검출하는 모션 파라미터 검출부를 포함하고,
상기 뷰포인트 모션 검출부는,
객체 영역을 제외한 전체 프레임을 복수의 서브 영역으로 분할하고 각 서브 영역에 대해 뷰포인트 검출을 위한 특징점을 검출하는 뷰포인트 모델링부; 및
현재 프레임에 대한 각 특징점의 위치를 과거 프레임에 대한 뷰포인트 정보와 비교하여 특징점의 회전 각도, 이동 각도, 및 이동 거리를 검출하는 뷰포인트 검출부를 포함하는, 실감 효과 검출 장치.An object motion detector for detecting an object motion effect related to a position and a rotation of a specific object in an image;
A viewpoint motion detector for detecting a viewpoint motion effect caused by camera movement and an angle change; And
And a motion parameter detector for detecting a motion effect parameter using the detected object motion effect and the detected view point motion effect,
Wherein the viewpoint motion detector comprises:
A viewpoint modeling unit that divides the entire frame except for the object region into a plurality of sub regions and detects feature points for view point detection for each sub region; And
And a view point detection unit for detecting the rotation angle, the movement angle, and the movement distance of the feature points by comparing the position of each of the feature points with respect to the current frame with the viewpoint information about the past frame.
상기 모션 효과 파라미터는,
객체의 이동 각도, 객체의 이동 거리, 객체의 좌우회전 각도, 및 객체의 상하회전 각도 중 적어도 하나에 대한 정보를 포함하는, 실감 효과 검출 장치.The method according to claim 1,
The motion-
And information on at least one of a moving angle of the object, a moving distance of the object, a left and right rotation angle of the object, and an up and down rotation angle of the object.
상기 객체 모션 검출부는,
객체의 이동에 따라 변화하는 객체 위치 정보를 검출하는 위치 검출부; 및
객체의 회전에 따른 회전 정보를 검출하는 회전 검출부를 포함하는, 실감 효과 검출 장치.The method according to claim 1,
Wherein the object motion detecting unit comprises:
A position detector for detecting object position information that changes according to movement of the object; And
And a rotation detecting section for detecting rotation information according to the rotation of the object.
상기 회전 검출부는,
객체 영역을 복수의 서브 영역으로 분할하고 각 서브 영역에서 특징점의 모션을 검출하여 객체의 회전 정보를 검출하는, 실감효과 검출 장치.The method of claim 3,
Wherein the rotation detecting section comprises:
And detects the rotation information of the object by dividing the object area into a plurality of sub areas and detecting the motion of the minutiae in each sub area.
상기 회전 검출부는,
객체 영역을 복수의 서브 영역으로 분할하고 각 서브 영역별 특징점을 검출하여 각 특징점을 라벨링하는 객체회전 모델링부; 및
라벨링된 각 특징점의 위치에 대한 이동 각도를 계산하고, 전체 특징점들의 이동 각도의 평균을 산출하여 객체의 회전 각도를 획득하는 객체회전 검출부를 포함하는, 실감효과 검출 장치. The method of claim 3,
Wherein the rotation detecting section comprises:
An object rotation modeling unit for dividing an object region into a plurality of sub regions, detecting feature points for each sub region, and labeling the respective feature points; And
And an object rotation detector for calculating a movement angle of each labeled feature point and calculating an average of movement angles of all the feature points to obtain a rotation angle of the object.
카메라의 이동 및 앵글 변화에 따라 발생하는 뷰포인트(viewpoint) 모션 효과를 검출하는 단계; 및
상기 검출된 객체 모션 효과와 상기 검출된 뷰포인트 모션 효과를 이용하여 모션 효과 파라미터를 검출하는 단계를 포함하고,
상기 뷰포인트 모션 효과를 검출하는 단계는,
객체 영역을 제외한 전체 프레임을 복수의 서브 영역으로 분할하고 각 서브 영역에 대해 뷰포인트 검출을 위한 특징점을 검출하는 단계; 및
현재 프레임에 대한 각 특징점의 위치를 과거 프레임에 대한 뷰포인트 정보와 비교하여 특징점의 회전 각도, 이동 각도, 및 이동 거리를 검출하는 뷰포인트 검출 단계를 포함하는, 실감 효과 검출 방법.Detecting an object motion effect associated with the position and rotation of a particular object in the image;
Detecting a viewpoint motion effect occurring according to camera movement and angle change; And
Detecting a motion effect parameter using the detected object motion effect and the detected view point motion effect,
Wherein the step of detecting the view point motion effect comprises:
Dividing an entire frame except an object region into a plurality of sub-regions and detecting a feature point for detecting a view point for each sub-region; And
And a view point detecting step of comparing the position of each of the minutiae points of the current frame with the view point information of the past frame to detect the rotation angle, the movement angle, and the movement distance of the minutiae point.
상기 모션 효과 파라미터는,
객체의 이동 각도, 객체의 이동 거리, 객체의 좌우회전 각도, 및 객체의 상하회전 각도 중 적어도 하나에 대한 정보를 포함하는, 실감 효과 검출 방법.The method of claim 6,
The motion-
And information about at least one of a moving angle of the object, a moving distance of the object, a left and right rotation angle of the object, and an up and down rotation angle of the object.
상기 객체 모션 효과를 검출하는 단계는,
객체의 이동에 따라 변화하는 객체 위치 정보를 검출하는 단계; 및
객체의 회전에 따른 회전 정보를 검출하는 단계를 포함하는, 실감 효과 검출 방법.The method of claim 6,
Wherein detecting the object motion effect comprises:
Detecting object position information that changes according to movement of the object; And
And detecting rotation information according to the rotation of the object.
상기 회전 정보를 검출하는 단계는,
객체 영역을 복수의 서브 영역으로 분할하는 단계; 및
각 서브 영역에서 특징점의 모션을 검출하여 객체의 회전 정보를 검출하는 단계를 포함하는, 실감효과 검출 방법.The method of claim 8,
The step of detecting the rotation information includes:
Dividing an object region into a plurality of sub regions; And
And detecting rotation of the object by detecting motion of the minutiae in each sub-area.
상기 회전 정보를 검출하는 단계는,
객체 영역을 복수의 서브 영역으로 분할하고 각 서브 영역별 특징점을 검출하여 각 특징점을 라벨링하는 단계; 및
라벨링된 각 특징점의 위치에 대한 이동 각도를 계산하고, 전체 특징점들의 이동 각도의 평균을 산출하여 객체의 회전 각도를 획득하는 단계를 포함하는, 실감효과 검출 방법. The method of claim 8,
The step of detecting the rotation information includes:
Dividing an object region into a plurality of sub regions, detecting feature points for each sub region, and labeling the respective feature points; And
Calculating a movement angle of each of the labeled feature points with respect to the position and calculating an average of the movement angles of all the feature points to obtain the rotation angle of the object.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110134424A KR101842546B1 (en) | 2011-12-14 | 2011-12-14 | Apparatus and method for reality effect detection |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110134424A KR101842546B1 (en) | 2011-12-14 | 2011-12-14 | Apparatus and method for reality effect detection |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130067649A KR20130067649A (en) | 2013-06-25 |
KR101842546B1 true KR101842546B1 (en) | 2018-03-28 |
Family
ID=48863439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110134424A KR101842546B1 (en) | 2011-12-14 | 2011-12-14 | Apparatus and method for reality effect detection |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101842546B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102573933B1 (en) | 2016-10-04 | 2023-09-05 | 한국전자통신연구원 | Method and apparatus for Machine Learning-based 4D Media Authoring |
KR20180092778A (en) | 2017-02-10 | 2018-08-20 | 한국전자통신연구원 | Apparatus for providing sensory effect information, image processing engine, and method thereof |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006059215A (en) * | 2004-08-23 | 2006-03-02 | Seiko Epson Corp | Rotation angle detector for object, facial rotation angle detection program, and facial rotation angle detection method |
KR100574227B1 (en) * | 2003-12-18 | 2006-04-26 | 한국전자통신연구원 | Apparatus and method for separating object motion from camera motion |
-
2011
- 2011-12-14 KR KR1020110134424A patent/KR101842546B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100574227B1 (en) * | 2003-12-18 | 2006-04-26 | 한국전자통신연구원 | Apparatus and method for separating object motion from camera motion |
JP2006059215A (en) * | 2004-08-23 | 2006-03-02 | Seiko Epson Corp | Rotation angle detector for object, facial rotation angle detection program, and facial rotation angle detection method |
Also Published As
Publication number | Publication date |
---|---|
KR20130067649A (en) | 2013-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101465459B1 (en) | Adaptive rendering of video content based on additional frames of content | |
US8130330B2 (en) | Immersive surround visual fields | |
US9160938B2 (en) | System and method for generating three dimensional presentations | |
US10652519B2 (en) | Virtual insertions in 3D video | |
JP6894962B2 (en) | Image data capture method, device, and program for free-viewpoint video | |
US8922718B2 (en) | Key generation through spatial detection of dynamic objects | |
US20130278727A1 (en) | Method and system for creating three-dimensional viewable video from a single video stream | |
US20080246759A1 (en) | Automatic Scene Modeling for the 3D Camera and 3D Video | |
US11514654B1 (en) | Calibrating focus/defocus operations of a virtual display based on camera settings | |
US10482652B2 (en) | Image conversion for signage | |
CN105191287A (en) | Method of replacing objects in a video stream and computer program | |
US20070126932A1 (en) | Systems and methods for utilizing idle display area | |
KR101842546B1 (en) | Apparatus and method for reality effect detection | |
CN113709544B (en) | Video playing method, device, equipment and computer readable storage medium | |
JPWO2016157996A1 (en) | Information processing apparatus, information processing method, program, and image display system | |
US8375311B2 (en) | System and method for determining placement of a virtual object according to a real-time performance | |
JP2009181043A (en) | Video signal processor, image signal processing method, program and recording medium | |
CN102075689A (en) | Character generator for rapidly making animation | |
CN219802409U (en) | XR virtual film-making real-time synthesis system | |
US20220414991A1 (en) | Video generation apparatus, method for generating video, and program of generating video | |
RAI | Document Image Quality Assessment | |
TW202310614A (en) | Image generation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |