KR102365735B1 - Plenoptic image processing apparatus, system having the same, and object segmentation method thereof - Google Patents
Plenoptic image processing apparatus, system having the same, and object segmentation method thereof Download PDFInfo
- Publication number
- KR102365735B1 KR102365735B1 KR1020190056707A KR20190056707A KR102365735B1 KR 102365735 B1 KR102365735 B1 KR 102365735B1 KR 1020190056707 A KR1020190056707 A KR 1020190056707A KR 20190056707 A KR20190056707 A KR 20190056707A KR 102365735 B1 KR102365735 B1 KR 102365735B1
- Authority
- KR
- South Korea
- Prior art keywords
- plenoptic
- viewpoint
- image
- user
- images
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
본 발명에 따른 플렌옵틱 영상 처리 장치의 객체 분할 방법은, 플렌옵틱 영상 중에서 제 1 시점 영상을 선택하는 단계, 사용자 표시 정보를 생성하기 위하여 상기 제 1 시점 영상에서 전경 혹은 배경에서 사용자 영역을 표시하는 단계, 상기 플렌옵틱 영상 중에서 다른 시점 영상들에서 상기 표시된 사용자 영역을 찾아 상기 사용자 표시 정보를 상기 다른 시점 영상들에 반영하는 단계, 및 상기 반영된 사용자 표시 정보를 이용하여 상기 전경 혹은 상기 배경으로부터 객체를 분할하는 단계를 포함할 수 있다.An object segmentation method of a plenoptic image processing apparatus according to the present invention comprises the steps of selecting a first viewpoint image from among plenoptic images, and displaying a user area in the foreground or background in the first viewpoint image to generate user display information. Steps, the steps of finding the displayed user area from other viewpoint images among the plenoptic images and reflecting the user display information to the other viewpoint images, and selecting an object from the foreground or the background using the reflected user display information Partitioning may be included.
Description
본 발명은 플렌옵틱 영상 처리 장치, 그것을 포함하는 플렌옵틱 영상 처리 시스템 및 그것의 객체 분할 방법에 관한 것이다.The present invention relates to a plenoptic image processing apparatus, a plenoptic image processing system including the same, and an object segmentation method thereof.
일반적으로, 2차원 카메라 영상정보에 의존하는 기존의 영상처리 기술에 비해, 플렌옵틱(Plenoptic) 또는 라이트필드(Light Field) 영상은 공간상에서 임의의 방향으로 진행하는 빛의 정보를 제공한다. 즉, 2차원 영상을 구성하는 각 픽셀에 대하여 샘플링된 방향에 대한 빛의 세기와 컬러 정보를 제공하기에 실제 공간에서 물체들을 사실적으로 묘사하는데 아주 적합하다. 플렌옵틱 영상정보는 기존 2차원 영상이 가지는 공간영역(Spatial Domain) 정보와 동시에 방향 정보에 의한 각영역(Angular Domain) 정보를 가지는데, 이러한 공간영역의 깊이정보 및 각영역에 의한 광선의 추가적인 방향정보를 활용하여 원근시점 이동(Perspective Viewing Change), 재초점(Refocusing) 및 3차원 깊이정보 추출(Depth of Field Extraction) 등의 다양한 영상처리를 수행할 수 있다.In general, compared to the existing image processing technology that relies on two-dimensional camera image information, a plenoptic or light field image provides information about light traveling in an arbitrary direction in space. That is, it is very suitable for realistically depicting objects in real space because it provides light intensity and color information for each pixel constituting a two-dimensional image in the sampled direction. The plenoptic image information has spatial domain information of the existing two-dimensional image and angular domain information based on direction information at the same time. By using the information, various image processing such as perspective viewing change, refocusing, and 3D depth of field extraction can be performed.
본 발명의 목적은, 플렌옵틱 영상에서 제 1 시점 영상에서 사용자가 전경과 배경 모두 혹은 전경이나 배경 한영역을 표시해주면, 사용자가 제 2 시점 영상에서 에피폴라 라인상에 어디에 위치할지 결정해주는 작업없이, 자동으로 모든 시점 영상에 반영하여 사용자가 원하는 표시정보를 자동으로 생성하는 플렌옵틱 영상 처리 장치, 그것을 포함하는 플렌옵틱 영상 처리 시스템 및 그것의 객체 분할 방법을 제공하는데 있다.An object of the present invention is, in a plenoptic image, if the user displays both the foreground and the background or one region of the foreground or background in the first viewpoint image in the plenoptic image, the user does not determine where the user will be located on the epipolar line in the second viewpoint image. , to provide a plenoptic image processing apparatus for automatically generating display information desired by a user by automatically reflecting it on all viewpoint images, a plenoptic image processing system including the same, and an object segmentation method thereof.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description below.
본 발명의 실시 예에 따른 플렌옵틱 영상 처리 장치의 객체 분할 방법은, 플렌옵틱 영상 중에서 제 1 시점 영상을 선택하는 단계; 사용자 표시 정보를 생성하기 위하여 상기 제 1 시점 영상에서 전경 혹은 배경에서 사용자 영역을 표시하는 단계; 상기 플렌옵틱 영상 중에서 다른 시점 영상들에서 상기 표시된 사용자 영역을 찾아 상기 사용자 표시 정보를 상기 다른 시점 영상들에 반영하는 단계; 및 상기 반영된 사용자 표시 정보를 이용하여 상기 전경 혹은 상기 배경으로부터 객체를 분할하는 단계를 포함할 수 있다.An object segmentation method of a plenoptic image processing apparatus according to an embodiment of the present invention includes: selecting a first viewpoint image from among plenoptic images; displaying a user area in the foreground or background in the first viewpoint image to generate user display information; finding the displayed user area from other viewpoint images among the plenoptic images and reflecting the user display information to the other viewpoint images; and dividing the object from the foreground or the background using the reflected user display information.
실시 예에 있어서, 플렌옵틱 카메라로부터 플렌옵틱 영상을 획득하는 단계를 더 포함할 수 있다.In an embodiment, the method may further include acquiring a plenoptic image from a plenoptic camera.
실시 예에 있어서, 상기 다른 시점 영상들에서 상기 표시된 사용자 영역을 찾기 위하여 픽셀들의 컬러 값의 유사도(SIM)를 이용하는 것을 특징으로 한다.In an embodiment, a similarity (SIM) of color values of pixels is used to find the displayed user region in the different viewpoint images.
실시 예에 있어서, 상기 다른 시점 영상들에 반영하는 단계는, 상기 유사도(SIM)를 수학식 을 이용하여 계산하는 단계를 더 포함하고, 여기서, 는 상기 제 1 시점 영상에서 사용자가 표시한 영역의 각 픽셀의 컬러값이고, 는 상기 제 1 시점 영상을 제외한 i번째 영상에서 상기 제 1 시점 영상에서 상기 사용자가 표시한 영역의 각 픽셀을 변환 행렬( )에 의해 변환시킨 위치의 픽셀의 컬러값인 것을 특징으로 한다.In an embodiment, in the step of reflecting the images of different viewpoints, the similarity (SIM) is calculated using the equation Further comprising the step of calculating using is the color value of each pixel in the area displayed by the user in the first viewpoint image, is a transformation matrix ( ) is the color value of the pixel at the position converted by
실시 예에 있어서, 상기 다른 시점 영상들에 반영하는 단계는, 상기 제 1 시점 영상에 상기 사용자 영역이 표시된 후에 배경에 대응하는 영역을 기준으로 바운딩 박스 생성하는 단계를 더 포함할 수 있다.In an embodiment, the step of reflecting in the images from different viewpoints may further include generating a bounding box based on an area corresponding to a background after the user area is displayed on the first viewpoint image.
실시 예에 있어서, 상기 다른 시점 영상들에게 반영하는 단계는, 상기 다른 시점 영상들에 상기 객체에 대응하는 위치에 상기 바운딩 박스를 설정하는 단계를 더 포함할 수 있다.In an embodiment, the step of reflecting the images from different viewpoints may further include setting the bounding box at a position corresponding to the object in the images from different viewpoints.
본 발명의 실시 예에 따른 플렌옵틱 영상 처리 장치는: 적어도 하나의 프로세서; 및 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 인스트럭션을 저장하는 메모리를 포함하고, 상기 적어도 하나의 인스트럭션은, 플렌옵틱 영상 중에서 제 1 시점 영상을 선택하고; 사용자 표시 정보를 생성하기 위하여 상기 제 1 시점 영상에서 전경 혹은 배경에서 사용자 영역을 표시하고; 상기 플렌옵틱 영상 중에서 다른 시점 영상들에서 상기 표시된 사용자 영역을 찾아 상기 사용자 표시 정보를 상기 다른 시점 영상들에 반영하고; 및 상기 반영된 사용자 표시 정보를 이용하여 상기 전경 혹은 상기 배경으로부터 객체를 분할하도록 적어도 하나의 프로세서에서 실행되는 것을 특징으로 한다.A plenoptic image processing apparatus according to an embodiment of the present invention includes: at least one processor; and a memory for storing at least one instruction executed by at least one processor, wherein the at least one instruction is configured to: select a first viewpoint image from among plenoptic images; displaying a user area in a foreground or a background in the first viewpoint image to generate user display information; finding the displayed user area from other viewpoint images among the plenoptic images and reflecting the user display information to the other viewpoint images; and dividing the foreground or the object from the background by using the reflected user display information.
실시 예에 있어서, 상기 플렌옵틱 영상은 다중 시점 영상인 것을 특징으로 한다.In an embodiment, the plenoptic image is a multi-view image.
실시 예에 있어서, 상기 제 1 시점 영상에 상기 사용자 영역이 표시되면, 나머지 시점 영상들에 대응하는 사용자 영역이 표시되는 것을 특징으로 한다.In an embodiment, when the user area is displayed on the first viewpoint image, the user area corresponding to the remaining viewpoint images is displayed.
실시 예에 있어서, 상기 사용자 영역의 픽셀들의 컬러 값의 유사도를 이용하여 상기 나머지 시점 영상들에 대응하는 사용자 영역이 검색되는 것을 특징으로 한다.In an embodiment, the user area corresponding to the remaining viewpoint images is searched using similarity of color values of pixels of the user area.
실시 예에 있어서, 상기 제 1 시점 영상에 상기 사용자 영역이 표시되면, 배경에 대응하는 영역을 기준으로 바운딩 박스가 생성되고, 상기 나머지 시점 영상들에 상기 객체에 대응하는 위치에 바운딩 박스가 설정되는 것을 특징으로 한다.In an embodiment, when the user area is displayed on the first viewpoint image, a bounding box is generated based on an area corresponding to a background, and a bounding box is set at a position corresponding to the object in the remaining viewpoint images characterized in that
본 발명의 실시 예에 따른 플렌옵틱 영상 처리 시스템은, 플렌옵틱 카메라로부터 다중 시점의 플렌옵틱 영상을 획득하는 플렌옵틱 영상 획득 장치; 및 상기 플렌옵틱 영상을 4차원 객체 분할하는 플렌옵틱 영상 처리 장치를 포함하고, 상기 플렌옵틱 영상 처리 장치는, 플렌옵틱 영상 중에서 제 1 시점 영상을 선택하고; 사용자 표시 정보를 생성하기 위하여 상기 제 1 시점 영상에서 전경 혹은 배경에서 사용자 영역을 표시하고; 상기 플렌옵틱 영상 중에서 다른 시점 영상들에서 상기 표시된 사용자 영역을 찾아 상기 사용자 표시 정보를 상기 다른 시점 영상들에 반영하고; 및 상기 반영된 사용자 표시 정보를 이용하여 상기 전경 혹은 상기 배경으로부터 객체를 분할하는 것을 특징으로 한다.A plenoptic image processing system according to an embodiment of the present invention includes: a plenoptic image acquisition device for acquiring a multi-view plenoptic image from a plenoptic camera; and a plenoptic image processing apparatus for segmenting the plenoptic image into a 4D object, wherein the plenoptic image processing apparatus selects a first viewpoint image from among the plenoptic images; displaying a user area in a foreground or a background in the first viewpoint image to generate user display information; finding the displayed user area from other viewpoint images among the plenoptic images and reflecting the user display information to the other viewpoint images; and dividing the foreground or the object from the background using the reflected user display information.
실시 예에 있어서, 상기 플렌옵틱 영상 처리 장치는, 상기 제 1 시점 영상에 상기 사용자 영역이 표시될 때, 배경에 대응하는 영역을 기준으로 바운딩 박스를 생성하고, 상기 다른 시점 영상들에 상기 객체에 대응하는 위치에 바운딩 박스를 설정하는 것을 특징으로 한다.In an embodiment, the plenoptic image processing apparatus generates a bounding box based on an area corresponding to a background when the user area is displayed in the first view image, and places the object in the different view images. It is characterized in that the bounding box is set at the corresponding position.
실시 예에 있어서, 상기 객체 분할한 결과를 저장하는 저장 장치를 더 포함할 수 있다.In an embodiment, a storage device for storing a result of dividing the object may be further included.
본 발명의 실시 예에 따른 플렌옵틱 영상 처리 장치, 그것을 포함하는 플렌옵틱 영상 처리 시스템 및 그것의 객체 분할 방법은, 하나의 영상에서 사용자가 전경과 배경을 표시하는 작업으로 전체 플렌옵틱 영상에서 객체 분할을 수행할 수 있다.A plenoptic image processing apparatus, a plenoptic image processing system including the same, and an object segmentation method thereof according to an embodiment of the present invention divide an object from an entire plenoptic image by a user displaying a foreground and a background in one image can be performed.
이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다. 다만, 본 실시예의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1은 본 발명의 실시 예에 따른 플렌옵틱 영상 처리 시스템(10)을 예시적으로 보여주는 도면이다.
도 2는 본 발명의 실시 예에 따른 플렌옵틱 영상 처리 시스템(10)의 플렌옵틱 영상을 객체 분할하는 방법을 예시적으로 보여주는 흐름도이다.
도 3은 일반적인 플렌옵틱 영상 처리 시스템의 플렌옵틱 영상을 객체 분할하는 방법을 예시적으로 보여주는 흐름도이다
도 4는 본 발명의 실시 예에 따른 플렌옵틱 처리 장치에서 자동으로 다른 시점 영역에서 사용자 표시정보를 반영한 결과를 예시적으로 보여주는 도면이다.
도 5는 일반적인 플렌옵틱 처리 장치에서 사용자가 수동으로 사용자 표시정보를 반영하는 결과를 예시적으로 보여주는 도면이다.
도 6은 본 발명의 실시 예에 따른 플렌옵틱 영상 처리 장치(1000)를 예시적으로 보여주는 도면이다.The accompanying drawings are provided to help understanding of the present embodiment, and provide embodiments together with detailed description. However, the technical features of the present embodiment are not limited to specific drawings, and features disclosed in the drawings may be combined with each other to constitute a new embodiment.
1 is a diagram exemplarily showing a plenoptic
2 is a flowchart exemplarily illustrating a method of object segmenting a plenoptic image of the plenoptic
3 is a flowchart exemplarily illustrating a method of object segmentation of a plenoptic image of a general plenoptic image processing system.
4 is a diagram exemplarily showing a result of automatically reflecting user display information in a different viewpoint area in the plenoptic processing apparatus according to an embodiment of the present invention.
5 is a diagram exemplarily showing a result of a user manually reflecting user display information in a general plenoptic processing apparatus.
6 is a diagram exemplarily showing a plenoptic
아래에서는 도면들을 이용하여 본 발명의 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 내용을 명확하고 상세하게 기재할 것이다.Hereinafter, the content of the present invention will be described clearly and in detail to the extent that a person skilled in the art can easily implement it using the drawings.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 혹은 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. Since the present invention can have various changes and can have various forms, specific embodiments are illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to the specific disclosed form, it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms may be used for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. When an element is referred to as being “connected” or “connected” to another element, it is understood that it may be directly connected or connected to the other element, but other elements may exist in between. it should be On the other hand, when it is mentioned that a certain element is "directly connected" or "directly connected" to another element, it should be understood that no other element is present in the middle.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 혹은 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 혹은 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것들의 존재 혹은 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate the existence of an embodied feature, number, step, operation, component, part, or combination thereof, but one or more other features or numbers , it should be understood that it does not preclude the possibility of the existence or addition of steps, operations, components, parts, or combinations thereof. Unless defined otherwise, all terms used herein, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted to have meanings consistent with the context of the related art, and are not to be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. .
일반적으로 영상의 객체 분할은 영상으로부터 사용자가 원하는 객체를 분할하는 작업이다. 기존의 2차원 영상에서 사용자가 원하는 객체를 분할하기 위해서는 전경과 배경 모두 혹은 전경이나 배경 한영역을 대략적으로 표시하면, 그 정보를 기반으로 객체를 분할하는 반자동 객체 분할 방법들이 사용되고 있다.In general, object segmentation of an image is an operation of segmenting an object desired by a user from an image. In order to segment an object desired by a user in an existing two-dimensional image, semi-automatic object segmentation methods are used in which both the foreground and the background or one area of the foreground or background are roughly displayed, and the object is segmented based on the information.
다중 시점 기반의 플렌옵틱 영상에서 객체를 분할하기 위해서 모든 시점 영상에 사용자가 전경과 배경 모두를 표시하거나 혹은 전경이나 배경 중에서 한 영역을 표시하면, 기존의 객체 분할 방법을 그대로 적용할 수 있다. 하지만, 시점의 개수가 많아질 수록 사용자가 많이 개입을 해야한다. 이 때문에 객체 분할에 대한 전체적인 수행 시간이나 사용자 친화도가 떨어지게 된다. 이러한 객체 분할을 효율적으로 진행하기 위하여 사용자가 임의의 시점 영상(제 1 시점 영상)을 선택하여 전경과 배경 모두를 표시하거나 혹은 전경이나 배경 중에서 한영역을 표시한 후에, 사용자가 다른 시점 영상(제 1 시점 영상)에서 한번만 제 1 시점 영상에서 사용자가 표시한 정보를 확정하면, 제 1 시점 영상과 제 2 시점 영상을 제외한 다른 모든 시점 영상들에서 제 1 시점 영상에서 사용자가 표시하고, 제 2 시점 영상에서 사용자가 확정한 정보를 자동으로 적용될 수 있다.In order to segment an object in a multi-view-based plenoptic image, if a user displays both a foreground and a background in all view images, or displays one area from the foreground or background, the existing object segmentation method can be applied as it is. However, as the number of viewpoints increases, more user intervention is required. For this reason, the overall execution time for object segmentation or user friendliness decreases. In order to efficiently perform such object segmentation, the user selects an arbitrary viewpoint image (first viewpoint image) to display both the foreground and the background, or after displaying one area from the foreground or background, the user selects an image from another viewpoint (the first viewpoint image). If the information displayed by the user in the first viewpoint image is confirmed only once in the first viewpoint image), the user displays the information displayed in the first viewpoint image in all other viewpoint images except for the first viewpoint image and the second viewpoint image, and the second viewpoint image Information determined by the user in the image may be automatically applied.
사용자가 제 1 시점 영상에 전경과 배경 모두 혹은 전경이나 배경 한영역을 표시하고, 제 2 시점 영상의 동일한 위치에 제 1 시점 영상에서 사용자가 표시한 정보를 적용하면, 제 1 시점 영상과 제 2 시점 영상간의 시차로 인하여, 제 2 시점 영상에 그려진 정보가 어긋나게 된다. 이때, 제 1 시점 영상과 제 2 시점 영상은 보정(Calibration) 및 정렬(Rectification) 됨으로써 제 1 시점 영상에서의 사용자가 표시한 정보에 대응되는 제 2 시점 영상에서의 위치 후보군이 에피폴라 라인(Epipolar Line) 상에 나타난다. 여기서 에피폴라 라인은 제 1 시점에 연결된 직선을 제 2 시점 영상에 투영되는 직선을 의미한다. If the user displays both the foreground and the background or one region of the foreground or background on the first viewpoint image, and applies the information displayed by the user in the first viewpoint image to the same position of the second viewpoint image, the first viewpoint image and the second viewpoint image Due to the disparity between the viewpoint images, information drawn on the second viewpoint image is displaced. At this time, the first viewpoint image and the second viewpoint image are calibrated and aligned, so that the position candidate group in the second viewpoint image corresponding to the information displayed by the user in the first viewpoint image is an epipolar line (Epipolar) line) appears on the Here, the epipolar line refers to a straight line that is projected onto the image of the second viewpoint by a straight line connected to the first viewpoint.
사용자는 이러한 에피폴라 라인 상에 어디에 위치할 지 제 2 시점 영상에서 결정해주면, 제 1 시점 영상과 제 2 시점 영상을 제외한 나머지 시점 영상들에도 자동적으로 원하는 위치에 제 1 시점 영상에서 사용자가 표시한 정보가 반영된다. 하지만 이러한 과정에서 기존의 2차원 영상에서의 객체 분할에 비교하여 더 많은 사용자 개입(제 2 시점 영상에서 에피폴라 라인 상에서 어디에 위치할지 결정해주는 작업)이 요구되고 있다.When the user decides where to be located on the epipolar line from the second viewpoint image, the image displayed by the user in the first viewpoint image is automatically placed at the desired position in the remaining viewpoint images except for the first viewpoint image and the second viewpoint image. information is reflected. However, in this process, more user intervention (determining a location on the epipolar line in the second viewpoint image) is required compared to object segmentation in the existing two-dimensional image.
도 1은 본 발명의 실시 예에 따른 플렌옵틱 영상 처리 시스템(10)을 예시적으로 보여주는 도면이다. 도 1을 참조하면, 플렌옵틱 영상 처리 시스템(10)은 플렌옵틱 영상 획득 장치(100) 및 플렌옵틱 영상 처리 장치(200)를 포함할 수 있다.1 is a diagram exemplarily showing a plenoptic
플렌옵틱 영상 획득 장치(100)는 카메라 어레이(11)로부터 객체에 대한 다시점의 어레이 영상을 수신하도록 구현될 수 있다.The plenoptic
플렌옵틱 영상 처리 장치(200)는 획득된 플렌옵틱 영상으로부터 사용자가 원하는 객체의 분할을 수행하도록 구현될 수 있다. 여기서 분할된 플렌옵틱 영상은 저장 포맷에 맞게 변환된 후에 저장 장치(12)에 저장될 수 있다.The plenoptic
본 발명의 실시 예에 따른 플렌옵틱 영상 처리 시스템(10)은 플렌옵틱 영상에서 제 1 시점 영상에서 사용자가 전경과 배경 모두 표시하거나, 전경 및 배경 중에서 어느 하나를 표시하면, 사용자가 제 2 시점 영상에서 에피폴라 라인 상에 어디에 위치할 지 결정하는 작업없이, 자동으로 제 2 시점 영상뿐 아니라 모든 시점영상에 표시된 영역을 반영함으로써 사용자가 원하는 표시정보를 자동으로 생성할 수 있다. 이로써 본 발명의 실시 예에 따른 플렌옵틱 영상 처리 시스템(10)은 기존의 2차원 객체분할을 차원을 확대하여 4차원 객체분할을 수행할 수 있다.In the plenoptic
도 2는 본 발명의 실시 예에 따른 플렌옵틱 영상 처리 시스템(10)의 플렌옵틱 영상을 객체 분할하는 방법을 예시적으로 보여주는 흐름도이다. 도 1 및 도 2를 참조하면, 플렌옵틱 영상에서 사용자가 원하는 객체의 분할을 수행하는 과정은 다음과 같다.2 is a flowchart exemplarily illustrating a method of object segmentation of a plenoptic image of the plenoptic
플렌옵틱 카메라 촬영을 통하여 다중 시점 기반의 플렌옵틱 영상이 획득될 수 있다(S110). 여기서 획득된 플렌옵틱 영상은 다중 시점 영상일 수 있다. 플렌옵틱 영상 중에서 사용자가 임의의 시점 영상 1개를 선택할 수 있다(S120). 이렇게 사용자에 의해 선택된 시점 영상을 제 1 시점 영상이라 하겠다.A multi-viewpoint-based plenoptic image may be acquired through the plenoptic camera photographing (S110). The plenoptic image obtained here may be a multi-view image. The user may select one arbitrary viewpoint image from among the plenoptic images (S120). The viewpoint image selected by the user in this way will be referred to as a first viewpoint image.
제 1 시점 영상에서 사용자는 전경 및 배경 혹은 전경이나 배경 중에서 1개의 영역을 표시할 수 있다(S130). 이렇게 표시된 영역은 사용자 표시 정보이다.In the first viewpoint image, the user may display one area of the foreground and the background or the foreground or the background (S130). The area displayed in this way is user-displayed information.
사용자에 의해 표시된 영역은 다른 시점 영상에서 시차로 인하여 다른 위치에 존재할 수 있다. 다른 시점 영상에서 제 1 시점 영상에서 표시된 사용자 표시 정보를 찾고, 다른 시점 영상에 찾은 사용자 표시 정보가 반영될 수 있다(S140). 다른 시점 영상에서 제 1 시점 영상의 사용자 표시 정보를 찾기 위해서, 아래의 수학식이 이용될 수 있다. 사용자가 표시한 픽셀들의 컬러값의 유사도(SIM)를 최대화하는 변환 행렬을 찾고, 이러한 변환 행렬을 변환한다.The area displayed by the user may exist at a different location due to a disparity in the images from different viewpoints. The user display information displayed in the first viewpoint image may be searched for from the other viewpoint image, and the user display information found in the other viewpoint image may be reflected (S140). In order to find the user display information of the first viewpoint image from the other viewpoint image, the following equation may be used. A transformation matrix that maximizes the similarity (SIM) of color values of pixels displayed by the user is found, and this transformation matrix is transformed.
여기서 은 제 1 시점 영상에서 사용자가 표시한 영역의 각 픽셀의 컬러값이고, 은 제 1 시점 영상을 제외한 i번째 영상에 제 1 시점 영상에서 사용자가 표시한 영역의 각 픽셀을 변환 행렬( ) 에 의해 변환한 위치의 픽셀의 컬러값이다.here is the color value of each pixel in the area indicated by the user in the first view image, is a transformation matrix ( ) is the color value of the pixel at the converted position.
한편, 유사도(SIM)을 계산하는 방법은 다양한 방법이 있을 수 있다. 아래에서는 하나의 실시 예로써 다음의 수학식을 이용하여 유사도를 계산한다.Meanwhile, there may be various methods for calculating the similarity (SIM). Below, as an example, the similarity is calculated using the following equation.
상술된 바와 같이, 제 1 시점 영상의 사용자 표시 정보를 나머지 시점 영상에 반영한 후에(S140 이후), 4차원 객체 분할 방법을 적용하여 사용자가 원하는 객체 분할이 수행될 수 있다(S150). 최종적으로 전경/배경 분할 결과가 도출될 수 있다. 이때 객체 분할은 영역 기반 그래프 컷을 이용하여 수행될 수 있다. 영역 기반 그래프 컷을 이용한 객체 분할은, 입력 된 원본 영상에서 관심 영역을 추출하고, 추출된 관심 영역에 대한 필터링을 수행하고, 필터링된 관심 영역의 픽셀들을 그룹화하는 그룹화하고, 그룹화된 픽셀들로 구성된 영역마다 가중치를 산출하고, 산출된 가중치를 이용하여 원본 영상을 관심 영역과 배경 영역으로 분할할 수 있다. 한편, 본 발명의 객체 분할이 영역 기반 그래프 컷에만 제한되지 않는다고 이해되어야 할 것이다.As described above, after the user display information of the first viewpoint image is reflected in the remaining viewpoint images (after S140), object division desired by the user may be performed by applying the 4D object division method (S150). Finally, a foreground/background division result may be derived. In this case, object segmentation may be performed using area-based graph cut. Object segmentation using region-based graph cut extracts a region of interest from an input original image, performs filtering on the extracted region of interest, groups the pixels of the filtered region of interest, and consists of grouped pixels. A weight may be calculated for each region, and the original image may be divided into a region of interest and a background region using the calculated weight. Meanwhile, it should be understood that the object segmentation of the present invention is not limited to region-based graph cut.
한편, 객체 분할 후에 플렌옵틱 영상의 다중 시점의 초점을 맞추는 동작이 추가로 수행될 수 있다.Meanwhile, an operation of focusing multiple views of the plenoptic image may be additionally performed after object segmentation.
도 3은 일반적인 플렌옵틱 영상 처리 시스템의 플렌옵틱 영상을 객체 분할하는 방법을 예시적으로 보여주는 흐름도이다. 도 3을 참조하면, 제 1 시점 영상에 사용자가 전경 및 배경 모두 표시하거나 전경이나 배경 중에서 하나의 영역을 표시하는 과정들(S210, S220, S230)은 도 2에 도시된 S110, S120, S130과 동일하다.3 is a flowchart exemplarily illustrating a method of object segmentation of a plenoptic image of a general plenoptic image processing system. Referring to FIG. 3 , processes ( S210 , S220 , and S230 ) in which the user displays both the foreground and the background or displays one of the foreground and the background on the first viewpoint image ( S210 , S220 , and S230 ) are the same as those of S110 , S120 , and S130 shown in FIG. 2 . same.
이후에, 사용자가 제 1 시점 영상을 제외한 임의의 시점 영상을 선택할 수 있다(S240). 이렇게 선택된 영상은 제 2 시점 영상이다. 제 1 시점 영상에서 사용자가 표시한 정보는 제 2 시점 영상에서는 에피폴라라인으로 나타날 수 있다. 제 1 시점 영상에서의 사용자가 표시한 픽셀 한 개가 대응되는 위치가 제 2 시점 영상에서는 라인상에 존재한다. 따라서, 사용자가 제 2 시점 영상에 나타나는 라인 상의 어느 위치에 위치하는지를 결정해주는 확정 과정이 필요하다(S250). 이 확정 과정을 거치면, 자동적으로 제1, 제 2 시점 영상 외의 다른 시점 영상에는 자동으로 사용자 표시정보가 반영된다(S260). 이를 통해 4차원 객체 분할이 진행된다(S270).Thereafter, the user may select an arbitrary viewpoint image except for the first viewpoint image (S240). The image selected in this way is the second viewpoint image. Information displayed by the user in the first view image may be displayed as an epipolar line in the second view image. A position corresponding to one pixel displayed by the user in the first viewpoint image exists on a line in the second viewpoint image. Therefore, a determination process is required to determine where the user is located on the line appearing in the second viewpoint image (S250). After this determination process, the user display information is automatically reflected in the images from other viewpoints than the first and second viewpoint images (S260). Through this, the four-dimensional object segmentation proceeds (S270).
도 4는 본 발명의 실시 예에 따른 플렌옵틱 처리 장치에서 자동으로 다른 시점 영역에서 사용자 표시정보를 반영한 결과를 예시적으로 보여주는 도면이다. 도 4를 참조하면, 도 4의 (a)와 같이 제 1 시점 영상에서 사용자가 전경과 배경을 표시하면, 도 4의 (b)와 가팅 배경에 해당하는 영역을 기준으로 바운딩 박스(Bounding Box)가 생성될 수 있다. 그러면 다른 시점 영상에 객체에 해당되는 위치에 자동으로 그 바운딩박스가 설정될 수 있다.4 is a view exemplarily showing a result of automatically reflecting user display information in a different viewpoint area in the plenoptic processing apparatus according to an embodiment of the present invention. Referring to FIG. 4, when the user displays the foreground and the background in the first viewpoint image as shown in FIG. 4(a), a bounding box is displayed based on the area corresponding to FIG. can be created. Then, the bounding box may be automatically set at a position corresponding to the object in the image from another viewpoint.
도 5는 일반적인 플렌옵틱 처리 장치에서 사용자가 수동으로 사용자 표시정보를 반영하는 결과를 예시적으로 보여주는 도면이다. 도 5의 (a)에 도시된 바와 같이 사용자가 제 1 시점 영상에 전경과 배경을 표시되고, 도 5의 (b)에 도시된 바와 같이 바운딩 박스가 생성될 수 있다. 도 5의 (c)와 같이, 바운딩 박스가 생성된 후에, 제 2 시점 영상에서 사용자가 에피폴라라인을 기준으로 바운딩 박스를 이동시켜 제 2 시점 영상에서 객체를 포함하는 위치에 바운딩 박스가 위치시켜야 한다.5 is a diagram exemplarily showing a result of a user manually reflecting user display information in a general plenoptic processing apparatus. As shown in (a) of FIG. 5 , the user displays the foreground and the background on the first viewpoint image, and as shown in FIG. 5 (b), a bounding box may be generated. As shown in (c) of FIG. 5 , after the bounding box is created, the user moves the bounding box based on the epipolar line in the second view image, so that the bounding box is positioned at a position including the object in the second view image. do.
도 6은 본 발명의 실시 예에 따른 플렌옵틱 영상 처리 장치(1000)를 예시적으로 보여주는 도면이다. 도 6을 참조하면, 플렌옵틱 영상 처리 장치(1000)는 적어도 하나의 프로세서(1100), 네트워크 인터페이스(1200), 메모리(1300), 디스플레이(1400), 및 입출력 장치(1500)를 포함할 수 있다.6 is a diagram exemplarily showing a plenoptic
프로세서(1100)는 도 1 내지 도 5를 통하여 적어도 하나의 장치를 포함하거나, 도 1 내지 도 5를 통하여 전술한 적어도 하나의 방법으로 구현될 수 있다. 프로세서(1100)는, 상술된 바와 같이, 플렌옵틱 영상 중에서 제 1 시점 영상을 선택하고, 사용자 표시 정보를 생성하기 위하여 제 1 시점 영상에서 전경 혹은 배경에서 사용자 영역을 표시하고, 플렌옵틱 영상 중에서 다른 시점 영상들에서 표시된 사용자 영역을 찾아 사용자 표시 정보를 다른 시점 영상들에 반영하고, 및 반영된 사용자 표시 정보를 이용하여 전경 혹은 배경으로부터 객체를 분할하도록 인스트럭션들(instructions)을 실행할 수 있다.The
프로세서(1100)는 프로그램을 실행하고, 플렌옵틱 영상 처리 장치(1000)를 제어할 수 있다. 플렌옵틱 영상 처리 장치(1000)는 입출력 장치(1500)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 혹은 네트워크)에 연결되고, 데이터를 교환할 수 있다. 생성 장치(1000)는 이동 전화, 스마트 폰, PDA, 태블릿 컴퓨터, 랩톱 컴퓨터 등 모바일 장치, 퍼스널 컴퓨터, 태블릿 컴퓨터, 넷북 등 컴퓨팅 장치, 혹은 텔레비전, 스마트 텔레비전, 게이트 제어를 위한 보안 장치 등 전자 제품 등 다양한 전자 시스템을 포함할 수 있다.The
네트워크 인터페이스(1200)는 외부의 네트워크와 다양한 유/무선 방식에 의해 통신을 수행하도록 구현될 수 있다.The
메모리(1300)는 컴퓨터에서 읽을 수 있는 명령어(instruction)를 포함할 수 있다. 프로세서(1100)는 메모리(1300)에 저장된 명령어가 프로세서(1100)에서 실행됨에 따라 앞서 언급된 동작들을 수행할 수 있다. 메모리(1300)는 휘발성 메모리 혹은 비휘발성 메모리일 수 있다. 메모리(1300)는 사용자의 데이터를 저장하도록 저장 장치를 포함할 수 있다. 저장 장치는 eMMC(embedded multimedia card), SSD(solid state drive), UFS(universal flash storage) 등 일 수 있다. 저장 장치는 적어도 하나의 비휘발성 메모리 장치를 포함할 수 있다. 비휘발성 메모리 장치는, 낸드 플래시 메모리(NAND Flash Memory), 수직형 낸드 플래시 메모리(Vertical NAND; VNAND), 노아 플래시 메모리(NOR Flash Memory), 저항성 램(Resistive Random Access Memory: RRAM), 상변화 메모리(Phase-Change Memory: PRAM), 자기저항 메모리(Magnetoresistive Random Access Memory: MRAM), 강유전체 메모리(Ferroelectric Random Access Memory: FRAM), 스핀주입 자화반전 메모리(Spin Transfer Torque Random Access Memory: STT-RAM) 등이 될 수 있다.The
이상에서 설명된 실시 예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/혹은 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 혹은 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 혹은 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(Operating System; OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. The embodiments described above may be implemented with a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the apparatus, methods, and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). Array), a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose or special purpose computers. The processing device may execute an Operating System (OS) and one or more software applications running on the operating system.
또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 대응하는 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소 (processing element) 및/혹은 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수의 프로세서 혹은 하나의 프로세서 및 하나의 제어기(controller)를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.A processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that a processing device includes a plurality of processing elements and/or a plurality of types of processing. It can be seen that elements can be included. For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 혹은 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 혹은 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/혹은 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 혹은 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 혹은 장치, 혹은 전송되는 신호파(signal wave)에 영구적으로, 혹은 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.
실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 혹은 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체 (magneto-optical media), 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded in the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - Includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
종래의 기술은 모든 시점 영상들에서 독립적으로 사용자가 전경과 배경을 표시하여 다중 시점 기반 플렌옵틱 영상 객체 분할을 수행하거나, 제 1 시점 영상에서 전경과 배경을 표시하고, 제 2 시점영상에서 제 1 시점 영상에서 표시한 부분의 위치를 보정하는 작업을 수행하는 등의 사용자 개입이 많았다. 반면에 본 발명은 기존 2차원 객체 분할 방법에서 사용된 사용자 개입, 즉, 하나의 영상에서 사용자가 전경과 배경을 표시하는 작업만으로 전체 플렌옵틱 영상에서 객체 분할을 수행할 수 있다.In the prior art, the user independently displays the foreground and background in all viewpoint images to perform multi-view-based plenoptic image object segmentation, or displays the foreground and background in the first viewpoint image, and displays the first image in the second viewpoint image. There was a lot of user intervention, such as correcting the position of the marked part in the viewpoint image. On the other hand, according to the present invention, object segmentation can be performed on the entire plenoptic image only with user intervention used in the existing two-dimensional object segmentation method, that is, the user displays the foreground and background in one image.
한편, 상술 된 본 발명의 내용은 발명을 실시하기 위한 구체적인 실시 예들에 불과하다. 본 발명은 구체적이고 실제로 이용할 수 있는 수단 자체뿐 아니라, 장차 기술로 활용할 수 있는 추상적이고 개념적인 아이디어인 기술적 사상을 포함할 것이다.On the other hand, the contents of the present invention described above are only specific examples for carrying out the invention. The present invention will include not only concrete and practically usable means, but also technical ideas, which are abstract and conceptual ideas that can be utilized as future technologies.
10: 플렌옵틱 영상 처리 시스템
100: 플렌옵틱 영상 획득 장치
200, 1000: 플렌옵틱 영상 처리 장치10: Plenoptic image processing system
100: plenoptic image acquisition device
200, 1000: plenoptic image processing unit
Claims (14)
플렌옵틱 영상 중에서 제 1 시점 영상을 선택하는 단계;
사용자 표시 정보를 생성하기 위하여 상기 제 1 시점 영상에서 전경 혹은 배경에서 사용자 영역을 표시하는 단계;
상기 플렌옵틱 영상 중에서 다른 시점 영상들에서 상기 표시된 사용자 영역을 찾아 상기 사용자 표시 정보를 상기 다른 시점 영상들에 반영하는 단계; 및
상기 반영된 사용자 표시 정보를 이용하여 상기 전경 혹은 상기 배경으로부터 객체를 분할하는 단계를 포함하되,
상기 다른 시점 영상들에 반영하는 단계는,
상기 제 1 시점 영상에 상기 사용자 영역이 표시된 후에 배경에 대응하는 영역을 기준으로 바운딩 박스 생성하는 단계를 더 포함하는 객체 분할 방법.In the object segmentation method of a plenoptic image processing apparatus,
selecting a first viewpoint image from among the plenoptic images;
displaying a user area in the foreground or background in the first viewpoint image to generate user display information;
finding the displayed user area from other viewpoint images among the plenoptic images and reflecting the user display information to the other viewpoint images; and
Comprising the step of dividing the object from the foreground or the background by using the reflected user display information,
The step of reflecting in the other viewpoint images,
and generating a bounding box based on an area corresponding to a background after the user area is displayed on the first viewpoint image.
플렌옵틱 카메라로부터 플렌옵틱 영상을 획득하는 단계를 더 포함하는 객체 분할 방법.The method of claim 1,
The object segmentation method further comprising the step of obtaining a plenoptic image from a plenoptic camera.
상기 다른 시점 영상들에서 상기 표시된 사용자 영역을 찾기 위하여 픽셀들의 컬러 값의 유사도(SIM)를 이용하는 것을 특징으로 하는 객체 분할 방법.The method of claim 1,
The object segmentation method according to claim 1, wherein the similarity (SIM) of color values of pixels is used to find the displayed user region in the different viewpoint images.
상기 다른 시점 영상들에 반영하는 단계는,
상기 유사도(SIM)를 수학식
을 이용하여 계산하는 단계를 더 포함하고,
여기서, 는 상기 제 1 시점 영상에서 사용자가 표시한 영역의 각 픽셀의 컬러값이고, 는 상기 제 1 시점 영상을 제외한 i번째 영상에서 상기 제 1 시점 영상에서 상기 사용자가 표시한 영역의 각 픽셀을 변환 행렬( )에 의해 변환시킨 위치의 픽셀의 컬러값인 것을 특징으로 하는 객체 분할 방법.4. The method of claim 3,
The step of reflecting in the other viewpoint images,
The similarity (SIM) is calculated by the equation
Further comprising the step of calculating using
here, is the color value of each pixel in the area displayed by the user in the first viewpoint image, is a transformation matrix ( ), an object segmentation method, characterized in that it is the color value of the pixel at the position transformed by
상기 다른 시점 영상들에게 반영하는 단계는,
상기 다른 시점 영상들에 상기 객체에 대응하는 위치에 상기 바운딩 박스를 설정하는 단계를 더 포함하는 객체 분할 방법.The method of claim 1,
The step of reflecting the other viewpoint images,
The method further comprising the step of setting the bounding box at a position corresponding to the object in the different viewpoint images.
적어도 하나의 프로세서; 및
적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 인스트럭션을 저장하는 메모리를 포함하고,
상기 적어도 하나의 인스트럭션은,
플렌옵틱 영상 중에서 제 1 시점 영상을 선택하고;
사용자 표시 정보를 생성하기 위하여 상기 제 1 시점 영상에서 전경 혹은 배경에서 사용자 영역을 표시하고;
상기 플렌옵틱 영상 중에서 다른 시점 영상들에서 상기 표시된 사용자 영역을 찾아 상기 사용자 표시 정보를 상기 다른 시점 영상들에 반영하고; 및
상기 반영된 사용자 표시 정보를 이용하여 상기 전경 혹은 상기 배경으로부터 객체를 분할하고,
상기 제 1 시점 영상에 상기 사용자 영역이 표시되면, 배경에 대응하는 영역을 기준으로 바운딩 박스가 생성되도록 적어도 하나의 프로세서에서 실행되는 것을 특징으로 플렌옵틱 영상 처리 장치.A plenoptic image processing apparatus comprising:
at least one processor; and
a memory for storing at least one instruction to be executed by at least one processor;
The at least one instruction comprises:
selecting a first viewpoint image from among the plenoptic images;
displaying a user area in a foreground or a background in the first viewpoint image to generate user display information;
finding the displayed user area from other viewpoint images among the plenoptic images and reflecting the user display information to the other viewpoint images; and
dividing the object from the foreground or the background using the reflected user display information,
and when the user region is displayed on the first view image, the plenoptic image processing apparatus is executed by at least one processor to generate a bounding box based on a region corresponding to a background.
상기 플렌옵틱 영상은 다중 시점 영상인 것을 특징으로 하는 플렌옵틱 영상 처리 장치.8. The method of claim 7,
The plenoptic image processing apparatus, characterized in that the plenoptic image is a multi-view image.
상기 제 1 시점 영상에 상기 사용자 영역이 표시되면, 나머지 시점 영상들에 대응하는 사용자 영역이 표시되는 것을 특징으로 하는 플렌옵틱 영상 처리 장치.8. The method of claim 7,
The plenoptic image processing apparatus of claim 1, wherein when the user area is displayed on the first viewpoint image, the user area corresponding to the remaining viewpoint images is displayed.
상기 사용자 영역의 픽셀들의 컬러 값의 유사도를 이용하여 상기 나머지 시점 영상들에 대응하는 사용자 영역이 검색되는 것을 특징으로 하는 플렌옵틱 영상 처리 장치. 10. The method of claim 9,
The plenoptic image processing apparatus of claim 1, wherein the user area corresponding to the remaining viewpoint images is searched using the similarity of color values of pixels of the user area.
상기 나머지 시점 영상들에 상기 객체에 대응하는 위치에 바운딩 박스가 설정되는 것을 특징으로 하는 플렌옵틱 영상 처리 장치. 10. The method of claim 9,
A plenoptic image processing apparatus, characterized in that a bounding box is set at a position corresponding to the object in the remaining viewpoint images.
상기 플렌옵틱 영상을 4차원 객체 분할하는 플렌옵틱 영상 처리 장치를 포함하고,
상기 플렌옵틱 영상 처리 장치는,
플렌옵틱 영상 중에서 제 1 시점 영상을 선택하고;
사용자 표시 정보를 생성하기 위하여 상기 제 1 시점 영상에서 전경 혹은 배경에서 사용자 영역을 표시하고;
상기 플렌옵틱 영상 중에서 다른 시점 영상들에서 상기 표시된 사용자 영역을 찾아 상기 사용자 표시 정보를 상기 다른 시점 영상들에 반영하고; 및
상기 반영된 사용자 표시 정보를 이용하여 상기 전경 혹은 상기 배경으로부터 객체를 분할하되,
상기 제 1 시점 영상에 상기 사용자 영역이 표시되면, 배경에 대응하는 영역을 기준으로 바운딩 박스가 생성하는 것을 특징으로 하는 것을 특징으로 하는 플렌옵틱 영상 처리 시스템.a plenoptic image acquisition device for acquiring multi-view plenoptic images from a plenoptic camera; and
A plenoptic image processing device for segmenting the plenoptic image into a four-dimensional object,
The plenoptic image processing device,
selecting a first viewpoint image from among the plenoptic images;
displaying a user area in a foreground or a background in the first viewpoint image to generate user display information;
finding the displayed user area from other viewpoint images among the plenoptic images and reflecting the user display information to the other viewpoint images; and
Divide the object from the foreground or the background using the reflected user display information,
The plenoptic image processing system, characterized in that when the user area is displayed on the first viewpoint image, a bounding box is generated based on the area corresponding to the background.
상기 플렌옵틱 영상 처리 장치는,
상기 다른 시점 영상들에 상기 객체에 대응하는 위치에 바운딩 박스를 설정하는 것을 특징으로 하는 플렌옵틱 영상 처리 시스템.13. The method of claim 12,
The plenoptic image processing device,
The plenoptic image processing system, characterized in that setting a bounding box at a position corresponding to the object in the different viewpoint images.
상기 객체 분할한 결과를 저장하는 저장 장치를 더 포함하는 플렌옵틱 영상 처리 시스템.13. The method of claim 12,
The plenoptic image processing system further comprising a storage device for storing the object segmentation result.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180135426 | 2018-11-06 | ||
KR20180135426 | 2018-11-06 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200052206A KR20200052206A (en) | 2020-05-14 |
KR102365735B1 true KR102365735B1 (en) | 2022-02-22 |
Family
ID=70737167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190056707A KR102365735B1 (en) | 2018-11-06 | 2019-05-15 | Plenoptic image processing apparatus, system having the same, and object segmentation method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102365735B1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102414377B1 (en) * | 2020-11-11 | 2022-06-29 | 가온미디어 주식회사 | method of decoding plenoptic video by use of pre-processing of color component decomposition |
KR102589349B1 (en) * | 2020-11-30 | 2023-10-16 | 한국전자통신연구원 | Method and apparatus for transmitting and receiving image in plenoptic system |
KR102536352B1 (en) * | 2021-12-15 | 2023-05-26 | 원광대학교산학협력단 | Plenoptic video content data format structure. |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100953076B1 (en) * | 2007-12-13 | 2010-04-13 | 한국전자통신연구원 | Multi-view matching method and device using foreground/background separation |
KR101784639B1 (en) * | 2013-08-19 | 2017-10-11 | 노키아 테크놀로지스 오와이 | Method, apparatus and computer program product for object detection and segmentation |
US9843787B2 (en) * | 2014-04-24 | 2017-12-12 | Qualcomm Incorporated | Generation and use of a 3D radon image |
KR20160120533A (en) | 2015-04-08 | 2016-10-18 | 한국전자통신연구원 | Image sementation method in light field image |
EP3107007B1 (en) | 2015-06-17 | 2020-05-20 | InterDigital CE Patent Holdings | Method and apparatus for data retrieval in a lightfield database |
KR102462063B1 (en) * | 2016-12-09 | 2022-11-03 | 한국전자통신연구원 | Automatic object separation method and apparatus using plenoptic refocus |
-
2019
- 2019-05-15 KR KR1020190056707A patent/KR102365735B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR20200052206A (en) | 2020-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9736451B1 (en) | Efficient dense stereo computation | |
KR102365735B1 (en) | Plenoptic image processing apparatus, system having the same, and object segmentation method thereof | |
US9984473B2 (en) | Feature trackability ranking, systems and methods | |
US10063832B2 (en) | Image processing method and apparatus | |
JP2019075082A (en) | Video processing method and device using depth value estimation | |
Zhang et al. | Personal photograph enhancement using internet photo collections | |
CN108876706A (en) | It is generated according to the thumbnail of panoramic picture | |
US11568631B2 (en) | Method, system, and non-transitory computer readable record medium for extracting and providing text color and background color in image | |
KR102362470B1 (en) | Mehtod and apparatus for processing foot information | |
US11361548B2 (en) | Method and system for multi instance visual tracking based on observer motion modelling | |
CN115661371B (en) | Three-dimensional object modeling method and device, computer equipment and storage medium | |
US9171357B2 (en) | Method, apparatus and computer-readable recording medium for refocusing photographed image | |
US20200211256A1 (en) | Apparatus and method for generating 3d geographic data | |
US11405547B2 (en) | Method and apparatus for generating all-in-focus image using multi-focus image | |
WO2017132011A1 (en) | Displaying geographic data on an image taken at an oblique angle | |
Potje et al. | Towards an efficient 3D model estimation methodology for aerial and ground images | |
KR102358372B1 (en) | Stereo matching method and apparatus | |
Saito et al. | In-plane rotation-aware monocular depth estimation using slam | |
Sajjadi et al. | Depth estimation through a generative model of light field synthesis | |
Tanács et al. | Collaborative mobile 3d reconstruction of urban scenes | |
CN106331720B (en) | Video decoding related information storage method and device | |
Shu et al. | Rich and seamless texture mapping to 3D mesh models | |
KR102669255B1 (en) | Method and apparatus for generating all-in-focus image using multi-focus image | |
US9165208B1 (en) | Robust ground-plane homography estimation using adaptive feature selection | |
KR102632640B1 (en) | Method and apparatus for pixel-wise matching original contents with target contents |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |