KR20190071534A - Apparatus and method for stabilizing multi channel image - Google Patents
Apparatus and method for stabilizing multi channel image Download PDFInfo
- Publication number
- KR20190071534A KR20190071534A KR1020170172648A KR20170172648A KR20190071534A KR 20190071534 A KR20190071534 A KR 20190071534A KR 1020170172648 A KR1020170172648 A KR 1020170172648A KR 20170172648 A KR20170172648 A KR 20170172648A KR 20190071534 A KR20190071534 A KR 20190071534A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- stabilization
- channel
- channel image
- interest
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H04N5/23267—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H04N5/23229—
-
- H04N5/247—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
실시 예들은 다채널 영상 안정화 장치 및 방법에 관한 것이다.Embodiments relate to a multi-channel image stabilization apparatus and method.
최근 멀티미디어 기기의 사용이 증가함에 따라 다양한 환경에서 촬영된 디지털 영상에 대한 화질개선(image enhancement) 기술에 대한 수요도 증가하고 있다. 화질개선 기술에는 영상의 번짐 제거, 잡음 제거 및 영상 안정화 기술 등이 있으며, 디지털 카메라, 스마트폰, 가정용 카메라나 캠코더, 산업용 감시 카메라, 방송용 카메라 및 군사용 영상 촬영 장치와 같은 촬영장치에 이르기까지 광범위하게 적용된다. 초기 촬영장치는 기존의 아날로그 영상을 디지털화하여 영상을 만들어 내는 데 그쳤다. 그러나 최근 사용되는 촬영장치는 각종 선 처리 및 후처리 보정 기술이 적용되어 기존의 아날로그 영상보다 더욱 깨끗하고 선명한 화질의 디지털 영상을 얻을 수 있게 되었다.As the use of multimedia devices increases, the demand for image enhancement technology for digital images photographed in various environments is increasing. Image quality improvement technologies include image blurring, noise cancellation, and image stabilization techniques. They are widely used for digital cameras, smart phones, home cameras or camcorders, industrial surveillance cameras, broadcast cameras, and imaging devices such as military image capture devices. . The initial imaging device only digitizes the existing analog image to produce the image. However, recently used imaging devices are equipped with a variety of line processing and post-processing correction techniques, so that digital images of clearer and clearer images than conventional analog images can be obtained.
디지털 영상 보정 기술 중에서 가장 보편적으로 사용되는 기술이 영상 안정화(image stabilization) 기술이다. 사용자가 촬영장치를 들고 촬영할 경우 또는 이동 중 촬영할 경우에 흔들림이 발생하게 되며, 자동차, 비행기 또는 헬기와 같은 이동수단에 설치된 카메라의 경우에는 기계적 진동이나 지면과의 마찰 등 여러 환경적 요인에 의해 원치 않는 흔들림이 생기게 된다. 또한 줌 렌즈(zoom lens)의 배율이 올라가면서 약간의 움직임에도 화면 흔들림이 심해지는 문제가 있다. 영상 안정화 기술은 이와 같이 촬영시 촬영장치가 흔들릴 때 깨끗하고 선명한 영상을 얻을 수 있는 기술로서, 촬영된 영상에서 발생하는 원치 않은 흔들림을 제거하기 위해 적용된다.Image stabilization technology is the most commonly used technique among digital image correction techniques. In the case of a camera installed on a moving means such as an automobile, an airplane or a helicopter, there is a possibility that vibration due to various environmental factors such as mechanical vibration or friction with the ground There will be a shake. Also, as the magnification of the zoom lens increases, there is a problem that the screen shake becomes worse even with slight movement. The image stabilization technology is a technique for obtaining a clear and sharp image when the photographing apparatus is shaken during photographing, and is applied to remove unwanted shaking that occurs in the photographed image.
기존의 영상 안정화 기술은 기준 영상에서 특징점을 추출하고, 현재영상에서 특징점 추적을 이용하여 대응점을 찾고, 기준 영상 및 현재영상 사이의 움직임을 계산하고, 계산된 움직임으로 현재영상을 변환하여 안정된 영상을 생성한다. 이러한 영상 안정화 기술에서는 배경 영상의 움직임을 이용하여 영상을 안정화하므로, 배경영상에서 추출된 특징점을 이용하여 영상의 움직임을 계산하게 된다. 그러나 동적 물체 위에서 추출된 특징점이 영상의 움직임 계산에 이용되는 경우에는 영상의 움직임 계산에 무시할 수 없는 오차를 발생시킬 수 있고, 결과적으로 영상 안정화에 실패하는 요인이 된다.Conventional image stabilization technology extracts feature points from the reference image, finds corresponding points using the feature point tracking in the current image, calculates the motion between the reference image and the current image, transforms the current image with the calculated motion, . In this image stabilization technique, since the image is stabilized by using the movement of the background image, the motion of the image is calculated using the feature points extracted from the background image. However, when the feature points extracted from the dynamic object are used for the motion computation of the image, it can cause an error that can not be neglected in the motion computation of the image, resulting in a failure to stabilize the image.
복수의 카메라로 하나의 피사체를 다양한 채널에서 촬영하여 획득한 복수의 영상을 기하학적으로 교정, 합성하여 다채널의 영상을 사용자에게 제공하는 영상 서비스가 공개되어 있다. 이러한 다채널 영상은 고화질의 개념을 뛰어넘는 사실감 넘치는 영상을 제공하며, 이를 통해 사용자들은 미디어에 몰입감을 더욱 느끼게 되고 광고, 교육, 의료, 국방, 오락 등의 분야에서 영상 정보 전달 효과를 크게 높일 수 있다. 이러한 다채널 영상을 위해, 복수의 카메라 설치 이후에 별도의 보정이 존재하지만, 촬영 도중 고정된 카메라의 물리적인 충격 등이 발생하는 경우가 있고, 충격이 발생한 카메라의 시점이 변경되면서, 결과 영상이 매끄럽지 못하고 흔들리는 경우가 발행하며, 이를 추가로 보정 할 필요가 있다. 이 경우, 기존 영상 안정화 기술을 그대로 적용하는 데에는 한계가 있으며, 다채널 영상에 맞도록 개선할 필요성이 있다. There is disclosed a video service that geometrically calibrates and synthesizes a plurality of images obtained by photographing a single subject in various channels with a plurality of cameras and provides a multi-channel image to a user. These multi-channel images provide realistic images that transcend the concept of high-quality images, thereby allowing users to feel more immersive in the media and to greatly enhance the effect of transmitting video information in advertising, education, medical care, defense and entertainment have. For such a multi-channel image, there is a separate correction after the installation of a plurality of cameras. However, there is a case where a physical impact of the camera fixed during shooting occurs, There is a case where it is not smooth and shaking, and it needs to be corrected further. In this case, there is a limitation in applying the existing image stabilization technology as it is, and there is a need to improve the image stabilization technology to fit the multi-channel image.
실시 예들은 다채널 영상 안정화 장치 및 방법에 관한 것이다.Embodiments relate to a multi-channel image stabilization apparatus and method.
일 실시 예에 따른 다채널 영상 안정화 장치는 복수의 카메라를 통해 소정 시간 피사체를 촬영하도록 제어하고, 상기 복수의 카메라에 대응하는 다채널 영상들을 통신망을 통해 전송하는 카메라 제어부; 및 상기 카메라 제어부로부터 전송된 상기 다채널 영상들을 시간별, 채널별, 시간 및 채널을 혼합한 적어도 하나의 기준으로 그룹핑하여 저장하고, 상기 사용자 단말의 요청에 따라 상기 그룹핑된 영상에 대한 안정화처리를 수행하는 안정화모듈을 포함한다.A multi-channel image stabilization apparatus according to an exemplary embodiment of the present invention includes a camera controller for controlling a plurality of cameras to shoot a subject for a predetermined time and transmitting the multi-channel images corresponding to the plurality of cameras through a communication network; And grouping the multi-channel images transmitted from the camera controller into at least one group of time, channel, time, and channel, and performing stabilization processing on the grouped images at the request of the user terminal And a stabilization module.
다른 실시 예에 따른 다채널 영상 안정화장치는 다채널 영상을 생성하는 다채널 영상 생성부; 상기 다채널 영상 중 안정화 구간을 판단하는 안정화 구간 판단부; 및 상기 다채널 영상에서 관심 영역을 지정하고, 상기 판단된 안정화 구간에 따라 상기 안정화 처리를 수행하는 안정화 처리부를 포함한다.A multi-channel image stabilization apparatus according to another embodiment includes a multi-channel image generation unit for generating a multi-channel image; A stabilization period determiner for determining a stabilization period of the multi-channel image; And a stabilization processor for designating a region of interest in the multi-channel image and performing the stabilization process according to the determined stabilization period.
상기 생성된 다채널 영상의 영상 시퀀스 정보로부터, 연속 구간 및 안정화 처리 적용 구간을 판단할 수 있다.From the video sequence information of the generated multi-channel image, it is possible to determine the continuous section and the stabilization processing application section.
상기 사용자 단말의 요청에 포함된 채널 변경 정보를 기초로 안정화 처리 적용 구간을 판단할 수 있다.The stabilization process application section can be determined based on the channel change information included in the request of the user terminal.
상기 안정화 장치는 상기 지정된 관심 영역에 대한 트레킹을 수행하는 트레킹부를 더 포함할 수 있다.The stabilization device may further include a trekking unit for performing trekking on the designated area of interest.
상기 트레킹된 관심 영역에 대한 안정화 처리를 수행할 수 있다.And perform stabilization processing on the trekked ROI.
상기 안정화 처리는 상기 관심영역내의 특징점의 변위벡터를 이용하여 흔들림 보정할 수 있다.The stabilization process may perform shake correction using the displacement vector of the minutiae in the ROI.
상기 안정화 처리는 상기 트레킹된 관심 영역내의 특징점의 변위벡터를 이용하여 흔들림 보정할 수 있다.The stabilization process may perform shake correction using the displacement vector of the feature point in the trekked region of interest.
또 다른 실시 예에 따른 다채널 영상 안정화 방법은 다채널 영상을 생성하는 단계; 상기 다채널 영상 중 안정화 구간을 판단하는 단계; 및 상기 다채널 영상에서 관심 영역을 지정하고, 상기 판단된 안정화 구간에 따라 상기 안정화 처리를 수행하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of stabilizing a multi-channel image, comprising: generating a multi-channel image; Determining a stabilization period of the multi-channel image; And designating a region of interest in the multi-channel image, and performing the stabilization process according to the determined stabilization period.
또 다른 실시 예에 따른 상기 다채널 영상 안정화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다. And a recording medium on which a program for executing the multi-channel image stabilization method according to another embodiment is stored in a computer.
도 1은 일 실시 예에 따른 다채널 영상을 위한 전송 시스템(100)의 개략 도이다.
도 2는 다채널 영상을 생성하는 예시 도이다.
도 3 및 4는 일 실시 예에 따른 다채널 영상 안정화를 설명하기 위한 예시 도들이다.
도 5 내지 7은 일 실시 예에 따른 다채널 영상을 안정화하는 방법을 설명하는 예시 도들이다.
도 8 내지 11은 일 실시 예에 따른 다채널 영상을 안정화하는 방법을 설명하는 예시 도들이다.
도 12는 다른 실시 예에 따른 관심영역을 고정한 상태에서 적용한 안정화 장치의 개략 도이다.
도 13은 또 다른 실시 예에 따른 관심영역을 추적하는 방법을 적용한 안정화장치의 개략 도이다. 1 is a schematic diagram of a
2 is an exemplary diagram for generating a multi-channel image.
3 and 4 are illustrations for explaining a multi-channel image stabilization according to an embodiment.
FIGS. 5 to 7 are exemplary diagrams illustrating a method of stabilizing a multi-channel image according to an exemplary embodiment.
8 to 11 are exemplary diagrams illustrating a method of stabilizing a multi-channel image according to an exemplary embodiment.
FIG. 12 is a schematic diagram of a stabilizer applied in a state where a region of interest according to another embodiment is fixed.
FIG. 13 is a schematic diagram of a stabilization apparatus applying a method of tracking a region of interest according to another embodiment.
본 실시 예들에서 사용되는 용어는 본 실시 예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 기술분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 임의로 선정된 용어도 있으며, 이 경우 해당 실시 예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시 예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시 예들의 전반에 걸친 내용을 토대로 정의되어야 한다.Although the terms used in the present embodiments have been selected in consideration of the functions in the present embodiments and are capable of being widely used in general terms, they may vary depending on the intention or circumstance of a technician working in the art, the emergence of new technology . Also, in certain cases, there are arbitrarily selected terms, and in this case, the meaning will be described in detail in the description part of the embodiment. Therefore, the terms used in the embodiments should be defined based on the meaning of the terms, not on the names of simple terms, and on the contents of the embodiments throughout.
실시 예들에 대한 설명에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 구성요소를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 실시 예들에 기재된 “...부”의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.In the description of the embodiments, when a part is connected to another part, it includes not only a direct connection but also a case where the part is electrically connected with another part in between. In addition, when a part includes an element, it does not exclude other elements unless specifically stated otherwise, but may include other elements. Further, the term " part " described in the embodiments means a unit for processing at least one function or operation, which may be implemented in hardware or software, or a combination of hardware and software.
본 실시 예들에서 사용되는 “구성된다” 또는 “포함한다” 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.It should be noted that the terms such as " comprising " or " including ", as used in these embodiments, should not be construed as necessarily including the various elements described in the specification or the various steps, The steps may not be included, or may be interpreted to include additional components or steps.
하기 실시 예들에 대한 설명은 권리범위를 제한하는 것으로 해석되지 말아야 하며, 해당 기술분야의 당업자가 용이하게 유추할 수 있는 것은 실시 예들의 권리범위에 속하는 것으로 해석되어야 할 것이다. 이하 첨부된 도면들을 참조하면서 오로지 예시를 위한 실시 예들을 상세히 설명하기로 한다.The following description of the embodiments should not be construed as limiting the scope of the present invention and should be construed as being within the scope of the embodiments of the present invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Exemplary embodiments will now be described in detail with reference to the accompanying drawings.
영상 안정화 기술은 기준영상에서 특징점을 추출하고, 현재영상에서 특징점 추적을 이용하여 대응점을 찾고, 기준영상 및 현재영상 사이의 움직임을 계산하고, 계산된 움직임으로 현재영상을 변환하여 안정된 영상을 생성한다. 이러한 영상 안정화 기술에서는 배경영상의 움직임을 이용하여 영상을 안정화하므로, 배경영상에서 추출된 특징점을 이용하여 영상의 움직임을 계산하게 된다. The image stabilization technique extracts feature points from the reference image, finds corresponding points using the feature point tracking in the current image, calculates the motion between the reference image and the current image, and generates a stable image by converting the current image into the calculated motion . In this image stabilization technique, since the image is stabilized by using the movement of the background image, the motion of the image is calculated using the feature points extracted from the background image.
도 1은 일 실시 예에 따른 다채널 영상을 위한 전송 시스템(100)의 개략 도이다. 1 is a schematic diagram of a
도 1을 참조하면, 전송 시스템(100)은 복수의 카메라(111 내지 113), 복수의 카메라(111 내지 113)를 제어하고, 복수의 카메라(111 내지 113)로부터 촬영된 다채널 영상들을 처리 및 전송하는 카메라 제어부(110), 카메라 제어부(110)로부터 전송된 다채널 영상들을 처리 및 저장하는 영상 서버(200)를 포함한다. 영상 서버(200)는 사용자 단말(150)로부터 다채널 영상에 대한 요청, 스위칭 영상에 대한 요청, 특정 이벤트에 대한 요청을 수신하고, 저장된 다채널 영상을 사용자 단말(150)에 전송한다.1, a
영상 서버(200)는 영상 처리 장치(130) 및 영상 저장부(140)를 포함할 수 있다.The
도 2에 도시된 것처럼, 특정 피사체를 촬영하기 위해 복수의 카메라(1 내지 N)가 배치될 수 있다. 피사체의 주위에 어레이로 배열된 복수의 카메라에서 피사체를 다각도에서 촬영한 복수의 영상을 수신한다. 복수의 카메라 배열 방법은, 예컨대 임의의 카메라를 기준으로 N개의 카메라들을 실질적으로 동일한 평면상에 일렬로 배치하는 것일 수 있다. 이 경우, 피사체를 기준으로 일정 거리 이격된 원주상에 N개의 카메라들을 순차적으로 배치할 수도 있고, 중앙에 배치된 카메라를 기준으로 양측에 배치된 두 개의 카메라와 피사체 간의 거리를 일치시키고 나머지 카메라는 피사체와의 거리를 상이하게 할 수도 있다. 또한, 피사체는 고정된 피사체일 수도 있고, 움직이는 피사체일 수도 있다.As shown in Fig. 2, a plurality of
복수의 카메라(1 내지 N)와 카메라 제어부(110)는 유선 또는 무선으로 통신 가능할 수 있으며, 복수의 카메라(1 내지 N)를 제어하기 위한 복수의 카메라 제어부를 구비할 수도 있다.The plurality of
카메라 제어부(110)는 복수의 카메라(1 내지 N)를 동기화하는 동기화 신호를 통해 복수의 카메라(1 내지 N)를 제어할 수 있다. 카메라 제어부(110)는 복수의 카메라(1 내지 N)로부터 촬영된 영상들을 임시 저장하고, 코덱 변경을 통해 촬영된 영상의 크기를 줄이고 빠른 전송이 가능하게 한다. The
카메라 제어부(110)는 카메라 구동 제어부(111), 영상 변환부(112) 및 전송부(113)를 포함할 수 있다. The
카메라 구동 제어부(111)는 카메라 동기화 및 촬영을 제어한다.The camera drive control section 111 controls camera synchronization and shooting.
영상 변환부(112)는 복수의 카메라(1 내지 N)로부터 생성된 영상들을 통신망(120)을 통해 빠른 전송이 용이하도록 코덱 변경을 통해 영상들을 크기를 줄인다. 또한, 촬영 현장에 적합하거나, 유선 또는 무선 전송에 적합한 데이터 전송 방식을 결정할 수도 있다.The
전송부(113)는 변환된 영상들을 통신망(120)을 통해 영상 서버(200)에 전송한다. The
영상 서버(200)는 카메라 제어부(110)로부터 전송된 다채널 영상들을 시간별, 채널별, 시간 및 채널을 혼합한 적어도 하나의 기준으로 그룹핑하여 저장하고, 사용자 단말(150)의 요청에 따라 저장된 그룹핑된 영상을 통신망을 통해 전송한다. The
영상 안정화는 각 프레임의 특징점들을 획득하여 매칭되는 특징점들 간의 모션 벡터를 추정한다. 하나의 시점에서 생성된 프레임들의 특징점들은, 모션 벡터의 크기가 크지 않고 거의 일정하여 종래의 안정화 알고리즘을 적용하게 되면 떨림 보정이 준수하게 적용 가능하다.Image stabilization obtains the feature points of each frame and estimates the motion vector between the matching feature points. The feature points of the frames generated at one point of view can be applied to observe the shake correction if the conventional stabilization algorithm is applied because the size of the motion vector is not large and is almost constant.
다채널 또는 다시점에서 추출된 프레임들의 경우, 영상 중심에 잡힌 오브젝트와 배경 특징점들 간의 변위 벡터가 일정하지 않아 안정화에 어려움이 많이 발생한다. In the case of frames extracted from multi-channel or multi-viewpoint, since the displacement vector between the object and the background feature points is not constant, it is difficult to stabilize the frames.
이러한 문제점들을 개선하기 위해, 다음과 같은 2가지 방식을 통해 다채널 영상에 대한 안정화를 수행할 수 있다.To solve these problems, stabilization of a multi-channel image can be performed through the following two methods.
관심영역을 고정하는 방법과 관심영역을 추적하는 방법을 사용할 수 있다.A method of fixing the region of interest and a method of tracking the region of interest can be used.
먼저, 관심영역을 고정하는 방법은, 다채널 영상의 타겟이 되는 오브젝트를 관심영역으로 지정하고, 관심영역 내의 특징점을 통해 변위벡터를 계산하고, 이를 영상 전체에 적용하여 흔들림을 보정할 수 있다.First, in the method of fixing the ROI, a target object of a multi-channel image is designated as an ROI, a displacement vector is calculated through the ROI in the ROI, and the ROI is applied to the entire image to correct the shaking.
다음으로, 관심영역을 추정하는 방법은, 트레킹 알고리즘을 이용하여 오브젝트를 추적하도록 하여, 추적된 오브젝트 내에 특징점을 통해 변위벡터를 계산하고, 이를 영상 전체에 적용하여 흔들림을 보정할 수 있다.Next, a method of estimating a region of interest may track an object using a trekking algorithm, calculate a displacement vector through a feature point in the tracked object, and apply the calculated displacement vector to the entire image to correct the shaking.
실시 예에 따른 영상 안정화는 다채널 영상을 촬영한 이후에, 영상 시퀀스 정보를 전달하여 다채널 영상을 생성한다. 이러한 시퀀스 정보로부터 안정화 구간을 판단할 수 있다. In the image stabilization according to the embodiment, after capturing a multi-channel image, a multi-channel image is generated by transmitting image sequence information. The stabilization period can be determined from this sequence information.
다채널 영상을 촬영하기 위한 각각의 카메라는 고정설치로 운용되며, 하나의 카메라에서 촬영된 영상을 재생하는 구간에서는 흔들림이 크게 발생하지 않는다. 따라서, 도 5에 도시된 것처럼, 채널이 변화하는 구간 또는 시점이 회전되는 구간부터 마지막 구간까지 안정화를 수행할 수 있다. 이러한 처리를 통해 처리가 불필요한 프레임을 배제함으로써 연산량을 줄이고, 처리속도를 높일 수 있다.Each camera for capturing a multi-channel image is operated by a fixed installation. In a section for reproducing an image shot by one camera, the shaking does not occur largely. Therefore, as shown in FIG. 5, the stabilization can be performed from the section in which the channel changes or the section in which the view point is rotated to the last section. By eliminating frames that do not require processing through such processing, the amount of computation can be reduced and the processing speed can be increased.
특징점 추출은 영상 처리되어 출력되는 기준영상, 현재영상(피드백된 안정화된 현재영상) 및 다음영상으로부터 특징점들을 검출한다. 이러한 특징점들은 각각 좌표로써 표시될 수 있다. 영상은 다양한 특징 요소를 구비하고 있으며, 사용자의 필요에 따라 이들 다양한 특징 요소들 중 일부가 특징점들로써 추출될 수 있다. 영상으로부터 특징점들을 검출하기 위하여 해리스(harris)의 코너 검출 방법, SIFT(scale invariant feature transform) 알고리즘, SURF(speeded up robust feature) 알고리즘 등을 이용할 수 있다.Feature point extraction detects feature points from the reference image, the current image (feedback stabilized current image), and the next image. These feature points can be displayed as coordinates, respectively. The image has various feature elements, and some of these various feature elements can be extracted as feature points according to the needs of the user. A corner invariant feature transform (SIFT) algorithm, a speeded up robust feature (SURF) algorithm, and the like can be used to detect feature points from an image.
이러한 특징점 추출은 안정화된 현재영상으로부터 특징점을 추출하는 제1 특징점 추출부(121), 기준영상으로부터 특징점을 추출하는 제2 특징점 추출부(122) 및 다음영상으로부터 특징점을 추출하는 제3 특징점 추출부(123)를 포함할 수 있다. 여기서, 기준영상은, 물체를 촬영하여 생성된 영상 데이터에 포함되는 영상들 중에서 흔들림이 가장 적은 영상을 나타내며, 흔들림이 가장 적은 영상을 기준영상으로 설정할 수 있다.The feature point extraction includes a first feature point extracting unit 121 for extracting feature points from the stabilized current image, a second feature point extracting unit 122 for extracting feature points from the reference image, and a third feature point extracting unit 122 for extracting feature points from the next image. (123). Here, the reference image may be an image having the least shake among the images included in the image data generated by photographing an object, and an image having the least shake may be set as a reference image.
특징점 선택은 기준영상의 특징점들로부터, 한 프레임 지연된 전경영상 중 동적물체에 해당하는 특징점들을 제거하고, 배경에 해당하는 특징점들을 선택한다. 이와 같이 특징점 선택은 기준영상의 특징점들로부터 전경영상 중 동적물체에 해당하는 특징점들을 제거하고, 배경에 해당하는 특징점들을 선택한다. 움직임 산출은 입력된 다음영상에서 기준영상의 선택된 특징점을 추적하여 대응점을 찾고 대응점을 이용하여 기준영상 및 다음영상 사이의 움직임을 산출한다. 움직임 산출은 다음영상에서 기준영상의 선택된 특징점을 추적하여 대응점을 획득한다. 여기서 대응점 획득이라 함은, 기준영상에서 선택된 특징점들이 다음영상의 어디에 위치하는지 찾는 작업이라고 할 수 있다. 대응점 획득 방법은 공지된 KLT(kanade-lucas-tomasi) 추적기 알고리즘, 테일러 시리즈(taylor expansion) 및 헤시안 매트릭스(hessian matrix)를 이용할 수 있다. 이와 같이 대응점이 획득되면, 움직임 산출은 대응점을 이용하여 기준영상 대비 다음영상이 얼만큼 움직였는지를 나타내는 움직임량을 산출할 수 있다. 영상 보정 또는 영상 안정화 처리는 산출된 움직임량을 이용하여 다음영상을 변환시켜 안정화된 영상을 생성한다.In selecting the feature points, the feature points corresponding to the dynamic object are removed from the foreground images delayed by one frame from the feature points of the reference image, and the feature points corresponding to the background are selected. In this way, the feature point selection removes the feature points corresponding to the dynamic object among the foreground images from the feature points of the reference image, and selects the feature points corresponding to the background. The motion calculation is to track the selected feature points of the reference image in the next input image, find corresponding points, and calculate the motion between the reference image and the next image using the corresponding points. Motion estimation tracks the selected feature points of the reference image in the next image to obtain corresponding points. Here, acquiring the corresponding point is a task of finding where the feature points selected in the reference image are located in the next image. Corresponding point acquisition methods may utilize the known KLT (kanade-lucas-tomasi) tracker algorithm, the taylor expansion, and the hessian matrix. When the corresponding point is thus obtained, the motion calculation can calculate a motion amount indicating how far the next image has moved relative to the reference image using the corresponding point. The image correction or image stabilization process transforms the next image using the calculated motion amount to generate a stabilized image.
일 실시 예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. One embodiment may also be implemented in the form of a recording medium including instructions executable by a computer, such as program modules, being executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.
전술한 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.
Claims (10)
상기 카메라 제어부로부터 전송된 상기 다채널 영상들을 시간별, 채널별, 시간 및 채널을 혼합한 적어도 하나의 기준으로 그룹핑하여 저장하고, 상기 사용자 단말의 요청에 따라 상기 그룹핑된 영상에 대한 안정화처리를 수행하는 안정화모듈을 포함하는 다채널 영상 안정화장치.A camera controller for controlling a plurality of cameras to shoot a subject for a predetermined time and transmitting the multi-channel images corresponding to the plurality of cameras through a communication network; And
The multi-channel images transmitted from the camera controller are grouped and stored in at least one combination of time, channel, time, and channel, and the grouped image is stabilized at the request of the user terminal And a stabilization module.
상기 다채널 영상 중 안정화 구간을 판단하는 안정화 구간 판단부; 및
상기 다채널 영상에서 관심 영역을 지정하고, 상기 판단된 안정화 구간에 따라 상기 안정화 처리를 수행하는 안정화 처리부를 포함하는 다채널 영상 안정화장치. A multi-channel image generation unit for generating a multi-channel image;
A stabilization period determiner for determining a stabilization period of the multi-channel image; And
And a stabilization processor for designating a region of interest in the multi-channel image and performing the stabilization process according to the determined stabilization period.
상기 생성된 다채널 영상의 영상 시퀀스 정보로부터, 연속 구간 및 안정화 처리 적용 구간을 판단하는 것을 특징으로 하는 다채널 영상 안정화장치.3. The method of claim 2,
And determines a continuous section and a stabilization processing application section from the image sequence information of the generated multi-channel image.
상기 사용자 단말의 요청에 포함된 채널 변경 정보를 기초로 안정화 처리 적용 구간을 판단하는 것을 특징으로 하는 다채널 영상 안정화장치.3. The method of claim 2,
And determines a stabilization process applying period based on the channel change information included in the request of the user terminal.
상기 지정된 관심 영역에 대한 트레킹을 수행하는 트레킹부를 더 포함하는 것을 특징으로 하는 다채널 영상 안정화 장치.3. The method of claim 2,
Further comprising a trekking unit for performing trekking on the designated area of interest.
상기 트레킹된 관심 영역에 대한 안정화 처리를 수행하는 것을 특징으로 하는 다채널 영상 안정화 장치.6. The method of claim 5,
And performs a stabilization process on the trekked region of interest.
상기 안정화 처리는 상기 관심영역내의 특징점의 변위벡터를 이용하여 흔들림 보정하는 것을 특징으로 하는 다채널 영상 안정화 장치.3. The method of claim 2,
Wherein the stabilization process performs shake correction using a displacement vector of a feature point in the ROI.
상기 안정화 처리는 상기 트레킹된 관심 영역내의 특징점의 변위벡터를 이용하여 흔들림 보정하는 것을 특징으로 하는 다채널 영상 안정화 장치.The method according to claim 6,
Wherein the stabilization process performs shake correction using a displacement vector of feature points in the trekked ROI.
상기 다채널 영상 중 안정화 구간을 판단하는 단계; 및
상기 다채널 영상에서 관심 영역을 지정하고, 상기 판단된 안정화 구간에 따라 상기 안정화 처리를 수행하는 단계를 포함하는 다채널 영상 안정화방법. Generating a multi-channel image;
Determining a stabilization period of the multi-channel image; And
Designating a region of interest in the multi-channel image, and performing the stabilization process according to the determined stabilization period.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170172648A KR101993468B1 (en) | 2017-12-14 | 2017-12-14 | Apparatus and method for stabilizing multi channel image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170172648A KR101993468B1 (en) | 2017-12-14 | 2017-12-14 | Apparatus and method for stabilizing multi channel image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190071534A true KR20190071534A (en) | 2019-06-24 |
| KR101993468B1 KR101993468B1 (en) | 2019-06-27 |
Family
ID=67056287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170172648A KR101993468B1 (en) | 2017-12-14 | 2017-12-14 | Apparatus and method for stabilizing multi channel image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101993468B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102213073B1 (en) * | 2019-08-07 | 2021-02-08 | 포디리플레이코리아 주식회사 | Multi channel photographing system based on an imgae and controlling method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101538923B1 (en) * | 2014-03-17 | 2015-07-27 | 건국대학교 산학협력단 | Real-time video stabilizer for tracking for region of interest |
| JP2017069920A (en) * | 2015-10-02 | 2017-04-06 | シャープ株式会社 | Free viewpoint image data production device and free viewpoint image data reproduction device |
-
2017
- 2017-12-14 KR KR1020170172648A patent/KR101993468B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101538923B1 (en) * | 2014-03-17 | 2015-07-27 | 건국대학교 산학협력단 | Real-time video stabilizer for tracking for region of interest |
| JP2017069920A (en) * | 2015-10-02 | 2017-04-06 | シャープ株式会社 | Free viewpoint image data production device and free viewpoint image data reproduction device |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102213073B1 (en) * | 2019-08-07 | 2021-02-08 | 포디리플레이코리아 주식회사 | Multi channel photographing system based on an imgae and controlling method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101993468B1 (en) | 2019-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3494693B1 (en) | Combining images aligned to reference frame | |
| CN113271415B (en) | Method and system for image processing with multiple image sources | |
| US9716832B2 (en) | Apparatus and method for stabilizing image | |
| US9838604B2 (en) | Method and system for stabilizing video frames | |
| KR20150050172A (en) | Apparatus and Method for Selecting Multi-Camera Dynamically to Track Interested Object | |
| CN113271406B (en) | Method and system for image processing with multiple image sources | |
| KR102069269B1 (en) | Apparatus and method for stabilizing image | |
| GB2447246B (en) | Controlled high resolution sub-image capture with time domain multiplexed high speed full field of view reference video stream for image biometric application | |
| KR101915036B1 (en) | Method, system and computer-readable recording medium for video stitching in real time | |
| CN111093020B (en) | Information processing method, camera module and electronic equipment | |
| IL301734A (en) | System and method for creating background blur in camera panning or motion | |
| JP2011228846A (en) | Image processing device and method | |
| JP6040042B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2017143492A (en) | Image processing apparatus, imaging device, image processing method and program | |
| KR101993468B1 (en) | Apparatus and method for stabilizing multi channel image | |
| WO2018116322A1 (en) | System and method for generating pan shots from videos | |
| WO2013061810A1 (en) | Image processing device, image processing method, and recording medium | |
| CN114245006B (en) | Processing method, device and system | |
| CN107534736B (en) | Image registration method and device of terminal and terminal | |
| KR20100088282A (en) | Method and apparatus of inpainting for video data | |
| CN111131697B (en) | Multi-camera intelligent tracking shooting method, system, equipment and storage medium | |
| CN114449130A (en) | Multi-camera video fusion method and system | |
| KR101741150B1 (en) | An imaging photographing device and an imaging photographing method using an video editing | |
| KR102213201B1 (en) | Apparatus and method for stabilizing image | |
| JP2019083407A (en) | Image blur correction device and control method therefor, and imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |