KR101792386B1 - Stereo camera apparauts and image processing method using the same - Google Patents

Stereo camera apparauts and image processing method using the same Download PDF

Info

Publication number
KR101792386B1
KR101792386B1 KR1020160008464A KR20160008464A KR101792386B1 KR 101792386 B1 KR101792386 B1 KR 101792386B1 KR 1020160008464 A KR1020160008464 A KR 1020160008464A KR 20160008464 A KR20160008464 A KR 20160008464A KR 101792386 B1 KR101792386 B1 KR 101792386B1
Authority
KR
South Korea
Prior art keywords
field data
image
frame rate
camera
odd field
Prior art date
Application number
KR1020160008464A
Other languages
Korean (ko)
Other versions
KR20170088514A (en
Inventor
홍동석
이청희
지상현
최종욱
장익진
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020160008464A priority Critical patent/KR101792386B1/en
Priority to CN201611013607.9A priority patent/CN106998457A/en
Publication of KR20170088514A publication Critical patent/KR20170088514A/en
Application granted granted Critical
Publication of KR101792386B1 publication Critical patent/KR101792386B1/en

Links

Images

Classifications

    • H04N13/0239—
    • H04N13/0264—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N5/2258—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

본 발명의 일 기술적 측면에 따른 스테레오 카메라 장치는, 제1 프레임 레이트(Frame rate)로, 제1 이미지 센서에 투영된 제1 이미지에서 홀수 필드 데이터를 생성하는 제1 카메라, 상기 제1 프레임 레이트로, 제2 이미지 센서에 투영된 제2 이미지에서 짝수 필드 데이터를 생성하는 제2 카메라 및 제2 프레임 레이트로 동작하고, 매 프레임 마다 상기 홀수 필드 데이터와 상기 짝수 필드 데이터를 이용하여 출력 이미지를 생성하는 이미지 처리부를 포함할 수 있다. 상기 제2 프레임 레이트는 상기 제1 프레임 레이트의 배수에 해당할 수 있다.A stereo camera apparatus according to one technical aspect of the present invention includes a first camera for generating odd field data in a first image projected on a first image sensor at a first frame rate, A second camera for generating even field data in a second image projected on a second image sensor and a second frame rate for generating an output image using the odd field data and the even field data every frame And an image processing unit. The second frame rate may correspond to a multiple of the first frame rate.

Description

스테레오 카메라 장치 및 그를 이용한 영상 처리 방법 {STEREO CAMERA APPARAUTS AND IMAGE PROCESSING METHOD USING THE SAME}TECHNICAL FIELD [0001] The present invention relates to a stereoscopic camera device and an image processing method using the same,

스테레오 카메라 장치 및 그를 이용한 영상 처리 방법 {STEREO CAMERA APPARAUTS AND IMAGE PROCESSING METHOD USING THE SAEM}
TECHNICAL FIELD [0001] The present invention relates to a stereoscopic camera device,

카메라 기술의 발달로 다양한 전자 기기에 카메라 장치가 적용되고 있다. 예를 들어, 스마트 폰, 태플릿 PC, 노트북 등의 다양한 전자 기기에 카메라 장치가 융합되고 있다.
With the development of camera technology, camera devices have been applied to various electronic devices. For example, camera devices are converging on various electronic devices such as smart phones, tablet PCs, and notebook computers.

전자 기기에 적용되는 카메라 장치들은 소형화되어야 하므로, 그 기능이 촬영 및 동영상 녹화 등에 최적화 되어 있다.Since the camera devices to be applied to electronic devices must be miniaturized, their functions are optimized for shooting and movie recording.

즉, 종래의 카메라 장치들은, 카메라의 특수한 기능, 예를 들어, 높은 프레임 수로 촬영하여 슬로우 모션을 제공하는 초고속 카메라 기능 등을 실제로 구현하기 어려운 한계가 있다.
That is, conventional camera devices have a limitation in realizing a special function of the camera, for example, a high-speed camera function that provides a slow motion by shooting at a high frame number.

한국 공개특허공보 제2012-0109182호Korea Patent Publication No. 2012-0109182 일본 공개특허공보 제2014-0108852호Japanese Laid-Open Patent Publication No. 2014-0108852

본 발명에 따른 일 실시형태의 목적은, 높은 프레임의 영상을 획득하여 초고속 영상 처리를 수행 할 수 있는 스테레오 카메라 장치 및 그를 이용한 영상 처리 방법을 제공하는데 있다.
An object of an embodiment according to the present invention is to provide a stereo camera device capable of acquiring a high-frame image and performing super-high-speed image processing, and an image processing method using the stereo camera device.

본 발명의 일 기술적 측면은 스테레오 카메라 장치를 제안한다. 상기 스테레오 카메라 장치는, 제1 프레임 레이트(Frame rate)로, 제1 이미지 센서에 투영된 제1 이미지에서 홀수 필드 데이터를 생성하는 제1 카메라, 상기 제1 프레임 레이트로, 제2 이미지 센서에 투영된 제2 이미지에서 짝수 필드 데이터를 생성하는 제2 카메라 및 제2 프레임 레이트로 동작하고, 매 프레임 마다 상기 홀수 필드 데이터와 상기 짝수 필드 데이터를 합하여 출력 이미지를 생성하는 이미지 처리부를 포함할 수 있다. 상기 제2 프레임 레이트는 상기 제1 프레임 레이트의 배수에 해당할 수 있다.One technical aspect of the present invention proposes a stereo camera device. The stereo camera apparatus includes a first camera for generating odd field data in a first image projected on a first image sensor at a first frame rate, a first camera for generating odd field data in a first image projected on the first image sensor, And generating an output image by summing the odd field data and the even field data for each frame, wherein the odd field data and the even field data are combined with each other at a second frame rate and at a second frame rate. The second frame rate may correspond to a multiple of the first frame rate.

본 발명의 다른 일 기술적 측면은 영상 처리 방법을 제안한다. 상기 영상 처리 방법은, 제1 프레임 레이트(Frame rate)로, 제1 이미지 센서에 투영된 제1 이미지에서 홀수 필드 데이터를 생성하는 단계, 상기 제1 프레임 레이트로, 제2 이미지 센서에 투영된 제2 이미지에서 짝수 필드 데이터를 생성하는 단계 및 제2 프레임 레이트의 매 프레임 마다, 상기 홀수 필드 데이터와 상기 짝수 필드 데이터를 합하여 출력 이미지를 생성하는 단계를 포함할 수 있다. 상기 제2 프레임 레이트는 상기 제1 프레임 레이트의 배수에 해당할 수 있다.Another technical aspect of the present invention proposes an image processing method. The image processing method includes generating odd field data in a first image projected on a first image sensor at a first frame rate, generating odd field data at a first frame rate, Generating even-numbered field data from two images and generating an output image by summing the odd-numbered field data and the even-numbered field data every frame of the second frame rate. The second frame rate may correspond to a multiple of the first frame rate.

상기한 과제의 해결 수단은, 본 발명의 특징을 모두 열거한 것은 아니다. 본 발명의 과제 해결을 위한 다양한 수단들은 이하의 상세한 설명의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
The solution of the above-mentioned problems does not list all the features of the present invention. Various means for solving the problems of the present invention can be understood in detail with reference to specific embodiments of the following detailed description.

본 발명의 일 실시형태에 따른 스테레오 카메라 장치 및 그를 이용한 영상 처리 방법은 높은 프레임의 영상을 획득하여 초고속 영상 처리를 수행 할 수 있는 효과를 제공할 수 있다.
The stereo camera apparatus and the image processing method using the stereo camera apparatus according to an embodiment of the present invention can provide an effect of performing high-speed image processing by acquiring high-frame images.

도 1은 본 발명의 일 실시예에 따른 스테레오 카메라 장치가 적용된 모바일 단말의 일 예를 도시하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 스테레오 카메라 장치를 도시하는 블록 구성도이다.
도 3은 이미지의 일 예를 도시하는 도면이다.
도 4는 이미지에 대한 홀수 필드 데이터의 일 예를 설명하는 도면이다.
도 5는 이미지에 대한 짝수 필드 데이터의 일 예를 설명하는 도면이다.
도 6은 도 2에 도시된 이미지 처리부의 처리 동작의 일 예를 설명하는 도면이다.
도 7은 도 2에 도시된 이미지 처리부의 중복 처리 동작의 일 예를 설명하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 방법의 일 예를 설명하는 순서도이다.1 is a diagram illustrating an example of a mobile terminal to which a stereo camera device according to an embodiment of the present invention is applied.
2 is a block diagram showing a stereo camera apparatus according to an embodiment of the present invention.
3 is a diagram showing an example of an image.
4 is a diagram for explaining an example of odd field data for an image.
5 is a view for explaining an example of even field data for an image.
6 is a view for explaining an example of a processing operation of the image processing unit shown in Fig.
7 is a view for explaining an example of an overlapping processing operation of the image processing unit shown in Fig.
8 is a flowchart illustrating an example of an image processing method according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 설명한다. Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시 형태로 한정되는 것은 아니다. 또한, 본 발명의 실시형태는 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다.
However, the embodiments of the present invention can be modified into various other forms, and the scope of the present invention is not limited to the embodiments described below. Further, the embodiments of the present invention are provided to more fully explain the present invention to those skilled in the art.

본 명세서에서 어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
It is to be understood that when an element is referred to herein as being "connected" to another element, it may be directly connected to the other element, although other elements may be present in between. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that there are no other elements in between. On the other hand, other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.

도 1은 본 발명의 일 실시예에 따른 스테레오 카메라 장치가 적용된 모바일 단말의 일 예를 도시하는 도면이다.1 is a diagram illustrating an example of a mobile terminal to which a stereo camera device according to an embodiment of the present invention is applied.

도 1을 참조하면, 모바일 단말(10)에는 스테레오 카메라 장치(100)가 적용된다.Referring to FIG. 1, a stereo camera apparatus 100 is applied to a mobile terminal 10.

모바일 단말(10)은 스마트폰, 테블릿 PC 등 다양한 전자 기기일 수 있다. The mobile terminal 10 may be a variety of electronic devices such as a smart phone, a tablet PC, and the like.

스테레오 카메라 장치(100)는 두 개의 카메라를 포함하고 있으며, 두 개의 카메라에서 제공되는 데이터를 이용하여 출력 이미지를 생성할 수 있다.The stereo camera apparatus 100 includes two cameras, and it is possible to generate an output image using data provided by two cameras.

스테레오 카메라 장치(100)의 카메라들은 각각 촬영된 이미지의 일부를 이용하여 데이터를 생성하고, 이와 같이 두 개의 카메라에서 제공되는 데이터들을 혼합 이용하여 출력 이미지의 개수를 증가시킬 수 있다. 따라서, 스테레오 카메라 장치(100)는 카메라의 프레임 레이트(Frame rate) 보다 높은 프레임 레이트로 출력 이미지를 생성할 수 있으므로, 보다 높은 프레임 레이트를 확보하여 초고속 촬영 등의 기능을 제공할 수 있다.The cameras of the stereo camera apparatus 100 may generate data using a part of the photographed images, respectively, and may use the data provided by the two cameras to increase the number of output images. Accordingly, the stereo camera apparatus 100 can generate an output image at a frame rate higher than the frame rate of the camera, so that a higher frame rate can be ensured and functions such as super-fast shooting can be provided.

이하 도 2 내지 도 7을 참조하여, 스테레오 카메라 장치(100)에 대하여 보다 상세히 설명한다.
Hereinafter, the stereo camera apparatus 100 will be described in more detail with reference to Figs. 2 to 7. Fig.

도 2는 본 발명의 일 실시예에 따른 스테레오 카메라 장치를 도시하는 블록 구성도이다.2 is a block diagram showing a stereo camera apparatus according to an embodiment of the present invention.

도 2를 참조하면, 스테레오 카메라 장치(100)는 제1 카메라(110), 제2 카메라(120) 및 이미지 처리부(130)를 포함할 수 있다.Referring to FIG. 2, the stereo camera apparatus 100 may include a first camera 110, a second camera 120, and an image processing unit 130.

제1 카메라(110)는 제1 프레임 레이트로, 제1 이미지 센서에 투영된(focused) 제1 이미지에서 홀수 필드 데이터를 생성할 수 있다.The first camera 110 may generate odd field data at a first image focused on the first image sensor at a first frame rate.

제2 카메라(120)는 상기 제1 프레임 레이트로, 제2 이미지 센서에 투영된 제2 이미지에서 짝수 필드 데이터를 생성할 수 있다.The second camera 120 may generate the even field data in the second image projected on the second image sensor at the first frame rate.

즉, 제1 카메라(110)와 제2 카메라(120)는 각각 투영된 이미지에서 서로 다른 필드의 데이터를 생성할 수 있다. 제1 카메라(110)와 제2 카메라(120)는 동일한 프레임 레이트로 동작할 수 있다. That is, the first camera 110 and the second camera 120 can generate data of different fields in the projected image, respectively. The first camera 110 and the second camera 120 may operate at the same frame rate.

실시예에 따라, 제1 카메라(110)와 제2 카메라(120)는 동기화되거나, 또는 교번적으로 동작할 수 있다.
According to an embodiment, the first camera 110 and the second camera 120 may be synchronized or alternately operated.

제1 카메라(110)는 렌즈(미도시), 제1 이미지 센서(미도시) 및 제1 인터페이스(111)를 포함할 수 있다. The first camera 110 may include a lens (not shown), a first image sensor (not shown), and a first interface 111.

제1 이미지 센서는 제1 이미지 센서에 도달된 빛으로부터 제1 이미지를 생성할 수 있다. 렌즈와 이미지 센서는 다양한 기술이 적용될 수 있으므로, 본 명세서에서는 특정 방식으로 한정하지 아니한다.The first image sensor may generate a first image from light reaching the first image sensor. Various techniques can be applied to the lens and the image sensor, and therefore, the present invention is not limited to the specific method.

제1 이미지 센서는 격자로 배열된 복수의 셀들 중 홀수 열-또는 홀수 행-의 출력을 이용하여 상기 홀수 필드 데이터를 생성할 수 있다. 즉, 제1 이미지 센서는 상기 제1 프레임 레이트 마다 제1 이미지의 홀수 열 데이터를 이용하여 상기 홀수 필드 데이터를 생성할 수 있다.The first image sensor may generate the odd field data by using an output of an odd column or an odd column among a plurality of cells arranged in a lattice. That is, the first image sensor may generate the odd field data using the odd column data of the first image at the first frame rate.

제1 인터페이스(111)는 상기 제1 이미지 센서와 이미지 처리부(130)를 전기적으로 연결할 수 있다. 즉, 제1 이미지 센서에서 출력된 상기 홀수 필드 데이터는 제1 인터페이스(111)를 통하여 이미지 처리부(130)에 전달될 수 있다. 예를 들어, 제1 인터페이스(111)는 MIPI(Mobile Industry Processor Interface) 등을 따를 수 있다.The first interface 111 may electrically connect the first image sensor to the image processing unit 130. That is, the odd field data output from the first image sensor may be transmitted to the image processing unit 130 through the first interface 111. [ For example, the first interface 111 may follow a Mobile Industry Processor Interface (MIPI) or the like.

제1 인터페이스(111)의 대역폭은 상기 홀수 필드 데이터의 크기에 대응될 수 있다. 따라서, 제1 카메라(110)로부터 이미지 처리부(130)로 전달되는 데이터의 전송 속도를 향상시킬 수 있으며, 이에 따라 이미지 처리부(130)에서의 고속 처리를 원활하게 지원할 수 있다.The bandwidth of the first interface 111 may correspond to the size of the odd field data. Accordingly, it is possible to improve the transmission speed of data transmitted from the first camera 110 to the image processing unit 130, thereby facilitating high-speed processing in the image processing unit 130.

제2 카메라(120) 또한 제1 카메라(110)와 마찬가지로 렌즈(미도시), 제2 이미지 센서(미도시) 및 제1 인터페이스(111)를 포함할 수 있으며, 이에 대한 설명은 상술한 설명으로부터 이해할 수 있다.
The second camera 120 may also include a lens (not shown), a second image sensor (not shown), and a first interface 111, similar to the first camera 110, I can understand.

이미지 처리부(130)는 제2 프레임 레이트로 동작하고, 매 프레임 마다 상기 홀수 필드 데이터와 상기 짝수 필드 데이터를 이용하여 출력 이미지를 생성할 수 있다. 상기 제2 프레임 레이트는 상기 제1 프레임 레이트의 배수에 해당할 수 있다.The image processing unit 130 may operate at a second frame rate and may generate an output image using the odd field data and the even field data every frame. The second frame rate may correspond to a multiple of the first frame rate.

예를 들어, 제1 카메라(110)는 제2 카메라(120)와 교번적으로 동작하고, 상기 제2 프레임 레이트는 상기 제1 프레임 레이트의 2배일 수 있다.
For example, the first camera 110 may alternately operate with the second camera 120, and the second frame rate may be twice the first frame rate.

이하, 도 2 내지 도 5를 참조하여, 이미지 처리부(130)의 동작에 대하여 보다 상세히 설명한다.
Hereinafter, the operation of the image processing unit 130 will be described in more detail with reference to FIGS. 2 to 5. FIG.

도 3은 이미지 센서에 투영된 이미지의 일 예를 도시하고 있다. Fig. 3 shows an example of an image projected on an image sensor.

제1 카메라(110)와 제2 카메라(120)는 일정 이격되어 있으므로, 각 카메라에 투영되는 이미지들은 영상 시차가 존재할 수 있다. 그러나, 스테레오 카메라 간의 거리가 좁은 모바일 단말 환경에서, 또한, 중거리 또는 원거리의 피사체를 촬상하게 되므로 본 발명에서의 영상 시차는 충분히 작거나 무시할 수 있는 수준으로 본다.Since the first camera 110 and the second camera 120 are spaced apart from each other, images projected on each camera may have image parallax. However, in the mobile terminal environment in which the distance between the stereo cameras is narrow, and also in the case of a medium-range or a long distance object, the image parallax in the present invention is considered to be sufficiently small or negligible.

따라서, 도 3에 도시된 이미지는 제1 카메라(110)의 제1 이미지 센서에 투영된 제1 이미지이자 제2 카메라(120)의 제2 이미지 센서에 투영된 제2 이미지로 이해할 수 있다.3 can be understood as a first image projected on the first image sensor of the first camera 110 and a second image projected on the second image sensor of the second camera 120. [

도시된 이미지는 카메라의 이미지 센서에 비추어진 이미지를 가상으로 개시하고 있다. 일 예로, 제1 카메라(110) 또는 제2 카메라(120)는 도시된 이미지를 생성한 후 홀수 필드 데이터 또는 짝수 필드 데이터를 추출하는 것이 아니라, 투영된 이미지에서 홀수 필드 또는 짝수 필드의 데이터만을 취득하여 홀수 필드 데이터 또는 짝수 필드 데이터를 생성할 수 있다.
The illustrated image virtually discloses an image projected on an image sensor of a camera. For example, the first camera 110 or the second camera 120 does not extract the odd field data or the even field data after generating the illustrated image, but only acquires data of the odd field or the even field in the projected image Thereby generating odd field data or even field data.

도 4는 제1 카메라(110)에서 출력되는 제1 이미지에 대한 홀수 필드 데이터의 일 예를 설명하는 도면이다.4 is a view for explaining an example of odd field data for a first image output from the first camera 110. In FIG.

제1 카메라(110)는 제1 이미지에서 홀수 필드를 포함하는 홀수 필드 데이터를 생성할 수 있으며, 이러한 홀수 필드 데이터를 이미지화 시키면 도 4에 도시된 예와 같다.
The first camera 110 may generate odd field data including an odd field in the first image, and the odd field data may be imaged as in the example shown in FIG.

도 5는 이미지에 대한 짝수 필드 데이터의 일 예를 설명하는 도면으로, 제2 카메라(120)는 제2 이미지에서 짝수 필드를 포함하는 짝수 필드 데이터를 생성할 수 있으며, 이러한 짝수 필드 데이터를 이미지화 시키면 도 5에 도시된 예와 같다.
FIG. 5 illustrates an example of even field data for an image. The second camera 120 may generate even field data including an even field in the second image. When the even field data is imaged This is the same as the example shown in Fig.

도 4 및 도 5 도시된 예에서는 열 기준으로 데이터를 생성하고 있으나, 실시예에 따라 행을 기준으로 데이터를 생성할 수 있다.
In the example shown in FIGS. 4 and 5, data is generated based on a column, but data can be generated based on a row according to an embodiment.

도 6은 도 2에 도시된 이미지 처리부의 처리 동작의 일 예를 설명하는 도면이다. 도시된 도면에서 가로 축은 시간의 흐름을 의미한다. 6 is a view for explaining an example of a processing operation of the image processing unit shown in Fig. In the drawing, the horizontal axis indicates the flow of time.

도 2 및 도 6을 참조하여, 이미지 처리부(130)의 처리에 대하여 설명한다.The processing of the image processing unit 130 will be described with reference to Figs. 2 and 6. Fig.

도시된 바와 같이, 제1 카메라(110)는 제1 프레임 레이트로 홀수 필드 데이터(Odd1 내지 Odd4)를 생성하고, 제2 카메라(120)는 제1 프레임 레이트로 짝수 필드 데이터(Even1 내지 Even4)를 생성한다. As shown in the figure, the first camera 110 generates odd field data Odd1 through Odd4 at a first frame rate, and the second camera 120 generates even field data Even1 through Even4 at a first frame rate .

이미지 처리부(130)는 홀수 필드 데이터(Odd1 내지 Odd4) 및 짝수 필드 데이터(Even1 내지 Even4)를 입력받는다. 이미지 처리부(130)는 제2 프레임 레이트로 동작하며, 매 프레임 마다 홀수 필드 데이터와 상기 짝수 필드 데이터를 이용하여 출력 이미지를 생성한다.The image processing unit 130 receives the odd field data Odd1 to Odd4 and the even field data Even1 to Even4. The image processing unit 130 operates at a second frame rate, and generates an output image using odd field data and the even field data every frame.

예를 들어, 이미지 처리부(130)는 제1 시점에서 생성된 제1 홀수 필드 데이터(Odd1)와, 제2 시점에서 생성된 제1 짝수 필드 데이터(Even1)를 디인터레이스(deinterlace) 하여, 상기 제2 시점에서 제1 출력 이미지(Odd1+ Even1)를 생성할 수 있다.For example, the image processing unit 130 deinterlaces the first odd field data Odd1 generated at the first time point and the first even field data Even1 generated at the second time point, It is possible to generate the first output image (Odd1 + Even1) at the time point.

또한, 이미지 처리부(130)는 제3 시점에서 생성된 제2 홀수 필드 데이터(Odd2)와 상기 제1 짝수 필드 데이터(Even1)를 디인터레이싱하여, 상기 제3 시점에서 제2 출력 이미지(Odd2+ Even1)를 생성할 수 있다.In addition, the image processing unit 130 deinterlaces the second odd field data Odd2 generated at the third time point and the first even field data Even1, and outputs the second output image Odd2 + Even1 at the third time point Can be generated.

이와 같이, 이미지 처리부(130)는 갱신된 홀수 필드 데이터 또는 짝수 필드 데이터를 이용하여 제2 프레임 레이트로 출력 이미지를 생성할 수 있다.In this way, the image processing unit 130 can generate the output image at the second frame rate using the updated odd field data or the even field data.

따라서, 이미지 처리부(130)는 제1 카메라 및 제2 카메라의 프레임 레이트의 2배에 해당하는 속도로 출력 이미지를 생성할 수 있다. 이로 인하여, 별도의 프레임 증가 수단을 구비하지 않고도 영상 합성을 통하여 프레임 레이트를 증가시킬 수 있으며, 이에 따라 초고속 촬영 성능을 가질 수 있다.Accordingly, the image processing unit 130 can generate an output image at a speed corresponding to twice the frame rate of the first camera and the second camera. Therefore, it is possible to increase the frame rate through image synthesis without providing a separate frame increasing means, thereby achieving high-speed shooting performance.

일 실시예에서, 상기 홀수 필드 데이터는 홀수 식별자를 포함하고, 상기 짝수 필드 데이터는 짝수 식별자를 포함할 수 있다. 이미지 처리부(130)는 상기 홀수 식별자 또는 상기 짝수 식별자를 확인하여, 수신된 필드 데이터의 종류를 식별할 수 있다.
In one embodiment, the odd field data may include an odd identifier, and the even field data may include an even identifier. The image processing unit 130 may identify the type of the received field data by checking the odd number identifier or the even number identifier.

도 6에 도시된 예에서, 제1 카메라(110)는 제2 카메라(120)와 교번적으로 동작하나, 이는 예시적인 것이다. 따라서, 제1 카메라(110)는 제2 카메라(120)와 동기적으로 동작할 수 있고, 이러한 경우라도 이미지 처리부(130)는 상술한 설명과 같이 카메라의 배수에 해당하는 프레임 레이트로 출력 이미지를 생성할 수 있다.
In the example shown in FIG. 6, the first camera 110 operates alternately with the second camera 120, which is exemplary. Accordingly, the first camera 110 can operate synchronously with the second camera 120. Even in this case, the image processing unit 130 can output an output image at a frame rate corresponding to a multiple of the camera Can be generated.

도 7은 도 2에 도시된 이미지 처리부의 중복 처리 동작의 일 예를 설명하는 도면이다.7 is a view for explaining an example of an overlapping processing operation of the image processing unit shown in Fig.

도 7에 도시된 예와 같이, 제3 홀수 필드 데이터가 누락되는 경우, 이미지 처리부(130)는 제3 짝수 필드 데이터(Even3)와 제4 짝수 필드 데이터(Even4)를 연속하여 수신하게 된다. 7, when the third odd field data is missing, the image processing unit 130 successively receives the third even field data Even3 and the fourth even field data Even4.

이와 같이, 이미지 처리부(130)는 상기 홀수 필드 데이터 또는 상기 짝수 필드 데이터가 2개 이상 연속적으로 수신되면, 이전 프레임에 생성된 출력 이미지(Odd2+Even3)를 재출력할 수 있다.If the odd field data or the even field data is continuously received, the image processing unit 130 may output the output image (Odd2 + Even3) generated in the previous frame.

마찬가지로, 이미지 처리부(130)는 제1 프레임 레이트로 수신되던 홀수 필드 데이터가 수신되지 않는 경우에도, 이전 프레임에 생성된 출력 이미지(Odd2+Even3)를 재출력할 수 있다.
Similarly, the image processing unit 130 may re-output the output image (Odd2 + Even3) generated in the previous frame even when the odd field data received at the first frame rate is not received.

도 8은 본 발명의 일 실시예에 따른 영상 처리 방법의 일 예를 설명하는 순서도이다.8 is a flowchart illustrating an example of an image processing method according to an embodiment of the present invention.

이하에서 설명할 영상 처리 방법은 도 2 내지 도 7을 참조하여 상술한 스테레오 카메라의 영상 처리에 관한 것이다. 따라서, 도 2 내지 도 7을 참조하여 상술한 내용으로부터 쉽게 이해할 수 있다.The image processing method to be described below relates to the image processing of the stereo camera described above with reference to Figs. Therefore, it can be easily understood from the above description with reference to FIG. 2 to FIG.

도 8을 참조하면, 스테레오 카메라 장치는 제1 프레임 레이트로, 제1 이미지 센서에 투영된 제1 이미지에서 홀수 필드 데이터를 생성할 수 있다(S810).Referring to FIG. 8, the stereo camera apparatus may generate odd field data in a first image projected on the first image sensor at a first frame rate (S810).

또한, 스테레오 카메라 장치는 상기 제1 프레임 레이트로, 제2 이미지 센서에 투영된 제2 이미지에서 짝수 필드 데이터를 생성할 수 있다(S820).In addition, the stereo camera device may generate the even field data in the second image projected on the second image sensor at the first frame rate (S820).

스테레오 카메라 장치는 제2 프레임 레이트의 매 프레임 마다, 상기 홀수 필드 데이터와 상기 짝수 필드 데이터를 이용하여 출력 이미지를 생성할 수 있다(S830). 여기에서, 상기 제2 프레임 레이트는 상기 제1 프레임 레이트의 배수에 해당할 수 있다.The stereo camera apparatus may generate an output image using the odd field data and the even field data every frame of the second frame rate (S830). Here, the second frame rate may correspond to a multiple of the first frame rate.

도시된 예에서, 단계 S810 이후에 단계 S820가 수행되는 것으로 도시되어 있으나, 실시예에 따라 단계 S810와 단계 S820는 동시에 수행될 수 있다.In the illustrated example, step S810 is followed by step S820, but step S810 and step S820 may be performed simultaneously according to the embodiment.

일 실시예에서, 단계 S810는 단계 S820와 서로 교번적으로 수행되고, 상기 제2 프레임 레이트는 상기 제1 프레임 레이트의 2배에 해당할 수 있다.In one embodiment, step S810 is performed alternately with step S820, and the second frame rate may correspond to twice the first frame rate.

단계 S810에 대한 일 실시예에서, 스테레오 카메라 장치는 상기 홀수 필드 데이터에 홀수 식별자를 추가할 수 있다.In an embodiment of step S810, the stereo camera device may add an odd identifier to the odd field data.

단계 S830에 대한 일 실시예에서, 스테레오 카메라 장치는, 제1 시점에서 생성된 제1 홀수 필드 데이터와, 제2 시점에서 생성된 제1 짝수 필드 데이터를 디인터레이싱하여, 상기 제2 시점에서 제1 출력 이미지를 생성할 수 있다.In one embodiment of the step S830, the stereo camera apparatus deinterlaces the first odd field data generated at the first time point and the first even field data generated at the second time point, Images can be generated.

또한, 스테레오 카메라 장치는, 제3 시점에서 생성된 제2 홀수 필드 데이터와 상기 제1 짝수 필드 데이터를 디인터레이싱하여, 상기 제3 시점에서 제2 출력 이미지를 생성할 수 있다.Also, the stereo camera apparatus may deinterlaze the second odd field data generated at the third time point and the first even field data to generate the second output image at the third time point.

단계 S830에 대한 일 실시예에서, 스테레오 카메라 장치는 상기 홀수 필드 데이터 또는 상기 짝수 필드 데이터가 연속적으로 수신되는지 확인하고, 만약 연속적으로 수신되면, 이전 프레임에 생성된 출력 이미지를 재출력 할 수 있다.
In an embodiment of step S830, the stereo camera apparatus may check whether the odd field data or the even field data is continuously received, and, if successively received, re-output the output image generated in the previous frame.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, Those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
Therefore, the spirit of the present invention should not be construed as being limited to the above-described embodiments, and all of the equivalents or equivalents of the claims, as well as the following claims, I will say.

10 : 모바일 단말
100 : 스테레오 카메라 장치
110 : 제1 카메라
120 : 제2 카메라
130 : 이미지 처리부10: mobile terminal
100: Stereo camera device
110: First camera
120: Second camera
130:

Claims (14)

제1 프레임 레이트(Frame rate)로, 제1 이미지 센서에 투영된 제1 이미지에서 홀수 필드 데이터를 생성하는 제1 카메라;
상기 제1 프레임 레이트로, 제2 이미지 센서에 투영된 제2 이미지에서 짝수 필드 데이터를 생성하는 제2 카메라; 및
제2 프레임 레이트로 동작하고, 매 프레임 마다 상기 홀수 필드 데이터와 상기 짝수 필드 데이터를 합하여 출력 이미지를 생성하는 이미지 처리부; 를 포함하고,
상기 제2 프레임 레이트는 상기 제1 프레임 레이트의 배수에 해당하는 스테레오 카메라 장치.
A first camera for generating odd field data in a first image projected on a first image sensor at a first frame rate;
A second camera for generating even field data in the second image projected on the second image sensor at the first frame rate; And
An image processor operating at a second frame rate to generate an output image by summing the odd field data and the even field data every frame; Lt; / RTI >
Wherein the second frame rate corresponds to a multiple of the first frame rate.
제1항에 있어서,
상기 제1 카메라는
상기 제2 카메라와 교번적으로 동작하고,
상기 제2 프레임 레이트는
상기 제1 프레임 레이트의 2배에 해당하는 스테레오 카메라 장치.
The method according to claim 1,
The first camera
The second camera is operated alternately,
The second frame rate
Wherein the second frame rate corresponds to twice the first frame rate.
제1항에 있어서, 상기 홀수 필드 데이터는
상기 제1 이미지의 홀수 열 데이터를 포함하고,
상기 짝수 필드 데이터는
상기 제2 이미지의 짝수 열 데이터를 포함하는 스테레오 카메라 장치.
The method of claim 1, wherein the odd field data
Numbered column data of the first image,
The even field data
And the even-numbered column data of the second image.
제1항에 있어서, 상기 이미지 처리부는
제1 시점에서 생성된 제1 홀수 필드 데이터와, 제2 시점에서 생성된 제1 짝수 필드 데이터를 디인터레이스(deinterlace) 하여, 상기 제2 시점에서 제1 출력 이미지를 생성하는 스테레오 카메라 장치.
The image processing apparatus according to claim 1,
Deinterlaces the first odd field data generated at the first time point and the first even field data generated at the second time point to generate a first output image at the second time point.
제4항에 있어서, 상기 이미지 처리부는
제3 시점에서 생성된 제2 홀수 필드 데이터와 상기 제1 짝수 필드 데이터를 디인터레이싱하여, 상기 제3 시점에서 제2 출력 이미지를 생성하는 스테레오 카메라 장치.
5. The image processing apparatus according to claim 4, wherein the image processing unit
And deinterlacing the second odd field data generated at the third time point and the first even field data to generate a second output image at the third time point.
제1항에 있어서,
상기 홀수 필드 데이터는 홀수 식별자를 포함하고,
상기 짝수 필드 데이터는 짝수 식별자를 포함하고,
상기 이미지 처리부는
상기 홀수 식별자 또는 상기 짝수 식별자를 확인하여, 수신된 필드 데이터의 종류를 식별하는 스테레오 카메라 장치.
The method according to claim 1,
Wherein the odd field data includes an odd number identifier,
Wherein the even field data includes an even number identifier,
The image processing unit
And identifies the odd number identifier or the even number identifier to identify the type of the received field data.
제6항에 있어서,
상기 제1 카메라는 상기 제2 카메라와 교번적으로 동작하고,
상기 이미지 처리부는
상기 홀수 필드 데이터 또는 상기 짝수 필드 데이터가 2개 이상 연속적으로 수신되면, (연속적으로 수신된 상기 홀수 필드 데이터 또는 상기 짝수 필드 데이터 중 어느 하나를 버리고,) 이전 프레임에 생성된 출력 이미지를 재출력하는 스테레오 카메라 장치.
The method according to claim 6,
Wherein the first camera operates alternately with the second camera,
The image processing unit
If the odd field data or the even field data is continuously received, the output image generated in the previous frame is re-output (discarding any one of the odd field data or the even field data continuously received) Stereo camera device.
제1항에 있어서, 상기 제1 카메라는
제1 프레임 레이트로, 상기 제1 이미지에서 상기 홀수 필드 데이터를 출력하는 상기 제1 이미지 센서; 및
상기 제1 이미지 센서와 상기 이미지 처리부를 전기적으로 연결하는 인터페이스; 를 포함하고,
상기 인터페이스의 대역폭은 상기 홀수 필드 데이터의 크기에 대응되는 스테레오 카메라 장치.
The apparatus of claim 1, wherein the first camera
The first image sensor outputting the odd field data in the first image at a first frame rate; And
An interface for electrically connecting the first image sensor and the image processing unit; Lt; / RTI >
Wherein the bandwidth of the interface corresponds to the size of the odd field data.
제1 프레임 레이트(Frame rate)로, 제1 이미지 센서에 투영된 제1 이미지에서 홀수 필드 데이터를 생성하는 단계;
상기 제1 프레임 레이트로, 제2 이미지 센서에 투영된 제2 이미지에서 짝수 필드 데이터를 생성하는 단계; 및
제2 프레임 레이트의 매 프레임 마다, 상기 홀수 필드 데이터와 상기 짝수 필드 데이터를 합하여 출력 이미지를 생성하는 단계;
를 포함하고,
상기 제2 프레임 레이트는 상기 제1 프레임 레이트의 배수에 해당하는 영상 처리 방법.
Generating odd field data in a first image projected on a first image sensor at a first frame rate;
Generating even field data in a second image projected to the second image sensor at the first frame rate; And
Generating an output image by summing the odd field data and the even field data every frame of the second frame rate;
Lt; / RTI >
Wherein the second frame rate corresponds to a multiple of the first frame rate.
제9항에 있어서, 상기 홀수 필드 데이터를 생성하는 단계는
상기 짝수 필드 데이터를 생성하는 단계와 서로 교번적으로 수행되고,
상기 제2 프레임 레이트는
상기 제1 프레임 레이트의 2배에 해당하는 영상 처리 방법.
10. The method of claim 9, wherein generating the odd field data comprises:
And generating the even field data;
The second frame rate
Corresponding to twice the first frame rate.
제9항에 있어서, 상기 홀수 필드 데이터를 생성하는 단계는
상기 홀수 필드 데이터에 홀수 식별자를 추가하는 단계;
를 포함하는 영상 처리 방법.
10. The method of claim 9, wherein generating the odd field data comprises:
Adding odd identifiers to the odd field data;
And an image processing method.
제9항에 있어서, 상기 출력 이미지를 생성하는 단계
제1 시점에서 생성된 제1 홀수 필드 데이터와, 제2 시점에서 생성된 제1 짝수 필드 데이터를 디인터레이싱하여, 상기 제2 시점에서 제1 출력 이미지를 생성하는 단계;
를 포함하는 영상 처리 방법.
10. The method of claim 9, further comprising: generating the output image
Generating a first output image at the second time point by deinterlacing the first odd field data generated at the first time point and the first even field data generated at the second time point;
And an image processing method.
제12항에 있어서, 상기 출력 이미지를 생성하는 단계는
제3 시점에서 생성된 제2 홀수 필드 데이터와 상기 제1 짝수 필드 데이터를 디인터레이싱하여, 상기 제3 시점에서 제2 출력 이미지를 생성하는 단계;
를 더 포함하는 영상 처리 방법.
13. The method of claim 12, wherein generating the output image comprises:
Deinterlacing the second odd field data generated at the third time point and the first even field data to generate a second output image at the third time point;
Further comprising the steps of:
제9항에 있어서, 상기 출력 이미지를 생성하는 단계는
상기 홀수 필드 데이터 또는 상기 짝수 필드 데이터가 연속적으로 수신되는지 확인하는 단계;
만약 연속적으로 수신되면, 이전 프레임에 생성된 출력 이미지를 재출력하는 단계;
를 포함하는 영상 처리 방법.
10. The method of claim 9, wherein generating the output image comprises:
Confirming whether the odd field data or the even field data is continuously received;
If the image is continuously received, re-outputting the output image generated in the previous frame;
And an image processing method.
KR1020160008464A 2016-01-25 2016-01-25 Stereo camera apparauts and image processing method using the same KR101792386B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160008464A KR101792386B1 (en) 2016-01-25 2016-01-25 Stereo camera apparauts and image processing method using the same
CN201611013607.9A CN106998457A (en) 2016-01-25 2016-11-17 Stereo photographic device and utilize this image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160008464A KR101792386B1 (en) 2016-01-25 2016-01-25 Stereo camera apparauts and image processing method using the same

Publications (2)

Publication Number Publication Date
KR20170088514A KR20170088514A (en) 2017-08-02
KR101792386B1 true KR101792386B1 (en) 2017-11-01

Family

ID=59430797

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160008464A KR101792386B1 (en) 2016-01-25 2016-01-25 Stereo camera apparauts and image processing method using the same

Country Status (2)

Country Link
KR (1) KR101792386B1 (en)
CN (1) CN106998457A (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107592460A (en) * 2017-09-25 2018-01-16 努比亚技术有限公司 A kind of video recording method, equipment and computer-readable storage medium
CN111521113B (en) * 2020-04-24 2021-08-03 成都飞机工业（集团）有限责任公司 Image acquisition method based on binocular stereo vision of high-speed camera
US11671704B2 (en) 2020-11-13 2023-06-06 Samsung Electronics Co., Ltd. Electronic device including a plurality of image sensors and method for thereof

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1013710A (en) * 1996-06-21 1998-01-16 Nagoya Denki Kogyo Kk Display method and its device
WO2005079078A1 (en) * 2004-02-17 2005-08-25 Seijiro Tomita Stereoscopic video image recording/reproducing method and stereoscopic video image display
KR100657275B1 (en) * 2004-08-26 2006-12-14 삼성전자주식회사 Method for generating a stereoscopic image and method for scaling therefor
CN2738501Y (en) * 2004-10-22 2005-11-02 陈旭 High definition stereo video synthesizer
US8891011B2 (en) * 2007-08-23 2014-11-18 Qualcomm Incorporated Systems and methods for combining deinterlacing and frame rate decimation for video format conversion
CN101400002A (en) * 2007-09-24 2009-04-01 鸿富锦精密工业（深圳）有限公司 Stereo video apparatus
CN101296303A (en) * 2008-03-06 2008-10-29 麦克奥迪实业集团有限公司 High-definition picture processing method and device
CN105049823A (en) * 2014-12-23 2015-11-11 江阴新晟电子有限公司 Method for acquiring, processing and outputting 3D images by using binocular camera module

Also Published As

Publication number Publication date
KR20170088514A (en) 2017-08-02
CN106998457A (en) 2017-08-01

Similar Documents

Publication Publication Date Title
CN106576160B (en) Imaging architecture for depth camera mode with mode switching
US9554113B2 (en) Video frame processing method
US10743002B2 (en) Sequential in-place blocking transposition for image signal processing
KR101792386B1 (en) Stereo camera apparauts and image processing method using the same
US11765337B2 (en) Multi-processor support for array imagers
JP2013013061A (en) Imaging apparatus
US11889228B2 (en) Conference device with multi-videostream capability
EP2833406B1 (en) Imaging element and imaging device
US9807374B2 (en) Stereoscopic image capturing device and stereoscopic image capturing method
CN106713737B (en) Electronic device and image processing method
CN102202206A (en) Communication device
JP2005020606A (en) Digital camera
KR20170051913A (en) Method for watching multi-view video, method for providing multi-view video and user device
US20120300021A1 (en) On-board camera system
US9659222B2 (en) Vehicle event data recorder and operation method thereof
US11636708B2 (en) Face detection in spherical images
WO2019091423A1 (en) An image‐processing microprocessor for supporting an application processor and multiple cameras
WO2018088121A1 (en) Imaging device, imaging method, and imaging program
KR20090026523A (en) Camera module
US20220284689A1 (en) Computer software module arrangement, a circuitry arrangement, an arrangement and a method for improved object detection
KR101980086B1 (en) Apparatus for 360 Degree Image Photographing and Method for Editing 360 Degree Image
KR20190140237A (en) Method and Apparatus for Generating Stereo Image
RU2524576C1 (en) Method for panoramic television surveillance and device for realising said method
US11765336B2 (en) Image-capturing apparatus, information processing method, and program
EP4050890A1 (en) Conference device with multi-videostream control

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant