KR20190124406A - Wide angle image providing method and system - Google Patents

Wide angle image providing method and system Download PDF

Info

Publication number
KR20190124406A
KR20190124406A KR1020180048327A KR20180048327A KR20190124406A KR 20190124406 A KR20190124406 A KR 20190124406A KR 1020180048327 A KR1020180048327 A KR 1020180048327A KR 20180048327 A KR20180048327 A KR 20180048327A KR 20190124406 A KR20190124406 A KR 20190124406A
Authority
KR
South Korea
Prior art keywords
region
image
correction
distortion
images
Prior art date
Application number
KR1020180048327A
Other languages
Korean (ko)
Other versions
KR102062736B1 (en
Inventor
박성열
Original Assignee
주식회사 텐앤투
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020180048327A priority Critical patent/KR102062736B1/en
Application filed by 주식회사 텐앤투 filed Critical 주식회사 텐앤투
Priority to US17/050,460 priority patent/US20210243367A1/en
Priority to CN201980028471.4A priority patent/CN112154647B/en
Priority to JP2021509709A priority patent/JP7185357B2/en
Priority to EP19791751.1A priority patent/EP3787277A4/en
Priority to US17/050,461 priority patent/US11523054B2/en
Priority to PCT/KR2019/005068 priority patent/WO2019209067A1/en
Priority to EP19792249.5A priority patent/EP3787278A4/en
Priority to JP2021509710A priority patent/JP7231281B2/en
Priority to CN201980028456.XA priority patent/CN112119626B/en
Priority to PCT/KR2019/005074 priority patent/WO2019209069A1/en
Publication of KR20190124406A publication Critical patent/KR20190124406A/en
Application granted granted Critical
Publication of KR102062736B1 publication Critical patent/KR102062736B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N5/217—
    • H04N5/2259—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

The present invention relates to a wide angle image providing method and system. A wide angle image providing system according to the present invention includes: a first camera module for generating a first region image formed by photographing a first region; a second camera module generating a second region image formed by photographing a second region adjacent to the right side of the first region; a third camera module for generating a third region image formed by photographing a third region adjacent to the lower side of the first region; a fourth camera module for generating a fourth region image formed by photographing a fourth region adjacent to the lower side of the second region and to the right side of the third region; and a correction processing part for performing distortion correction and phase difference correction on the first, second, third and fourth region images, and performing overlap correction and color correction on the phase-difference-corrected first, second, third and fourth region images, respectively. It is possible to prevent distortion when an image is reduced and enlarged.

Description

광각 영상 제공 방법 및 시스템{WIDE ANGLE IMAGE PROVIDING METHOD AND SYSTEM}Wide angle image providing method and system {WIDE ANGLE IMAGE PROVIDING METHOD AND SYSTEM}

본 발명의 실시예는 광각 영상 제공 방법 및 시스템에 관한 것이다.An embodiment of the present invention relates to a method and system for providing a wide angle image.

일반적으로, CCTV 카메라는 일반 가정의 방범용으로 사용되거나 또는 백화점, 은행, 전시장 등의 장소에서는 침입, 도난 또는 화재 등을 사전에 예방하고 방지하며, 만약 사고가 발생하더라도 신속하게 처리하기 위하여 설치된다.In general, CCTV cameras are used for crime prevention in general homes or in places such as department stores, banks, exhibition halls, etc. to prevent and prevent intrusion, theft or fire in advance, and are installed to promptly deal with accidents. .

특히, 이러한 CCTV 카메라 시스템은 특수한 목적을 가지고 특정 장소에 설치되어 모든 상황을 감시하기 위하여 원격지에서 영상을 모니터링 하기 위한 목적으로 이용되는 것으로, 상기 CCTV 카메라는 가능한 넓은 지역을 감시할 수 있도록 대개 건물의 벽면 상부나 천장에 설치되어 특정방향을 향하여 세팅되어 있는 것이 일반적이다. In particular, such a CCTV camera system is installed in a specific place for a specific purpose and is used for the purpose of monitoring the image from a remote place in order to monitor all the situations. It is generally installed on the wall or ceiling and set in a specific direction.

그러나, 이와 같이 CCTV 등에 사용되는 카메라는 일반적으로 화각이 30 °내지 70°의 범위로서, 촬영 범위가 제한되어 사각지대가 존대하며, 이와 같은 사각지대를 줄이기 위하여 어안렌즈(fish-eye lens) 등과 같은 광각렌즈(wide-angle lens)를 사용하고 있다.However, cameras used in CCTV and the like generally have an angle of view of 30 ° to 70 °, and the shooting range is limited so that a blind spot exists. In order to reduce such blind spots, a fish-eye lens or the like is used. The same wide-angle lens is used.

그러나, 광각렌즈(wide-angle lens)를 장착한 카메라는 표준 렌즈를 이용했을 때에 비해 초점거리가 짧고 FOV(Field Of View)가 넓다는 특성을 가지며, 취득된 영상의 형태는 방사형 왜곡(radial distortion)이 발생하여 사물 왜곡 현상이 발생한다.However, a camera equipped with a wide-angle lens has a characteristic that a focal length is shorter and a field of view is wider than that of a standard lens, and the acquired image has a radial distortion. ) And distortion of the object occurs.

또한, 종래 기술에 따른 파노라마 카메라가 촬영한 영상은 위치 왜곡 현상이 발생하는 문제점이 있다.In addition, the image taken by the panoramic camera according to the prior art has a problem that the position distortion phenomenon occurs.

본 발명은 전술한 문제를 해결하기 위해 안출된 것으로서, 본 발명에 따른 광각 영상 제공 방법 및 시스템은 사각지대가 없으며, 광각 왜곡, 원근 왜곡, 명암차 및 색수차가 없는 광각 영상을 제공하고, 왜곡이 없는 광각 영상을 제공하여 VR 형태로 영상 출력이 가능하며, 영상의 축소, 확대 시에도 왜곡이 발생하지 않도록 하고자 한다.The present invention has been made to solve the above-described problem, the method and system for providing a wide-angle image according to the present invention does not have a blind spot, provides a wide-angle image without wide-angle distortion, perspective distortion, contrast and chromatic aberration, the distortion is It is possible to output the image in VR form by providing a wide-angle image, and to prevent distortion even when the image is reduced or enlarged.

또한, 본 발명에 따른 광각 영상 제공 방법 및 시스템은 모바일용 카메라, CCTV용 카메라, 웹 카메라 등의 다양한 카메라 모듈을 활용하고, 전용 프로그램 또는 전용 모바일 어플리케이션을 사용한 보정을 통해 광각 영상을 제공하고자 한다.In addition, the method and system for providing a wide-angle image according to the present invention utilizes various camera modules such as a mobile camera, a CCTV camera, a web camera, and provides a wide-angle image through correction using a dedicated program or a dedicated mobile application.

또한, 본 발명에 따른 광각 영상 제공 방법 및 시스템은 자동차, 드론, 모바일, 카메라, 선박, 로켓, 의료, 국방, 가정, 레저 등의 카메라가 사용되는 산업전반에 적용이 가능한 광각 영상 제공 방법 및 시스템을 제공하고자 한다.In addition, the wide-angle image providing method and system according to the present invention is a wide-angle image providing method and system that can be applied to the entire industry, such as automobile, drone, mobile, camera, ship, rocket, medical, defense, home, leisure To provide.

전술한 문제를 해결하기 위한 본 실시예에 따른 광각 영상 제공 시스템은 제1 영역을 촬영한 제1 영역영상을 생성하는 제1 카메라 모듈; 상기 제1 영역의 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하는 제2 카메라 모듈; 상기 제1 영역의 하측으로 인접하는 제3 영역을 촬영한 제3 영역영상을 생성하는 제3 카메라 모듈; 상기 제2 영역의 하측 및 상기 제3 영역의 우측으로 인접하는 제4 영역을 촬영한 제4 영역영상을 생성하는 제4 카메라 모듈; 및 상기 제1,2,3,4 영역영상을 각각 왜곡 보정 및 위상차 보정하고, 상기 위상차 보정한 제1,2,3,4 영역영상을 오버랩 보정 및 색상 보정하는 보정 처리부;를 포함한다.In accordance with an embodiment of the present invention, there is provided a wide-angle image providing system comprising: a first camera module configured to generate a first region image photographing a first region; A second camera module for generating a second region image photographing a second region adjacent to the right side of the first region; A third camera module generating a third region image photographing a third region adjacent to the lower side of the first region; A fourth camera module generating a fourth region image photographing a fourth region adjacent to a lower side of the second region and to a right side of the third region; And a correction processor configured to perform distortion correction and phase difference correction on the first, second, third, and fourth region images, and overlap correction and color correction on the phase difference corrected first, second, third, and fourth region images, respectively.

본 발명의 다른 일실시예에 따르면, 상기 보정 처리부는 상기 제1,2,3,4 영역영상을 각각 왜곡 보정하는 왜곡 보정부; 상기 왜곡 보정한 제1,2,3,4 영역영상을 각각 위상차 보정하는 위상차 보정부; 상기 위상 보정한 제1,2,3,4 영역영상을 상호 인접하도록 중첩하여 보정하는 중첩 보정부; 및 상기 중첩하여 보정한 중첩영상을 색상 보정하는 색상 보정부;를 포함할 수 있다.According to another embodiment of the present invention, the correction processing unit includes a distortion correction unit for distortion correction of the first, second, third, fourth region images, respectively; A phase difference corrector configured to phase correct the distortion corrected first, second, third and fourth region images, respectively; An overlap correction unit for overlapping and correcting the phase-corrected first, second, third, and fourth region images to be adjacent to each other; And a color corrector configured to color correct the overlapped and corrected overlapping image.

본 발명의 다른 일실시예에 따르면, 상기 왜곡 보정부는 상기 제1,2,3,4 영역영상을 각각 광각왜곡 보정 후, 원근왜곡을 보정하고, 상기 위상차 보정부는 상기 제1,2,3,4, 영역영상의 수평 기준점을 추출 후, 좌표회전 이동을 하여 상기 제1,2,3,4 영역영상의 위치를 조절하고, 상기 중첩 보정부는 상기 제1,2,3,4 영역영상을 각각 크기 조절 후, 좌표를 이동하여 중첩되도록 위치조절하고, 상기 색상 보정부는 상기 중첩하여 보정한 중첩영상의 밝기 및 색수차를 조절할 수 있다.According to another embodiment of the present invention, the distortion correction unit corrects the perspective distortion after wide-angle distortion correction of the first, second, third, and fourth region images, respectively, and the phase difference correction unit is the first, second, third, 4, after extracting the horizontal reference point of the region image, the coordinate rotation is moved to adjust the position of the first, second, third, fourth region image, and the overlap correction unit is to respectively the first, second, third, fourth region image After adjusting the size, the coordinates may be moved to overlap the coordinates, and the color corrector may adjust brightness and chromatic aberration of the overlapped and corrected overlapped images.

본 발명의 다른 일실시예에 따르면, 상기 제1 카메라 모듈은 제1 렌즈 모듈; 상기 제1 렌즈 모듈을 통해 제1 영역을 촬영한 제1 영역영상을 생성하는 제1 이미지 센서 모듈; 및 상기 제1 렌즈 모듈과 상기 제1 이미지 센서 모듈이 수납되는 제1 구조체;를 포함하고, 상기 2 카메라 모듈은 제2 렌즈 모듈; 상기 제2 렌즈 모듈을 통해 제2 영역을 촬영한 제2 영역영상을 생성하는 제2 이미지 센서 모듈; 및 상기 제2 렌즈 모듈과 상기 제2 이미지 센서 모듈이 수납되는 제2 구조체;를 포함하고, 상기 제3 카메라 모듈은 제3 렌즈 모듈; 상기 제3 렌즈 모듈을 통해 제3 영역을 촬영한 제3 영역영상을 생성하는 제3 이미지 센서 모듈; 및 상기 제3 렌즈 모듈과 상기 제3 이미지 센서 모듈이 수납되는 제3 구조체;를 포함하고, 상기 제4 카메라 모듈은 제4 렌즈 모듈; 상기 제4 렌즈 모듈을 통해 제4 영역을 촬영한 제4 영역영상을 생성하는 제4 이미지 센서 모듈; 및 상기 제4 렌즈 모듈과 상기 제4 이미지 센서 모듈이 수납되는 제4 구조체;를 포함할 수 있다.According to another embodiment of the present invention, the first camera module comprises a first lens module; A first image sensor module for generating a first region image photographing the first region through the first lens module; And a first structure accommodating the first lens module and the first image sensor module, wherein the second camera module comprises: a second lens module; A second image sensor module generating a second region image photographing the second region through the second lens module; And a second structure accommodating the second lens module and the second image sensor module, wherein the third camera module comprises: a third lens module; A third image sensor module generating a third region image photographing a third region through the third lens module; And a third structure in which the third lens module and the third image sensor module are accommodated, wherein the fourth camera module comprises: a fourth lens module; A fourth image sensor module generating a fourth region image photographing a fourth region through the fourth lens module; And a fourth structure in which the fourth lens module and the fourth image sensor module are accommodated.

본 발명의 일실시예에 따른 광각 영상 제공 방법은 제1 카메라 모듈이 제1 영역을 촬영한 제1 영역영상을 생성하고, 제2 카메라 모듈이 제1 영역의 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하고, 제3 카메라 모듈이 상기 제1 영역의 하측으로 인접하는 제3 영역을 촬영한 제3 영역영상을 생성하고, 제4 카메라 모듈이 상기 제2 영역의 하측 및 상기 제3 영역의 우측으로 인접하는 제4 영역을 촬영한 제4 영역영상을 생성하는 촬영 단계; 왜곡 보정부가 상기 제1,2,3,4 영역영상을 각각 왜곡 보정하는 왜곡 보정 단계; 위상차 보정부가 상기 왜곡 보정한 제1,2,3,4 영역영상을 각각 위상차 보정하는 위상차 보정 단계; 중첩 보정부가 상기 위상차 보정한 제1,2,3,4 영역영상을 영역영상을 상호 인접하도록 중첩하여 보정하는 중첩 보정 단계; 및 색상 보정부가 상기 중첩하여 보정한 제1,2,3,4 영역영상을 색상 보정하는 색상 보정 단계;를 포함한다.In the method for providing a wide-angle image according to an embodiment of the present invention, the first camera module generates a first region image photographing the first region, and the second camera module photographs a second region adjacent to the right side of the first region. A second area image is generated, a third camera module generates a third area image photographing a third area adjacent to the lower side of the first area, and a fourth camera module is located below and above the second area; A photographing step of generating a fourth region image photographing a fourth region adjacent to the right side of the third region; A distortion correction step of distorting the first, second, third, and fourth region images by the distortion correction unit; A phase difference correction step of performing phase difference correction on each of the first, second, third, and fourth region images corrected by the phase difference correction unit; An overlap correction step of overlapping and correcting the first, second, third, and fourth region images corrected by the phase difference so that the region images are adjacent to each other; And a color correction step of performing color correction on the first, second, third, and fourth region images that the color correction unit corrects the overlapping.

본 발명의 다른 일실시예에 따르면, 상기 왜곡 보정 단계는 상기 왜곡 보정부가 상기 제1,2,3,4 영역영상을 각각 광각왜곡 보정 후, 원근왜곡을 보정하고, 상기 위상차 보정 단계는 상기 위상차 보정부가 상기 제1,2,3,4 영역영상의 수평 기준점을 추출 후, 좌표회전 이동을 하여 상기 제1,2,3,4 영역영상의 위치를 조절하고, 상기 중첩 보정 단계는 상기 중첩 보정부가 상기 제1,2,3,4 영역영상을 각각 크기 조절 후, 좌표를 이동하여 중첩되도록 위치조절하고, 상기 색상 보정 단계는 상기 색상 보정부가 상기 중첩하여 보정한 중첩영상의 밝기 및 색수차를 조절할 수 있다.According to another embodiment of the present invention, in the distortion correction step, the distortion correction unit corrects perspective distortion after wide-angle distortion correction of the first, second, third, and fourth region images, respectively, and the phase difference correction step includes the phase difference. After the correction unit extracts a horizontal reference point of the first, second, third, and fourth region images, the coordinate rotation is moved to adjust the position of the first, second, third, and fourth region images, and the overlapping correction step is the overlap correction. After adjusting the first, second, third, and fourth area images, the coordinates are moved to overlap the coordinates, and the color correction step controls the brightness and chromatic aberration of the overlapped image corrected by the color correction unit. Can be.

본 발명의 다른 일실시예에 따르면, 상기 촬영 단계는 상기 제1,2,3,4 카메라 모듈이 상호간에 이루는 각도를 조절하는 단계;를 더 포함할 수 있다.According to another embodiment of the present invention, the photographing step may further include adjusting the angles formed by the first, second, third, and fourth camera modules.

본 발명의 실시예에 따르면 사각지대 없이 화각이 좌우 200°, 상하 200°의 넓은 화각의 전면 영상을 제공할 수 있으며, 광각 왜곡, 원근 왜곡, 명암차 및 색수차가 없는 광각 영상을 제공할 수 있다.According to an exemplary embodiment of the present invention, an angle of view may provide a front image of a wide angle of view of 200 ° left and right and 200 ° up and down without a blind spot, and may provide a wide-angle image without wide-angle distortion, perspective distortion, contrast and chromatic aberration. .

또한, 본 발명의 실시예에 따르면 왜곡이 없는 광각 영상을 제공하여 VR 형태로 영상 출력이 가능하며, 영상의 축소, 확대 시에도 왜곡이 발생하지 않는다.Further, according to an embodiment of the present invention, by providing a wide-angle image without distortion, the image can be output in a VR form, and distortion does not occur even when the image is reduced or enlarged.

또한, 본 발명의 실시예에 따르면 모바일용 카메라, CCTV용 카메라, 웹 카메라 등의 다양한 카메라 모듈을 활용하고, 전용 프로그램 또는 전용 모바일 어플리케이션을 사용한 보정을 통해 광각 영상을 제공할 수 있다.In addition, according to an embodiment of the present invention can utilize a variety of camera modules, such as a mobile camera, a CCTV camera, a web camera, and can provide a wide-angle image through the correction using a dedicated program or a dedicated mobile application.

나아가, 본 발명의 실시예에 따르면 자동차, 드론, 모바일, 카메라, 선박, 로켓, 의료, 국방, 가정, 레저 등의 카메라가 사용되는 산업전반에 적용하여 넓은 화각의 영상을 제공할 수 있다.Furthermore, according to an embodiment of the present invention, an image of a wide field of view may be provided by applying to an entire industry where cameras such as automobiles, drones, mobiles, cameras, ships, rockets, medical care, defense, homes, and leisures are used.

도 1은 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 구성도이다.
도 2는 본 발명의 일실시예에 따른 광각 영상 제공 방법을 설명하기 위한 흐름도이다.
도 3 내지 도 7은 본 발명의 일실시예에 따른 광각 영상 제공 방법을 설명하기 위한 제1,2,3,4 영역영상의 보정 과정을 설명하기 위한 도면이다.
도 8 내지 도 10은 본 발명의 일실시예에 따른 광각 영상 제공 방법의 보정을 위한 보정 부스를 도시한 도면이다.
도 11은 본 발명의 일실시예에 따른 제1,2,3,4 카메라의 배치 위치에 따른 제1,2,3,4 카메라의 촬영 배치 각도를 도시한 도면이다.
도 12는 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 사시도이다.
도 13은 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 전개도이다.1 is a block diagram of a wide-angle image providing system according to an embodiment of the present invention.
2 is a flowchart illustrating a wide-angle image providing method according to an embodiment of the present invention.
3 to 7 are views for explaining a process of correcting a first, second, third, fourth region image for explaining a wide-angle image providing method according to an embodiment of the present invention.
8 to 10 are views illustrating a correction booth for the correction of the wide-angle image providing method according to an embodiment of the present invention.
FIG. 11 is a diagram illustrating a photographing arrangement angle of the first, second, third and fourth cameras according to the arrangement positions of the first, second, third and fourth cameras according to an embodiment of the present invention.
12 is a perspective view of a camera module of a wide-angle image providing system according to an embodiment of the present invention.
13 is an exploded view of a camera module of a wide-angle image providing system according to an embodiment of the present invention.

이하에서는 첨부한 도면을 참조하여 바람직한 본 발명의 일실시예에 대해서 상세히 설명한다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.Hereinafter, with reference to the accompanying drawings will be described in detail an embodiment of the present invention. However, in describing the embodiments, when it is determined that detailed descriptions of related known functions or configurations may unnecessarily obscure the subject matter of the present invention, detailed descriptions thereof will be omitted. In addition, the size of each component in the drawings may be exaggerated for description, it does not mean the size that is actually applied.

도 1은 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 구성도이다. 이후부터는 도 1을 참조하여 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 구성을 설명하기로 한다.1 is a block diagram of a wide-angle image providing system according to an embodiment of the present invention. Hereinafter, the configuration of the wide-angle image providing system according to an exemplary embodiment of the present invention will be described with reference to FIG. 1.

도 1에 도시된 바와 같이 본 발명의 일실시예에 따른 광각 영상 제공 시스템은 제1 카메라 모듈(110), 제2 카메라 모듈(115), 제3 카메라 모듈(120), 제4 카메라 모듈(125), 보정 처리부(130) 및 영상 저장부(140)를 포함하여 구성될 수 있으며, 또한 상기 보정 처리부(130)는 왜곡 보정부(131), 위상차 보정부(132), 중첩 보정부(133) 및 색상 보정부(134)를 포함하여 구성될 수 있다.As shown in FIG. 1, the wide-angle image providing system according to an exemplary embodiment of the present invention may include a first camera module 110, a second camera module 115, a third camera module 120, and a fourth camera module 125. ), The correction processor 130 and the image storage 140, and the correction processor 130 may include a distortion correction unit 131, a phase difference correction unit 132, and an overlap correction unit 133. And a color corrector 134.

제1 카메라 모듈(110)는 제1 영역을 촬영한 제1 영역영상을 생성하고, 제2 카메라 모듈(115)는 상기 제1 영역에 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하며, 제3 카메라 모듈(120)은 상기 제1 영역의 하측으로 인접하는 제3 영역을 촬영한 제3 영역영상을 생성하며, 제4 카메라 모듈(125)은 상기 제2 영역의 하측 및 상기 제3 영역의 우측으로 인접하는 제4 영역을 촬영한 제4 영역영상을 생성한다.The first camera module 110 generates a first region image photographing the first region, and the second camera module 115 captures a second region image photographing the second region rightwardly adjacent to the first region. The third camera module 120 generates a third region image photographing a third region adjacent to the lower side of the first region, and the fourth camera module 125 generates a lower region of the second region and the A fourth area image of the fourth area adjacent to the right side of the third area is generated.

보다 구체적으로, 상기 제1 카메라 모듈(110)는 촬영하고자 하는 영역의 좌측상부(up left)에 해당하는 영역을 촬영하여 좌측상부 영상인 제1 영역영상을 생성할 수 있으며, 상기 제2 카메라 모듈(115)는 촬영하고자 하는 영역의 우측 상부(up right)에 해당하는 영역을 촬영하여 우측상부 영상인 제2 영역영상을 생성할 수 있다. 마찬가지로, 상기 제3 카메라 모듈(120)은 촬영하고자 하는 영역의 좌측하부(down left)에 해당하는 영역을 촬영하여 좌측하부 영상인 제3 영역영상을 생성할 수 있으며, 상기 제4 카메라 모듈(125)은 촬영하고자 하는 영역의 우측하부(down right)에 해당하는 영역을 촬영하여 우측하부 영상인 제4 영역영상을 생성할 수 있다.More specifically, the first camera module 110 may generate a first region image, which is an upper left image, by photographing an area corresponding to an upper left of an area to be photographed, and the second camera module. In operation 115, a region corresponding to an upper right side of the region to be photographed may be photographed to generate a second region image that is an upper right image. Similarly, the third camera module 120 may generate a third region image, which is a lower left image, by photographing an area corresponding to a lower left of an area to be photographed, and the fourth camera module 125. ) May generate a fourth region image which is a lower right image by photographing an area corresponding to a lower right side of the region to be photographed.

이와 같이 상기 제1,2,3,4 카메라 모듈(110, 115, 120, 125)에서 촬영된 영상에는 광각 왜곡 및 원근 왜곡이 있으며, 4 대의 카메라를 이용하여 촬영한 영상을 인접하도록 중첩시키는 경우에는 위상차, 중첩된 영역, 명함차 또는 색수차가 발생한다.As described above, the images photographed by the first, second, third, and fourth camera modules 110, 115, 120, and 125 have wide-angle distortion and perspective distortion, and overlapping images photographed using four cameras adjacent to each other. Phase difference, superimposed region, business card difference, or chromatic aberration.

따라서, 보정 처리부(130)는 이와 같이 영상의 왜곡, 위상차, 중첩된 영역, 명함차 또는 색수차 등을 보정한다. 즉, 상기 보정 처리부(130)는 상기 제1,2,3,4 카메라 모듈(110, 115, 120, 125)에서 촬영된 제1,2,3,4 영역영상을 각각 왜곡 보정 및 위상차 보정하고, 상기 위상차 보정한 제1,2,3,4 영역영상을 오버랩 보정 및 색상 보정한다.Accordingly, the correction processor 130 corrects the distortion, phase difference, overlapped area, business card difference, or chromatic aberration of the image as described above. That is, the correction processor 130 corrects distortion and phase difference of the first, second, third, and fourth region images photographed by the first, second, third, and fourth camera modules 110, 115, 120, and 125, respectively. The overlap correction and color correction are performed on the phase difference corrected first, second, third and fourth region images.

보다 구체적으로, 상기 보정 처리부(130)는 왜곡 보정부(131), 위상차 보정부(132), 중첩 보정부(133) 및 색상 보정부(134)를 포함하여 구성될 수 있다.More specifically, the correction processor 130 may include a distortion correction unit 131, a phase difference correction unit 132, an overlap correction unit 133, and a color correction unit 134.

상기 왜곡 보정부(131)는 제1,2,3,4 영역영상의 왜곡을 보정하고, 위상차 보정부(132)는 상기 왜곡 보정한 제1,2,3,4 영역영상을 각각 위상차 보정한다. 또한, 중첩 보정부(133)는 상기 위상 보정한 제1,2,3,4 영역영상을 상호 인접하도록 중첩하여 보정하며, 상기 색상 보정부(134)는 상기 중첩하여 보정한 중첩영상을 색상 보정할 수 있다.The distortion correction unit 131 corrects the distortion of the first, second, third, and fourth region images, and the phase difference correction unit 132 corrects the phase differences of the first, second, third, and fourth region images, respectively. . In addition, the overlap correction unit 133 overlaps and corrects the phase-corrected first, second, third, and fourth region images to be adjacent to each other, and the color correction unit 134 corrects the overlapped images that are overlapped and corrected. can do.

보다 상세하게 설명하면, 상기 왜곡 보정부(131)는 상기 제1,2,3,4 영역영상을 각각 광각왜곡 보정 후, 원근왜곡을 보정하고, 상기 위상차 보정부(132)는 상기 제1,2,3,4 영역영상의 수평 기준점을 추출 후, 좌표회전 이동을 하여 상기 제1,2,3,4 영역영상의 위치를 조절하고, 상기 중첩 보정부(133)는 상기 제1,2,3,4 영역영상을 각각 크기 조절 후, 좌표를 이동하여 중첩되도록 위치조절하고, 상기 색상 보정부(134)는 상기 중첩하여 보정한 중첩영상의 밝기 및 색수차를 조절할 수 있다.In more detail, the distortion correction unit 131 corrects perspective distortion after wide-angle distortion correction of the first, second, third, and fourth region images, respectively, and the phase difference correction unit 132 performs the first, second, and third distortion corrections. After extracting the horizontal reference point of the 2,3,4 region image, the coordinate rotation is moved to adjust the position of the first, 2, 3, 4 region image, and the overlap corrector 133 is configured to control the first, second, After adjusting the 3 and 4 region images, the coordinates are moved to overlap the coordinates, and the color corrector 134 may adjust brightness and chromatic aberration of the overlapped and corrected overlapped images.

영상 저장부(140)는 이와 같이 보정 처리부(130)에서 보정되어 합성된 영상을 저장할 수 있다.The image storage unit 140 may store the image corrected and synthesized by the correction processor 130 as described above.

따라서, 본 발명의 실시예에 따르면 화각이 좌우 200°, 상하 200°의 사각지대가 없으며, 광각 왜곡, 원근 왜곡, 명암차 및 색수차가 없는 광각 영상을 제공할 수 있다.Therefore, according to an exemplary embodiment of the present invention, there is no blind spot of 200 ° left and right and 200 ° up and down, and a wide angle image without wide angle distortion, perspective distortion, contrast and chromatic aberration can be provided.

도 2는 본 발명의 일실시예에 따른 광각 영상 제공 방법을 설명하기 위한 흐름도이고, 도 3 내지 도 7은 본 발명의 일실시예에 따른 광각 영상 제공 방법을 설명하기 위한 제1,2,3,4 영역영상의 보정 과정을 설명하기 위한 도면이다.2 is a flowchart illustrating a wide-angle image providing method according to an embodiment of the present invention, Figures 3 to 7 are first, second, and third for explaining a wide-angle image providing method according to an embodiment of the present invention 4A and 4B illustrate a process of correcting a 4-zone image.

이후부터는 도 2 내지 도 7을 참조하여 본 발명의 일실시예에 따른 광각 영상 제공 방법을 설명하기로 한다.Hereinafter, a wide angle image providing method according to an exemplary embodiment of the present invention will be described with reference to FIGS. 2 to 7.

먼저, 도 2에 도시된 바와 같이 좌측상부(up left) 카메라에 해당하는 제1 카메라 모듈이 제1 영역을 촬영한 제1 영역영상을 생성하여 추출하고(S210), 우측상부(up right) 카메라에 해당하는 제2 카메라 모듈이 제1 영역의 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하여 추출한다(S211).First, as shown in FIG. 2, a first camera module corresponding to an up left camera generates and extracts a first area image photographing the first area (S210), and then an up right camera. The second camera module corresponding to the second camera module generates and extracts a second region image photographing the second region adjacent to the right side of the first region (S211).

또한, 좌측하부(down left) 카메라에 해당하는 제3 카메라 모듈이 제3 영역을 촬영한 제3 영역영상을 생성하여 추출하고(S212), 우측하부(down right) 카메라에 해당하는 제4 카메라 모듈이 상기 제2 영역의 하측 및 제3 영역의 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하여 추출한다(S213).In addition, the third camera module corresponding to the down left camera generates and extracts a third region image photographing the third region (S212), and the fourth camera module corresponding to the down right camera. The second region image photographing the second region adjacent to the lower side of the second region and to the right side of the third region is generated and extracted (S213).

이와 같이 추출된 제1,2,3,4 영역영상은 원근왜곡과 광각왜곡이 포함되어 있다. 따라서, 왜곡 보정부가 왜곡 상수(Distortion Constant)를 참조하여 상기 제1,2,3,4 영역영상을 각각 광각왜곡과 원근왜곡을 보정한다(S220, S221, S222, S223).The extracted first, second, third, and fourth region images include perspective distortion and wide-angle distortion. Therefore, the distortion correcting unit corrects the wide-angle distortion and the perspective distortion of the first, second, third, and fourth region images, respectively, with reference to the distortion constant (S220, S221, S222, and S223).

도 3은 이와 같이 광각왜곡 보정과 원근왜곡 보정이 된 제1,2,3,4 영역영상을 도시하고 있다.3 shows the first, second, third, and fourth region images in which wide-angle distortion correction and perspective distortion correction are thus performed.

이후, 상기 위상차 보정부는 위상차 상수(Phase Difference Constant)를 참조하여 상기 광각왜곡과 원근왜곡 보정된 상기 제1,2,3,4 영역영상의 수평기준점을 추출 후, 도 4와 같이 좌표회전 이동을 하여 상기 제1,2,3,4 영역영상의 위치를 조절한다(S230).Thereafter, the phase difference correction unit extracts a horizontal reference point of the first, second, third, and fourth region images corrected for the wide-angle distortion and the perspective distortion by referring to a phase difference constant, and then moves the coordinate rotation as shown in FIG. 4. By adjusting the position of the first, second, third, fourth region image (S230).

이후에는, 중첩 보정부가 중첩 상수(Overlap Constant)를 참조하여 상기 저장된 제1,2,3,4 영역영상의 크기를 조절 후, 좌표를 이동하여 도 5에서와 같이 상기 제1,2,3,4 영역영상 간에 상호 중첩되도록 위치 조절한다(S240).Thereafter, the overlap corrector adjusts the size of the stored first, second, third, and fourth region images by referring to the overlap constant, and then moves coordinates, as shown in FIG. 5. The position is adjusted to overlap each other between the four region images (S240).

색상 보정부는 도 6에 도시된 바와 같이 중첩하여 보정한 중첩영상에 대해 색상 상수(Color Constant)를 참조해 밝기 및 색수차를 조절하여, 도 7에서와 같이 제1,2,3,4 영역영상이 중첩되어 합성된 영상을 생성하여 저장하고(S250, S255), 이와 같이 저장된 합성 영상을 출력할 수 있다(S260).The color corrector adjusts brightness and chromatic aberration with reference to a color constant for the superimposed image corrected by overlapping as shown in FIG. 6, so that the first, second, third, and fourth region images are displayed as shown in FIG. 7. The superimposed and synthesized images may be generated and stored (S250 and S255), and the synthesized images thus stored may be output (S260).

도 8 내지 도 10은 본 발명의 일실시예에 따른 광각 영상 제공 방법의 보정을 위한 보정 부스를 도시한 도면이다.8 to 10 are views illustrating a correction booth for the correction of the wide-angle image providing method according to an embodiment of the present invention.

도 8은 본 발명의 일실시예에 따른 광각왜곡과 원근왜곡을 보정하기 위한 보정 부스(Calibration Booth)를 도시하고 있고, 도 9는 본 발명의 일실시예에 따른 중첩 영상의 보정을 위한 보정 부스(Calibration Booth)를 도시하고 있다.FIG. 8 illustrates a calibration booth for correcting wide angle distortion and perspective distortion according to an embodiment of the present invention, and FIG. 9 illustrates a correction booth for correcting an overlapping image according to an embodiment of the present invention. (Calibration Booth) is shown.

또한, 도 10는 본 발명의 일실시예에 따른 영역영상의 밝기 및 색수차를 보정하기 위한 보정 부스를 도시하고 있다.10 illustrates a correction booth for correcting brightness and chromatic aberration of an area image according to an embodiment of the present invention.

따라서, 본 발명의 실시예에 따르면 사각지대가 없으며, 광각 왜곡, 원근 왜곡, 명암차 및 색수차가 없는 광각 영상을 제공할 수 있으며, 왜곡이 없는 광각 영상을 제공하여 VR 형태로 영상 출력이 가능하며, 영상의 축소, 확대 시에도 왜곡이 발생하지 않는다.Accordingly, according to an embodiment of the present invention, there is no blind spot, a wide angle image without wide-angle distortion, perspective distortion, contrast and chromatic aberration can be provided, and a wide-angle image without distortion can be provided to output an image in VR form. , No distortion occurs when the image is reduced or enlarged.

나아가, 본 발명의 실시예에 따르면 자동차, 드론, 모바일, 카메라, 선박, 로켓, 의료, 국방, 가정, 레저 등의 카메라가 사용되는 산업전반에 적용하여 넓은 화각의 영상을 제공할 수 있다.Furthermore, according to an embodiment of the present invention, an image of a wide field of view may be provided by applying to an entire industry where cameras such as automobiles, drones, mobiles, cameras, ships, rockets, medical care, defense, homes, and leisures are used.

도 11은 본 발명의 일실시예에 따른 제1,2,3,4 카메라의 배치 위치에 따른 제1,2,3,4 카메라의 촬영 배치 각도를 도시한 도면이다.FIG. 11 is a diagram illustrating a photographing arrangement angle of the first, second, third and fourth cameras according to the arrangement positions of the first, second, third and fourth cameras according to an embodiment of the present invention.

이후부터는 도 11을 참조하여 본 발명의 일실시예에 따른 제1,2,3,4 카메라의 배치에 따른 제1,2,3,4 카메라의 촬영 각도를 설명하기로 한다.Hereinafter, the photographing angles of the first, second, third and fourth cameras according to the arrangement of the first, second, third and fourth cameras according to the embodiment of the present invention will be described with reference to FIG. 11.

본 발명의 일실시예에 따르면, 도 11의 (a)에서와 같이 제1,2,3,4 카메라가 사각지대 없이 화각이 좌우 200°, 상하 200°의 넓은 화각의 전면 영상을 제공할 수 있다.According to an embodiment of the present invention, as shown in (a) of FIG. 11, the first, second, third and fourth cameras may provide a front view image having a wide angle of view of 200 ° left and right and 200 ° up and down without a blind spot. have.

또한, 도 11의 (b)에서와 같이 제1,2,3,4 카메라가 벽면 등과 같이 지면으로부터 수직으로 세워지는 측부에 배치되는 경우에는, 해당 측부(벽면)를 제외한 그 외의 영역의 영상을 촬영하여 제공할 수 있다.In addition, when the first, second, third and fourth cameras are arranged on the side vertically placed from the ground such as the wall surface as shown in FIG. 11 (b), images of other areas except the corresponding side (wall surface) are displayed. Can be photographed and provided.

도 12는 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 구성도이고, 도 13은 본 발명의 일실시예에 따른 광각 영상 제공 시스템의 카메라 모듈의 사시도이다.12 is a block diagram of a camera module of a wide-angle image providing system according to an embodiment of the present invention, Figure 13 is a perspective view of a camera module of a wide-angle image providing system according to an embodiment of the present invention.

도 12를 참조하면, 본 발명의 일실시예에 따른 제1,2,3,4 카메라 모듈(110, 115, 120, 125)은 각각 렌즈 모듈(111), 이미지 센서 모듈(112) 및 구조체(113)을 포함하여 구성될 수 있다.Referring to FIG. 12, the first, second, third, fourth camera modules 110, 115, 120, and 125 according to the exemplary embodiment of the present invention each include a lens module 111, an image sensor module 112, and a structure ( 113).

이미지 센서 모듈(112)은 상기 렌즈 모듈(111)을 통해 해당 영역을 촬영한 영역영상을 생성하며, 구조체(113)는 상기 렌즈 모듈(111)과 상기 이미지 센서 모듈(112)을 수납하도록 구성될 수 있다.The image sensor module 112 generates an area image photographing the corresponding area through the lens module 111, and the structure 113 may be configured to receive the lens module 111 and the image sensor module 112. Can be.

이때, 상기 구조체(113)는 경량화를 위해 알루미늄 프레임으로 구성될 수 있다.In this case, the structure 113 may be composed of an aluminum frame to reduce the weight.

[수학식 1][Equation 1]

α= (180°- a)×(2/3)α = (180 ° -a) × (2/3)

(이때, α는 각 제1,2,3,4 카메라 모듈 간의 각도, a는 제1,2,3,4 카메라 모듈의 수평 화각임.)Where α is the angle between the first, second, third and fourth camera modules, and a is the horizontal angle of view of the first, second, third and fourth camera modules.

[수학식 2][Equation 2]

β= (180°- b)×(1/3)β = (180 ° -b) × (1/3)

(이때, β 는 각 제1,2,3,4 카메라 모듈의 이미지 모듈의 각도, b는 제1,2,3,4 카메라 모듈의 수직 화각임.)(Where β is the angle of the image module of each of the first, second, third and fourth camera modules, and b is the vertical angle of view of the first, second, third and fourth camera modules.)

본 발명의 일실시예에 따르면, 도 13에 도시된 바와 같이 제1,2,3,4 카메라 모듈(110, 115, 120, 125)의 배치를 위하여 수학식 1을 이용해 각 제1,2,3,4 카메라 모듈(110, 115, 120, 125) 간의 각도를 계산할 수 있으며, 수학식 2를 이용해 각 제1,2,3,4 카메라 모듈(110, 115, 120, 125)의 이미지 모듈(112)의 각도를 계산하여 배치할 수 있다.According to an embodiment of the present invention, as shown in FIG. 13, the first, second, third, and fourth camera modules 110, 115, 120, and 125 may be used to arrange the first, second, third, and fourth camera modules 110, 115, 120, and 125. The angle between the 3,4 camera modules 110, 115, 120, and 125 may be calculated, and the image module of each of the first, second, third, and fourth camera modules 110, 115, 120, and 125 may be calculated using Equation 2. The angle of 112 can be calculated and placed.

전술한 바와 같은 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다. 본 발명의 기술적 사상은 본 발명의 전술한 실시예에 국한되어 정해져서는 안 되며, 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.In the detailed description of the invention as described above, specific embodiments have been described. However, many modifications are possible without departing from the scope of the invention. The technical spirit of the present invention should not be limited to the above-described embodiments of the present invention, but should be determined not only by the claims, but also by those equivalent to the claims.

110: 제1 카메라 모듈
115: 제2 카메라 모듈
120: 제3 카메라 모듈
125: 제4 카메라 모듈
130: 보정 처리부
131: 왜곡 보정부
132: 위상차 보정부
133: 중첩 보정부
134: 색상 보정부
140: 영상 저장부110: first camera module
115: second camera module
120: third camera module
125: fourth camera module
130: correction processing unit
131: distortion correction unit
132: phase difference correction unit
133: overlap correction unit
134: color correction unit
140: image storage unit

Claims (7)

제1 영역을 촬영한 제1 영역영상을 생성하는 제1 카메라 모듈;
상기 제1 영역의 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하는 제2 카메라 모듈;
상기 제1 영역의 하측으로 인접하는 제3 영역을 촬영한 제3 영역영상을 생성하는 제3 카메라 모듈;
상기 제2 영역의 하측 및 상기 제3 영역의 우측으로 인접하는 제4 영역을 촬영한 제4 영역영상을 생성하는 제4 카메라 모듈; 및
상기 제1,2,3,4 영역영상을 각각 왜곡 보정 및 위상차 보정하고, 상기 위상차 보정한 제1,2,3,4 영역영상을 오버랩 보정 및 색상 보정하는 보정 처리부;
를 포함하는 광각 영상 제공 시스템.
A first camera module generating a first region image photographing the first region;
A second camera module for generating a second region image photographing a second region adjacent to the right side of the first region;
A third camera module generating a third region image photographing a third region adjacent to the lower side of the first region;
A fourth camera module generating a fourth region image photographing a fourth region adjacent to a lower side of the second region and to a right side of the third region; And
A correction processor configured to perform distortion correction and phase difference correction on the first, second, third and fourth region images, and overlap correction and color correction of the phase difference corrected first, second, third and fourth region images, respectively;
Wide-angle image providing system comprising a.
청구항 1에 있어서,
상기 보정 처리부는,
상기 제1,2,3,4 영역영상을 각각 왜곡 보정하는 왜곡 보정부;
상기 왜곡 보정한 제1,2,3,4 영역영상을 각각 위상차 보정하는 위상차 보정부;
상기 위상 보정한 제1,2,3,4 영역영상을 상호 인접하도록 중첩하여 보정하는 중첩 보정부; 및
상기 중첩하여 보정한 중첩영상을 색상 보정하는 색상 보정부;
를 포함하는 광각 영상 제공 시스템.
The method according to claim 1,
The correction processing unit,
A distortion correcting unit configured to correct distortion of the first, second, third, and fourth region images, respectively;
A phase difference corrector configured to phase correct the distortion corrected first, second, third and fourth region images, respectively;
An overlap correction unit for overlapping and correcting the phase-corrected first, second, third, and fourth region images to be adjacent to each other; And
A color corrector configured to color correct the overlapped and corrected overlapping image;
Wide-angle image providing system comprising a.
청구항 2에 있어서,
상기 왜곡 보정부는 상기 제1,2,3,4 영역영상을 각각 광각왜곡 보정 후, 원근왜곡을 보정하고,
상기 위상차 보정부는 상기 제1,2,3,4, 영역영상의 수평 기준점을 추출 후, 좌표회전 이동을 하여 상기 제1,2,3,4 영역영상의 위치를 조절하고,
상기 중첩 보정부는 상기 제1,2,3,4 영역영상을 각각 크기 조절 후, 좌표를 이동하여 중첩되도록 위치조절하고,
상기 색상 보정부는 상기 중첩하여 보정한 중첩영상의 밝기 및 색수차를 조절하는 광각 영상 제공 시스템.
The method according to claim 2,
The distortion correction unit corrects perspective distortion after wide-angle distortion correction of the first, second, third and fourth region images, respectively,
The phase difference correction unit extracts a horizontal reference point of the first, second, third and fourth region images, adjusts the position of the first, second, third and fourth region images by moving the coordinate rotation.
The overlap correction unit adjusts the positions of the first, second, third, and fourth region images to be superimposed by moving coordinates, respectively,
The color correction unit is a wide-angle image providing system for adjusting the brightness and chromatic aberration of the overlapping image corrected by overlapping.
청구항 1에 있어서,
상기 제1 카메라 모듈은,
제1 렌즈 모듈;
상기 제1 렌즈 모듈을 통해 제1 영역을 촬영한 제1 영역영상을 생성하는 제1 이미지 센서 모듈; 및
상기 제1 렌즈 모듈과 상기 제1 이미지 센서 모듈이 수납되는 제1 구조체;를 포함하고,
상기 2 카메라 모듈은,
제2 렌즈 모듈;
상기 제2 렌즈 모듈을 통해 제2 영역을 촬영한 제2 영역영상을 생성하는 제2 이미지 센서 모듈; 및
상기 제2 렌즈 모듈과 상기 제2 이미지 센서 모듈이 수납되는 제2 구조체;를 포함하고,
상기 제3 카메라 모듈은,
제3 렌즈 모듈;
상기 제3 렌즈 모듈을 통해 제3 영역을 촬영한 제3 영역영상을 생성하는 제3 이미지 센서 모듈; 및
상기 제3 렌즈 모듈과 상기 제3 이미지 센서 모듈이 수납되는 제3 구조체;를 포함하고,
상기 제4 카메라 모듈은,
제4 렌즈 모듈;
상기 제4 렌즈 모듈을 통해 제4 영역을 촬영한 제4 영역영상을 생성하는 제4 이미지 센서 모듈; 및
상기 제4 렌즈 모듈과 상기 제4 이미지 센서 모듈이 수납되는 제4 구조체;를 포함하는 광각 영상 제공 시스템.
The method according to claim 1,
The first camera module,
A first lens module;
A first image sensor module for generating a first region image photographing the first region through the first lens module; And
And a first structure in which the first lens module and the first image sensor module are accommodated.
The two camera module,
A second lens module;
A second image sensor module generating a second region image photographing the second region through the second lens module; And
And a second structure in which the second lens module and the second image sensor module are accommodated.
The third camera module,
A third lens module;
A third image sensor module generating a third region image photographing a third region through the third lens module; And
And a third structure in which the third lens module and the third image sensor module are accommodated.
The fourth camera module,
A fourth lens module;
A fourth image sensor module generating a fourth region image photographing a fourth region through the fourth lens module; And
And a fourth structure in which the fourth lens module and the fourth image sensor module are accommodated.
제1 카메라 모듈이 제1 영역을 촬영한 제1 영역영상을 생성하고, 제2 카메라 모듈이 제1 영역의 우측으로 인접하는 제2 영역을 촬영한 제2 영역영상을 생성하고, 제3 카메라 모듈이 상기 제1 영역의 하측으로 인접하는 제3 영역을 촬영한 제3 영역영상을 생성하고, 제4 카메라 모듈이 상기 제2 영역의 하측 및 상기 제3 영역의 우측으로 인접하는 제4 영역을 촬영한 제4 영역영상을 생성하는 촬영 단계;
왜곡 보정부가 상기 제1,2,3,4 영역영상을 각각 왜곡 보정하는 왜곡 보정 단계;
위상차 보정부가 상기 왜곡 보정한 제1,2,3,4 영역영상을 각각 위상차 보정하는 위상차 보정 단계;
중첩 보정부가 상기 위상차 보정한 제1,2,3,4 영역영상을 영역영상을 상호 인접하도록 중첩하여 보정하는 중첩 보정 단계; 및
색상 보정부가 상기 중첩하여 보정한 제1,2,3,4 영역영상을 색상 보정하는 색상 보정 단계;
를 포함하는 광각 영상 제공 방법.
The first camera module generates a first region image photographing the first region, the second camera module generates a second region image photographing the second region adjacent to the right side of the first region, and the third camera module Generates a third region image photographing the third region adjacent to the lower side of the first region, and the fourth camera module captures the fourth region adjacent to the lower side of the second region and to the right of the third region. A photographing step of generating a fourth area image;
A distortion correction step of distorting the first, second, third, and fourth region images by the distortion correction unit;
A phase difference correction step of performing phase difference correction on each of the first, second, third, and fourth region images corrected by the phase difference correction unit;
An overlap correction step of overlapping and correcting the first, second, third, and fourth region images corrected by the phase difference so that the region images are adjacent to each other; And
A color correction step of performing a color correction on the first, second, third, and fourth region images which are corrected by the color correction unit;
Wide-angle image providing method comprising a.
청구항 5에 있어서,
상기 왜곡 보정 단계는 상기 왜곡 보정부가 상기 제1,2,3,4 영역영상을 각각 광각왜곡 보정 후, 원근왜곡을 보정하고,
상기 위상차 보정 단계는 상기 위상차 보정부가 상기 제1,2,3,4 영역영상의 수평 기준점을 추출 후, 좌표회전 이동을 하여 상기 제1,2,3,4 영역영상의 위치를 조절하고,
상기 중첩 보정 단계는 상기 중첩 보정부가 상기 제1,2,3,4 영역영상을 각각 크기 조절 후, 좌표를 이동하여 중첩되도록 위치조절하고,
상기 색상 보정 단계는 상기 색상 보정부가 상기 중첩하여 보정한 중첩영상의 밝기 및 색수차를 조절하는 광각 영상 제공 방법.
The method according to claim 5,
In the distortion correction step, the distortion correction unit corrects perspective distortion after wide-angle distortion correction of the first, second, third and fourth region images, respectively,
In the phase difference correcting step, the phase difference correcting unit extracts a horizontal reference point of the first, second, third and fourth region images, and then coordinates the rotation to adjust the position of the first, second, third and fourth region images.
In the overlapping correcting step, the overlapping correction unit adjusts the positions of the first, second, third, and fourth region images, respectively, and adjusts the positions of the overlapping correction units so as to overlap each other.
In the color correction step, the color correction unit adjusts the brightness and chromatic aberration of the overlapped image corrected by overlapping.
청구항 5에 있어서,
상기 촬영 단계는,
상기 제1,2,3,4 카메라 모듈이 상호간에 이루는 각도를 조절하는 단계;
를 더 포함하는 광각 영상 제공 방법.
The method according to claim 5,
The photographing step,
Adjusting an angle between the first, second, third and fourth camera modules;
The wide-angle image providing method further comprising.
KR1020180048327A 2018-04-26 2018-04-26 Wide angle image providing method and system KR102062736B1 (en)

Priority Applications (11)

Application Number Priority Date Filing Date Title
KR1020180048327A KR102062736B1 (en) 2018-04-26 2018-04-26 Wide angle image providing method and system
CN201980028471.4A CN112154647B (en) 2018-04-26 2019-04-26 Wide-angle image providing system
JP2021509709A JP7185357B2 (en) 2018-04-26 2019-04-26 Wide-angle image provision system
EP19791751.1A EP3787277A4 (en) 2018-04-26 2019-04-26 Wide-angle image providing method
US17/050,460 US20210243367A1 (en) 2018-04-26 2019-04-26 Wide-angle image providing system
US17/050,461 US11523054B2 (en) 2018-04-26 2019-04-26 Wide-angle image providing method
PCT/KR2019/005068 WO2019209067A1 (en) 2018-04-26 2019-04-26 Wide-angle image providing system
EP19792249.5A EP3787278A4 (en) 2018-04-26 2019-04-26 Wide-angle image providing system
JP2021509710A JP7231281B2 (en) 2018-04-26 2019-04-26 Wide-angle image provision method
CN201980028456.XA CN112119626B (en) 2018-04-26 2019-04-26 Wide-angle image providing method
PCT/KR2019/005074 WO2019209069A1 (en) 2018-04-26 2019-04-26 Wide-angle image providing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180048327A KR102062736B1 (en) 2018-04-26 2018-04-26 Wide angle image providing method and system

Publications (2)

Publication Number Publication Date
KR20190124406A true KR20190124406A (en) 2019-11-05
KR102062736B1 KR102062736B1 (en) 2020-01-06

Family

ID=68576979

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180048327A KR102062736B1 (en) 2018-04-26 2018-04-26 Wide angle image providing method and system

Country Status (1)

Country Link
KR (1) KR102062736B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102552326B1 (en) * 2023-01-16 2023-07-06 (주)글로벌시스템스 A making method of big landscape photographs using multiple image panoramas about an area of surveillance
WO2024117433A1 (en) * 2022-11-30 2024-06-06 Samsung Electronics Co., Ltd. Method and electronic device for performing color correction

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5417138B2 (en) * 2009-12-07 2014-02-12 株式会社東芝 The camera module
JP2011259168A (en) 2010-06-08 2011-12-22 Fujifilm Corp Stereoscopic panoramic image capturing device
WO2017081717A1 (en) * 2015-11-09 2017-05-18 三菱電機株式会社 Image generation system and image generation method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024117433A1 (en) * 2022-11-30 2024-06-06 Samsung Electronics Co., Ltd. Method and electronic device for performing color correction
KR102552326B1 (en) * 2023-01-16 2023-07-06 (주)글로벌시스템스 A making method of big landscape photographs using multiple image panoramas about an area of surveillance

Also Published As

Publication number Publication date
KR102062736B1 (en) 2020-01-06

Similar Documents

Publication Publication Date Title
CN112119626B (en) Wide-angle image providing method
US10489885B2 (en) System and method for stitching images
KR101521008B1 (en) Correction method of distortion image obtained by using fisheye lens and image display system implementing thereof
US20060284971A1 (en) Composite surveillance camera system
WO2021184302A1 (en) Image processing method and apparatus, imaging device, movable carrier, and storage medium
JP2002359838A (en) Device for supporting driving
JP7150709B2 (en) Image processing device, image processing method, and program
KR102062736B1 (en) Wide angle image providing method and system
JP2007180720A (en) Vehicle drive support apparatus
KR101916419B1 (en) Apparatus and method for generating multi-view image from wide angle camera
CN110784693A (en) Projector correction method and projection system using same
CN113114975B (en) Image splicing method and device, electronic equipment and storage medium
KR102057602B1 (en) Wide angle image providing method and system
TW202011349A (en) Method and system for rendering a panoramic image
KR102062734B1 (en) Wide angle image providing method and system
CN104363421A (en) Method and device for realizing multi-angle camera monitoring effect
KR101794993B1 (en) Apparatus and method for revising image distortion
US11601627B2 (en) Apparatus, control method, and storage medium
NL2025575B1 (en) Correcting distortion from camera pitch angle
KR20190054703A (en) Method for correcting image quality taken by dual camera
JP2002347517A (en) On-vehicle camera and vehicle periphery surveillance device
KR20210055354A (en) Monitoring apparatus on ship
KR102373572B1 (en) Surround view monitoring system and method thereof
KR101728832B1 (en) Manual calibration device for the vehicle image registration and the method thereof
CN116843595A (en) Fusion photographing method and device, electronic equipment and vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant