KR102347972B1 - 파노라마 영상 제공시스템 - Google Patents

파노라마 영상 제공시스템 Download PDF

Info

Publication number
KR102347972B1
KR102347972B1 KR1020210108977A KR20210108977A KR102347972B1 KR 102347972 B1 KR102347972 B1 KR 102347972B1 KR 1020210108977 A KR1020210108977 A KR 1020210108977A KR 20210108977 A KR20210108977 A KR 20210108977A KR 102347972 B1 KR102347972 B1 KR 102347972B1
Authority
KR
South Korea
Prior art keywords
drone
coordinates
panoramic
panoramic image
service
Prior art date
Application number
KR1020210108977A
Other languages
English (en)
Inventor
이호동
이후동
Original Assignee
주식회사 아이지아이에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이지아이에스 filed Critical 주식회사 아이지아이에스
Priority to KR1020210108977A priority Critical patent/KR102347972B1/ko
Application granted granted Critical
Publication of KR102347972B1 publication Critical patent/KR102347972B1/ko
Priority to PCT/KR2022/004125 priority patent/WO2023022317A1/ko
Priority to EP22858559.2A priority patent/EP4391547A1/en
Priority to US18/028,524 priority patent/US20240031681A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B64C2201/127—
    • B64C2201/146—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 드론을 활용한 사진 촬영부터 파노라마 웹 서비스 까지 한번에 일괄적으로 편리하게 작업이 가능하고, 작업 진행 과정을 실시간으로 확인이 가능하게 한 파노라마 영상 제공시스템에 관한 것으로, 드론을 이용하여 사진 촬영할 때, 드론 앱(Dfos APP)을 활용하여 일반 카메라로 편리하게 촬영이 가능하게 하고, 평면 공간 자료를 파노라마 공간 좌표로 변환의 경우는 평면 공간 자료를 파노라마 서비스를 통하여 표출 및 확인이 가능하여 기존에 보유하거나 필요한 평면공간자료의 활용이 가능할 수 있게 하였을 뿐만 아니라, 비즈니스 모델 고도화 및 파노라마 서비스의 활성화를 통하여 서비스를 제공하는 서비스공급자(드론을 통해 사진 촬영자)와, 이 서비스를 필요로 하는 서비스사용자(파라노마 서비스 수요자)의 서로 연결을 통하여 활발한 거래가 발생함으로써 가치를 생성하고 궁극적으로 수익을 창출할 수 있게 한 파노라마 영상 제공시스템에 관한 것이다.

Description

파노라마 영상 제공시스템{panoramic vision suppling systems}
본 발명은 파노라마 영상 제공시스템에 관한 것으로 상세하게는 드론을 활용한 사진 촬영부터 파노라마 웹 서비스 까지 한번에 일괄적으로 편리하게 작업이 가능하고, 작업 진행 과정을 실시간으로 확인이 가능하게 한 파노라마 영상 제공시스템에 관한 것이다.
드론(Drone)은 사람이 탑승하지 않고 원격 조정에 의해 비행하거나 지정된 경로를 따라 자율적으로 비행하는 비행체로, 주로 군사적 용도로 활용되어 왔으나, 최근에는 운송 분야, 보안 분야 등 다양한 분야에서 활용되고 있으며, 개인적인 용도로도 활용되고 있다.
이러한 드론은 활용 범위가 점차 확대되어 가고 있고, 드론에서 촬영한 영상을 다양한 분야에서 이용하고 있다.
이러한 드론에서 촬영된 영상 중에는 파노라마(panorama)영상이 있고, 이 파노라마 영상을 이용한 다양한 기술이 개발되고 있으며, 그 예로 특허문헌 1 내지 3이 있다.
특허문헌 1은 드론을 활용한 항공 안전진단 방법에 있어서, 드론에 장착되는 짐볼에 결합되는 제1 카메라 센서와 제2 카메라 센서를 이용하며, 제1 카메라를 이용하여 드론이 점검 대상의 위치를 설정된 경로를 따라 이동할 때에 중첩되는 영역이 발생하도록 복수의 위험인자 검출 영상을 획득하고, 제2 카메라를 이용하여 중첩되는 영역이 발생하도록 복수의 제2 영상을 획득하여 드론에 마련된 데이터 저장부에 위험인자 검출 영상과 제2 영상을 저장하는 단계; 드론의 착륙 시 무선 또는 유선으로 데이터 저장부에 저장된 위험인자 검출 영상과 제2 영상을 획득하고, 복수의 위험인자 검출 영상의 중첩된 영역을 정합처리하여 하나의 위험인자 파노라마 영상을 형성하고, 복수의 제2 영상의 중첩된 영역을 제거하여 3차원 실영상으로 처리하는 단계; 위험인자를 검출하는 파노라마 영상을 3차원 실영상에 투영시켜 3차원 실영상에 어느 위치에 위험인자가 존재하는 맵핑하는 단계; 및 점검 대상의 맵핑된 파노라마 영상의 결함여부를 미리 설정된 기준으로 판단하여 점검 대상의 안전성을 판단하는 단계를 포함하며, 위험인자 검출 영상은, 열화상 영상, 적외선 영상 및 근 적외선 영상 중 하나이며, 짐볼은, 제1 카메라 센서와 제2 카메라 센서를 수평방향으로 각각 배치시키는 제1 홀 및 제2 홀을 구비하는 하우징, 하우징의 일측면에 배치되어 하우징을 상하로 틸팅시키는 제1 구동모터, 하우징의 후면에 장착되고, 상방향으로 연장되는 지지부, 지지부의 상측면에 장착되어 하우징을 좌우로 회전시키는 제2 구동모터, 및 제2 구동모터를 중심으로 방사방향으로 배치되어 드론의 비행중에 흔들림을 방지하는 댐퍼를 구비한 드론을 활용한 항공 안전진단 방법이고,
특허문헌 2는 360˚ 카메라가 부착되어 있으며, 현재의 위치를 측정하는 측위 모듈 및 위치의 자세를 측정하는 자세 측정 모듈이 탑재되고, 정지영상 및 동영상을 획득하는 드론; 드론을 통해 획득되는 정지영상 및 동영상이 저장되는 영상 콘텐츠 데이터베이스; GIS 정보를 저장하고 있는 GIS 데이터베이스; 파노라마와 GIS 정보를 서로 매칭 시켜주는 PGM Manager; PGM Manager에서 매칭된 결과를 웹 기반으로 사용자에게 제공하는 WAS(160: Web Application Server)를 포함하여 WAS는 드론을 통해 획득된 정지영상 콘텐츠, 동영상 콘텐츠 및 해당 콘텐츠를 획득하는 과정 시의 드론의 취득한 위치, 자세 데이터 간을 동기화하고, 드론으로 촬영한 파노라마 정지영상 및 동영상과 GIS 데이터를 동기화하여 사용자 단말기에게 부가 정보가 표시된 파노라마 정지영상 및 동영상 서비스를 수행하며, 드론은 하부를 개방한 제1 설치공간이 내측에 형성되고, 제1 설치공간의 상면에 구동축을 수직방향으로 위치시키면서 설치되는 정역회전모터 및 정역회전모터의 구동축에 결합되어 정역회전모터의 구동 시 구동축과 연동하여 회전되는 나선봉을 포함하며, 제 1 설치공간을 감싸는 동시에 하부를 개방한 형태의 제2 설치공간이 형성되는 드론 본체; 드론 본체의 하부 둘레를 따라 복수로 형성되는 연결부; 연결부에 길이방향의 일단이 결합되고 길이방향의 타단은 드론 본체의 바깥쪽으로 수평 연장되는 형태로 연결부별 설치되는 지지대; 지지대의 연결부와 결합된 일단의 반대쪽 단부에 설치되며, 추력을 발생시키는 추진부; 지지대의 아래에 구비되는 착륙부; 드론 본체의 나선봉에 나사 결합되는 나선관이 상면에 설치되고, 드론 본체의 제1 설치공간에 회전 방지되는 상태로 수용되어 정역회전모터의 정역 회전에 따라 승강 또는 하강되며, 하부를 개방한 카메라 설치공간이 내측에 형성되어 카메라 설치공간에 360˚ 카메라가 설치되는 카메라 설치대; 드론 본체의 제2 설치공간의 상면 네 모서리 영역에 각각 설치되는 복수의 실린더; 네 측면의 양단이 서로 연결되어 상부 및 하부가 개방된 박스형 구조를 가지며, 네 측면이 드론 본체의 제2 설치공간의 해당 영역에 각각 삽입되어 네 측면간의 연결 영역에 실린더들 중 해당 실린더의 로드 선단이 결합되며, 네 측면은 각각 공기의 통과를 위한 관통형 개방부가 형성되는 미세먼지 차단 박스; 미세먼지 차단 박스의 네 측면별로 개방부에 탈착 가능하게 결합되는 미세먼지 필터; 미세먼지 차단 박스의 네 측면별로 미세먼지 필터보다 안쪽에서 개방부에 설치되는 송풍장치; 드론 본체의 하부에 수평 방향을 기준으로 양측에 각각 회전 가능하게 결합되어 드론 본체의 제1 설치공간을 개폐하는 한 쌍의 본체 커버; 드론 본체에 설치되어 외부로부터 지역별 미세먼지 정보를 수신하는 무선통신모듈; 드론 본체에 설치되어 현재 풍향을 감지하는 풍향감지센서; 송풍장치의 작동 제어를 위한 외부 미세먼지의 임계값이 사전 설정되며, 드론의 측위 모듈로부터 입력되는 현재의 위치정보 및 무선통신모듈을 통해 입력되는 지역별 미세먼지 정보를 기준으로 현재 위치의 주변 미세먼지 농도가 외부 미세먼지의 임계값을 초과하는 경우 풍향감지센서를 통해 입력되는 현재 풍향 정보를 기준으로 송풍장치 중 해당 위치의 송풍장치 작동을 제어하는 제어부를 포함하며, 드론의 무선통신모듈에 360˚ 카메라의 작동 제어를 한 신호를 전송하는 드론 원격제어 단말기를 더 포함하여, 제어부는 무선통신모듈을 통해 입력되는 드론 원격제어 단말기의 제어신호에 따라 실린더 및 본체 커버의 개폐를 제어하는 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템이며,
특허문헌 3은 피사체로부터 일정거리 이격되어 피사체의 중심으로 비행하며 피사체를 촬영하여 원 영상을 획득하는 복수의 드론; 드론의 운행을 제어하여 드론이 촬영한 원 영상을 실시간으로 수신 및 저장하는 무선조정장치; 및 복수의 원 영상을 입력받아 하나의 입체영상으로 정합하는 영상처리장치를 포함하고, 무선조정장치는, 드론을 피사체를 중심으로 일정거리 이격되는 위치에서 일정경로를 따라 비행하도록 제어하고, 원 영상을 저장하되, 복수의 드론으로부터 각각 수신되는 복수의 원 영상을 각각 저장하는 복수의 저장소로 이루어지는 저장부를 포함하고, 영상처리장치는, 복수의 원 영상을 전처리하는 전처리기; 전처리된 복수의 영상 각각에 촬영시점에 따라 라벨을 설정하는 라벨링부; 영상내 등장하는 피사체를 기준으로 하여 라벨링된 영상들의 시점을 식별하고, 0ㅀ 부터 360ㅀ까지 각 시점에 대응하는 영상을 분류하는 이미지 분석부; 및 각 시점별 영상을 정합하여 하나의 입체영상을 생성하는 이미지 정합부를 포함하는 드론을 이용한 3D 영상 처리 시스템이다.
이와 같이 드론으로 입수한 파노라마 영상을 이용한 다양한 기술이 개발되고 있으나, 기존에 이루어지던 드론 파노라마 사진 촬영의 경우 360도 촬영이 가능한 특수 카메라를 활용하여 촬영 하거나, 일반 카메라로 촬영할 경우 특정 프로그램의 사용이 필요하거나 촬영 후 시간과 인력의 투입이 필요하여 신속한 제작에는 한계가 있다.
그리고 현재 파노라마 서비스는 사진 촬영, 파노라마 이미지 제작, 파노라마 웹 서비스 등 개별의 서비스로 따로 구현이 되어 있어 시간적, 비용적 부담이 있는 문제가 있다.
대한민국 등록특허 제10-1718287호 대한민국 등록특허 제10-1762927호 대한민국 등록특허 제10-1896654호
본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위해 개발된 것으로, 드론을 이용하여 사진 촬영부터, 파노라마 웹 서비스 까지 한번에 일괄적으로 편리하게 작업이 가능하고, 작업 진행 과정을 실시간으로 확인이 가능한 파노라마 영상 제공시스템을 제공하는 것을 목적으로 한다.
또한 본 발명은 드론을 이용하여 사진 촬영할 때, 드론 앱(Dfos APP)을 활용하여 일반 카메라로 편리하게 촬영이 가능하게 하고, 평면 공간 자료를 파노라마 공간 좌표로 변환의 경우는 평면 공간 자료를 파노라마 서비스를 통하여 표출 및 확인이 가능하여 기존에 보유하거나 필요한 평면공간자료의 활용이 가능할 수 있게 한 파노라마 영상 제공시스템을 제공하는 것을 목적으로 한다.
또한 본 발명은 비즈니스 모델 고도화 및 파노라마 서비스의 활성화를 통하여 서비스를 제공하는 서비스공급자(드론을 통해 사진 촬영자)와, 이 서비스를 필요로 하는 서비스사용자(파라노마 서비스 수요자)의 서로 연결을 통하여 활발한 거래가 발생함으로써 가치를 생성하고 궁극적으로 수익을 창출할 수 있게 한 파노라마 영상 제공시스템을 제공하는 것을 목적으로 한다.
상기와 같은 목적을 해결하기 위한 본 발명에 따른 파노라마 영상 제공시스템은 카메라를 구비하여 영상을 촬영할 수 있고, 원격으로 신호를 수신하여 비행 및 카메라의 구동이 제어되는 드론; 상기 드론을 제어할 수 있는 드론제어앱을 구비하고, 드론으로부터 수신한 영상정보를 수집하여 전송하는 공급자단말기; 상기 공급자단말기로부터 수신된 영상 정보 수집 및 저장하고 편집하여 파노라마 영상을 제공하는 관리서버; 및 상기 관리서버로부터 제공되는 파노라마 영상 정보를 수신하는 사용자단말기를 포함하는 것을 특징으로 한다.
상기 관리서버는 수집 및 편집된 파노라마 영상정보를 포함하는 정보를 저장하는 정보저장DB를 구비하고 있다.
상기 관리서버는 공급자단말기의 드론제어앱을 통해 제어되는 드론의 위치 정보를 공간좌표로 변환한다.
본 발명에 따른 파노라마 영상 제공시스템은 사진 촬영의 경우 360도 카메라가 아닌 일반 카메라를 사용한 촬영이 가능하여 효율적인 촬영이 가능하게 하는 효과가 있다.
또한 본 발명은 분리되어 있는 개별 서비스를 통합하고, 인력이 필요한 부분을 자동화함으로 인하여 시간적, 비용적, 인력적 요소의 절감 효과가 있다.
또한 본 발명은 드론을 통해 사진 촬영 및 절차의 자동화 공정을 통하여 사진촬영 및 생산자가 불편함 없는 파노라마 서비스의 생산이 가능하고, 서비스 수요자도 수요자가 원하는 파노라마 사진을 신속하게 구할 수 있게 하는 효과가 있다.
또한 본 발명은 비즈니스 모델화 및 파노라마 서비스의 활성화를 통하여 서비스를 제공하는 서비스공급자(드론을 통해 사진 촬영자)와, 이 서비스를 필요로 하는 서비스사용자(파라노마 서비스 수요자)의 서로 연결을 통하여 활발한 거래가 발생함으로써 가치를 생성하고 수익을 창출할 수 있게 할 수 있는 효과가 있다.
도 1은 본 발명에 따른 파노라마 영상 제공시스템의 구성도
도 2는 본 발명에 따른 파노라마 영상 제공시스템에 의해 이루어지는 서비스 목록표
도 3은 본 발명에 따른 파노라마 영상 제공시스템에 의해 이루어지는 서비스 과정도
도 4는 본 발명에 따른 파노라마 영상 제공시스템에 사용되는 파노라마 이미지 기준의 좌표계
도 5는 본 발명에 따른 파노라마 영상 제공시스템에 사용되는 파노라마 좌표 매핑
도 6은 본 발명에 따른 파노라마 영상 제공시스템에 사용되는 2D 파노라마 공간 좌표
도 7은 본 발명에 따른 파노라마 영상 제공시스템에 사용되는 3D 파노라마 공간 좌표
도 8은 본 발명에 따른 파노라마 영상 제공시스템에서 파노라마 좌표로 표출한 공간 이미지
도 9는 본 발명에 따른 파노라마 영상 제공시스템에서 사용자에게 제공하는 파노라마 뷰화면
본 발명은 다양한 변경을 가하여 실시할 수 있는 바, 특정 실시예들을 도면에 예시하고, 상세한 설명을 통해 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 발명은 드론을 이용하여 사진 촬영부터, 파노라마 웹 서비스 까지 한번에 일괄적으로 편리하게 작업이 가능하고, 작업 진행 과정을 실시간으로 확인 가능하게 한다.
본 발명에 따른 파노라마 영상 제공시스템은 카메라를 구비하여 영상을 촬영할 수 있고, 원격으로 신호를 수신하여 비행 및 카메라의 구동이 제어되는 드론(10); 상기 드론을 제어할 수 있는 드론제어앱을 구비하고, 드론으로부터 수신한 영상정보를 수집하여 전송하는 공급자단말기(20); 상기 공급자단말기로부터 수신된 영상 정보 수집 및 저장하고 편집하여 파노라마 영상을 제공하는 관리서버(30); 및 상기 관리서버로부터 제공되는 파노라마 영상 정보를 수신하는 사용자단말기(40)를 포함한다.
상기 드론(10)은 통상적으로 사진의 촬영에 사용되는 드론으로 카메라를 구비하고 있고, 제어수단으로부터 전송되는 신호를 수신하여 드론 자체의 구동을 제어하고, 케메라의 작동을 제어할 수 있도록 신수 송수신을 위한 통신모듈을 구비하고 있으며, 카메라는 통상적으로 사용되는 일반 카메라가 바람직하다.
상기 드론에 구비된 통신모듈은 양방향 무선통신 모듈이다.
상기 드론을 제어하는 제어수단은 상기 공급자단말기(20)이다.
상기 공급자단말기(20)는 통상적으로 많이 사용되는 스마트폰을 포함하는 휴대단말기를 사용할 수 있고, 상기 관리서버(30)로부터 제공되는 드론제어앱을 설치함에 의해 카메라를 원격으로 제어할 수 있다.
상기 공급자단말기에 설치된 드론제어앱은 드론을 운전하는 운전제어 기능은 물론 카메라의 구동을 제어하기 위한 카메라제어 기능을 구비하고 있으며, 카메라제어 기능은 카메라가 파노라마 영상을 촬영하거나 일반 촬영을 할 수 있는 기능으로 분류될 수 있고, 이는 버튼을 클릭함에 의해 자동으로 전환되어 일반 촬영 또는 파노라마 촬영이 진행될 수 있고, 촬영 방법은 관리서버로부터 수신한 드론제어앱에 포함되어 자동으로 이루어질 수 있다.
상기 드론제어앱은 드론의 미션관리, 비행미션 세팅 및 기체 세팅(RC, 카메라, 짐벌 세팅 등), 3차원 고도비행 API 서비스 기능, 사용자 안전을 고려한 안전설정 대비 기능을 구비할 수 있다.
또한 드론제어앱을 통해 제공되는 정보에는 GIS 배경지도 서비스를 위한 자료, 드론의 관제를 위한 Web 지리정보를 포함할 수 있다.
상기 관리서버(30)는 상기 드론의 제어와 파노라마 영상 촬영을 위한 드론제어앱을 공급자단말기에 제공하고, 공급자단말기로부터 수신한 파노라마 영상을 수집 및 편집하여 제공하는 서버로, 파노라마 이미지 제작툴을 구비하여 수집된 파노라마 영상을 편집하여 사용자단말기에 제공할 수 있는 파노라마 영상을 제작하고, 제작된 이미지를 수정할 수 있다.
상기 관리서버(30)는 파노라마 촬영 시 측정된 드론의 위치 정보(경위도 좌표, 촬영 고도)를 기준으로 2D 및 3D 공간 좌표로 변환 후 파노라마 좌표계에 해당하는 파노라마 좌표(pitch, yaw)로 변환할 수 있다.
상기 관리서버에서 이루어지는 좌표 변환은 도 4에 도시한 바와 같이, 파노라마 이미지를 기준으로 표시도거나 도 5에 도시한 바와 같이, 2D공간 좌표계로 표시될 수 있다.
공간 자료를 파노라마 공간좌표로 변환하는 도 6 및 도 7에 도시한 바와 같은 방법에 의해 이루어질 수 있다.
즉, 파노라마 공간 좌표 변환방식은 2D 방식과 3D방식이 사용될 수 있고, 2D 방식은 도 6에 도시한 바와 같이, 촬영 위치의 지면 고도 값과 촬영 위치의 지면 좌표에서 변환할 좌표 간 거리 값인 pitch 와, 촬영 위치에서 변환할 좌표의 각도인 yaw로 이루어지되,
Figure 112021147887596-pat00001
이다.
여기서, h는 파노라마영상 촬영 위치에서의 상대고도이고, d는 파노라마영상 촬영 위치 지면 좌표에서 변환 좌표까지의 거리이다.
3D 방식은 도 7에 도시한 바와 같이, 촬영 위치의 지면 고도 값, 촬영 위치의 지면 좌표(2D)에서 변환할 좌표(2D) 간 거리 값, 변환할 좌표의 고도 값으로부터 산출된 pitch 와, 촬영 위치에서 변환할 좌표의 각도인 yaw로 이루어지되,
Figure 112021147887596-pat00002
이다.
여기서, h는 파노라마영상 촬영 위치에서의 상대고도이고, d는 파노라마영상 촬영 위치 지면 좌표에서 변환 좌표까지의 거리이며, z는 파노라마영상 촬영 위치 지면 기준 높이이다.
상기한 바와 같은 파노라마 공간 좌표 변환방식에 의해 변환된 파노라마 영상은 도 8에 도시한 바와 같이 표출될 수 있다.
상기 관리서버(30)는 상기한 바와 같이, 수집 및 편집된 파노라마 영상정보를 포함하는 정보를 저장하는 정보저장DB(30i)를 구비하고 있다.
상기 정보저장DB(30i)는 상기한 바와 같이 수집 및 편집된 파노라마 영상의 정보, 공급자정보, 사용자 정보 등의 정보가 저장되어 있으며, 이와 별도로 드론정보만을 저장한 드론정보DB(30d)을 더 구비할 수 있다.,
또한 상기 관리서버(30)는 서비스모듈(30m)을 구비하여 파노라마 영상 정보를 메시징 서비스를 이용하여 사용자단말기에 제공할 수 있고, 스트리밍서버(30s)를 구비하여 드론에서 촬영된 사진 정보를 관제시스템 송출하고, 드론에서 촬영된 동영상 정보를 수신하고 사용자단말기에 제공할 수 있다.
상기한 바와 같이 구성된 관리서버에서 제공되는 정보는 유무선 통신을 이용하여 사용자단말기(40)에 전송될 수 있고, 사용자단말기는 이러한 정보를 관리서버에서 제공하는 앱이나 웹을 통해 수신받아 확인할 수 있으며, 그 일예는 도 9에 도시한 바와 같다.
10: 드론
20: 공급자단말기
30: 관리서버
30i: 정보저장DB 30d: 드론정보DB
30s: 스트리밍서버 30m: 서비스모듈
40: 사용자단말기

Claims (5)

  1. 카메라를 구비하여 영상을 촬영할 수 있고, 원격으로 신호를 수신하여 비행 및 카메라의 구동이 제어되는 드론(10); 상기 드론을 제어할 수 있는 드론제어앱을 구비하고, 드론으로부터 수신한 영상정보를 수집하여 전송하는 공급자단말기(20); 수집 및 편집된 파노라마 영상정보를 포함하는 정보를 저장하는 정보저장DB(30i)를 구비하고, 상기 공급자단말기로부터 수신된 영상 정보 수집 및 저장하고 편집하여 파노라마 영상을 제공하며, 공급자단말기의 드론제어앱을 통해 제어되는 드론의 위치 정보를 공간좌표로 변환하는 관리서버(30); 및 상기 관리서버로부터 제공되는 파노라마 영상 정보를 수신하는 사용자단말기(40)를 포함하고,
    상기 관리서버(30)는 공급자단말기의 드론제어앱을 통해 제어되는 드론의 위치 정보를 2D 파노라마 공간 좌표와 3D파노라마 공간 좌표로 변환하는 파노라마 영상 제공시스템에 있어서,
    상기 공간좌표는 2D 파노라마 공간 좌표와 3D파노라마 공간 좌표로 이루어지고,
    2D 파노라마 공간 좌표는, 촬영 위치의 지면 고도 값과 촬영 위치의 지면 좌표에서 변환할 좌표 간 거리 값인 pitch 와, 촬영 위치에서 변환할 좌표의 각도인 yaw로 이루어지되,
    Figure 112021147887596-pat00003
    이고,
    여기서, h는 파노라마영상 촬영 위치에서의 상대고도이고, d는 파노라마영상 촬영 위치 지면 좌표에서 변환 좌표까지의 거리,
    3D파노라마 공간 좌표는,
    촬영 위치의 지면 고도 값, 촬영 위치의 지면 좌표(2D)에서 변환할 좌표(2D) 간 거리 값, 변환할 좌표의 고도 값으로부터 산출된 pitch 와, 촬영 위치에서 변환할 좌표의 각도인 yaw로 이루어지되,
    Figure 112021147887596-pat00004
    이고,
    여기서, h는 파노라마영상 촬영 위치에서의 상대고도이고, d는 파노라마영상 촬영 위치 지면 좌표에서 변환 좌표까지의 거리이며, z는 파노라마영상 촬영 위치 지면 기준 높이인 것을 특징으로 하는 파노라마 영상 제공시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
KR1020210108977A 2021-08-18 2021-08-18 파노라마 영상 제공시스템 KR102347972B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210108977A KR102347972B1 (ko) 2021-08-18 2021-08-18 파노라마 영상 제공시스템
PCT/KR2022/004125 WO2023022317A1 (ko) 2021-08-18 2022-03-24 파노라마 영상 제공시스템
EP22858559.2A EP4391547A1 (en) 2021-08-18 2022-03-24 System for providing panoramic image
US18/028,524 US20240031681A1 (en) 2021-08-18 2022-03-24 System for providing panoramic image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210108977A KR102347972B1 (ko) 2021-08-18 2021-08-18 파노라마 영상 제공시스템

Publications (1)

Publication Number Publication Date
KR102347972B1 true KR102347972B1 (ko) 2022-01-07

Family

ID=79355185

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210108977A KR102347972B1 (ko) 2021-08-18 2021-08-18 파노라마 영상 제공시스템

Country Status (4)

Country Link
US (1) US20240031681A1 (ko)
EP (1) EP4391547A1 (ko)
KR (1) KR102347972B1 (ko)
WO (1) WO2023022317A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023022317A1 (ko) * 2021-08-18 2023-02-23 주식회사 아이지아이에스 파노라마 영상 제공시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101718287B1 (ko) 2016-07-06 2017-04-05 양권석 드론을 활용한 항공 진단 안전 서비스 방법
KR20170067373A (ko) * 2015-12-08 2017-06-16 가톨릭대학교 산학협력단 드론 촬영 이미지를 기반으로 3ｄ 오브젝트를 자동으로 추출하는 시스템 및 방법
KR20170081488A (ko) * 2016-01-04 2017-07-12 삼성전자주식회사 무인 촬영 장치를 이용한 이미지 촬영 방법 및 전자 장치
KR101762927B1 (ko) 2016-12-30 2017-07-28 공간정보기술 주식회사 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템
KR101896654B1 (ko) 2017-11-08 2018-09-07 변정태 드론을 이용한 3d 영상 처리 시스템 및 방법
KR20210069773A (ko) * 2019-12-03 2021-06-14 에스아이오티 주식회사 드론을 사용한 실시간 영상 서비스 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102001143B1 (ko) * 2017-11-06 2019-07-17 울산과학기술원 드론형 3d 프린터 및 이의 제어 방법
KR102122755B1 (ko) * 2019-10-23 2020-06-15 주식회사 네스앤텍 화면 터치 방식을 이용하는 짐벌 제어 방법
KR102347972B1 (ko) * 2021-08-18 2022-01-07 주식회사 아이지아이에스 파노라마 영상 제공시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170067373A (ko) * 2015-12-08 2017-06-16 가톨릭대학교 산학협력단 드론 촬영 이미지를 기반으로 3ｄ 오브젝트를 자동으로 추출하는 시스템 및 방법
KR20170081488A (ko) * 2016-01-04 2017-07-12 삼성전자주식회사 무인 촬영 장치를 이용한 이미지 촬영 방법 및 전자 장치
KR101718287B1 (ko) 2016-07-06 2017-04-05 양권석 드론을 활용한 항공 진단 안전 서비스 방법
KR101762927B1 (ko) 2016-12-30 2017-07-28 공간정보기술 주식회사 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템
KR101896654B1 (ko) 2017-11-08 2018-09-07 변정태 드론을 이용한 3d 영상 처리 시스템 및 방법
KR20210069773A (ko) * 2019-12-03 2021-06-14 에스아이오티 주식회사 드론을 사용한 실시간 영상 서비스 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이병걸, "드론을 활용한 3차원 DSM추출을 위한 연구", J. Korean Earth Sci. Soc., v.39, no.1, p.46-52, 2018. 02.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023022317A1 (ko) * 2021-08-18 2023-02-23 주식회사 아이지아이에스 파노라마 영상 제공시스템

Also Published As

Publication number Publication date
EP4391547A1 (en) 2024-06-26
US20240031681A1 (en) 2024-01-25
WO2023022317A1 (ko) 2023-02-23

Similar Documents

Publication Publication Date Title
CN108702444B (zh) 一种图像处理方法、无人机及***
Eschmann Unmanned aircraft systems for remote building inspection and monitoring
KR101762927B1 (ko) 드론 촬영 영상 기반의 파노라마 오토 라벨링 시스템
JP2005269413A (ja) 無人飛行体を利用した空中撮影システム
WO2018195869A1 (en) Systems and methods for generating real-time map using movable object
EP2685707A1 (en) System for spherical video shooting
JP6802599B1 (ja) 検査システム
US10602064B2 (en) Photographing method and photographing device of unmanned aerial vehicle, unmanned aerial vehicle, and ground control device
CN110537365A (zh) 信息处理装置、信息处理方法、信息处理程序、图像处理装置以及图像处理***
CN103763470A (zh) 一种便携式场景拍照装置
WO2019230604A1 (ja) 検査システム
CN105824967A (zh) 一种无人机航拍服务的内容处理方法及***
KR102347972B1 (ko) 파노라마 영상 제공시스템
JP2018070010A (ja) 無人航空機制御システム、その制御方法、及びプログラム
US11770605B2 (en) Apparatus and method for remote image capture with automatic subject selection
CN111344650B (zh) 信息处理装置、飞行路径生成方法、程序以及记录介质
CN114200958A (zh) 一种光伏发电设备自动巡检***和方法
WO2020151429A1 (zh) 一种机器狗***及其实现方法
US20080298690A1 (en) Digital Photo Content Processing System and Method and Apparatus for Transmitting/Receiving Digital Photo Contents Thereof
CN204046707U (zh) 一种便携式场景拍照装置
JP6275358B1 (ja) 距離算出システム、方法及びプログラム
KR102402949B1 (ko) 정밀도가 향상된 영상 정보의 획득 방법
US11272090B2 (en) Event data and location-linked spherical imaging system
US20220028054A1 (en) Photo-realistic infrastructure inspection
WO2021115192A1 (zh) 图像处理装置、图像处理方法、程序及记录介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant