KR20090072688A - Spatial information construction system and method using spherical video images - Google Patents
Spatial information construction system and method using spherical video images Download PDFInfo
- Publication number
- KR20090072688A KR20090072688A KR1020070140880A KR20070140880A KR20090072688A KR 20090072688 A KR20090072688 A KR 20090072688A KR 1020070140880 A KR1020070140880 A KR 1020070140880A KR 20070140880 A KR20070140880 A KR 20070140880A KR 20090072688 A KR20090072688 A KR 20090072688A
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- video
- segment
- user
- spatial information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Studio Devices (AREA)
- Instructional Devices (AREA)
Abstract
Description
본 발명은 3차원 공간정보를 구축하기 위한 시스템 및 방법에 관한 것으로서, 보다 상세하게는 360도 동영상 카메라로 촬영된 360도 구형(spherical) 영상 정보를 활용하여 실 세계 기반의 3차원 공간정보를 구축하는 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for constructing 3D spatial information, and more particularly, to construct 3D spatial information based on real world using 360 degree spherical image information captured by a 360 degree video camera. It relates to a system and a method.
인터넷 분야가 새로운 산업분야로 부각되고 이에 따른 각종 서비스와 비즈니스가 활성화되고 있는 시점에서 멀티미디어의 기능과 효과들이 놀라운 성장세를 보이고 있다. 이러한 인터넷 분야에서 최근 주목을 받고 있는 것들 중 하나가 3차원 지리 정보 서비스이다. 즉, 항공사진촬영, 정밀 측량 등 GIS(Geographic Information System) 기술을 활용하여 구축된 공간정보를 이용하여 인터넷 상에서 3차원 지도를 제공하고 이를 기반으로 길 찾기, 지역정보 검색 등을 수행하는 새로운 형태의 서비스가 최근 주목받고 있다.As the Internet is emerging as a new industry and various services and businesses are being activated, the functions and effects of multimedia are showing remarkable growth. One of the hot spots recently in the Internet field is 3D geographic information service. In other words, it provides a three-dimensional map on the Internet using spatial information built using Geographic Information System (GIS) technology such as aerial photography and precision surveying. The service is in the spotlight recently.
아울러 3차원 지도에 부가하여 주요 도로의 사진 이미지를 파노라마 형태로 연결하여 제공해주는 서비스도 등장하고 있다. 그러나, 이러한 지리 정보 서비스 구현 방법은 복수개의 카메라로 촬영된 영상 정보들을 합성시켜 구현한 것으로 비용이 많이 소요되며 제작 기간이 길어지는 문제가 있었다.In addition to the three-dimensional map, a service that provides a connection of the photographic image of the main road in the form of a panorama has appeared. However, such a method of implementing a geographic information service is implemented by synthesizing image information photographed by a plurality of cameras, which is expensive and has a problem of lengthening a production period.
또한, 종래의 360도 영상 서비스는 지도정보와 연동된 특정 지점에서의 360도 영상만을 제공해 줄 뿐 사용자의 위치 변화에 따라 능동적으로 그 변화된 위치에서의 360도 영상을 실시간으로 제공해주지는 못하고 있다.In addition, the conventional 360-degree image service provides only a 360-degree image at a specific point linked with the map information, and does not actively provide a 360-degree image at the changed position in real time according to the user's position change.
본 발명은 360도 동영상 카메라로 촬영된 실 세계(real world) 기반 360도 구형(spherical) 영상 정보를 활용하여 사용자의 위치 변화에 따라 능동적으로 그 변화된 위치에서의 360도 영상을 실시간으로 제공해줄 수 있는 실 세계 기반의 가상의 3차원 공간정보를 구축하고자 한다.The present invention utilizes real world-based 360-degree spherical image information captured by a 360-degree video camera to actively provide a 360-degree image at the changed position in real time according to a user's position change. We will build virtual 3D spatial information based on real world.
본 발명의 동영상 이미지 기반 공간정보 구축 시스템은 각 프레임별로 GPS 좌표 데이터를 갖는 동영상 정보를 획득하는 데이터 취득부; 및 상기 GPS 좌표 데이터를 이용하여 사용자가 요구한 위치의 동영상 정보를 제공하는 디스플레이부를 포함한다.The video image-based spatial information construction system of the present invention includes a data acquisition unit for acquiring video information having GPS coordinate data for each frame; And a display unit for providing video information of a location requested by a user using the GPS coordinate data.
본 발명의 동영상 이미지 기반 공간정보 구축 방법은 각 프레임별로 GPS 좌표 데이터를 갖는 동영상 정보를 획득하는 동영상 획득단계; 및 상기 GPS 좌표 데이터를 이용하여 사용자가 요구한 위치의 동영상 정보를 제공하는 디스플레이단계를 포함한다.The video image-based spatial information construction method of the present invention comprises: a video acquiring step of acquiring video information having GPS coordinate data for each frame; And a display step of providing video information of a location requested by a user using the GPS coordinate data.
본 발명은 360도 동영상 카메라를 이용하여 촬영된 동영상 정보를 이용하여 실 세계 기반의 공간정보를 구축 및 활용함으로써 사용자가 가상공간 상에서도 실 세계 기반의 네비게이션이 가능하도록 해준다.The present invention builds and utilizes real-world-based spatial information using video information photographed using a 360-degree video camera, thereby enabling a user to perform real-world-based navigation in a virtual space.
이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예를 보다 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the present invention.
도 1은 본 발명에 따른 360도 동영상 이미지 기반 공간정보 구축 시스템의 구성을 나타내는 구성도이다.1 is a block diagram showing the configuration of a 360-degree video image-based spatial information construction system according to the present invention.
본 발명의 공간정보 구축 시스템은 데이터 취득부(10), 균일화부(20), 분할부(30), 디스플레이부(40) 및 DB(50)를 구비한다.The spatial information construction system of the present invention includes a
데이터 취득부(10)는 각 촬영경로 별로 360도 동영상 카메라(1)를 이용하여 360도 이미지로 구성된 동영상을 취득하고 이와 함께 GPS 수신기(2)를 이용하여 360도 동영상의 각 프레임에 대한 GPS 좌표 데이터를 취득한다. 도 2a는 현재 상용되고 있는 360도 동영상 카메라들 중 본 발명을 위해 사용된 카메라의 모습을 나타내는 도면이며, 도 2b는 도 2a의 카메라로 촬영된 360도 구형 영상을 평면적으로 나타낸 모습을 보여주는 도면이다. 도 2a와 같은 360도 동영상 카메라는 단일 카메라에 복수개(예컨대, 6개)의 렌즈들이 구비되어 한번 촬영으로 도 2b와 같이 주변 환경에 대한 360도 영상 정보를 획득한 후 이를 결합시켜 3차원 정지영상 및 동영상을 획득할 수 있도록 해준다. 본 실시예에서는 3차원 동영상을 획득하기 위한 수단으로서 도 2a와 같은 360도 동영상 카메라를 사용하고 있으나 이에 한정되지는 않는다. 또한, 본 발명은 360도 동영상 자체를 얻는 것이 목적이 아니라 획득된 360도 동영상을 활용하여 공간정보를 구축하는 것을 목적으로 하므로, 이하에서는 360도 영상 자체를 획득하는 방법에 대해서는 구체적으로 언급하지 않는다. 데이터 취득부(10)는 360도 동영상 카메라(1)를 통해 획득된 360도 동영상의 각 프레임에 대한 GPS 좌표 데이터를 GPS 수신기(2)를 통해 취득한 후 이를 도 3에서와 같이 360도 동영상의 해당 프레임과 매칭시켜 각 촬영경로 별로 DB(50)에 저장한다. 도 1에서는 데이터 취득부(10)가 360도 동영상 카메라(1) 및 GPS 수신기(2)와 분리된 별개의 구성으로 표시되어 있으나, 데이터 취득부(10)가 360도 동영상 카메라(1)와 GPS 수신기(2)를 모두 포함할 수 있다.The
균일화부(20)는 데이터 취득부(10)에서 취득된 360도 동영상을 그 촬영 거리를 기준으로 균일화시킨다. 도로 주변에 대한 360도 동영상을 얻기 위해서는 도 4에서와 같이 차량에 360도 동영상 카메라(1)를 장착한 후 도로를 주행하면서 주행된 도로의 주변 환경을 촬영하게 된다. 그런데, 카메라(1)는 일정 시간 간격으로 주변 환경을 연속적으로 촬영하게 되지만 실제 차량의 이동 속도는 촬영시점의 도로 상황에 따라 달라지게 된다. 예컨대, 카메라가 장착된 차량이 도로를 주행시 도 5a에서와 같이 동일한 촬영경로 상에서도 구간별로 해당 구간의 교통 상황에 따라 차량의 이동 속도가 달라질 수 있으며 동일한 구간이라도 촬영 시간에 따라 차량의 이동 속도가 달라질 수 있다. 그러한 경우, 동일한 촬영경로 상에서 그 위치에 따라 또는 촬영경로에 따라 촬영 거리는 동일하지만 동영상의 크기(프레임의 수)가 달라진다. 따라서, 균일화부(20)는 동영상의 크기를 거리를 기준으로 균일하게 해주기 위해 데이터 취득부(10)에서 취득된 360도 동영상 프레임들을 도 5b와 같이 일정 비율(예컨대 1 m 마다 1 프레임)로 추출하여 균일화된 360도 동영상을 생성한다. 이때, 동영상 프레임 추출을 위한 동영상 프레임들 간의 거리 정보는 각 프레임별로 저장된 GPS 좌표 데이터를 이용할 수 있다.The
분할부(30)는 균일화부(20)에 의해 균일화된 동영상을 도 6과 같이 도로의 분기점 또는 기 설정된 기준거리에 따라 분할하여 세그먼트화한다. 이때, 각 분기점에 대한 정보는 운용자가 분기점에 대한 좌표 정보를 미리 입력해 놓을 수 있으며, 서로 다른 촬영경로들에서 서로 중복되는 구간은 어느 한 촬영경로(예컨대, 번호가 빠른 촬영경로)의 동영상만을 세그먼트화하여 저장하고 해당 구간에 대한 다른 촬영경로의 동영상은 삭제된다. 분할부(30)는 세그먼트들 간의 연결 부분에 대한 부드러운 화면 처리를 위해 세그먼트의 분할 지점에서 이웃하는 세그먼트와 일정 영역이 중첩되도록 동영상을 분할하며, 각 세그먼트의 동영상에서 중첩되는 프레임들에는 도 7과 같이 중첩영역 ID에 대한 정보가 함께 저장된다. 또한, 분할부(30)는 특정 세그먼트에서의 진행 경로가 도 7과 같이 굽은 경우에는 해당 세그먼트에서 굽은 영역의 각 프레임에 대한 중심방위정보(사용자가 해당 도로를 실제 주행시 바라보게 되는 방향에 대한 정보)를 함께 저장한다. 또한, 분할된 각 세그먼트들은 도 8에서와 같이 해당 세그먼트의 동영상 파일 이름(StreeMovieFile), GPS 좌표 파일 이름(GPSFile), 해당 세그먼트의 시작점과 끝점의 좌표 데이터(StartX, StartY, EndX, EndY), 및 시작점과 끝점에 대한 중첩영역 ID(StartOverlap, EndOverlap)가 매칭되어 데이터베이스 형태로 저장된다. 이때, 시작점 좌표와 끝점 좌표는 각각 해당 세그먼트의 동영상을 구성하는 첫 번째 프레임과 마지막 프레임의 좌표 정보와 일치하게 된다.The
디스플레이부(40)는 사용자의 요구에 따라 사용자의 위치(사용자가 지정한 위치)에 대응되는 동영상 세그먼트들을 DB(50)에서 호출하여 360도 영상을 화면에 표시해준다.The
DB(50)는 본 발명에 따른 360도 동영상을 활용한 공간정보를 저장한다.The DB 50 stores spatial information utilizing a 360 degree video according to the present invention.
도 9는 본 발명에 따른 360도 동영상 이미지 기반 공간정보 구축 방법을 설명하기 위한 순서도이다.9 is a flowchart illustrating a 360-degree video image-based spatial information construction method according to the present invention.
먼저 운용자는 도 4와 같이 360도 동영상 카메라(1)와 GPS 수신기(2)를 차량과 같은 이동 가능한 수단에 장착한 후 도로를 주행하면서 360도 동영상 카메라(1)로 도로의 주변 모습을 촬영하여 동영상(또는 정지영상) 파일을 취득하고 촬영된 동영상의 각 프레임에 대한 GPS 좌표 데이터를 GPS 수신기(2)로 취득한다(단계 910).First, the operator mounts the 360
데이터 취득부(10)는 도 3과 같이 GPS 수신기(2)로 취득된 GPS 좌표 데이터를 동영상의 각 프레임과 매칭시킨 GPS 좌표 데이터 파일을 촬영된 동영상 파일과 함께 촬영경로 별로 DB(50)에 저장한다. 도 3에서 #1은 촬영경로 1을, #2는 촬영경로 2를 각각 나타낸다.As shown in FIG. 3, the
원하는 도로들에 대한 동영상 및 GPS 좌표 데이터의 취득이 완료되면, 균일화부(20)는 각 촬영경로 별로 동영상의 균일화를 수행한다(단계 920).When the acquisition of the moving picture and the GPS coordinate data for the desired roads is completed, the
단계 910에서 촬영된 동영상은 동일한 촬영경로에서도 각 촬영구간에 따라 동일한 거리에 대해 촬영된 동영상의 크기가 서로 다를 수 있다. 예컨대, 도 5에서와 같이 촬영경로 1을 따라 차량이 진행하는 경우, 도로의 교통상황에 따라 어느 촬영구간에서는 2km 거리를 시속 15km로 진행하는 반면에 어느 촬영구간에서는 5km 거리를 시속 10km로 진행할 수 있다. 그러나 카메라(1)는 일정 주기로 동영상을 촬영하기 때문에 동일한 물리적인 거리에 대해 촬영된 동영상의 프레임수가 서로 다르게 된다. 즉, 거리를 기준으로 볼 때 어느 구간에서는 동영상의 크기가 불필요하게 커지게 된다.The video recorded in
따라서, 균일화부(20)는 단계 910에서 획득된 동영상에서 예컨대 도 5b와 같이 1m 간격으로 1 프레임을 추출하여 균일화된 동영상을 생성한 후 이를 분할부(30)로 전송한다. 이때, 동영상 프레임 추출을 위한 동영상 프레임들 간의 거리 정보는 각 프레임의 GPS 좌표 데이터를 이용할 수 있다.Therefore, the
그리고, 인터넷 기반에서 본 발명에 따른 공간정보를 원활하게 제공하기 위해서는 동영상을 적절한 크기로 분할할 필요가 있다. In order to smoothly provide the spatial information according to the present invention on the Internet, it is necessary to divide a video into an appropriate size.
따라서 균일화가 완료되면, 분할부(30)는 각 촬영경로의 동영상들을 도 6과 같이 도로의 분기점 또는 기 설정된 일정 거리(기준거리)에 따라 분할하여 세그먼트화한다(단계 930).Therefore, when the uniformization is completed, the
동영상 분할시, 분할부(30)는 세그먼트들 간의 연결 부분에 대한 부드러운 화면 처리를 위해 세그먼트의 분할 지점에서 이웃하는 세그먼트들과 일정 영역이 중첩되도록 동영상을 분할한다. 이때, 각 세그먼트의 동영상에서 중첩되는 프레임 들에는 도 7과 같이 중첩영역 ID에 대한 정보가 매칭되어 DB(50)에 저장된다.When dividing a video, the
그리고, 분할부(30)는 서로 다른 촬영경로들에서 서로 중복되는 구간은 어느 한 촬영경로의 세그먼트만을 취하고 해당 구간에 대한 다른 촬영경로의 해당 세그먼트는 무시한다. 즉, 도 6에서 세그먼트 #2, #5는 촬영경로 1과 촬영경로 2가 중복되는 구간으로 이 구간에 대한 세그먼트는 촬영경로 1의 세그먼트만을 사용하고 촬영경로 2에 대한 해당 세그먼트는 무시(삭제)한다.In addition, the
다음에, 분할부(30)는 세그먼트 및 세그먼트의 프레임에 부가정보를 추가한다(단계 940).Next, the
예컨대, 촬영경로가 도 7과 같이 도로를 따라 촬영이 진행될 때 촬영의 진행 방향도 도로의 굽어있는 방향에 따라 매번 변화하게 된다. 따라서, 분할부(30)는 각 프레임에 중심방위에 대한 정보(사용자가 해당 도로를 실제 주행시 바라보게 되는 방향에 대한 정보)를 추가한다. 도 7에서 중심방위는 정북 방향을 0도로 설정하고 사용자가 도로를 따라 진행시 바라보는 방향의 각도를 0도 ∼ 360도까지의 범위로 표시되고 있다.For example, when the photographing path is photographed along the road as shown in FIG. 7, the photographing path also changes every time according to the curved direction of the road. Therefore, the dividing
단계 930 및 단계 940이 완료된 각 동영상 세그먼트들은 도 8과 같이 도로 및 세그먼트 구성 상황에 대하여 해당 세그먼트의 동영상 파일 이름(StreeMovieFile), GPS 좌표 파일 이름(GPSFile), 해당 세그먼트의 시작점과 끝점의 좌표 데이터(StartX, StartY, EndX, EndY), 및 시작점과 끝점에 대한 중첩영역 ID(StartOverlap, EndOverlap)가 매칭되어 DB(50)에 저장된다. 이때, 시작점 좌표와 끝점 좌표는 각각 해당 세그먼트를 구성하는 첫 번째 프레임과 마지막 프레 임의 좌표 정보와 일치하게 된다.For each video segment in which steps 930 and 940 are completed, the video file name (StreeMovieFile), the GPS coordinate file name (GPSFile) of the segment, the coordinate data of the start point and the end point of the segment, as shown in FIG. StartX, StartY, EndX, EndY) and overlapping area IDs (StartOverlap, EndOverlap) for the start point and the end point are matched and stored in the
상술한 바와 같이 영상기반의 공간정보가 구축되면, 디스플레이부(40)는 사용자의 요구에 따라 사용자가 원하는 위치의 공간정보(사용자가 원하는 위치가 포함된 동영상 세그먼트)를 사용자의 단말기(미도시)로 전송하여 사용자 단말기의 화면에 표시되도록 해준다(단계 950).When the image-based spatial information is constructed as described above, the
이를 위해서는 구축된 영상기반의 공간정보를 활용하여 컴퓨터상에 가상공간을 구성하고 사용자가 자유로이 다닐 수 있도록 하기 위한 가시화 알고리즘이 필요하다.To this end, a visualization algorithm is needed to construct a virtual space on a computer using the constructed image-based spatial information and to allow a user to freely move around.
도 10은 영상기반 공간정보에 적용할 수 있는 사용자 인터페이스의 한 예를 보여주고 도면이다.10 is a diagram illustrating an example of a user interface applicable to image-based spatial information.
동영상을 구성하는 하나의 프레임이 해당 촬영 지점에서의 완전한 360도 영상 정보를 모두 보유하고 있으므로 사용자 시점의 좌우회전, 상하회전, 줌 레벨 조정과 같은 사항은 현재 보여지는 프레임 내에서 처리가 가능하다.Since one frame that composes a video contains all 360-degree image information at a corresponding shooting point, items such as left and right rotation, up and down rotation, and zoom level adjustment of the user's viewpoint can be processed within the currently displayed frame.
사용자 위치 이동은 현재의 사용자가 가상공간상에 위치하고 있는 위치정보를 새로운 위치정보로 변환함을 의미하며, 이때 디스플레이부(40)는 사용자의 키보드 또는 마우스 조작에 따라 새로운 위치에 해당하는 프레임으로 현재 프레임을 변경시켜준다. 사용자 위치 이동은 전진 또는 후진의 값을 가질 수 있다.Moving the user's location means converting the location information of the current user into the new location information. In this case, the
사용자 시점의 좌우 회전은 d_usr 변수를 이용하며 0도(정북방향)에서 360도까지의 값을 가질 수 있다.The left and right rotations of the user's point of view use a d_usr variable and may have a value ranging from 0 degrees (north north) to 360 degrees.
사용자 시점의 상하 회전은 -90도(바닥)에서 90도(하늘)까지의 값을 가질 수 있으며, 0도는 정면을 의미한다.The vertical rotation of the user's point of view may have a value from -90 degrees (bottom) to 90 degrees (sky), and 0 degrees means the front.
줌 레벨 조정은 현재 위치에서 영상 정보를 확대하여 보여주는 것을 의미한다.Zoom level adjustment means to enlarge the image information at the current position.
도 11은 영상기반 공간정보에서 최초의 사용자 위치를 결정하는 처리 흐름을 보여주고 도면이다.11 is a flowchart illustrating a process of determining an initial user location in image-based spatial information.
사용자의 임의의 위치가 좌표 P(X, Y) 형태로 주어지면, 디스플레이부(40)는 먼저 P의 X 값인 P.X가 startX'와 endX' 값 사이에 위치하고 P의 Y 값인 P.Y가 startY'와 endY' 값 사이에 위치하는 모든 세그먼트들을 DB(50)에서 조회한다. 이때, startX', startY', endX', endY'는 세그먼트의 시작점과 끝점의 GPS 좌표 데이터인 (startX, startY), (endX, endY)에 대해 도로의 폭만큼 확장한 값으로, 상술한 도 8에서와 같이 DB(50)에는 각 세그먼트의 시작 좌표와 끝 좌표가 저장되어 있으므로 이 정보를 촬영된 도로의 폭을 감안하여 보정하는 형태로 새로운 startX', startY', endX', endY' 값을 결정할 수 있다.If a user's arbitrary position is given in the form of coordinates P (X, Y), the
이때, 하나 이상의 세그먼트들이 조회되면, 디스플레이부(40)는 각 세그먼트를 이루는 여러 프레임들 중에서 P(X, Y)와 가장 인접한 촬영 당시의 기준 GPS 좌표값을 가지는 프레임이 존재하는 세그먼트를 현재 세그먼트(cur_seg)로 지정하고, 그 프레임(P(X, Y)와 가장 인접한 촬영 당시의 기준 GPS 좌표값을 가지는 프레임)을 현재 프레임으로 한다.In this case, when one or more segments are inquired, the
그리고, 현재 프레임의 기준 GPS 좌표가 최초의 사용자 위치(p_usr)가 된다.The reference GPS coordinates of the current frame become the first user position p_usr.
도 12 및 도 13은 사용자 위치 이동에 대한 처리 방법을 보여주는 도면으로, 도 12는 현재 프레임이 중첩영역에 속하지 않는 경우에 대한 것이며 도 13은 현재 프레임이 중첩영역에 속하는 경우에 대한 것이다.12 and 13 illustrate a method of processing a user's position movement. FIG. 12 illustrates a case in which a current frame does not belong to an overlapping region, and FIG. 13 illustrates a case in which a current frame belongs to an overlapping region.
먼저 현재 사용자의 위치 정보(p_usr), 현재 화면에 출력되고 있는 프레임 정보(cur_frame), 현재 화면에 출력되고 있는 세그먼트(cur_segment), 현재 사용자가 향하고 있는 방향(d_usr), 전진 또는 후진으로 표시되는 움직임 방향(movedir)이 사용자에 의해 입력된다.First, the position information (p_usr) of the current user, the frame information (cur_frame) currently being displayed on the screen, the segment currently being displayed on the screen (cur_segment), the direction that the current user is facing (d_usr), and the movement displayed as forward or backward The direction (movedir) is entered by the user.
디스플레이부(40)는 먼저 현재 프레임이 중첩 영역에 속하는지 그렇지 않은지 여부를 판단한다.The
만약 도 12에서와 같이 현재 프레임이 중첩 영역에 속하지 않은 경우, 디스플레이부(40)는 DB(50)에서 먼저 현재 프레임의 바로 이전 프레임(pre_frame)과 바로 이후 프레임(next_frame)을 찾고 사용자에 의한 움직임 방향(movedir)에 따라 이전 프레임과 이후 프레임 중에서 현재 프레임을 기준으로 움직임 방향과의 각도가 작은 프레임을 새로운 현재 프레임으로 결정하여 화면에 표시한다.If the current frame does not belong to the overlapping region as shown in FIG. 12, the
그러나, 도 13에서와 같이 현재 프레임이 중첩 영역에 속하는 경우, 디스플레이부(40)는 이전 프레임과 이후 프레임을 찾아낸 후 현재 세그먼트와 중첩하는 세그먼트를 구성하는 여러 프레임들 중에서 현재 프레임과 가장 인접한 GPS 기준 좌표를 가지는 프레임을 해당 세그먼트의 인접 프레임(near_frame)으로 설정한다. 그리고 디스플레이부(40)는 그 인접 프레임의 바로 이전 프레임(npre_frame)과 바로 이후 프레임(nnext_frame)을 찾아낸다. 디스플레이부(40)는 상술한 과정을 중첩하는 다른 모든 세그먼트들에 대해서도 동일하게 수행하여 중첩하는 각 세그먼트 들 마다 인접 프레임, 인접 이전 프레임, 인접 이후 프레임을 찾아낸다.However, as shown in FIG. 13, when the current frame belongs to the overlapping area, the
다음에 디스플레이부(40)는 사용자가 요구한 움직임 방향(movement)에 따라 중첩한 세그먼트들의 인접 프레임, 인접 이전 프레임, 인접 이후 프레임들 및 현재 세그먼트의 이전 프레임, 이후 프레임 중에서 현재 프레임을 기준으로 보았을 때 움직임 방향과의 각도가 제일 작은 프레임을 새로운 현재 프레임으로 결정한다.Next, the
이때, 만약 새로운 현재 프레임이 이전 현재 프레임과 다른 세그먼트에 존재한다면 현재 세그먼트 정보를 새로운 현재 프레임에 맞게 조정해준다.At this time, if the new current frame exists in a different segment from the previous current frame, the current segment information is adjusted to fit the new current frame.
위와 같은 처리 과정을 통해 디스플레이부(40)는 사용자의 자유로운 움직임을 구현할 수 있게 된다.Through the above process, the
도 1은 본 발명에 따른 360도 동영상 이미지 기반 공간정보 구축 시스템의 구성을 나타내는 구성도.1 is a block diagram showing the configuration of a 360-degree video image-based spatial information construction system according to the present invention.
도 2는 현재 상용되고 있는 360도 동영상 카메라 및 그 카메라로 촬영된 360도 구형 영상을 평면적으로 나타낸 모습을 보여주는 도면.2 is a view showing a plane view of a 360-degree video camera and a 360-degree spherical image captured by the camera that is currently commercially available.
도 3은 촬영경로 별로 촬영된 동영상의 프레임과 GPS 좌표 데이터를 매칭시켜 저장한 모습을 보여주는 도면.FIG. 3 is a diagram illustrating a state in which frames and GPS coordinate data of a video photographed for each shooting path are matched and stored. FIG.
도 4는 360도 동영상 카메라와 GPS 수신기를 차량에 장착한 모습을 보여주는 도면.4 is a view showing a state equipped with a 360 degree video camera and a GPS receiver in a vehicle.
도 5는 동영상을 균일화하는 모습을 보여주는 도면.5 is a view showing a state in which a video is uniformized.
도 6은 동영상을 분할하는 모습을 보여주는 도면.6 is a view showing a state in which a video is divided.
도 7은 도로가 굽어있는 부분의 각 프레임에 대한 중심방위에 대한 정보가 부가로 저장되는 모습을 보여주는 도면.FIG. 7 is a diagram illustrating a state in which information on a center direction for each frame of a portion of a road is additionally stored.
도 8은 분할된 세그먼트들에 대해 중첩영역에 대한 정보가 부가로 저장되는 모습을 보여주는 도면. FIG. 8 is a view illustrating that information about an overlapping area is additionally stored for divided segments.
도 9는 본 발명에 따른 360도 동영상 이미지 기반 공간정보 구축 방법을 설명하기 위한 순서도.9 is a flowchart illustrating a 360-degree video image-based spatial information construction method according to the present invention.
도 10은 영상기반 공간정보에 적용할 수 있는 사용자 인터페이스의 한 예를 보여주고 도면.FIG. 10 shows and illustrates an example of a user interface applicable to image-based spatial information. FIG.
도 11은 영상기반 공간정보에서 최초의 사용자 위치를 결정하는 처리 흐름을 보여주고 도면.11 shows a process flow for determining an initial user location in image based spatial information.
도 12는 현재 프레임이 중첩영역에 속하지 않는 경우 사용자 위치 이동에 대한 처리 방법을 보여주는 도면.12 is a view showing a processing method for moving a user position when a current frame does not belong to an overlapping area.
도 13은 현재 프레임이 중첩영역에 속하는 경우 사용자 위치 이동에 대한 처리 방법을 보여주는 도면.13 is a view showing a processing method for moving a user position when a current frame belongs to an overlapping area.
Claims (24)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070140880A KR100926231B1 (en) | 2007-12-28 | 2007-12-28 | Spatial information construction system and method using spherical video images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070140880A KR100926231B1 (en) | 2007-12-28 | 2007-12-28 | Spatial information construction system and method using spherical video images |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20090072688A true KR20090072688A (en) | 2009-07-02 |
KR100926231B1 KR100926231B1 (en) | 2009-11-09 |
Family
ID=41329883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070140880A KR100926231B1 (en) | 2007-12-28 | 2007-12-28 | Spatial information construction system and method using spherical video images |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100926231B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101652753B1 (en) | 2015-09-11 | 2016-09-01 | 주식회사 마이다스아이티 | Method for providing 3d panorama virtual reality image and system for providing 3d panorama virtual reality image using the same |
KR20170109297A (en) * | 2016-03-21 | 2017-09-29 | 삼성전자주식회사 | Electronic Device For Providing Omnidirectional Image and Method thereof |
KR20190068148A (en) * | 2017-12-08 | 2019-06-18 | 주식회사 이누씨 | Method And Apparatus for Streaming Virtual Reality Video |
KR102248382B1 (en) * | 2019-11-13 | 2021-05-04 | 한국로봇융합연구원 | Driving control method for adjustable agricultural robot |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102500836B1 (en) | 2016-09-27 | 2023-02-16 | 한화테크윈 주식회사 | Method and apparatus for processing wide angle image |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001050756A (en) | 1999-08-04 | 2001-02-23 | Matsushita Electric Ind Co Ltd | Method and device for recording and regenerating map information |
KR100411587B1 (en) * | 2001-12-27 | 2003-12-18 | 한국전자통신연구원 | Apparatus and method of storing position information and motion picture synchronizingly and applying that in geographic information system |
-
2007
- 2007-12-28 KR KR1020070140880A patent/KR100926231B1/en active IP Right Grant
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101652753B1 (en) | 2015-09-11 | 2016-09-01 | 주식회사 마이다스아이티 | Method for providing 3d panorama virtual reality image and system for providing 3d panorama virtual reality image using the same |
KR20170109297A (en) * | 2016-03-21 | 2017-09-29 | 삼성전자주식회사 | Electronic Device For Providing Omnidirectional Image and Method thereof |
KR20190068148A (en) * | 2017-12-08 | 2019-06-18 | 주식회사 이누씨 | Method And Apparatus for Streaming Virtual Reality Video |
KR102248382B1 (en) * | 2019-11-13 | 2021-05-04 | 한국로봇융합연구원 | Driving control method for adjustable agricultural robot |
Also Published As
Publication number | Publication date |
---|---|
KR100926231B1 (en) | 2009-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10165179B2 (en) | Method, system, and computer program product for gamifying the process of obtaining panoramic images | |
US11740099B2 (en) | Methods and systems for generating route data | |
US9723203B1 (en) | Method, system, and computer program product for providing a target user interface for capturing panoramic images | |
US9420234B2 (en) | Virtual observer | |
US20130318078A1 (en) | System and Method for Producing Multi-Angle Views of an Object-of-Interest from Images in an Image Dataset | |
TWI457854B (en) | Capture and display of digital images based on related metadata | |
US20180262789A1 (en) | System for georeferenced, geo-oriented realtime video streams | |
WO2016045381A1 (en) | Image presenting method, terminal device and server | |
WO2010052548A2 (en) | System and method for creating interactive panoramic walk-through applications | |
KR100926231B1 (en) | Spatial information construction system and method using spherical video images | |
JP5393927B1 (en) | Video generation device | |
CN102831816B (en) | Device for providing real-time scene graph | |
JP6110780B2 (en) | Additional information display system | |
JP2004265396A (en) | Image forming system and image forming method | |
JP2005122315A (en) | 3dcg composition device | |
KR20090132317A (en) | Method and system for providing additional information based on video images | |
JPWO2016203896A1 (en) | Generator | |
CN110036411A (en) | The device and method for generating electronics three-dimensional range environment | |
KR101484314B1 (en) | System and method for constructing spatial information using video images | |
TWI453373B (en) | A method and preview system for previewing video files | |
WO2019000427A1 (en) | Image processing method and apparatus, and electronic device | |
JP2012137581A (en) | Image display control server | |
US10609343B2 (en) | Area display system | |
JP2004012717A (en) | Picture displaying method | |
JP6351663B2 (en) | Spherical video imaging device, global sphere video imaging system, omnidirectional video imaging program, recording medium recording the same, and omnidirectional video imaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20121101 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20131101 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20171101 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20181031 Year of fee payment: 10 |
|
FPAY | Annual fee payment |
Payment date: 20190903 Year of fee payment: 11 |