KR20230170500A - System for image processing of ship based on augmented reality by using virtual model, method of the same and computer-readable storage medium recorded with program for executing the same - Google Patents
System for image processing of ship based on augmented reality by using virtual model, method of the same and computer-readable storage medium recorded with program for executing the same Download PDFInfo
- Publication number
- KR20230170500A KR20230170500A KR1020220071057A KR20220071057A KR20230170500A KR 20230170500 A KR20230170500 A KR 20230170500A KR 1020220071057 A KR1020220071057 A KR 1020220071057A KR 20220071057 A KR20220071057 A KR 20220071057A KR 20230170500 A KR20230170500 A KR 20230170500A
- Authority
- KR
- South Korea
- Prior art keywords
- virtual
- virtual model
- image
- canvas
- model
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title description 13
- 238000009877 rendering Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 26
- 238000003672 processing method Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 abstract description 7
- 238000009434 installation Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G06T3/0093—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은, 선외의 적어도 하나 이상의 특정 영역에 배치되어 주변 영상을 2D 촬영하여 원본영상을 제공하는 카메라(110), 가상 3D 공간 상에 캔버스(C)와 가상카메라(121)를 생성하여, 원본영상을 렌더링하는 가상모델 환경을 설정하는, 가상모델 환경 설정부(120), 렌더링된 원본영상에 해당하는 제1가상모델(M1) 및 영상을 변경할 제2가상모델(M2)을 생성하는, 가상모델 생성부(130), 및 제1가상모델(M1)과 제2가상모델(M2)을 배치하여 제1가상모델(M1)과 제2가상모델(M2)의 3D 좌표를 캔버스(C) 상의 2D 좌표로 각각 변환하며, 제1가상모델(M1)과 제2가상모델(M2) 간의 상관관계를 계산하고, 캔버스(C) 상의 영상에 상관관계를 적용하여 촬영시점이 변경된 가상영상을 생성하여 제공하는, 영상처리부(140)를 포함하여서, 환경적 오류 요소에 영향을 받지 않고, 시점이 자유로운 선외 영상을 제공할 수 있는, 가상모델을 활용한 증강현실기반의 선박영상처리 시스템을 개시한다.The present invention provides a camera 110 that is placed in at least one specific area outside the ship and provides an original image by capturing surrounding images in 2D, and creates a canvas (C) and a virtual camera 121 in a virtual 3D space to capture the original image. A virtual model environment setting unit 120 that sets a virtual model environment for rendering an image, and a virtual model that generates a first virtual model (M1) corresponding to the rendered original image and a second virtual model (M2) to change the image. By arranging the model generator 130 and the first virtual model (M1) and the second virtual model (M2), the 3D coordinates of the first virtual model (M1) and the second virtual model (M2) are displayed on the canvas (C). Each is converted to 2D coordinates, the correlation between the first virtual model (M1) and the second virtual model (M2) is calculated, and the correlation is applied to the image on the canvas (C) to create a virtual image with a changed shooting point. Disclosed is an augmented reality-based ship image processing system using a virtual model, which includes an image processing unit 140 and is capable of providing outboard images with a free viewpoint without being affected by environmental error factors.
Description
본 발명은 가상모델을 활용한 증강현실기반의 선박영상처리 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록매체에 관한 것으로서, 보다 상세하게는 환경적 오류 요소에 영향을 받지 않고, 시점이 자유로운 선외 영상을 제공하도록 하는, 가상모델을 활용한 증강현실기반의 선박영상처리 가상모델을 활용한 증강현실기반의 선박영상처리 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록매체에 관한 것이다.The present invention relates to an augmented reality-based ship image processing system and method using a virtual model, and a computer-readable recording medium on which a computer program for executing the method is recorded on a computer. More specifically, it relates to environmental error factors. Augmented reality-based ship image processing using a virtual model that provides outboard images with a free view point without being affected by an augmented reality-based ship image processing system and method using a virtual model, and execution of the method on a computer It relates to a computer-readable recording medium on which a computer program is recorded.
통상, 영상 변형, 보정 등의 영상 처리 기술은 카메라에 의해 촬영되는 영상의 특징점을 찾고 그 특징점을 매개체로 활용해 영상을 변형하거나 보정한다.Typically, image processing technologies such as image transformation and correction find feature points of an image captured by a camera and use the feature points as a medium to transform or correct the image.
예컨대, 영상 내 물체와 물체 사이의 색상 변화와 같은 경계면을 특징점으로 찾게 되는데, 일반적으로 이를 영상을 대표하는 점으로 선택하고 이를 기준으로 계산된 결과를 전체 이미지 영역에 반영하여 영상을 변형하거나 보정한다.For example, the boundary surface, such as color change between objects in the image, is found as a feature point. Generally, this is selected as a representative point of the image and the results calculated based on this are reflected in the entire image area to transform or correct the image. .
하지만, 특징점을 찾는 알고리즘은 해상력이 낮은 영상이나 색상 변화가 크게 발생하지 않는 태양위치, 어두운 공간, 저녁 시간, 역광, 주변 사물의 매질 등에 따라 카메라 렌즈로 반사되어 들어오는 정보가 다르기 때문에 정확한 정보가 수신되지 않아 특징점을 특정하지 못하는 오류가 발생하여 성능저하가 자주 발생하곤 한다.However, the algorithm for finding feature points cannot receive accurate information because the information reflected through the camera lens is different depending on low-resolution images, sun position where color changes do not occur significantly, dark space, evening time, backlight, and the medium of surrounding objects. This often causes errors in not being able to specify characteristic points, resulting in poor performance.
이에, 실제 카메라의 설치 위치를 활용 목적에 맞게 정하는 게 아닌 외부의 영향에 따라 성능 오류가 잘 발생되지 않는 환경에 맞춰 설치되는 경우도 다분하다.Accordingly, in many cases, the actual camera installation location is not determined according to the purpose of use, but is installed in an environment where performance errors are unlikely to occur due to external influences.
하지만, 조선, 자동차 등과 같은 산업 환경에서는 카메라 설치 위치가 한정적이기 때문에 영상 처리 기술의 적용 자체가 어려워 단순 모니터링용으로만 활용되는 경우도 자주 발생한다.However, in industrial environments such as shipbuilding and automobiles, camera installation locations are limited, so it is difficult to apply image processing technology, so it is often used only for simple monitoring.
따라서, 실제 영상 내에서. 특징점을 잡아 처리를 수행하는 게 아닌, 가상공간에서 가상모델을 생성하여 사용자가 자유롭게 배치함으로써 실시간으로 변동하는 환경에서 영상처리가 자유롭도록 할 수 있는 기술이 요구된다.So, within the actual video. Rather than capturing feature points and performing processing, a technology is required that allows free image processing in an environment that fluctuates in real time by creating a virtual model in a virtual space and allowing the user to freely place it.
본 발명의 사상이 이루고자 하는 기술적 과제는, 현실 배경의 영상에 증강현실 기반의 가상모델을 매핑시켜 시점변경의 영상처리의 매개체로 활용하여서, 복합적인 환경적 오류 요소에 영향을 배제시킬 수 있으며, 사용자가 자유롭게 가상모델을 이용하여 환경을 변경하여 시점이 자유로운 선외 영상을 제공할 수 있는, 가상모델을 활용한 증강현실기반의 선박영상처리 가상모델을 활용한 증강현실기반의 선박영상처리 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록매체를 제공하는 데 있다.The technical task to be achieved by the idea of the present invention is to map an augmented reality-based virtual model to an image of a real background and use it as a medium for image processing with a change in viewpoint, thereby eliminating the influence of complex environmental error factors, Augmented reality-based ship image processing using a virtual model that allows users to freely change the environment using a virtual model and provide outboard images with a free viewpoint. An augmented reality-based ship image processing system and method using a virtual model. The aim is to provide a computer-readable recording medium on which a computer program for executing the method on a computer is recorded.
전술한 목적을 달성하고자, 본 발명의 일 실시예는, 선외의 적어도 하나 이상의 특정 영역에 배치되어 주변 영상을 2D 촬영하여 원본영상을 제공하는 카메라; 가상 3D 공간 상에 캔버스와 가상카메라를 생성하여, 상기 원본영상을 렌더링하는 가상모델 환경을 설정하는, 가상모델 환경 설정부; 상기 렌더링된 원본영상에 해당하는 제1가상모델 및 영상을 변경할 제2가상모델을 생성하는, 가상모델 생성부; 및 상기 제1가상모델 및 상기 제2가상모델을 배치하여 상기 제1가상모델과 상기 제2가상모델의 3D 좌표를 상기 캔버스 상의 2D 좌표로 각각 변환하며, 상기 제1가상모델과 상기 제2가상모델 간의 상관관계를 계산하고, 상기 캔버스 상의 영상에 상기 상관관계를 적용하여 촬영시점이 변경된 가상영상을 생성하여 제공하는, 영상처리부;를 포함하는, 가상모델을 활용한 증강현실기반의 선박영상처리 시스템을 제공한다.In order to achieve the above-described object, an embodiment of the present invention includes: a camera disposed in at least one specific area outside the ship and providing an original image by taking 2D images of the surrounding area; a virtual model environment setting unit that creates a canvas and a virtual camera in a virtual 3D space and sets a virtual model environment for rendering the original image; a virtual model generator that generates a first virtual model corresponding to the rendered original image and a second virtual model to change the image; and arranging the first virtual model and the second virtual model to convert the 3D coordinates of the first virtual model and the second virtual model into 2D coordinates on the canvas, respectively, and the first virtual model and the second virtual model Augmented reality-based ship image processing using a virtual model, including an image processing unit that calculates the correlation between models and applies the correlation to the image on the canvas to generate and provide a virtual image with a changed shooting point. Provides a system.
여기서, 상기 카메라는 CCTV 카메라일 수 있다.Here, the camera may be a CCTV camera.
이때, 상기 카메라는 선박의 레이더의 음영지역을 커버하도록, 선수, 선미, 좌현 및 우현 중 어느 하나 이상에 배치되어 촬영할 수 있다.At this time, the camera may be placed on any one or more of the bow, stern, port side, and starboard side to cover the shadow area of the ship's radar and take pictures.
또한, 상기 가상모델 환경 설정부는, 가상 3D 공간 상에 상기 캔버스를 생성하는 캔버스 생성모듈, 상기 카메라에 의해 촬영된 원본영상을 상기 캔버스 상에 렌더링하는 렌더링모듈, 그리고 상기 캔버스를 촬영하는 가상카메라를 생성하는 카메라생성모듈을 포함할 수 있다.In addition, the virtual model environment setting unit includes a canvas creation module that creates the canvas in a virtual 3D space, a rendering module that renders the original image captured by the camera on the canvas, and a virtual camera that photographs the canvas. It may include a camera creation module.
또한, 상기 가상모델 생성부는, 상기 렌더링된 원본영상의 촬영시점에 해당하는 영상패턴정보를 담는 상기 제1가상모델을 생성하고 배치하는 제1가상모델 생성모듈, 상기 원본영상의 영상패턴정보를 변경하고자 하는 가상촬영시점에 따라 변경시킬 영상패턴정보를 담는 상기 제2가상모델을 생성하고 배치하는 제2가상모델 생성모듈, 그리고 상기 제1가상모델과 상기 제2가상모델 간의 매칭쌍을 정의하는 매칭쌍 정의모듈을 포함할 수 있다.In addition, the virtual model creation unit is a first virtual model generation module that generates and places the first virtual model containing image pattern information corresponding to the shooting point of the rendered original image, and changes image pattern information of the original image. A second virtual model creation module that creates and arranges the second virtual model containing image pattern information to be changed according to the desired virtual shooting point, and a matching module that defines a matching pair between the first virtual model and the second virtual model. Can include pair definition modules.
또한, 상기 영상처리부는, 상기 제1가상모델 및 상기 제2가상모델을 상기 캔버스와 상기 가상카메라 사이의 가상모델 배치공간에 배치하여, 상기 제1가상모델과 상기 제2가상모델의 3D 공간 상의 좌표(x,y,z)를 상기 캔버스 상의 2D 픽셀 좌표(u,v)로 각각 변환하는 좌표변환모듈, 상기 제1가상모델과 상기 제2가상모델의 3D 모델 간의 위치 상관관계를 계산하는 상관관계 계산모듈, 상기 위치 상관관계에 따라 상기 캔버스 상에 현실 배경의 원본영상을 이미지 랩핑하여 가상촬영시점에 상응하는 증강현실기반의 상기 가상영상을 생성하는 가상영상 생성모듈, 그리고 상기 가상영상 생성모듈에 의해 생성된 상기 가상영상을 디스플레이하여 제공하는 디스플레이모듈을 포함할 수 있다.In addition, the image processing unit arranges the first virtual model and the second virtual model in a virtual model placement space between the canvas and the virtual camera, so that the first virtual model and the second virtual model are displayed in a 3D space. A coordinate conversion module that converts coordinates (x, y, z) into 2D pixel coordinates (u, v) on the canvas, respectively, and a correlation that calculates the positional correlation between the 3D models of the first virtual model and the second virtual model. A relationship calculation module, a virtual image generation module for generating the augmented reality-based virtual image corresponding to the virtual shooting point by image wrapping the original image of the real background on the canvas according to the position correlation, and the virtual image generation module It may include a display module that displays and provides the virtual image generated by.
여기서, 상기 좌표변환모듈은 다음의 [수학식 1]에 의해 상기 2D 픽셀 좌표(u,v)를 산출하되,Here, the coordinate conversion module calculates the 2D pixel coordinates (u, v) according to the following [Equation 1],
[수학식 1][Equation 1]
여기서, (x0,y0,z0)는 상기 제1가상모델 및 상기 제2가상모델의 3D 공간 상의 좌표이며, (xc,yc,zc)는 상기 가상카메라의 좌표이고, d는 상기 가상카메라로부터 상기 캔버스로의 법선거리일 수 있다.Here, (x 0 ,y 0 ,z 0 ) are the coordinates of the first virtual model and the second virtual model in 3D space, (x c ,y c ,z c ) are the coordinates of the virtual camera, and d may be the normal distance from the virtual camera to the canvas.
이때, 상기 산출된 (u,v)값은 절대값으로 치환될 수 있다.At this time, the calculated (u, v) values can be replaced with absolute values.
또한, 상기 상관관계 계산모듈은 다음의 [수학식 2]에 정의된 좌표변환행렬에 의해 상기 제1가상모델과 상기 제2가상모델의 3D 모델 간의 위치 상관관계를 계산하되, 상기 제1가상모델과 상기 제2가상모델 간의 최소 6개 이상의 매칭쌍을 정의한다는 가정하에,In addition, the correlation calculation module calculates the positional correlation between the 3D models of the first virtual model and the second virtual model by a coordinate transformation matrix defined in the following [Equation 2], wherein the first virtual model Under the assumption that at least 6 matching pairs are defined between and the second virtual model,
[수학식 2][Equation 2]
여기서, (X,Y,Z)는 상기 제1가상모델의 3D 공간 상의 좌표이며, (X',Y',Z')는 상기 제2가상모델의 3D 공간 상의 좌표이고, R은 회전변환행렬이고, T는 위치변환행렬일 수 있다.Here, (X, Y, Z) are the coordinates in 3D space of the first virtual model, (X', Y', Z') are the coordinates in 3D space of the second virtual model, and R is the rotation transformation matrix. , and T may be a position transformation matrix.
여기서, 상기 가상영상 생성모듈은, 상기 좌표변환행렬을 적용하여, 상기 캔버스 상에 현실 배경의 원본영상을 이미지 랩핑할 수 있다.Here, the virtual image generation module can apply the coordinate transformation matrix to image wrap the original image of the real background on the canvas.
한편, 전술한 목적을 달성하고자, 본 발명의 다른 실시예는, 선외의 적어도 하나 이상의 특정 영역에 배치된 카메라에 의해, 주변 영상을 2D 촬영하여 원본영상을 제공하는 제1단계; 가상모델 환경 설정부에 의해, 가상 3D 공간 상에 캔버스와 가상카메라를 생성하여, 상기 원본영상을 렌더링하는 가상모델 환경을 설정하는 제2단계; 가상모델 생성부에 의해, 상기 렌더링된 원본영상에 해당하는 제1가상모델 및 영상을 변경할 제2가상모델을 생성하는 제3단계; 및 영상처리부에 의해, 상기 제1가상모델 및 상기 제2가상모델을 배치하여 상기 제1가상모델과 상기 제2가상모델의 3D 좌표를 상기 캔버스 상의 2D 좌표로 각각 변환하며, 상기 제1가상모델과 상기 제2가상모델 간의 상관관계를 계산하고, 상기 캔버스 상의 영상에 상기 상관관계를 적용하여 촬영시점이 변경된 가상영상을 생성하여 제공하는 제4단계;를 포함하는, 가상모델을 활용한 증강현실기반의 선박영상처리 방법을 제공한다.Meanwhile, in order to achieve the above-described object, another embodiment of the present invention includes: a first step of providing an original image by taking 2D images of surrounding images using a camera disposed in at least one specific area outside the ship; A second step of setting a virtual model environment for rendering the original image by creating a canvas and a virtual camera in a virtual 3D space by a virtual model environment setting unit; A third step of generating, by a virtual model generator, a first virtual model corresponding to the rendered original image and a second virtual model to change the image; And by the image processing unit, the first virtual model and the second virtual model are placed and the 3D coordinates of the first virtual model and the second virtual model are converted to 2D coordinates on the canvas, respectively, and the first virtual model A fourth step of calculating the correlation between the second virtual model and the second virtual model and applying the correlation to the image on the canvas to generate and provide a virtual image with a changed shooting point. Augmented reality using a virtual model, including Provides a ship-based image processing method.
여기서, 상기 카메라는 CCTV 카메라일 수 있다.Here, the camera may be a CCTV camera.
이때, 상기 카메라는 선박의 레이더의 음영지역을 커버하도록, 선수, 선미, 좌현 및 우현 중 어느 하나 이상에 배치되어 촬영할 수 있다.At this time, the camera may be placed on any one or more of the bow, stern, port side, and starboard side to cover the shadow area of the ship's radar and take pictures.
또한, 상기 제2단계는, 가상 3D 공간 상에 상기 캔버스를 생성하는 제2-1단계, 상기 카메라에 의해 촬영된 원본영상을 상기 캔버스 상에 렌더링하는 제2-2단계, 그리고 상기 캔버스를 촬영하는 가상카메라를 생성하는 제2-3단계를 포함할 수 있다.In addition, the second step includes step 2-1 of creating the canvas in a virtual 3D space, step 2-2 of rendering the original image captured by the camera on the canvas, and photographing the canvas. It may include steps 2 and 3 of creating a virtual camera.
또한, 상기 제3단계는, 상기 렌더링된 원본영상의 촬영시점에 해당하는 영상패턴정보를 담는 상기 제1가상모델을 생성하고 배치하는 제3-1단계, 상기 원본영상의 영상패턴정보를 변경하고자 하는 가상촬영시점에 따라 변경시킬 영상패턴정보를 담는 상기 제2가상모델을 생성하고 배치하는 제3-2단계, 그리고 상기 제1가상모델과 상기 제2가상모델 간의 매칭쌍을 정의하는 제3-3단계를 포함할 수 있다.In addition, the third step is a step 3-1 of creating and placing the first virtual model containing image pattern information corresponding to the shooting point of the rendered original image, to change the image pattern information of the original image. Step 3-2 of creating and arranging the second virtual model containing image pattern information to be changed according to the virtual shooting time, and Step 3- of defining a matching pair between the first virtual model and the second virtual model. It may include 3 steps.
또한, 상기 제4단계는, 상기 제1가상모델 및 상기 제2가상모델을 상기 캔버스와 상기 가상카메라 사이의 가상모델 배치공간에 배치하여, 상기 제1가상모델과 상기 제2가상모델의 3D 공간 상의 좌표(x,y,z)를 상기 캔버스 상의 2D 픽셀 좌표(u,v)로 각각 변환하는 제4-1단계, 상기 제1가상모델과 상기 제2가상모델의 3D 모델 간의 위치 상관관계를 계산하는 제4-2단계, 상기 위치 상관관계에 따라 상기 캔버스 상에 현실 배경의 원본영상을 이미지 랩핑하여 가상촬영시점에 상응하는 증강현실기반의 가상영상을 생성하는 제4-3단계, 그리고 상기 영상처리부의 가상영상 생성모듈에 의해 생성된 가상영상을 디스플레이하여 제공하는 제4-4단계를 포함할 수 있다.In addition, the fourth step is to place the first virtual model and the second virtual model in the virtual model placement space between the canvas and the virtual camera, so that the 3D space of the first virtual model and the second virtual model is Step 4-1 of converting the coordinates (x, y, z) on the canvas into 2D pixel coordinates (u, v), respectively, and the positional correlation between the 3D models of the first virtual model and the second virtual model. Step 4-2 of calculating, step 4-3 of generating an augmented reality-based virtual image corresponding to the virtual shooting point by image wrapping the original image of the real background on the canvas according to the position correlation, and It may include step 4-4 of displaying and providing a virtual image generated by the virtual image generation module of the image processing unit.
여기서, 상기 제4-1단계는, 다음의 [수학식 3]에 의해 상기 2D 픽셀 좌표(u,v)를 산출하되,Here, the 4-1 step calculates the 2D pixel coordinates (u, v) using the following [Equation 3],
[수학식 3][Equation 3]
여기서, (x0,y0,z0)는 상기 제1가상모델 및 상기 제2가상모델의 3D 공간 상의 좌표이며, (xc,yc,zc)는 상기 가상카메라의 좌표이고, d는 상기 가상카메라로부터 상기 캔버스로의 법선거리일 수 있다.Here, (x 0 ,y 0 ,z 0 ) are the coordinates of the first virtual model and the second virtual model in 3D space, (x c ,y c ,z c ) are the coordinates of the virtual camera, and d may be the normal distance from the virtual camera to the canvas.
이때, 상기 산출된 (u,v)값은 절대값으로 치환될 수 있다.At this time, the calculated (u, v) values can be replaced with absolute values.
또한, 상기 제4-2단계는, 다음의 [수학식 4]에 정의된 좌표변환행렬에 의해 상기 제1가상모델과 상기 제2가상모델의 3D 모델 간의 위치 상관관계를 계산하되, 상기 제1가상모델과 상기 제2가상모델 간의 최소 6개 이상의 매칭쌍을 정의한다는 가정하에,In addition, step 4-2 calculates the positional correlation between the 3D model of the first virtual model and the second virtual model by a coordinate transformation matrix defined in the following [Equation 4], wherein the first Under the assumption that at least 6 matching pairs are defined between the virtual model and the second virtual model,
[수학식 4][Equation 4]
여기서, (X,Y,Z)는 상기 제1가상모델의 3D 공간 상의 좌표이며, (X',Y',Z')는 상기 제2가상모델의 3D 공간 상의 좌표이고, R은 회전변환행렬이고, T는 위치변환행렬일 수 있다.Here, (X, Y, Z) are the coordinates in 3D space of the first virtual model, (X', Y', Z') are the coordinates in 3D space of the second virtual model, and R is the rotation transformation matrix. , and T may be a position transformation matrix.
여기서, 상기 제4-3단계는, 상기 좌표변환행렬을 적용하여, 상기 캔버스 상에 현실 배경의 원본영상을 이미지 랩핑할 수 있다.Here, in step 4-3, the coordinate transformation matrix can be applied to image wrap the original image of the real background on the canvas.
한편, 전술한 목적을 달성하고자, 본 발명의 또 다른 실시예는, 앞서 열거한 가상모델을 활용한 증강현실기반의 선박영상처리 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록매체를 제공한다.Meanwhile, in order to achieve the above-mentioned object, another embodiment of the present invention is a computer-readable record in which a computer program for executing the augmented reality-based ship image processing method using the virtual model listed above on a computer is recorded. Provides media.
본 발명에 의하면, 현실 배경의 영상에 증강현실 기반의 가상모델을 매핑시켜 시점변경의 영상처리의 매개체로 활용하여서, 복합적인 환경적 오류 요소에 영향을 배제시킬 수 있으며, 사용자가 자유롭게 가상모델을 이용하여 환경을 변경하여 시점이 자유로운 선외 영상을 제공하도록 하고, 카메라의 설치환경에 제약을 받지 않고 설치 목적에 맞게 위치 선정이 가능하고, 시간대마다 변하는 주변 환경의 빛 반사에 의한 영상처리 성능저하를 극복할 수 있고, 영상의 특징을 찾는 알고리즘을 사용하지 않아 실시간 영상처리가 가능한 시스템을 구현할 수 있는 효과가 있다.According to the present invention, by mapping an augmented reality-based virtual model to an image of a real background and using it as a medium for image processing for changing viewpoints, the influence of complex environmental error factors can be excluded, and the user can freely use the virtual model. By changing the environment, it is possible to provide outboard images with a free viewpoint, and it is possible to select a location according to the installation purpose without being restricted by the installation environment of the camera, and it is possible to prevent image processing performance deterioration due to light reflection in the surrounding environment that changes depending on the time zone. This has the effect of being able to overcome this problem and implement a system capable of real-time image processing by not using an algorithm that finds the characteristics of the image.
도 1은 본 발명의 일 실시예에 의한 가상모델을 활용한 증강현실기반의 선박영상처리 시스템의 개략적인 구성도를 도시한 것이다.
도 2는 도 1의 가상모델을 활용한 증강현실기반의 선박영상처리 시스템의 가상모델 생성을 예시한 것이다.
도 3은 도 1의 가상모델을 활용한 증강현실기반의 선박영상처리 시스템에 의한 캔버스 생성부터 가상영상 디스플레이까지의 과정을 예시한 것이다.
도 4는 본 발명의 다른 실시예에 의한 가상모델을 활용한 증강현실기반의 선박영상처리 방법의 개략적인 순서도를 도시한 것이다.
도 5는 도 4의 가상모델을 활용한 증강현실기반의 선박영상처리 방법에서의 매칭쌍 정의를 예시한 것이다.
도 6은 도 4의 가상모델을 활용한 증강현실기반의 선박영상처리 방법에서의 좌표변환을 예시한 것이다.Figure 1 shows a schematic configuration diagram of an augmented reality-based ship image processing system using a virtual model according to an embodiment of the present invention.
Figure 2 illustrates the creation of a virtual model of an augmented reality-based ship image processing system using the virtual model of Figure 1.
Figure 3 illustrates the process from canvas creation to virtual image display by an augmented reality-based ship image processing system using the virtual model of Figure 1.
Figure 4 shows a schematic flowchart of an augmented reality-based ship image processing method using a virtual model according to another embodiment of the present invention.
Figure 5 illustrates the definition of a matching pair in the augmented reality-based ship image processing method using the virtual model of Figure 4.
Figure 6 illustrates coordinate transformation in the augmented reality-based ship image processing method using the virtual model of Figure 4.
이하, 첨부된 도면을 참조로 전술한 특징을 갖는 본 발명의 실시예를 더욱 상세히 설명하고자 한다.Hereinafter, embodiments of the present invention having the above-described features will be described in more detail with reference to the attached drawings.
본 발명의 일 실시예에 의한 가상모델을 활용한 증강현실기반의 선박영상처리 시스템은, 선외의 적어도 하나 이상의 특정 영역에 배치되어 주변 영상을 2D 촬영하여 원본영상을 제공하는 카메라(110), 가상 3D 공간 상에 캔버스(C)와 가상카메라(121)를 생성하여, 원본영상을 렌더링하는 가상모델 환경을 설정하는, 가상모델 환경 설정부(120), 렌더링된 원본영상에 해당하는 제1가상모델(M1) 및 영상을 변경할 제2가상모델(M2)을 생성하는, 가상모델 생성부(130), 및 제1가상모델(M1)과 제2가상모델(M2)을 배치하여 제1가상모델(M1)과 제2가상모델(M2)의 3D 좌표를 캔버스(C) 상의 2D 좌표로 각각 변환하며, 제1가상모델(M1)과 제2가상모델(M2) 간의 상관관계를 계산하고, 캔버스(C) 상의 영상에 상관관계를 적용하여 촬영시점이 변경된 가상영상을 생성하여 제공하는, 영상처리부(140)를 포함하여서, 환경적 오류 요소에 영향을 받지 않고, 시점이 자유로운 선외 영상을 제공하는 것을 요지로 한다.The augmented reality-based ship image processing system using a virtual model according to an embodiment of the present invention includes a camera 110 that is placed in at least one specific area outside the ship and provides an original image by taking 2D images of the surrounding area, and a virtual A virtual model environment setting unit 120 that creates a canvas (C) and a virtual camera 121 in 3D space and sets a virtual model environment for rendering the original image, and a first virtual model corresponding to the rendered original image. (M1) and a virtual model generator 130 that generates a second virtual model (M2) to change the image, and a first virtual model (M1) and a second virtual model (M2) that are placed to create a first virtual model (M2) Convert the 3D coordinates of M1) and the second virtual model (M2) into 2D coordinates on the canvas (C), calculate the correlation between the first virtual model (M1) and the second virtual model (M2), and canvas (C) C) Including an image processing unit 140 that generates and provides a virtual image with a changed shooting point by applying correlation to the image on the image, providing an outboard image with a free viewpoint without being affected by environmental error factors. Make it to the point.
이하, 도 1 내지 도 3을 참조하여, 전술한 구성의 가상모델을 활용한 증강현실기반의 선박영상처리 시스템을 구체적으로 상술하면 다음과 같다.Hereinafter, with reference to FIGS. 1 to 3, the augmented reality-based ship image processing system using the virtual model of the above-described configuration will be described in detail as follows.
우선, 카메라(110)는, 선외의 적어도 하나 이상의 특정 영역, 예컨대 선수, 선미, 좌현, 우현 등에 레이더의 음영지역을 커버가능하도록 설계되어 각각 배치되어서 주변 영상을 2D 촬영하여 원본영상을 제공하도록 한다.First, the camera 110 is designed to cover the radar's shadow area in at least one specific area outside the ship, such as the bow, stern, port side, starboard, etc., and is positioned to capture the surrounding image in 2D to provide the original image. .
여기서, 카메라(110)로는 CCTV 카메라가 적용가능하여서, 고가의 고화질 카메라가 아니어도 개수 증가에 따른 비용적인 측면에서 시스템 구축에 유리할 수 있다.Here, a CCTV camera can be used as the camera 110, so even if it is not an expensive high-definition camera, it can be advantageous in building a system in terms of cost due to an increase in the number of cameras.
다음, 가상모델 환경 설정부(120)는 증강현실 기반의 환경을 구축하여 가상모델을 기반으로 실제 카메라(110)로부터 수신된 원본영상을 영상처리하는 구성으로서, 가상 3D 공간 상에 캔버스(C)와, 캔버스(C)를 바라보는 가상카메라(121)를 생성하여 캔버스(C)와 가상카메라(121) 사이의 공간을 3차원의 가상모델 배치공간으로 설정하고, 캔버스(C) 상에 원본영상을 렌더링하는 가상모델 환경을 설정하도록 한다.Next, the virtual model environment setting unit 120 is a component that builds an augmented reality-based environment and processes the original image received from the real camera 110 based on the virtual model, and displays a canvas (C) on the virtual 3D space. Wow, a virtual camera 121 facing the canvas (C) is created, the space between the canvas (C) and the virtual camera 121 is set as a three-dimensional virtual model placement space, and the original video is displayed on the canvas (C). Set up a virtual model environment for rendering.
구체적으로, 도 1 및 도 3을 참고하면, 가상모델 환경 설정부(120)는, 가상 3D 공간 상에 캔버스(C)를 생성하는 캔버스 생성모듈(122)(도 3의 (a))과, 카메라(110)에 의해 촬영된 원본영상을 캔버스(C) 상에 렌더링하는 렌더링모듈(123)(도 3의 (b))과, 캔버스(C)를 바라보고 촬영하는 가상카메라(121)를 생성하는 카메라생성모듈(124)(도 3의 (c))을 포함할 수 있다.Specifically, referring to Figures 1 and 3, the virtual model environment setting unit 120 includes a canvas creation module 122 ((a) in Figure 3) that creates a canvas C in a virtual 3D space, Creates a rendering module 123 ((b) in FIG. 3) that renders the original image captured by the camera 110 on the canvas C, and a virtual camera 121 that looks at the canvas C and takes pictures. It may include a camera generation module 124 ((c) in FIG. 3).
다음, 가상모델 생성부(130)는, 원본영상의 현재상태정보로부터 시점이 변경된 영상의 변경상태정보를 생성하여 이미지를 변형하고자 하는 구성으로서, 앞서 렌더링된 원본영상에 해당하는 제1가상모델(M1) 및 영상을 변경할 제2가상모델(M2)을 생성하도록 한다.Next, the virtual model generator 130 is a component that seeks to transform the image by generating change state information of the image whose viewpoint has been changed from the current state information of the original image, and creates a first virtual model corresponding to the previously rendered original image ( M1) and a second virtual model (M2) to change the image.
구체적으로, 도 1, 도 2 및 도 5를 참고하면, 가상모델 생성부(130)는, 렌더링된 원본영상의 촬영시점에 해당하는 그리드 포인트 등의 영상패턴정보를 담는 제1가상모델(M1)을 생성하고 배치하는 제1가상모델 생성모듈(131)과, 원본영상의 영상패턴정보를 변경하고자 하는 조관도(bird eye's view) 등의 가상촬영시점에 따라 변경시킬 원금감을 갖는 그리드 포인트 등의 영상패턴정보를 담는 제2가상모델(M2)을 생성하고 배치하는 제2가상모델 생성모듈(132)과, 제1가상모델(M1)과 제2가상모델(M2) 간의 매칭쌍을 정의하는 매칭쌍 정의모듈(133)을 포함할 수 있다.Specifically, referring to FIGS. 1, 2, and 5, the virtual model generator 130 creates a first virtual model (M1) that contains image pattern information such as grid points corresponding to the shooting point of the rendered original image. A first virtual model creation module 131 that generates and arranges, and images such as grid points with a sense of principal to be changed according to the virtual shooting point of view, such as a bird's eye view, to change the image pattern information of the original image. A second virtual model creation module 132 that generates and places a second virtual model (M2) containing pattern information, and a matching pair that defines a matching pair between the first virtual model (M1) and the second virtual model (M2). It may include a definition module 133.
여기서, 가상모델의 생성패턴 또는 매칭쌍을 정의하는 방식은 사용목적, 사용자의 처리 목적에 따라 다르게 정의될 수 있다.Here, the method of defining the creation pattern or matching pair of the virtual model may be defined differently depending on the purpose of use and the user's processing purpose.
다음, 영상처리부(140)는, 제1가상모델(M1)과 제2가상모델(M2)을 앞서 설정된 가상모델 배치공간 상에 배치하여 제1가상모델(M1)과 제2가상모델(M2)의 3D 좌표를 캔버스(C) 상의 2D 좌표로 각각 변환하고, 제1가상모델(M1)과 제2가상모델(M2) 간의 상관관계에 따라, 캔버스(C) 상의 영상에 상관관계를 적용하여 촬영시점이 변경된 가상영상을 생성하여 제공하도록 한다.Next, the image processing unit 140 arranges the first virtual model (M1) and the second virtual model (M2) on the previously set virtual model placement space to create the first virtual model (M1) and the second virtual model (M2). Convert the 3D coordinates to 2D coordinates on the canvas (C), and shoot by applying the correlation to the image on the canvas (C) according to the correlation between the first virtual model (M1) and the second virtual model (M2). Create and provide a virtual image with a changed viewpoint.
구체적으로, 도 1, 도 2 및 도 3을 참고하면, 영상처리부(140)는, 제1가상모델(M1)과 제2가상모델(M2)을 캔버스(C)와 가상카메라(121) 사이의 가상모델 배치공간에 배치하여(도 3의 (d)), 제1가상모델(M1)과 제2가상모델(M2)의 3D 공간 상의 좌표(x,y,z)를 캔버스(C) 상의 2D 픽셀 좌표(u,v)로 각각 변환하는 좌표변환모듈(141)과, 제1가상모델(M1)과 제2가상모델(M2)의 3D 모델 간의 위치 상관관계를 계산하는 상관관계 계산모듈(142)과, 앞서 계산된 상관관계에 따라 캔버스(C) 상에 현실 배경의 원본영상을 이미지 랩핑하여 조관도 등의 가상촬영시점에 상응하는 증강현실기반의 가상영상(도 2 참조)을 생성하는 가상영상 생성모듈(143)과, 가상영상 생성모듈(143)에 의해 생성되어 실제 사용자가 보게될 화면에 상응하는 가상영상(도 3의 (e) 참조)을 디스플레이하여 제공하는 디스플레이모듈(144)을 포함할 수 있다.Specifically, referring to FIGS. 1, 2, and 3, the image processing unit 140 connects the first virtual model (M1) and the second virtual model (M2) between the canvas (C) and the virtual camera 121. By placing the virtual model in the placement space ((d) in Figure 3), the coordinates (x, y, z) in 3D space of the first virtual model (M1) and the second virtual model (M2) are displayed in 2D on the canvas (C). A coordinate conversion module 141 that converts each to pixel coordinates (u, v), and a correlation calculation module 142 that calculates the positional correlation between the 3D models of the first virtual model (M1) and the second virtual model (M2). ), and a virtual image that wraps the original image of the real background on the canvas (C) according to the previously calculated correlation to create an augmented reality-based virtual image (see Figure 2) corresponding to the virtual shooting point of Jo Gwan-do, etc. An image generation module 143 and a display module 144 that displays and provides a virtual image (see (e) of FIG. 3) generated by the virtual image generation module 143 and corresponding to the screen that the actual user will see. It can be included.
여기서, 좌표변환모듈(141)은 다음의 [수학식 1]에 의해 캔버스(C) 상의 2D 픽셀 좌표(u,v)를 산출하여 변환하되,Here, the coordinate conversion module 141 calculates and converts the 2D pixel coordinates (u, v) on the canvas (C) according to the following [Equation 1],
여기서, (x0,y0,z0)는 제1가상모델(M1) 및 제2가상모델(M2)의 3D 공간 상의 좌표이며, (xc,yc,zc)는 가상카메라(121)의 좌표이고, d는 가상카메라(121)로부터 캔버스(C)로의 법선거리일 수 있다.Here, (x 0 , y 0 , z 0 ) are the coordinates in 3D space of the first virtual model (M1) and the second virtual model (M2), and (x c , y c , z c ) are the coordinates of the virtual camera 121 ), and d may be the normal distance from the virtual camera 121 to the canvas (C).
또한, 산출된 (u,v)값은 소수점 이하의 값을 갖는 경우 반올림하여 2D 픽셀 좌표(u,v)에 상응하는 정수로 변환하고, 가상카메라(121)의 시점에 따라 산출된 (u,v)값 중 어느 하나 이상이 음수일 수 있으므로 음수는 절대값으로 치환되어 2D 픽셀 좌표(u,v)로 활용되도록 할 수 있다.In addition, if the calculated (u, v) value has a value below the decimal point, it is rounded off and converted to an integer corresponding to the 2D pixel coordinates (u, v), and the calculated (u, v) value according to the viewpoint of the virtual camera 121 is converted to an integer. Since any one or more of the v) values may be negative, the negative number can be replaced with an absolute value and used as 2D pixel coordinates (u, v).
또한, 상관관계 계산모듈(142)은 다음의 [수학식 2]에 정의된 좌표변환행렬에 의해 제1가상모델(M1)과 제2가상모델(M2)의 3D 모델 간의 위치 상관관계를 계산하되, 제1가상모델(M1)과 제2가상모델(M2) 간의 최소 6개 이상의 매칭쌍을 정의한다는 가정하에,In addition, the correlation calculation module 142 calculates the position correlation between the 3D models of the first virtual model (M1) and the second virtual model (M2) using the coordinate transformation matrix defined in the following [Equation 2], , Under the assumption of defining at least 6 matching pairs between the first virtual model (M1) and the second virtual model (M2),
여기서, (X,Y,Z)는 제1가상모델(M1)의 3D 공간 상의 좌표이며, (X',Y',Z')는 제2가상모델(M2)의 3D 공간 상의 좌표이고, R은 회전변환행렬(rotation matrix)이고, T는 위치변환행렬(translation matrix)일 수 있다.Here, (X,Y,Z) are the coordinates in 3D space of the first virtual model (M1), (X',Y',Z') are the coordinates in 3D space of the second virtual model (M2), and R is a rotation matrix, and T may be a translation matrix.
즉, 제1가상모델(M1)과 제2가상모델(M2) 간의 매칭쌍이 최소 6개 이상 정의되면, 6개의 방정식을 만들 수 있어서 (Rx,Ry,Rz)과 (Tx,Ty,Tz)의 6개의 미지수를 구하여 제1가상모델(M1)과 제2가상모델(M2)의 3D 모델 간의 위치 상관관계인 좌표변환행렬을 계산할 수 있다.In other words, if at least 6 matching pairs between the first virtual model (M1) and the second virtual model (M2) are defined, 6 equations can be created so that (R x ,R y ,R z ) and (T x ,T y , T z ), the six unknowns can be obtained to calculate the coordinate transformation matrix, which is the positional correlation between the 3D models of the first virtual model (M1) and the second virtual model (M2).
또한, 가상영상 생성모듈(143)은, 앞서 계산된 상관관계인 좌표변환행렬을 적용하여, 캔버스(C) 상에 현실 배경의 원본영상을 이미지 랩핑하여서, 도 3 및 도 5에서와 같이 사용자가 보고자 하는 가상카메라(121)의 촬영시점에 해당하는 가상영상을 생성할 수 있다.In addition, the virtual image generation module 143 applies the coordinate transformation matrix, which is the correlation calculated previously, to image wrap the original image of the real background on the canvas (C), so that the user can see it as shown in FIGS. 3 and 5. A virtual image corresponding to the shooting point of the virtual camera 121 can be generated.
한편, 도 4 내지 도 6을 참조하면, 본 발명의 다른 실시예에 의한 가상모델을 활용한 증강현실기반의 선박영상처리 방법은, 선외의 적어도 하나 이상의 특정 영역에 배치된 카메라(110)에 의해, 주변 영상을 2D 촬영하여 원본영상을 제공하는 제1단계(S110)와, 가상모델 환경 설정부(120)에 의해, 가상 3D 공간 상에 캔버스(C)와 가상카메라(121)를 생성하여, 원본영상을 렌더링하는 가상모델 환경을 설정하는 제2단계(S120)와, 가상모델 생성부(130)에 의해, 렌더링된 원본영상에 해당하는 제1가상모델(M1) 및 영상을 변경할 제2가상모델(M2)을 생성하는 제3단계(S130)와, 영상처리부(140)에 의해, 제1가상모델(M1)과 제2가상모델(M2)을 배치하여 제1가상모델(M1)과 제2가상모델(M2)의 3D 좌표를 캔버스(C) 상의 2D 좌표로 각각 변환하며, 제1가상모델(M1)과 제2가상모델(M2) 간의 상관관계를 계산하고, 캔버스(C) 상의 영상에 상관관계를 적용하여 촬영시점이 변경된 증강현실기반의 가상영상을 생성하여 제공하는 제4단계(S140)를 포함하여, 환경적 오류 요소에 영향을 받지 않고, 시점이 자유로운 선외 영상을 제공할 수 있다.Meanwhile, referring to FIGS. 4 to 6, the augmented reality-based ship image processing method using a virtual model according to another embodiment of the present invention uses a camera 110 disposed in at least one specific area outside the ship. , the first step (S110) of providing the original image by shooting the surrounding image in 2D, and creating a canvas (C) and a virtual camera (121) in the virtual 3D space by the virtual model environment setting unit (120), A second step (S120) of setting a virtual model environment for rendering the original image, a first virtual model (M1) corresponding to the original image rendered by the virtual model generator 130, and a second virtual model to change the image In the third step (S130) of generating the model (M2), the image processing unit 140 arranges the first virtual model (M1) and the second virtual model (M2) to create the first virtual model (M1) and the second virtual model (M1). 2 Convert the 3D coordinates of the virtual model (M2) into 2D coordinates on the canvas (C), calculate the correlation between the first virtual model (M1) and the second virtual model (M2), and image on the canvas (C) Including the fourth step (S140) of generating and providing an augmented reality-based virtual image with a changed shooting viewpoint by applying correlation, it is possible to provide an outboard video with a free viewpoint without being affected by environmental error factors. there is.
여기서, 카메라(110)는, 선외의 적어도 하나 이상의 특정 영역, 예컨대 선수, 선미, 좌현, 우현 등에 레이더의 음영지역을 커버가능하도록 설계되어 각각 배치되어서 주변 영상을 2D 촬영하여 원본영상을 제공하도록 한다.Here, the cameras 110 are designed to cover the radar shadow area in at least one specific area outside the ship, such as the bow, stern, port side, starboard, etc., and are respectively placed to capture the surrounding image in 2D to provide the original image. .
여기서, 카메라(110)로는 CCTV 카메라가 적용가능하여서, 고가의 고화질 카메라가 아니어도 개수 증가에 따른 비용적인 측면에서 시스템 구축에 유리할 수 있다.Here, a CCTV camera can be used as the camera 110, so even if it is not an expensive high-definition camera, it can be advantageous in building a system in terms of cost due to an increase in the number of cameras.
한편, 제2단계(S120)는 증강현실 기반의 환경을 구축하여 가상모델을 기반으로 실제 카메라(110)로부터 수신된 원본영상을 영상처리하는 단계로서, 구체적으로, 가상 3D 공간 상에 캔버스(C)를 생성하는 단계(S121)와, 카메라(110)에 의해 촬영된 원본영상을 캔버스(C) 상에 렌더링하는 단계(S122)와, 캔버스(C)를 촬영하는 가상카메라(121)를 생성하는 단계(S123)로 구성되어서, 캔버스(C) 상에 원본영상을 렌더링하는 가상모델 환경을 설정하도록 한다.Meanwhile, the second step (S120) is a step of building an augmented reality-based environment and processing the original image received from the real camera 110 based on the virtual model. Specifically, the canvas (C) is displayed on the virtual 3D space. ), a step of generating (S121), a step of rendering the original image captured by the camera 110 on the canvas (C) (S122), and generating a virtual camera 121 that photographs the canvas (C). It consists of step S123 to set up a virtual model environment that renders the original image on the canvas (C).
또한, 제3단계(S130)는 원본영상의 현재상태정보로부터 시점이 변경된 영상의 변경상태정보를 생성하여 이미지를 변형하고자 하는 단계로서, 구체적으로, 렌더링된 원본영상의 촬영시점에 해당하는 그리드 포인트 등의 영상패턴정보를 담는 제1가상모델(M1)을 생성하고 배치하는 단계(S131)와, 원본영상의 영상패턴정보를 변경하고자 하는 조관도(bird eye's view) 등의 가상촬영시점에 따라 변경시킬 원금감을 갖는 그리드 포인트 등의 영상패턴정보를 담는 제2가상모델(M2)을 생성하고 배치하는 단계(S132)와, 제1가상모델(M1)과 제2가상모델(M2) 간의 매칭쌍을 정의하는 단계(S133)로 구성될 수 있다.In addition, the third step (S130) is a step to transform the image by generating change state information of the image whose viewpoint has been changed from the current state information of the original image. Specifically, the grid point corresponding to the shooting point of the rendered original image. A step (S131) of creating and arranging a first virtual model (M1) containing image pattern information, and changing the image pattern information of the original image according to the virtual shooting time, such as a bird's eye view, etc. A step (S132) of creating and placing a second virtual model (M2) containing image pattern information such as grid points with a sense of principal to be desired, and a matching pair between the first virtual model (M1) and the second virtual model (M2). It may consist of a defining step (S133).
여기서, 가상모델의 생성패턴 또는 매칭쌍을 정의하는 방식은 사용목적, 사용자의 처리 목적에 따라 다르게 정의될 수 있다.Here, the method of defining the creation pattern or matching pair of the virtual model may be defined differently depending on the purpose of use and the user's processing purpose.
또한, 제4단계(S140)는, 구체적으로, 제1가상모델(M1)과 제2가상모델(M2)을 캔버스(C)와 가상카메라(121) 사이의 가상모델 배치공간에 배치하여, 제1가상모델(M1)과 제2가상모델(M2)의 3D 공간 상의 좌표(x,y,z)를 캔버스(C) 상의 2D 픽셀 좌표(u,v)로 각각 변환하는 단계(S141)와, 제1가상모델(M1)과 제2가상모델(M2)의 3D 모델 간의 위치 상관관계를 계산하는 단계(S142)와, 앞서 계산된 상관관계에 따라 캔버스(C) 상에 현실 배경의 원본영상을 이미지 랩핑하여 조관도 등의 가상촬영시점에 상응하는 증강현실기반의 가상영상을 생성하는 단계(S143)와, 가상영상 생성모듈(143)에 의해 생성되어 실제 사용자가 보게될 화면에 상응하는 가상영상을 디스플레이하여 제공하는 단계(S144)로 구성될 수 있다.In addition, in the fourth step (S140), specifically, the first virtual model (M1) and the second virtual model (M2) are placed in the virtual model arrangement space between the canvas (C) and the virtual camera 121, Converting the coordinates (x, y, z) in 3D space of the first virtual model (M1) and the second virtual model (M2) into 2D pixel coordinates (u, v) on the canvas (C) (S141), A step of calculating the positional correlation between the 3D models of the first virtual model (M1) and the second virtual model (M2) (S142), and the original image of the real background on the canvas (C) according to the previously calculated correlation. A step (S143) of wrapping the image to generate an augmented reality-based virtual image corresponding to the virtual shooting point of view such as Jo Gwan-do, and a virtual image generated by the virtual image creation module 143 and corresponding to the screen that the actual user will see. It may consist of a step (S144) of displaying and providing.
여기서, 단계(S141)는 다음의 [수학식 3]에 의해 캔버스(C) 상의 2D 픽셀 좌표(u,v)를 산출하여 변환하되,Here, step S141 calculates and transforms the 2D pixel coordinates (u, v) on the canvas (C) using the following [Equation 3],
여기서, (x0,y0,z0)는 제1가상모델(M1) 및 제2가상모델(M2)의 3D 공간 상의 좌표이며, (xc,yc,zc)는 가상카메라(121)의 좌표이고, d는 가상카메라(121)로부터 캔버스(C)로의 법선거리일 수 있다.Here, (x 0 , y 0 , z 0 ) are the coordinates in 3D space of the first virtual model (M1) and the second virtual model (M2), and (x c , y c , z c ) are the coordinates of the virtual camera 121 ), and d may be the normal distance from the virtual camera 121 to the canvas (C).
또한, 산출된 (u,v)값은 소수점 이하의 값을 갖는 경우 반올림하여 2D 픽셀 좌표(u,v)에 상응하는 정수로 변환하고, 가상카메라(121)의 시점에 따라 산출된 (u,v)값 중 어느 하나 이상이 음수일 수 있으므로 음수는 절대값으로 치환되어 2D 픽셀 좌표(u,v)로 활용되도록 할 수 있다.In addition, if the calculated (u, v) value has a value below the decimal point, it is rounded off and converted to an integer corresponding to the 2D pixel coordinates (u, v), and the calculated (u, v) value according to the viewpoint of the virtual camera 121 is converted to an integer. Since any one or more of the v) values may be negative, the negative number can be replaced with an absolute value and used as 2D pixel coordinates (u, v).
또한, 단계(S142)는 다음의 [수학식 4]에 정의된 좌표변환행렬에 의해 제1가상모델(M1)과 제2가상모델(M2)의 3D 모델 간의 위치 상관관계를 계산하되, 제1가상모델(M1)과 제2가상모델(M2) 간의 최소 6개 이상의 매칭쌍을 정의한다는 가정하에,In addition, step S142 calculates the position correlation between the 3D models of the first virtual model (M1) and the second virtual model (M2) by the coordinate transformation matrix defined in the following [Equation 4], where the first Under the assumption of defining at least 6 matching pairs between the virtual model (M1) and the second virtual model (M2),
여기서, (X,Y,Z)는 제1가상모델(M1)의 3D 공간 상의 좌표이며, (X',Y',Z')는 제2가상모델(M2)의 3D 공간 상의 좌표이고, R은 회전변환행렬이고, T는 위치변환행렬일 수 있다.Here, (X,Y,Z) are the coordinates in 3D space of the first virtual model (M1), (X',Y',Z') are the coordinates in 3D space of the second virtual model (M2), and R is a rotation transformation matrix, and T may be a position transformation matrix.
즉, 제1가상모델(M1)과 제2가상모델(M2) 간의 매칭쌍이 최소 6개 이상 정의되면, 6개의 방정식을 만들 수 있어서 (Rx,Ry,Rz)과 (Tx,Ty,Tz)의 6개의 미지수를 구하여 제1가상모델(M1)과 제2가상모델(M2)의 3D 모델 간의 위치 상관관계인 좌표변환행렬을 계산할 수 있다.In other words, if at least 6 matching pairs between the first virtual model (M1) and the second virtual model (M2) are defined, 6 equations can be created so that (R x ,R y ,R z ) and (T x ,T y , T z ), the six unknowns can be obtained to calculate the coordinate transformation matrix, which is the positional correlation between the 3D models of the first virtual model (M1) and the second virtual model (M2).
또한, 단계(S143)는, 앞서 계산된 상관관계인 좌표변환행렬을 적용하여, 캔버스(C) 상에 현실 배경의 원본영상을 이미지 랩핑하여서, 도 3 및 도 5에서와 같이 사용자가 보고자 하는 가상카메라(121)의 촬영시점에 해당하는 가상영상을 생성할 수 있다.In addition, step S143 applies the coordinate transformation matrix, which is the correlation calculated previously, to image wrap the original image of the real background on the canvas C, thereby creating a virtual camera that the user wants to view, as shown in FIGS. 3 and 5. A virtual image corresponding to the shooting point of (121) can be created.
한편, 본 발명의 또 다른 실시예는, 앞서 열거한 가상모델을 활용한 증강현실기반의 선박영상처리 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록매체를 제공한다.Meanwhile, another embodiment of the present invention provides a computer-readable recording medium on which a computer program for executing the augmented reality-based ship image processing method using the virtual model listed above is recorded on a computer.
따라서, 전술한 바와 같은 다양한 실시예에 따라, 현실 배경의 영상에 증강현실 기반의 가상모델을 매핑시켜 시점변경의 영상처리의 매개체로 활용하여서, 복합적인 환경적 오류 요소에 영향을 배제시킬 수 있으며, 사용자가 자유롭게 가상모델을 이용하여 환경을 변경하여 시점이 자유로운 선외 영상을 제공하도록 하고, 카메라의 설치환경에 제약을 받지 않고 설치 목적에 맞게 위치 선정이 가능하고, 시간대마다 변하는 주변 환경의 빛 반사에 의한 영상처리 성능저하를 극복할 수 있고, 영상의 특징을 찾는 알고리즘을 사용하지 않아 실시간 영상처리가 가능한 시스템을 구현할 수 있다.Therefore, according to various embodiments as described above, by mapping an augmented reality-based virtual model to an image of a real background and using it as a medium for image processing with a change in viewpoint, the influence of complex environmental error factors can be excluded. , the user can freely change the environment using the virtual model to provide outboard images with a free viewpoint, and the location can be selected according to the installation purpose without being restricted by the camera installation environment, and the light reflection of the surrounding environment changes at different times of the day. It is possible to overcome image processing performance degradation caused by , and implement a system capable of real-time image processing by not using an algorithm that finds image characteristics.
본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.The embodiments described in this specification and the configurations shown in the drawings are only one of the most preferred embodiments of the present invention and do not represent the entire technical idea of the present invention, so various equivalents may be substituted for them at the time of filing the present application. It should be understood that variations and variations may exist.
110 : 카메라
120 : 가상모델 환경 설정부
121 : 가상카메라
122 : 캔버스 생성모듈
123 : 렌더링모듈
124 : 카메라생성모듈
130 : 가상모델 생성부
131 : 제1가상모델 생성모듈
132 : 제2가상모델 생성모듈
133 : 매칭쌍 정의모듈
140 : 영상처리부
141 : 좌표변환모듈
142 : 상관관계 계산모듈
143 : 가상영상 생성모듈
144 : 디스플레이모듈
C : 캔버스
M1 : 제1가상모델
M2 : 제2가상모델110: Camera 120: Virtual model environment setting unit
121: Virtual camera 122: Canvas creation module
123: Rendering module 124: Camera creation module
130: Virtual model creation unit 131: First virtual model creation module
132: Second virtual model creation module 133: Matching pair definition module
140: Image processing unit 141: Coordinate conversion module
142: Correlation calculation module 143: Virtual image generation module
144: Display module C: Canvas
M1: 1st virtual model M2: 2nd virtual model
Claims (21)
가상 3D 공간 상에 캔버스와 가상카메라를 생성하여, 상기 원본영상을 렌더링하는 가상모델 환경을 설정하는, 가상모델 환경 설정부;
상기 렌더링된 원본영상에 해당하는 제1가상모델 및 영상을 변경할 제2가상모델을 생성하는, 가상모델 생성부; 및
상기 제1가상모델 및 상기 제2가상모델을 배치하여 상기 제1가상모델과 상기 제2가상모델의 3D 좌표를 상기 캔버스 상의 2D 좌표로 각각 변환하며, 상기 제1가상모델과 상기 제2가상모델 간의 상관관계를 계산하고, 상기 캔버스 상의 영상에 상기 상관관계를 적용하여 촬영시점이 변경된 가상영상을 생성하여 제공하는, 영상처리부;를 포함하는,
가상모델을 활용한 증강현실기반의 선박영상처리 시스템.A camera disposed in at least one specific area outside the ship to capture surrounding images in 2D and provide original images;
a virtual model environment setting unit that creates a canvas and a virtual camera in a virtual 3D space and sets a virtual model environment for rendering the original image;
a virtual model generator that generates a first virtual model corresponding to the rendered original image and a second virtual model to change the image; and
The first virtual model and the second virtual model are arranged to convert the 3D coordinates of the first virtual model and the second virtual model into 2D coordinates on the canvas, respectively, and the first virtual model and the second virtual model An image processing unit that calculates the correlation between the two and applies the correlation to the image on the canvas to generate and provide a virtual image with a changed shooting point.
Augmented reality-based ship image processing system using virtual models.
상기 카메라는 CCTV 카메라인 것을 특징으로 하는,
가상모델을 활용한 증강현실기반의 선박영상처리 시스템.According to claim 1,
Characterized in that the camera is a CCTV camera,
Augmented reality-based ship image processing system using virtual models.
상기 카메라는 선박의 레이더의 음영지역을 커버하도록, 선수, 선미, 좌현 및 우현 중 어느 하나 이상에 배치되어 촬영하는 것을 특징으로 하는,
가상모델을 활용한 증강현실기반의 선박영상처리 시스템.According to claim 1,
The camera is positioned on one or more of the bow, stern, port side, and starboard side to cover the shadow area of the ship's radar, and takes pictures.
Augmented reality-based ship image processing system using virtual models.
상기 가상모델 환경 설정부는,
가상 3D 공간 상에 상기 캔버스를 생성하는 캔버스 생성모듈,
상기 카메라에 의해 촬영된 원본영상을 상기 캔버스 상에 렌더링하는 렌더링모듈, 그리고
상기 캔버스를 촬영하는 가상카메라를 생성하는 카메라생성모듈을 포함하는 것을 특징으로 하는,
가상모델을 활용한 증강현실기반의 선박영상처리 시스템.According to claim 1,
The virtual model environment setting unit,
A canvas creation module that creates the canvas in a virtual 3D space,
A rendering module that renders the original image captured by the camera on the canvas, and
Characterized in that it includes a camera creation module that creates a virtual camera that photographs the canvas,
Augmented reality-based ship image processing system using virtual models.
상기 가상모델 생성부는,
상기 렌더링된 원본영상의 촬영시점에 해당하는 영상패턴정보를 담는 상기 제1가상모델을 생성하고 배치하는 제1가상모델 생성모듈,
상기 원본영상의 영상패턴정보를 변경하고자 하는 가상촬영시점에 따라 변경시킬 영상패턴정보를 담는 상기 제2가상모델을 생성하고 배치하는 제2가상모델 생성모듈, 그리고
상기 제1가상모델과 상기 제2가상모델 간의 매칭쌍을 정의하는 매칭쌍 정의모듈을 포함하는 것을 특징으로 하는,
가상모델을 활용한 증강현실기반의 선박영상처리 시스템.According to claim 1,
The virtual model creation unit,
A first virtual model creation module that generates and places the first virtual model containing image pattern information corresponding to the shooting point of the rendered original image,
A second virtual model creation module that creates and arranges the second virtual model containing image pattern information to be changed according to the virtual shooting time at which the image pattern information of the original image is to be changed, and
Characterized in that it includes a matching pair definition module that defines a matching pair between the first virtual model and the second virtual model,
Augmented reality-based ship image processing system using virtual models.
상기 영상처리부는,
상기 제1가상모델 및 상기 제2가상모델을 상기 캔버스와 상기 가상카메라 사이의 가상모델 배치공간에 배치하여, 상기 제1가상모델과 상기 제2가상모델의 3D 공간 상의 좌표(x,y,z)를 상기 캔버스 상의 2D 픽셀 좌표(u,v)로 각각 변환하는 좌표변환모듈,
상기 제1가상모델과 상기 제2가상모델의 3D 모델 간의 위치 상관관계를 계산하는 상관관계 계산모듈,
상기 위치 상관관계에 따라 상기 캔버스 상에 현실 배경의 원본영상을 이미지 랩핑하여 가상촬영시점에 상응하는 증강현실기반의 상기 가상영상을 생성하는 가상영상 생성모듈, 그리고
상기 가상영상 생성모듈에 의해 생성된 상기 가상영상을 디스플레이하여 제공하는 디스플레이모듈을 포함하는 것을 특징으로 하는,
가상모델을 활용한 증강현실기반의 선박영상처리 시스템.According to claim 1,
The image processing unit,
The first virtual model and the second virtual model are placed in a virtual model placement space between the canvas and the virtual camera, and the coordinates (x, y, z) in 3D space of the first virtual model and the second virtual model are ) a coordinate conversion module that respectively converts the 2D pixel coordinates (u, v) on the canvas,
A correlation calculation module that calculates a positional correlation between the 3D models of the first virtual model and the second virtual model,
A virtual image creation module that generates the augmented reality-based virtual image corresponding to the virtual shooting point by image wrapping the original image of the real background on the canvas according to the position correlation, and
Characterized in that it includes a display module that displays and provides the virtual image generated by the virtual image generation module,
Augmented reality-based ship image processing system using virtual models.
상기 좌표변환모듈은 다음의 [수학식 1]에 의해 상기 2D 픽셀 좌표(u,v)를 산출하되,
[수학식 1]
여기서, (x0,y0,z0)는 상기 제1가상모델 및 상기 제2가상모델의 3D 공간 상의 좌표이며, (xc,yc,zc)는 상기 가상카메라의 좌표이고, d는 상기 가상카메라로부터 상기 캔버스로의 법선거리인 것을 특징으로 하는,
가상모델을 활용한 증강현실기반의 선박영상처리 시스템.According to claim 6,
The coordinate conversion module calculates the 2D pixel coordinates (u, v) according to the following [Equation 1],
[Equation 1]
Here, (x 0 ,y 0 ,z 0 ) are the coordinates of the first virtual model and the second virtual model in 3D space, (x c ,y c ,z c ) are the coordinates of the virtual camera, and d Characterized in that is the normal distance from the virtual camera to the canvas,
Augmented reality-based ship image processing system using virtual models.
상기 산출된 (u,v)값은 절대값으로 치환되는 것을 특징으로 하는,
가상모델을 활용한 증강현실기반의 선박영상처리 시스템.According to claim 7,
Characterized in that the calculated (u, v) values are replaced with absolute values,
Augmented reality-based ship image processing system using virtual models.
상기 상관관계 계산모듈은 다음의 [수학식 2]에 정의된 좌표변환행렬에 의해 상기 제1가상모델과 상기 제2가상모델의 3D 모델 간의 위치 상관관계를 계산하되, 상기 제1가상모델과 상기 제2가상모델 간의 최소 6개 이상의 매칭쌍을 정의한다는 가정하에,
[수학식 2]
여기서, (X,Y,Z)는 상기 제1가상모델의 3D 공간 상의 좌표이며, (X',Y',Z')는 상기 제2가상모델의 3D 공간 상의 좌표이고, R은 회전변환행렬이고, T는 위치변환행렬인 것을 특징으로 하는,
가상모델을 활용한 증강현실기반의 선박영상처리 시스템.According to claim 6,
The correlation calculation module calculates the positional correlation between the 3D model of the first virtual model and the second virtual model using the coordinate transformation matrix defined in the following [Equation 2], wherein the first virtual model and the Under the assumption of defining at least 6 matching pairs between the second virtual models,
[Equation 2]
Here, (X, Y, Z) are the coordinates in 3D space of the first virtual model, (X', Y', Z') are the coordinates in 3D space of the second virtual model, and R is the rotation transformation matrix. , and T is a position transformation matrix,
Augmented reality-based ship image processing system using virtual models.
상기 가상영상 생성모듈은, 상기 좌표변환행렬을 적용하여, 상기 캔버스 상에 현실 배경의 원본영상을 이미지 랩핑하는 것을 특징으로 하는,
가상모델을 활용한 증강현실기반의 선박영상처리 시스템.According to clause 9,
The virtual image generation module is characterized in that the original image of the real background is image wrapped on the canvas by applying the coordinate transformation matrix,
Augmented reality-based ship image processing system using virtual models.
가상모델 환경 설정부에 의해, 가상 3D 공간 상에 캔버스와 가상카메라를 생성하여, 상기 원본영상을 렌더링하는 가상모델 환경을 설정하는 제2단계;
가상모델 생성부에 의해, 상기 렌더링된 원본영상에 해당하는 제1가상모델 및 영상을 변경할 제2가상모델을 생성하는 제3단계; 및
영상처리부에 의해, 상기 제1가상모델 및 상기 제2가상모델을 배치하여 상기 제1가상모델과 상기 제2가상모델의 3D 좌표를 상기 캔버스 상의 2D 좌표로 각각 변환하며, 상기 제1가상모델과 상기 제2가상모델 간의 상관관계를 계산하고, 상기 캔버스 상의 영상에 상기 상관관계를 적용하여 촬영시점이 변경된 가상영상을 생성하여 제공하는 제4단계;를 포함하는,
가상모델을 활용한 증강현실기반의 선박영상처리 방법.A first step of providing an original image by capturing surrounding images in 2D using a camera placed in at least one specific area outside the ship;
A second step of setting a virtual model environment for rendering the original image by creating a canvas and a virtual camera in a virtual 3D space by a virtual model environment setting unit;
A third step of generating, by a virtual model generator, a first virtual model corresponding to the rendered original image and a second virtual model to change the image; and
By the image processing unit, the first virtual model and the second virtual model are placed and the 3D coordinates of the first virtual model and the second virtual model are respectively converted to 2D coordinates on the canvas, and the first virtual model and A fourth step of calculating the correlation between the second virtual models and applying the correlation to the image on the canvas to generate and provide a virtual image with a changed shooting point.
Augmented reality-based ship image processing method using virtual models.
상기 카메라는 CCTV 카메라인 것을 특징으로 하는,
가상모델을 활용한 증강현실기반의 선박영상처리 방법.According to claim 11,
Characterized in that the camera is a CCTV camera,
Augmented reality-based ship image processing method using virtual models.
상기 카메라는 선박의 레이더의 음영지역을 커버하도록, 선수, 선미, 좌현 및 우현 중 어느 하나 이상에 배치되어 촬영하는 것을 특징으로 하는,
가상모델을 활용한 증강현실기반의 선박영상처리 방법.According to claim 11,
The camera is positioned on one or more of the bow, stern, port side, and starboard side to cover the shadow area of the ship's radar, and takes pictures.
Augmented reality-based ship image processing method using virtual models.
상기 제2단계는,
가상 3D 공간 상에 상기 캔버스를 생성하는 제2-1단계,
상기 카메라에 의해 촬영된 원본영상을 상기 캔버스 상에 렌더링하는 제2-2단계, 그리고
상기 캔버스를 촬영하는 가상카메라를 생성하는 제2-3단계를 포함하는 것을 특징으로 하는,
가상모델을 활용한 증강현실기반의 선박영상처리 방법.According to claim 11,
The second step is,
Step 2-1 of creating the canvas in virtual 3D space,
Step 2-2 of rendering the original image captured by the camera on the canvas, and
Characterized in that it includes steps 2 and 3 of creating a virtual camera to photograph the canvas,
Augmented reality-based ship image processing method using virtual models.
상기 제3단계는,
상기 렌더링된 원본영상의 촬영시점에 해당하는 영상패턴정보를 담는 상기 제1가상모델을 생성하고 배치하는 제3-1단계,
상기 원본영상의 영상패턴정보를 변경하고자 하는 가상촬영시점에 따라 변경시킬 영상패턴정보를 담는 상기 제2가상모델을 생성하고 배치하는 제3-2단계, 그리고
상기 제1가상모델과 상기 제2가상모델 간의 매칭쌍을 정의하는 제3-3단계를 포함하는 것을 특징으로 하는,
가상모델을 활용한 증강현실기반의 선박영상처리 방법.According to claim 11,
The third step is,
Step 3-1 of generating and placing the first virtual model containing image pattern information corresponding to the shooting point of the rendered original image,
Step 3-2 of creating and placing the second virtual model containing the image pattern information to be changed according to the virtual shooting time at which the image pattern information of the original image is to be changed, and
Characterized in that it includes step 3-3 of defining a matching pair between the first virtual model and the second virtual model,
Augmented reality-based ship image processing method using virtual models.
상기 제4단계는,
상기 제1가상모델 및 상기 제2가상모델을 상기 캔버스와 상기 가상카메라 사이의 가상모델 배치공간에 배치하여, 상기 제1가상모델과 상기 제2가상모델의 3D 공간 상의 좌표(x,y,z)를 상기 캔버스 상의 2D 픽셀 좌표(u,v)로 각각 변환하는 제4-1단계,
상기 제1가상모델과 상기 제2가상모델의 3D 모델 간의 위치 상관관계를 계산하는 제4-2단계,
상기 위치 상관관계에 따라 상기 캔버스 상에 현실 배경의 원본영상을 이미지 랩핑하여 가상촬영시점에 상응하는 증강현실기반의 가상영상을 생성하는 제4-3단계, 그리고
상기 영상처리부의 가상영상 생성모듈에 의해 생성된 가상영상을 디스플레이하여 제공하는 제4-4단계를 포함하는 것을 특징으로 하는,
가상모델을 활용한 증강현실기반의 선박영상처리 방법.According to claim 11,
The fourth step is,
The first virtual model and the second virtual model are placed in a virtual model placement space between the canvas and the virtual camera, and the coordinates (x, y, z) in 3D space of the first virtual model and the second virtual model are Step 4-1 of converting ) into 2D pixel coordinates (u, v) on the canvas, respectively,
Step 4-2 of calculating the positional correlation between the 3D model of the first virtual model and the second virtual model,
Step 4-3 of generating an augmented reality-based virtual image corresponding to the virtual shooting point by image wrapping the original image of the real background on the canvas according to the position correlation, and
Characterized in that it comprises a 4-4 step of displaying and providing a virtual image generated by the virtual image generation module of the image processing unit,
Augmented reality-based ship image processing method using virtual models.
상기 제4-1단계는, 다음의 [수학식 3]에 의해 상기 2D 픽셀 좌표(u,v)를 산출하되,
[수학식 3]
여기서, (x0,y0,z0)는 상기 제1가상모델 및 상기 제2가상모델의 3D 공간 상의 좌표이며, (xc,yc,zc)는 상기 가상카메라의 좌표이고, d는 상기 가상카메라로부터 상기 캔버스로의 법선거리인 것을 특징으로 하는,
가상모델을 활용한 증강현실기반의 선박영상처리 방법.According to claim 16,
In step 4-1, the 2D pixel coordinates (u, v) are calculated using the following [Equation 3],
[Equation 3]
Here, (x 0 ,y 0 ,z 0 ) are the coordinates of the first virtual model and the second virtual model in 3D space, (x c ,y c ,z c ) are the coordinates of the virtual camera, and d Characterized in that is the normal distance from the virtual camera to the canvas,
Augmented reality-based ship image processing method using virtual models.
상기 산출된 (u,v)값은 절대값으로 치환되는 것을 특징으로 하는,
가상모델을 활용한 증강현실기반의 선박영상처리 방법.According to claim 17,
Characterized in that the calculated (u, v) values are replaced with absolute values,
Augmented reality-based ship image processing method using virtual models.
상기 제4-2단계는, 다음의 [수학식 4]에 정의된 좌표변환행렬에 의해 상기 제1가상모델과 상기 제2가상모델의 3D 모델 간의 위치 상관관계를 계산하되, 상기 제1가상모델과 상기 제2가상모델 간의 최소 6개 이상의 매칭쌍을 정의한다는 가정하에,
[수학식 4]
여기서, (X,Y,Z)는 상기 제1가상모델의 3D 공간 상의 좌표이며, (X',Y',Z')는 상기 제2가상모델의 3D 공간 상의 좌표이고, R은 회전변환행렬이고, T는 위치변환행렬인 것을 특징으로 하는,
가상모델을 활용한 증강현실기반의 선박영상처리 방법.According to claim 16,
The step 4-2 calculates the positional correlation between the 3D model of the first virtual model and the second virtual model by the coordinate transformation matrix defined in the following [Equation 4], wherein the first virtual model Under the assumption that at least 6 matching pairs are defined between and the second virtual model,
[Equation 4]
Here, (X, Y, Z) are the coordinates in 3D space of the first virtual model, (X', Y', Z') are the coordinates in 3D space of the second virtual model, and R is the rotation transformation matrix. , and T is a position transformation matrix,
Augmented reality-based ship image processing method using virtual models.
상기 제4-3단계는, 상기 좌표변환행렬을 적용하여, 상기 캔버스 상에 현실 배경의 원본영상을 이미지 랩핑하는 것을 특징으로 하는,
가상모델을 활용한 증강현실기반의 선박영상처리 방법.According to claim 19,
The 4-3 step is characterized in that the original image of the real background is image wrapped on the canvas by applying the coordinate transformation matrix.
Augmented reality-based ship image processing method using virtual models.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220071057A KR20230170500A (en) | 2022-06-10 | 2022-06-10 | System for image processing of ship based on augmented reality by using virtual model, method of the same and computer-readable storage medium recorded with program for executing the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220071057A KR20230170500A (en) | 2022-06-10 | 2022-06-10 | System for image processing of ship based on augmented reality by using virtual model, method of the same and computer-readable storage medium recorded with program for executing the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230170500A true KR20230170500A (en) | 2023-12-19 |
Family
ID=89385667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220071057A KR20230170500A (en) | 2022-06-10 | 2022-06-10 | System for image processing of ship based on augmented reality by using virtual model, method of the same and computer-readable storage medium recorded with program for executing the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230170500A (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102225563B1 (en) | 2014-05-30 | 2021-03-08 | 매직 립, 인코포레이티드 | Methods and system for creating focal planes in virtual and augmented reality |
| KR20210054708A (en) | 2019-11-06 | 2021-05-14 | 삼성중공업 주식회사 | Apparatus and method for displaying around view nearby vessel |
-
2022
- 2022-06-10 KR KR1020220071057A patent/KR20230170500A/en unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102225563B1 (en) | 2014-05-30 | 2021-03-08 | 매직 립, 인코포레이티드 | Methods and system for creating focal planes in virtual and augmented reality |
| KR20210054708A (en) | 2019-11-06 | 2021-05-14 | 삼성중공업 주식회사 | Apparatus and method for displaying around view nearby vessel |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102451601B1 (en) | Systems and methods for external calibration of cameras and diffractive optical elements | |
| US7899270B2 (en) | Method and apparatus for providing panoramic view with geometric correction | |
| JP6764533B2 (en) | Calibration device, chart for calibration, chart pattern generator, and calibration method | |
| US8355565B1 (en) | Producing high quality depth maps | |
| US11663691B2 (en) | Method and apparatus for restoring image | |
| US7865013B2 (en) | System and method for registration of cubic fisheye hemispherical images | |
| CN111462172B (en) | Three-dimensional panoramic image self-adaptive generation method based on driving scene estimation | |
| US5898438A (en) | Texture mapping of photographic images to CAD surfaces | |
| CN113643414B (en) | Three-dimensional image generation method and device, electronic equipment and storage medium | |
| US20140300941A1 (en) | Method and apparatus for generating hologram based on multi-view image | |
| KR100834157B1 (en) | Method for Light Environment Reconstruction for Image Synthesis and Storage medium storing program therefor. | |
| US8031191B2 (en) | Apparatus and method for generating rendering data of images | |
| CN104994367A (en) | Image correcting method and camera | |
| KR101854612B1 (en) | Apparatus and Method for Exemplar-Based Image Inpainting for Spherical Panoramic Image | |
| US10154241B2 (en) | Depth map based perspective correction in digital photos | |
| JP5762015B2 (en) | Image processing apparatus, image processing method, and program | |
| CN113129346B (en) | Depth information acquisition method and device, electronic equipment and storage medium | |
| JP4751084B2 (en) | Mapping function generation method and apparatus, and composite video generation method and apparatus | |
| JP6575999B2 (en) | Lighting information acquisition device, lighting restoration device, and programs thereof | |
| Calantropio et al. | Image pre-processing strategies for enhancing photogrammetric 3D reconstruction of underwater shipwreck datasets | |
| JP6867645B2 (en) | Image processing equipment, methods, and programs | |
| EP0831423A2 (en) | Image processing method and apparatus | |
| KR20230170500A (en) | System for image processing of ship based on augmented reality by using virtual model, method of the same and computer-readable storage medium recorded with program for executing the same | |
| CN116503553A (en) | Three-dimensional reconstruction method and device based on binocular vision and diffusion model | |
| WO2021149509A1 (en) | Imaging device, imaging method, and program |