KR102625758B1 - System for simulating ocean data based on mixed reality or augmented or virtual reality - Google Patents

Abstract

본 발명은 5G 통신환경을 기초로 기계 학습을 통해 저장된 예측 모델에 따라 혼합 현실 또는 증강/가상 현실을 기반으로 해양 정보를 시뮬레이션 하는 해양 자료 시뮬레이션 시스템 및 이를 이용한 시뮬레이션 방법에 관한 것이다. 본 발명은 사용자가 콘텐츠를 선택하여 해양 데이터를 이용한 교육, 체험학습, 해양 관광지 탐색 및 해양 치유를 구현하고, 사용자가 선택 가능한 콘텐츠에 따라 콘텐츠를 디스플레이 하는 단말이 수행 가능한 동작을 예측할 수 있도록 한다. The present invention relates to a marine data simulation system and a simulation method using the same that simulates marine information based on mixed reality or augmented/virtual reality according to a prediction model stored through machine learning based on a 5G communication environment. The present invention enables users to select content to implement education, experiential learning, marine tourist attraction exploration, and marine healing using marine data, and to predict actions that can be performed by a terminal displaying content according to the content selectable by the user.

Description

해양 자료 시뮬레이션 시스템 및 이를 이용한 시뮬레이션 방법{SYSTEM FOR SIMULATING OCEAN DATA BASED ON MIXED REALITY OR AUGMENTED OR VIRTUAL REALITY}Ocean data simulation system and simulation method using the same {SYSTEM FOR SIMULATING OCEAN DATA BASED ON MIXED REALITY OR AUGMENTED OR VIRTUAL REALITY}

본 발명은 해양 자료 시뮬레이션 시스템 및 이를 이용한 시뮬레이션 방법에 관한 것으로, 더욱 상세하게는 혼합 현실 또는 증강/가상 현실을 기반으로 해양 정보를 시뮬레이션 하는 해양 자료 시뮬레이션 시스템 및 이를 이용한 시뮬레이션 방법에 관한 것이다. The present invention relates to a marine data simulation system and a simulation method using the same. More specifically, it relates to a marine data simulation system that simulates marine information based on mixed reality or augmented/virtual reality and a simulation method using the same.

이하에서 기술되는 내용은 본 발명의 실시예와 관련되는 배경 정보를 제공할 목적으로 기재된 것일 뿐이고, 기술되는 내용들이 당연하게 종래기술을 구성하는 것은 아니다. The content described below is merely for the purpose of providing background information related to embodiments of the present invention, and does not necessarily constitute prior art.

최근에 들어 미래 생존을 위해 해양자원 확보를 위한 무한경쟁을 펼치고 있으며, 첨단 해양과학기술의 급속한 발전에 따라 무한한 발전 가능성과 잠재력을 지닌 해양에 대한 중요성이 강조되고 있다. Recently, there has been endless competition to secure marine resources for future survival, and with the rapid development of cutting-edge marine science and technology, the importance of the ocean, which has infinite development potential and potential, is being emphasized.

특히 해양의 중요성은 인식하기 위해 해양에 대한 이해와 올바른 인식확립을 위한 체계적인 교육 및 체험학습이 필요 되고 있다. 이를 위해 VR·AR·MR 등 최신 IT 기술을 적용하여 학습자들이 집중하여 능동적인 학습을 할 수 있는 몰입형 교육 프로그램 등이 요구되고 있는 실정이다. In particular, in order to recognize the importance of the ocean, systematic education and experiential learning are needed to understand the ocean and establish correct awareness. To this end, there is a demand for immersive education programs that enable learners to focus and actively learn by applying the latest IT technologies such as VR, AR, and MR.

해양에 대한 교육 및 체험학습 이외에도 VR·AR·MR 등을 기반하여 해양 주변 관광지를 탐색 하거나 해양 영상을 통한 해양 치유를 구현할 수 있다. 즉, 사용자가 콘텐츠를 선택하여 해양 데이터를 이용한 교육, 체험학습, 해양 관광지 탐색 및 해양 치유를 구현하기 위한 기술이 요구되고 있다. In addition to education and experiential learning about the ocean, you can explore tourist attractions around the ocean or implement ocean healing through ocean images based on VR, AR, MR, etc. In other words, technology is required to enable users to select content and implement education, experiential learning, marine tourist attraction exploration, and marine healing using marine data.

다만, 상기 해양 데이터의 자료는 너무나 방대하여 적절하게 가공하여 연구자 또는 이용자 등에 제공되기는 어려운 바, 보다 직관적으로 해양 데이터를 가시화할 수 있는 방안이 요청된다.However, the marine data is so vast that it is difficult to properly process it and provide it to researchers or users, so a method to visualize the marine data more intuitively is required.

이와 같이 해양 정보를 VR·AR·MR 등 최신 IT 기술을 통해 해양 정보를 체험할 수 있는 기술의 구체적인 예로서, 공개특허 10-2021-0009179호의 '혼합현실(MR) 또는 증강/가상현실(AR/VR) 기반 해양 데이터 시뮬레이션 시스템' 에서는 해양 데이터를 사용자가 직관적으로 인식할 수 있도록 한다. As a specific example of a technology that allows users to experience marine information through the latest IT technologies such as VR, AR, and MR, 'Mixed Reality (MR)' or Augmented/Virtual Reality (AR) in Publication Patent No. 10-2021-0009179. /VR)-based marine data simulation system’ allows users to intuitively recognize marine data.

상기의 '혼합현실(MR) 또는 증강/가상현실(AR/VR) 기반 해양 데이터 시뮬레이션 시스템'은 해양 데이터를 사용자가 직관적으로 인식할 수 있도록 하고, 해양 데이터를 가시화하여 해양 관련 데이터 학습이 이루어질 수 있도록 하는 기술이 기재되어 있다. 그러나, 사용자가 콘텐츠를 선택하여 해양 데이터를 이용한 교육, 체험학습, 해양 관광지 탐색 및 해양 치유를 구현하기 위한 기술에 대해서는 구체적으로 개시되어 있지 않다. The above ‘Mixed Reality (MR) or Augmented/Virtual Reality (AR/VR)-based marine data simulation system’ allows users to intuitively recognize marine data and visualizes marine data to enable learning of marine-related data. The technology to enable this is described. However, there is no specific disclosure regarding technology for enabling users to select content and implement education, experiential learning, marine tourist attraction exploration, and marine healing using marine data.

따라서, 사용자가 콘텐츠를 선택하여 해양 데이터를 이용한 교육, 체험학습, 해양 관광지 탐색 및 해양 치유를 구현하고, 사용자가 선택 가능한 콘텐츠에 따라 콘텐츠를 디스플레이 하는 단말이 수행 가능한 동작을 예측하도록 할 수 있는 기술이 필요하다. Therefore, it is a technology that allows users to select content to implement education, experiential learning, marine tourist attraction exploration, and marine healing using marine data, and to predict actions that can be performed by a terminal that displays content according to the content that the user can select. This is needed.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.The above-mentioned background technology is technical information that the inventor possessed for deriving the present invention or acquired in the process of deriving the present invention, and cannot necessarily be said to be known art disclosed to the general public before filing the application for the present invention.

[선행기술문헌][Prior art literature]

[특허문헌][Patent Document]

선행기술 1: 한국 공개특허 10-2021-0009179 (2021.01.26. 공개)Prior Art 1: Korean Patent Publication 10-2021-0009179 (published on January 26, 2021)

본 발명의 일 과제는, 일 과제는 해양 데이터를 사용자가 직관적으로 인식할 수 있도록 하는데 있다. One object of the present invention is to enable users to intuitively recognize marine data.

또한, 본 발명의 또 다른 과제는 사용자가 콘텐츠를 선택하여 해양 데이터를 이용한 교육, 체험학습, 해양 관광지 탐색 및 해양 치유를 구현하도록 하는데 있다. In addition, another task of the present invention is to allow users to select content to implement education, experiential learning, marine tourist attraction exploration, and marine healing using marine data.

또한, 본 발명의 또 다른 과제는 사용자가 선택 가능한 콘텐츠에 따라 콘텐츠를 디스플레이 하는 단말이 수행 가능한 동작을 예측할 수 있도록 하는데 있다. In addition, another task of the present invention is to enable prediction of operations that can be performed by a terminal displaying content according to content selectable by the user.

본 발명의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.The object of the present invention is not limited to the problems mentioned above, and other objects and advantages of the present invention that are not mentioned can be understood through the following description and will be more clearly understood by examples of the present invention. It will also be appreciated that the objects and advantages of the present invention can be realized by means and combinations thereof as set forth in the claims.

본 발명의 실시 예에 따른 해양 자료 시뮬레이션 방법은, 항만, 해저 지형, 해안 주변의 환경 정보 및 수중 생물 정보 중 적어도 어느 하나를 포함하는 해양 정보를 수집하고, 수집된 상기 해양 정보를 기초로 상기 해양 정보와 관련된 해양 영역을 3D 모델로 생성한 뒤, 생성된 3D 모델을 디스플레이 하는 과정으로 수행될 수 있다. The marine data simulation method according to an embodiment of the present invention collects marine information including at least one of a port, seabed topography, environmental information around the coast, and aquatic life information, and based on the collected marine information, the marine data This can be done by creating a 3D model of the ocean area related to information and then displaying the generated 3D model.

이때, 생성된 3D 모델을 디스플레이 하는 과정에서 해양 영역을 교육, 관광 및 해양 치유 중 적어도 어느 하나의 테마에 기초하여 콘텐츠를 시청하는 사용자의 선택에 따라 상기 해양 정보를 디스플레이 하는 단말이 수행 가능한 예측 모델을 저장하고, 상기 콘텐츠 디스플레이 시, 상기 단말이 수행 가능한 동작을 실행하도록 상기 단말을 제어하는 과정을 통해 구현될 수 있다. At this time, in the process of displaying the generated 3D model, a prediction model that can be performed by the terminal that displays the ocean information according to the selection of the user who views the content based on at least one theme of education, tourism, and ocean healing in the ocean area It can be implemented through a process of storing and controlling the terminal to execute an operation that the terminal can perform when displaying the content.

구체적으로, 3D 모델을 생성할 때, 국립지리원에서 제공하는 상기 해양 영역의 GIS을 기반하고, 국립해양조사원에서 제공하는 전자해도의 정밀해저지형 수치정보를 XYZ 파일로 추출하고, 추출된 상기 XYZ 파일의 바운더리를 계산하여 임의의 격자 단위 파일로 재구성하여 3D 모델을 생성할 수 있다. Specifically, when creating a 3D model, it is based on the GIS of the marine area provided by the National Geographical Institute, the precise seafloor topographic numerical information of the electronic chart provided by the National Oceanographic Survey is extracted as an XYZ file, and the extracted XYZ file A 3D model can be created by calculating the boundaries and reconstructing it into an arbitrary grid unit file.

이때, 격자 단위 파일로 재구성하는 과정에서 상기 임의의 격자 단위 파일에서 상기 XYZ 파일에서 일정 간격으로 배치된 포인트(point)의 배치 간격, 해저 최저 수심 및 최대 수심 중 적어도 하나의 오차를 범위를 추정하고, 오차 범위가 추정된 상기 격자 단위 파일을 멀티포인트 데이터(Multi point Data)로 변환하고, 변환된 멀티포인트 데이터에 해저 지형 굴곡을 반영하여 지형(Terrain) 데이터를 생성하는 과정으로 구성될 수 있다. At this time, in the process of reconstructing into a grid unit file, the range of at least one error among the arrangement interval of points arranged at regular intervals in the XYZ file, the minimum seafloor depth, and the maximum water depth is estimated in the arbitrary grid unit file , It may consist of a process of converting the grid unit file with an estimated error range into multi-point data, and generating terrain data by reflecting the curvature of the seabed topography in the converted multi-point data.

또한, 3D 모델을 생성할 때, 수중 촬영 장비를 통해 수중 생물을 촬영하고, 촬영한 상기 수중 생물과 기 저장된 수중 생물 정보와 매칭한 뒤, 촬영한 상기 수중 생물과 기 저장된 상기 수중 생물 정보가 일치하는 경우, 상기 촬영한 상기 수중 생물을 기 저장된 상기 수중 생물 정보에 대응하는 실물과 대응되는 배율로 3D 모델링 하는 과정을 통해 이루어질 수 있다. In addition, when creating a 3D model, underwater creatures are photographed using underwater photography equipment, the photographed underwater creatures are matched with previously stored underwater creature information, and then the photographed aquatic creatures and the previously stored aquatic creature information match. In this case, it can be done through a process of 3D modeling the photographed underwater creature at a scale corresponding to the actual object corresponding to the previously stored underwater creature information.

생성된 3D 모델을 디스플레이 할 때, 상기 단말을 사용하는 사용자의 발화 언어 정보를 획득하고, 획득한 사용자의 발화 언어 정보에 따라 모델링 된 상기 해양 영역의 상기 해양 정보를 상기 사용자의 발화 언어 정보와 대응하는 언어로 출력하는 과정을 통해 디스플레이 할 수 있다.When displaying the generated 3D model, the speech language information of the user using the terminal is acquired, and the marine information of the ocean area modeled according to the acquired user's speech language information is corresponded to the user's speech language information. It can be displayed through the process of printing in the language you speak.

특히 사용자의 발화 언어 정보와 대응하는 언어로 출력하는 과정에서 사용자의 발화 언어 정보와 상기 단말을 통해 상기 콘텐츠 디스플레이 시, 상기 사용자 선택 언어 사이의 상관 관계를 학습하고, 학습된 상기 사용자 선택 언어와 상기 콘텐츠 사이의 상관 관계에 기초하여 상기 콘텐츠 디스플레이 시, 선택 가능한 상기 사용자 선택 언어를 저장한 뒤, 상기 사용자의 발화 언어가 감지되면, 저장된 상기 사용자 선택 언어를 상기 단말을 통해 실행하도록 상기 단말에 출력하도록 할 수 있다. In particular, in the process of outputting the language corresponding to the user's speech language information, the correlation between the user's speech language information and the user-selected language is learned when the content is displayed through the terminal, and the learned user-selected language and the Based on the correlation between contents, the user-selected language that can be selected is stored when the content is displayed, and then, when the user's speaking language is detected, the stored user-selected language is output to the terminal to be executed through the terminal. can do.

이때, 사용자 선택 언어 사이의 상관 관계를 학습할 때, 단말 사용 시점의 상기 사용자의 안면 이미지, 동공 이미지 중 적어도 어느 하나의 사용자 이미지, 상기 콘텐츠 제공 시 상기 사용자의 조절에 의해 변경되는 상기 사용자 선택 언어의 정보, 상기 단말에서 디스플레이 되는 콘텐츠의 종류 중 적어도 일부를 사용하여 단말을 사용하는 상기 사용자에 따라 상기 사용자 선택 언어를 예측할 수 있는 심층 신경망 모델을 생성하도록 한다. At this time, when learning the correlation between the user-selected language, at least one user image among the user's facial image and pupil image at the time of terminal use, and the user-selected language that is changed by the user's adjustment when providing the content information, at least some of the types of content displayed on the terminal are used to generate a deep neural network model that can predict the user-selected language according to the user using the terminal.

한편, 본 발명의 실시 예에 따르면, 기 저장된 기 저장된 안면 이미지에 대한 감정 정보에 기초하여 상기 단말 사용 시점 시, 상기 단말을 사용하는 상기 사용자의 안면 이미지 정보에 따른 상기 사용자 감정을 판단할 수 있으며, 생성된 3D 모델을 디스플레이 하는 과정에서 심층 신경망 모델에 의해 예측된 상기 사용자 감정에 기초하여 상기 단말에 디스플레이 되는 상기 콘텐츠의 종류를 선택하여 디스플레이 하도록 한다. Meanwhile, according to an embodiment of the present invention, at the time of use of the terminal, the user's emotion according to the facial image information of the user using the terminal can be determined based on the emotional information about the pre-stored facial image, , In the process of displaying the generated 3D model, the type of content displayed on the terminal is selected and displayed based on the user emotion predicted by the deep neural network model.

더욱이, 생성된 3D 모델을 디스플레이 할 때, 상기 해양 정보를 HMD(Head Mounted Display)로 전송하고, 상기 해양 정보를 상기 HMD 디스플레이 상에 MR(Mixed Reality) 또는 AR/VR 기반으로 디스플레이 하도록 구성될 수 있다. Furthermore, when displaying the generated 3D model, the ocean information can be transmitted to a Head Mounted Display (HMD) and the ocean information can be configured to display on the HMD display based on MR (Mixed Reality) or AR/VR. there is.

다르게는 생성된 3D 모델을 상기 단말에 설치된 어플리케이션을 통해 디스플레이 되도록 구현할 수도 있다. Alternatively, the generated 3D model may be displayed through an application installed on the terminal.

다르게는 생성된 3D 모델을 디스플레이 하기 위해 단말은 스마트 글래스(Smart Glass)를 포함할 수 있고, 상기 해양 정보를 상기 스마트 글래스의 디스플레이 상에 MR(Mixed Reality) 또는 AR/VR 기반으로 디스플레이 하도록 할 수 있다. Alternatively, the terminal may include smart glasses to display the generated 3D model, and the marine information may be displayed on the display of the smart glasses based on MR (Mixed Reality) or AR/VR. there is.

한편, 본 발명의 실시 예에 따른 해양 자료 시뮬레이션 시스템은, 항만, 해저 지형, 해안 주변의 환경 정보 및 수중 생물 정보 중 적어도 어느 하나를 포함하는 해양 정보를 수집하는 서버, 상기 서버와 통신 연결되며, 상기 해양 정보를 디스플레이 하거나, 상기 해양 정보를 외부 디스플레이로 제공하는 프로세서를 포함하는 단말을 포함하여 구성될 수 있다. Meanwhile, the marine data simulation system according to an embodiment of the present invention is connected to a server that collects marine information including at least one of ports, seabed topography, environmental information around the coast, and aquatic life information, and communicates with the server, It may be configured to include a terminal including a processor that displays the marine information or provides the marine information to an external display.

이때, 단말은 상기 해양 영역을 교육, 관광 및 해양 치유 중 적어도 어느 하나의 테마에 기초하여 콘텐츠를 시청하는 사용자의 선택에 따라 기 저장된 상기 해양 정보를 디스플레이 하는 단말이 수행 가능한 예측 모델을 기반하여 상기 콘텐츠 디스플레이 시, 상기 단말이 수행 가능한 동작이 실행되도록 상기 프로세스에 의해 제어될 수 있다. At this time, the terminal displays the previously stored marine information according to the selection of the user who views the marine area based on at least one theme of education, tourism, and marine healing, based on a prediction model that can be performed by the terminal. When displaying content, operations that can be performed by the terminal may be controlled by the process.

구체적으로 상기 단말은, 상기 단말을 사용하는 사용자의 발화 언어 정보를 획득하고, 획득한 획득한 사용자의 발화 언어 정보에 따라 모델링 된 상기 해양 영역의 상기 해양 정보를 상기 사용자의 발화 언어 정보와 대응하는 언어로 출력하도록 상기 프로세스에 의해 제어될 수 있다. Specifically, the terminal acquires speech language information of the user using the terminal, and sets the marine information of the ocean area modeled according to the acquired speech language information of the user to correspond to the user's speech language information. It can be controlled by the process to output language.

또한, 서버는 기 저장된 기 저장된 안면 이미지에 대한 감정 정보에 기초하여 상기 단말 사용 시점 시, 상기 단말을 사용하는 상기 사용자의 안면 이미지 정보에 따른 상기 사용자 감정을 판단할 수 있으며, 단말은 심층 신경망 모델에 의해 예측된 상기 사용자 감정에 기초하여 상기 단말에 디스플레이 되는 상기 콘텐츠의 종류를 선택하여 디스플레이 하도록 상기 프로세스에 의해 제어될 수 있다. In addition, the server may determine the user's emotion according to the facial image information of the user using the terminal at the time of use of the terminal based on the emotion information about the pre-stored facial image, and the terminal uses a deep neural network model. It can be controlled by the process to select and display the type of content displayed on the terminal based on the user emotion predicted by .

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features and advantages in addition to those described above will become apparent from the following drawings, claims and detailed description of the invention.

본 발명에 의하면, 특정 해양 지역 및 해저 지형을 3D 모델로 생성함에 따라 특정 지역의 특징을 VR, AR 등의 가상 모델을 통해 간접 체험이 가능해질 수 있다. According to the present invention, by creating a 3D model of a specific ocean area and seabed topography, it is possible to indirectly experience the characteristics of a specific area through virtual models such as VR and AR.

구체적으로, 특정 지역을 각종 테마(예: 산책지역, 관광지역, 명소지역 등)으로 분류하고, 부류된 특정 지역의 정보를 제공함으로써 특정 지역을 방문하기 전에 관광 정보를 먼저 체험할 수 있도록 한다. Specifically, specific areas are classified into various themes (e.g. walking areas, tourist areas, attraction areas, etc.) and information on specific areas is provided so that tourists can experience the tourist information before visiting a specific area.

또한, 특정 지역의 해저 생물 정보를 VR, AR 등의 가상 모델을 통해 확인할 수 있게 함으로써, 해양 생물 학습에 필요한 교육에 있어서, 보다 직접적인 해양 생물 체험을 제공할 수 있게 된다. In addition, by allowing information on undersea life in a specific area to be confirmed through virtual models such as VR and AR, it is possible to provide a more direct experience of marine life in the education required to learn marine life.

이로써, 언택트(Untac) 시대를 맞이하여 체험학습이 이루어져야 하는 시점에서 체험 학습을 가능케 하도록 함으로써 해양 교육의 효율성 및 접근성을 향상시킬 수 있게 된다. As a result, it is possible to improve the efficiency and accessibility of marine education by enabling experiential learning at a time when experiential learning should occur in the era of untact.

또한, 해안 연안의 기상, 해상 상태(예: 파랑) 등을 확인할 수 있게 되므로, 해양 연안의 상태를 모니터링 할 수 있게 된다. 즉, 해양 연안을 예보하도록 하여 안전 사고를 미연에 방지할 수 있는 효과가 있다. In addition, since it is possible to check the weather and sea conditions (e.g. waves) of the coastal area, it is possible to monitor the condition of the coastal area. In other words, there is an effect of preventing safety accidents in advance by predicting the ocean coast.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 본 발명의 실시 예에 따른 단말, 서버 및 이들을 서로 연결하는 네트워크를 포함하는 해양 자료 시뮬레이션 환경의 예시도이다.
도 2는 본 발명의 실시 예에 따른 단말의 개략적인 블록도이다.
도 3은 본 발명의 실시 예에 따른 서버의 개략적인 블록도이다.
도 4는 본 발명의 실시 예에 따른 해양 자료 시뮬레이션 방법을 도시한 개략적인 흐름도이다.
도 5는 본 발명의 실시 예에 따른 해양 자료 시뮬레이션 플랫폼을 도시한 도면이다.
도 6은 본 발명의 실시 예에 따른 해양 자료 시뮬레이션을 실행하기 위한 3D 모델 개발을 개략적으로 설명한 도면이다. Figure 1 is an exemplary diagram of an ocean data simulation environment including a terminal, a server, and a network connecting them to each other according to an embodiment of the present invention.
Figure 2 is a schematic block diagram of a terminal according to an embodiment of the present invention.
Figure 3 is a schematic block diagram of a server according to an embodiment of the present invention.
Figure 4 is a schematic flowchart showing a method for simulating ocean data according to an embodiment of the present invention.
Figure 5 is a diagram illustrating a marine data simulation platform according to an embodiment of the present invention.
Figure 6 is a diagram schematically explaining the development of a 3D model for executing ocean data simulation according to an embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예들에 한정되지 않는다. 이하 실시 예에서는 본 발명을 명확하게 설명하기 위해서 설명과 직접적인 관계가 없는 부분을 생략하지만, 본 발명의 사상이 적용된 장치 또는 시스템을 구현함에 있어서, 이와 같이 생략된 구성이 불필요함을 의미하는 것은 아니다. 아울러, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조번호를 사용한다.Hereinafter, the present invention will be described in more detail with reference to the drawings. The present invention may be implemented in many different forms and is not limited to the embodiments described herein. In the following embodiments, parts that are not directly related to the description are omitted in order to clearly explain the present invention, but this does not mean that such omitted elements are unnecessary when implementing a device or system to which the spirit of the present invention is applied. . In addition, the same reference numbers are used for identical or similar components throughout the specification.

이하의 설명에서 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 되며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 또한, 이하의 설명에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. In the following description, terms such as first, second, etc. may be used to describe various components, but the components should not be limited by the terms, and the terms may be used to separate one component from another component. It is used only for distinguishing purposes. Additionally, in the following description, singular expressions include plural expressions, unless the context clearly indicates otherwise.

이하의 설명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. In the following description, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are intended to indicate the presence of one or more other It should be understood that this does not exclude in advance the possibility of the presence or addition of features, numbers, steps, operations, components, parts, or combinations thereof.

이하 도면을 참고하여 본 발명의 스마트 조명에 관하여 자세히 살펴보기로 한다. Let us take a closer look at the smart lighting of the present invention with reference to the drawings below.

도 1은 본 발명의 실시 예에 따른 단말, 서버 및 이들을 서로 연결하는 네트워크를 포함하는 해양 자료 시뮬레이션 환경의 예시도이다. Figure 1 is an exemplary diagram of an ocean data simulation environment including a terminal, a server, and a network connecting them to each other according to an embodiment of the present invention.

도 1을 참고하면, 해양 자료 시뮬레이션 환경을 구현하는 해양 자료 시뮬레이션 시스템(10)은 단말(100) 및 서버(200)가 네트워크(300)에 의해 서로 통신 연결될 수 있다. 단말(100)과 서버(200)는 별도의 통신부(110, 210_도 2 및 도 3 참고)를 포함하고 있어서, 유선 또는 무선 네트워크(300)를 통해 사용자가 선택한 콘텐츠를 단말(100)에서 디스플레이 되도록 할 수 있다. Referring to FIG. 1, in the marine data simulation system 10 that implements a marine data simulation environment, a terminal 100 and a server 200 may be connected to each other through a network 300. The terminal 100 and the server 200 include separate communication units 110 and 210 (see FIGS. 2 and 3), so that the content selected by the user is displayed on the terminal 100 through a wired or wireless network 300. It can be done as much as possible.

구체적으로 해양 자료를 시뮬레이션 하는 시스템(10)은 MR(Mixed Reality) 서비스 및/또는 AR(Augmented Reality)/VR(Virtual Reality)을 통해 콘텐츠를 제공하도록 구성된다. Specifically, the system 10 for simulating marine data is configured to provide content through MR (Mixed Reality) services and/or AR (Augmented Reality)/VR (Virtual Reality).

여기서, MR이란 현실 세계에 가상 현실이 접목되어 현실의 물리적 객체와 가상 객체가 상호 작용할 수 있는 환경을 말한다. MR은 현실을 기반으로 가상 정보를 부가하는 증강 현실(AR, Augmented Reality)과 가상 환경에 현실 정보를 부가하는 증강 가상(AV, Augmented Virtuality)의 의미를 포함할 수 있다. 즉, 현실과 가상이 자연스럽게 연결된 스마트 환경을 제공할 수 있다.Here, MR refers to an environment where virtual reality is combined with the real world and physical objects of reality and virtual objects can interact. MR may include augmented reality (AR), which adds virtual information based on reality, and augmented virtuality (AV), which adds real information to a virtual environment. In other words, it can provide a smart environment where reality and virtuality are naturally connected.

또한, VR이란 어떤 특정 환경이나 상황을 컴퓨터로 만들어서 그것을 사용하는 사람이 마치 실제 주변 상황, 환경과 상호 작용을 하고 있는 것처럼 만들어 주는 인간 및 컴퓨터 간의 인터페이스를 말한다.In addition, VR refers to an interface between humans and computers that creates a specific environment or situation on a computer and makes the person using it as if they are interacting with the actual surrounding situation or environment.

추가적으로 AR이란 가상 현실(VR)이 아닌 현실세계 기반으로 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보이는 증강 현실 기술을 말한다.Additionally, AR refers to an augmented reality technology that appears as a single image by overlapping 3D virtual images based on the real world rather than virtual reality (VR).

여기서 해양 자료를 시뮬레이션 하기 위한 시스템(10)은 서버(200)로 제공되는 해양 정보는, 해양에 관련된 데이터 및 기상 데이터 등과, 해안 지리 정보, 수중 생물 정보 등을 포함할 수 있다. 이러한 해양 정보는 국립지리원에서 제공하는 상기 해양 영역의 GIS를 기반하여 추출할 수 있다. 다만, 본 명세서 상에 기재되지 않더라도 해양에 관련된 해안 및 수중 정보는 상기 해양 정보에 포함되도록 구현될 수 있다. Here, in the system 10 for simulating ocean data, the ocean information provided to the server 200 may include ocean-related data and meteorological data, coastal geographic information, aquatic life information, etc. This ocean information can be extracted based on the GIS of the ocean area provided by the National Geographic Institute. However, even if not described in this specification, coastal and underwater information related to the ocean may be implemented to be included in the ocean information.

단말(100)은 해양 정보와 관련된 해양 영역을 교육, 관광 및 해양 치유 중 적어도 어느 하나의 테마에 기초하여 콘텐츠를 시청하는 사용자의 선택에 따라 해양 정보를 디스플레이 하는 구성이다. The terminal 100 is configured to display marine information according to the selection of a user who views content based on at least one theme of education, tourism, and marine healing in the marine area related to marine information.

구체적으로 단말(100)은 해양 정보를 MR(Mixed Reality) 또는 AR/VR 기반으로 디스플레이 할 수 있는 HMD 디스플레이 (100A), 어느 하나의 어플리케이션을 통해 디스플레이 하도록 휴대 단말기(100B), 안경 형태로 VR 영상을 제공하는 스마트 글래스(100C) 중 어느 하나일 수 있다. Specifically, the terminal 100 includes an HMD display (100A) that can display marine information based on MR (Mixed Reality) or AR/VR, a mobile terminal (100B) that displays marine information through one application, and a VR image in the form of glasses. It may be any one of the smart glasses (100C) that provide.

이러한 단말(100)을 통해 해양 정보가 MR(Mixed Reality) 서비스 및/또는 AR(Augmented Reality)/VR(Virtual Reality)을 통해 디스플레이 됨으로써, 사실적인 몰입기술을 바탕으로 해양 정보를 몰입감 있는 체험이 가능해질 수 있다. 즉, 현실공간을 모사하여 사실적인 체험을 할 수 있을 뿐만 아니라, 해저와 같이 물리세계에서도 쉽게 경험할 수 없는 기회를 실감으로 체험할 수 있게 된다. 또한, AR 기술을 기반으로 실제 공간에 가상객체와 정보를 증강하여, 사용자가 보고 있는 환경에 가상 정보를 추가해서 제공함으로써, 사용자들이 직관적으로 정보를 습득하고 학습할 수 있게 된다. 더욱이, 휴대 단말기와 같이 사용자가 보유한 다양한 디바이스를 지원하여 누구나 쉽게 참여 및 체험할 수 있도록 범용성이 향상될 수도 있다. Through this terminal 100, marine information is displayed through MR (Mixed Reality) services and/or AR (Augmented Reality)/VR (Virtual Reality), enabling an immersive experience of marine information based on realistic immersion technology. It can happen. In other words, not only can you have a realistic experience by replicating real space, but you can also realistically experience opportunities that cannot be easily experienced in the physical world, such as the ocean floor. In addition, based on AR technology, virtual objects and information are augmented in the real space, and virtual information is added to the environment the user is viewing, allowing users to acquire and learn information intuitively. Moreover, by supporting various devices owned by users, such as mobile terminals, versatility may be improved so that anyone can easily participate and experience.

서버(200)는 각종 인공지능 알고리즘을 적용하는데 필요한 빅 데이터 및 해양 정보를 제공하는 데이터베이스 서버일 수 있다. 그 밖에 서버(200)는 단말(100)에 설치된 어플리케이션 또는 웹 브라우저를 이용하여 사용자가 음성, 터치 등으로 제어할 수 있는 웹서버 또는 어플리케이션 서버를 포함할 수도 있다. The server 200 may be a database server that provides big data and marine information necessary for applying various artificial intelligence algorithms. In addition, the server 200 may include a web server or an application server that the user can control with voice, touch, etc. using an application installed on the terminal 100 or a web browser.

여기서 인공 지능(artificial intelligence, AI)은, 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미할 수 있다. Here, artificial intelligence (AI) is a field of computer science and information technology that studies ways to enable computers to do the thinking, learning, and self-development that can be done with human intelligence. This may mean enabling the imitation of intelligent behavior.

또한, 인공지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접으로 많은 관련을 맺고 있다. 특히 현대에는 정보기술의 여러 분야에서 인공지능적 요소를 도입하여, 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.Additionally, artificial intelligence does not exist by itself, but is directly or indirectly related to other fields of computer science. In particular, in modern times, attempts are being made very actively to introduce artificial intelligence elements in various fields of information technology and use them to solve problems in those fields.

머신 러닝(machine learning)은 인공지능의 한 분야로, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 연구 분야를 포함할 수 있다. 구체적으로 머신 러닝은, 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이라 할 수 있다. 머신 러닝의 알고리즘들은 엄격하게 정해진 정적인 프로그램 명령들을 수행하는 것이라기보다, 입력 데이터를 기반으로 예측이나 결정을 이끌어내기 위해 특정한 모델을 구축하는 방식을 취할 수 있다.Machine learning is a branch of artificial intelligence that may include the field of study that gives computers the ability to learn without being explicitly programmed. Specifically, machine learning can be said to be a technology that studies and builds systems and algorithms that learn, make predictions, and improve their own performance based on empirical data. Rather than executing strictly fixed, static program instructions, machine learning algorithms can build a specific model to make predictions or decisions based on input data.

서버(200)는 단말(100)에서 보여지는 해양 정보를 선택하기 위한 명령을 수신하고, 수신된 명령에 대응하여 단말(100)이 수행할 수 있는 동작을 예측할 수 있다. 여기서 단말(100)이 수행할 수 있는 동작은 예를 들어 보여지는 콘텐츠의 종류(예: 관광지, 수중 생물, 해양 연안 기상 정보 등의 해양 정보 디스플레이 )를 선택하는 것을 의미할 수 있다. The server 200 may receive a command to select marine information displayed on the terminal 100 and predict an operation that the terminal 100 can perform in response to the received command. Here, the operation that the terminal 100 can perform may mean, for example, selecting the type of content to be displayed (e.g., marine information display such as tourist attractions, underwater life, marine coastal weather information, etc.).

네트워크(300)는 단말(100)과 서버(200)를 연결하는 역할을 수행할 수도 있다. 이를 위해, 네트워크(300)는 예컨대 LANs(local area networks), WANs(wide area networks), MANs(metropolitan area networks), ISDNs(integrated service digital networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 포함할 수 있다. 또한, 네트워크(300)는 근거리 통신 및/또는 원거리 통신을 이용하여 정보를 송수신할 수 있다. 여기서 근거리 통신은 블루투스(bluetooth), RFID(radio frequency identification), 적외선 통신(IrDA, infrared data association), UWB(ultra-wideband), ZigBee, Wi-Fi (wireless fidelity) 기술을 포함할 수 있고, 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술을 포함할 수 있다.The network 300 may serve to connect the terminal 100 and the server 200. To this end, the network 300 may be, for example, a wired network such as local area networks (LANs), wide area networks (WANs), metropolitan area networks (MANs), or integrated service digital networks (ISDNs), or wireless LANs, CDMA, Bluetooth, It may include wireless networks such as satellite communications. Additionally, the network 300 may transmit and receive information using short-range communication and/or long-distance communication. Here, short-range communication may include Bluetooth, RFID (radio frequency identification), infrared communication (IrDA, infrared data association), UWB (ultra-wideband), ZigBee, and Wi-Fi (wireless fidelity) technology, and long-distance communication may include Communications may include code division multiple access (CDMA), frequency division multiple access (FDMA), time division multiple access (TDMA), orthogonal frequency division multiple access (OFDMA), and single carrier frequency division multiple access (SC-FDMA) technologies. You can.

더욱이 네트워크(300)는 허브, 브리지, 라우터, 스위치 및 게이트 웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 구체적으로 네트워크(300)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 서버(200)에서의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다. 더 나아가 네트워크(300)는 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 IoT(Internet of Things, 사물인터넷) 망 및/또는 5G 통신을 지원할 수 있다.Furthermore, network 300 may include connections of network elements such as hubs, bridges, routers, switches, and gateways. Specifically, network 300 may include one or more connected networks, including public networks such as the Internet and private networks such as secure corporate private networks, for example, a multi-network environment. Access to server 200 may be provided through one or more wired or wireless access networks. Furthermore, the network 300 may support an IoT (Internet of Things) network and/or 5G communication that exchanges and processes information between distributed components such as objects.

구체적으로, 단말(100)과 서버(200)는 해양 정보를 송, 수신하기 위해 5G 환경에서 빅데이터, 인공지능(artificial intelligence, AI) 알고리즘 및/또는 기계학습(machine learning) 알고리즘을 이용하여 해양 정보 송신 및 수신 방식을 결정할 수 있다. Specifically, the terminal 100 and the server 200 use big data, artificial intelligence (AI) algorithms, and/or machine learning algorithms in a 5G environment to transmit and receive marine information. You can decide how to send and receive information.

예를 들어, 단말(100)은 5G 네트워크를 통해 서버(200)와 데이터를 전송하고 수신할 수 있다. 특히 단말(100)은 5G 네트워크를 통해 모바일 브로드밴드(Enhanced Mobile Broadband, eMBB), URLLC(Ultra-reliable and low latency communications) 및 mMTC(Massive Machine-type communications) 중에서 적어도 하나의 서비스를 이용하여 서버(200)와 데이터 통신할 수 있다. For example, the terminal 100 can transmit and receive data with the server 200 through a 5G network. In particular, the terminal 100 uses at least one service among mobile broadband (Enhanced Mobile Broadband, eMBB), URLLC (Ultra-reliable and low latency communications), and mMTC (Massive Machine-type communications) through a 5G network to connect to the server (200). ) can communicate with data.

여기서, eMBB(Enhanced Mobile Broadband)는 모바일 브로드밴드 서비스로, 이를 통해 멀티미디어 콘텐츠, 무선데이터 액세스 등이 제공된다. 또한, 폭발적으로 증가하고 있는 모바일 트래픽을 수용하기 위한 핫스팟 (hot spot)과 광대역 커버리지 등 보다 향상된 모바일 서비스가 eMBB를 통해 제공될 수 있다. 핫스팟을 통해 화자 이동성이 작고 밀도가 높은 지역으로 대용량 트래픽이 수용될 수 있다. 광대역 커버리지를 통해 넓고 안정적인 무선 환경과 화자 이동성이 보장될 수 있다.Here, eMBB (Enhanced Mobile Broadband) is a mobile broadband service, through which multimedia content, wireless data access, etc. are provided. In addition, more improved mobile services such as hot spots and broadband coverage to accommodate the explosively increasing mobile traffic can be provided through eMBB. Hotspots allow large volumes of traffic to be accommodated in areas with low speaker mobility and high density. Broadband coverage can ensure a wide and stable wireless environment and speaker mobility.

URLLC(Ultra-reliable and low latency communications) 서비스는 데이터 송수신의 신뢰성과 전송 지연 측면에서 기존 LTE 보다 훨씬 엄격한 요구사항을 정의하고 있으며, 산업 현장의 생산 프로세스 자동화, 원격 진료, 원격 수술, 운송, 안전 등을 위한 5G 서비스가 여기에 해당한다.URLLC (Ultra-reliable and low latency communications) service defines requirements that are much stricter than existing LTE in terms of reliability and transmission delay of data transmission and reception, and includes automation of production processes in industrial sites, telemedicine, remote surgery, transportation, safety, etc. This includes 5G services for .

mMTC(Massive Machine-type communications)는 비교적 작은 양의 데이터 전송이 요구되는 전송지연에 민감하지 않은 서비스이다. 센서 등과 같이 일반 휴대폰 보다 훨씬 더 많은 수의 단말들이 동시에 무선액세스 네트워크에 mMTC에 의해 접속할 수 있다. 이 경우, 단말의 통신모듈 가격은 저렴해야 하고, 배터리 교체나 재충전 없이 수년 동안 동작할 수 있도록 향상된 전력 효율 및 전력 절감 기술이 요구된다.Massive Machine-type communications (mMTC) is a service that is not sensitive to transmission delays and requires transmission of relatively small amounts of data. A much larger number of terminals, such as sensors, than ordinary mobile phones, can simultaneously access the wireless access network through mMTC. In this case, the price of the terminal's communication module must be low, and improved power efficiency and power saving technology are required to enable it to operate for several years without battery replacement or recharging.

단말(100)은 서버(200)를 통해 수집한 해양 정보를 3D 모델로 디스플레이 할 수 있는 구성이다. 이러한 단말(100)과 서버(200)를 도 2 및 도 3을 통해 구체적으로 살펴보기로 한다. The terminal 100 is configured to display marine information collected through the server 200 as a 3D model. Let's look at this terminal 100 and server 200 in detail through FIGS. 2 and 3.

도 2는 본 발명의 실시 예에 따른 단말의 개략적인 블록도이고, 도 3은 본 발명의 실시 예에 따른 서버의 개략적인 블록도이며, 도 4는 본 발명의 실시 예에 따른 해양 자료 시뮬레이션 방법을 도시한 개략적인 흐름도이다. 이하의 설명에서 도 1에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.Figure 2 is a schematic block diagram of a terminal according to an embodiment of the present invention, Figure 3 is a schematic block diagram of a server according to an embodiment of the present invention, and Figure 4 is a marine data simulation method according to an embodiment of the present invention. This is a schematic flow chart showing. In the following description, parts that overlap with the description of FIG. 1 will be omitted.

도 2 및 도 3을 참고하면, 단말(100)은 통신부(110), 수집부(120), 추출부(130), 생성부(140), 분석부(150), 학습부(160), 예측부(170), 메모리(180) 및 프로세서(190)를 포함하여 구성될 수 있다. Referring to Figures 2 and 3, the terminal 100 includes a communication unit 110, a collection unit 120, an extraction unit 130, a generation unit 140, an analysis unit 150, a learning unit 160, and a prediction unit. It may be configured to include a unit 170, a memory 180, and a processor 190.

통신부(110)는 사용자가 선택한 콘텐츠를 서버(200)에서 수신 받고, 수신 받은 콘텐츠를 디스플레이 하기 위해 서버(200)와 통신 연결될 수 있다.The communication unit 110 may be connected to the server 200 to receive content selected by the user and display the received content.

또한, 통신부(110)는 단말(100)을 조작하는 사용자의 콘텐츠 디스플레이 요청 신호를 수신하는 역할을 할 수 있고, 사용자가 발화한 음성을 처리하여 서버(200)로 전송하는 역할을 수행할 수도 있다. 나아가 통신부(110)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다. 본 실시 예에서 다른 전자기기라 함은, 해양 정보를 수신하고 가공하는 장치일 수 있다. Additionally, the communication unit 110 may serve to receive a content display request signal from a user operating the terminal 100, and may also serve to process the voice uttered by the user and transmit it to the server 200. . Furthermore, the communication unit 110 may be a device that includes hardware and software necessary to transmit and receive signals such as control signals or data signals through wired or wireless connections with other network devices. In this embodiment, other electronic devices may be devices that receive and process marine information.

수집부(120)는 해양 정보를 수집하는 구성이다(단계 S110). 예를 들어 수집부(120)는 해양 수중 생물을 촬영할 수 있는 장치일 수 있다. 구체적으로 수집부(120)는 수중에서 촬영 가능한 디지털 사진기, 광학/생물 현미경, 전자현미경 중 어느 하나 일 수 있다. The collection unit 120 is configured to collect marine information (step S110). For example, the collection unit 120 may be a device that can photograph underwater marine life. Specifically, the collection unit 120 may be any one of a digital camera, an optical/biological microscope, and an electron microscope capable of taking pictures underwater.

또한, 수집부(120)는 해양 연안의 기상, 해양의 파랑 정보, 해양 항만 시설 정보 등을 수집할 수도 있다. 해양 기상, 해양의 파랑 정보, 해양 항만 시설 정보 등은 예컨대, 인공위성, 해양관측망, 위성영상, 항공사진 및 해양관측선 등을 통해 해양 및 대지에서 관측 및 조사를 통해 수집할 수 있다. Additionally, the collection unit 120 may collect coastal weather, ocean wave information, and ocean port facility information. Marine weather, ocean wave information, marine port facility information, etc. can be collected through observation and investigation in the ocean and land through, for example, artificial satellites, ocean observation networks, satellite images, aerial photographs, and ocean observation ships.

추출부(130)는 수집부(120)에서 촬영한 수중 생물 사진을 서버(200)에 저장된 생물 정보에서 추출하는 구성이다. 구체적으로 촬영한 수중 생물 이미지나 영상에서 수중 생물의 색상, 크기, 구조적 특징 등을 기초로 기 저장된 수중 생물 정보에서 촬영한 수중 생물의 정보를 추출할 수 있도록 한다. 이를 위해 서버(200)는 3D 모델로 디스플레이 하는 해양 내 생물 정보를 저장하는 것이 바람직할 것이다. The extraction unit 130 is configured to extract photos of underwater creatures taken by the collection unit 120 from biological information stored in the server 200. Specifically, it allows information on captured underwater creatures to be extracted from previously stored underwater creature information based on the color, size, and structural characteristics of the underwater creatures in the captured underwater creature images or videos. To this end, it would be desirable for the server 200 to store information on marine organisms displayed as a 3D model.

추출부(130)에서 촬영한 수중 생물 정보를 추출하면, 생성부(140)를 통해 추출한 수중 생물을 기 저장된 수중 생물 정보에 대응하는 실물과 대응하는 배율로 3D 모델링 할 수 있다(단계 S120). When the underwater organism information captured by the extraction unit 130 is extracted, the underwater organism extracted through the creation unit 140 can be 3D modeled at a scale corresponding to the actual object corresponding to the previously stored underwater organism information (step S120).

또한, 추출부(130)는 수집부(120)에서 수집한 해양 기상 정보, 해양 항만 정보 등을 이용하여 해양 연안을 3D 모델링 할 수도 있다. Additionally, the extraction unit 130 may 3D model the ocean coast using marine weather information, marine port information, etc. collected by the collection unit 120.

구체적으로, 도 5 및 도 6에 도시된 바와 같이 생성부(140)는 국립지리원에서 제공하는 해양 영역의 IS을 기반하고, 국립해양조사원에서 제공하는 전자해도의 정밀해저지형 수치정보를 XYZ 파일로 추출할 수 있다. 예를 들어 GIS를 기반하여 특정 지역(예: 부산)의 3D 지형 모델을 추출한다. 지형 모델 추출 시, 특정 지역의 DEM과 건물 고도의 결과값이 입력된 Raster 파일을 사용할 수 있으며, 일반적인 폴리곤 파일이나 DEM 등을 이용하여 3D 모델로 표현할 수 있다. Specifically, as shown in FIGS. 5 and 6, the generator 140 is based on the IS of the ocean area provided by the National Geographical Institute, and converts the precise seafloor topography numerical information of the electronic chart provided by the National Oceanographic Survey into an XYZ file. It can be extracted. For example, a 3D terrain model of a specific region (e.g. Busan) is extracted based on GIS. When extracting a terrain model, you can use a Raster file containing the DEM of a specific area and the results of the building elevation, and it can be expressed as a 3D model using a general polygon file or DEM.

추출된 XYZ 파일은 파일의 바운더리를 계산하여 임의의 격자 단위 파일로 재구성하게 된다. 즉, 3D 모델로 변환된 지형모델에 텍스처링을 적용하여 3D 지형에 맵핑을 실시하는 것이다. The extracted XYZ file is reconstructed into a random grid unit file by calculating the boundaries of the file. In other words, mapping is performed on the 3D terrain by applying texturing to the terrain model converted to a 3D model.

이때, 임의의 격자 단위 파일에서 XYZ 파일에서 일정 간격으로 배치된 포인트(point)의 배치 간격, 해저 최저 수심 및 최대 수심 중 적어도 하나의 오차를 범위를 추정하고, 오차 범위가 추정된 단위 파일을 멀티포인트 데이터(Multi point Data)로 변환한 뒤, 변환된 멀티포인트 데이터에 해저 지형 굴곡을 반영하여 지형(Terrain) 데이터를 생성하는 과정을 통해 추출된 XYZ 파일을 재구성할 수 있다. At this time, in a random grid unit file, the error range of at least one of the arrangement interval of points placed at regular intervals in the After converting to multi point data, the extracted XYZ file can be reconstructed through the process of generating terrain data by reflecting the curvature of the seabed topography in the converted multi point data.

이와 유사하게 생성부(140)는 특정 지역의 해저 지형을 3D 모델로 생성할 수 있다. 이때, 해저 지형 정보는 한국 해양 과학 기술원으로부터 획득한 Text 기반의 ASCII 파일을 이용하여 3D 해저 지형을 생성하게 된다. Similarly, the generation unit 140 can generate a 3D model of the seafloor topography of a specific area. At this time, the 3D seafloor topography is created using text-based ASCII files obtained from the Korea Institute of Ocean Science and Technology.

이처럼 생성부(140)를 통해 특정 해양 지역 및 해저 지형을 3D 모델로 생성함에 따라 특정 지역의 특징을 VR, AR 등의 가상 모델을 통해 간접 체험이 가능해질 수 있다. In this way, as a 3D model of a specific marine area and seabed topography is generated through the generation unit 140, it is possible to indirectly experience the characteristics of a specific area through virtual models such as VR and AR.

예컨대, 특정 지역을 각종 테마(예: 산책지역, 관광지역, 명소지역 등)으로 분류하고, 부류된 특정 지역의 정보를 제공함으로써 특정 지역을 방문하기 전에 관광 정보를 먼저 체험할 수 있도록 하는 것이다. For example, by classifying a specific area into various themes (e.g., walking area, tourist area, famous area, etc.) and providing information on the specific area, it is possible to experience the tourist information first before visiting the specific area.

특히, 특정 지역의 테마 중 산책 지역 등의 VR, AR 가상 체험은 해양 지역 감상을 통한 해양 치유 콘텐츠로 활용할 수도 있다. In particular, VR and AR virtual experiences such as walking areas among the themes of specific areas can be used as marine healing content through appreciating the marine area.

또한, 특정 지역의 해저 생물 정보를 VR, AR 등의 가상 모델을 통해 확인할 수 있게 함으로써, 해양 생물 학습에 필요한 교육에 있어서, 보다 직접적인 해양 생물 체험을 제공할 수 있게 된다. In addition, by allowing information on undersea life in a specific area to be confirmed through virtual models such as VR and AR, it is possible to provide a more direct experience of marine life in the education required to learn marine life.

이로써, 언택트(Untac) 시대를 맞이하여 체험학습이 이루어져야 하는 시점에서 체험 학습을 가능케 하도록 함으로써 해양 교육의 효율성 및 접근성을 향상시킬 수 있게 된다. As a result, it is possible to improve the efficiency and accessibility of marine education by enabling experiential learning at a time when experiential learning should occur in the era of untact.

또한, 해안 연안의 기상, 해상 상태(예: 파랑) 등을 확인할 수 있게 되므로, 해양 연안의 상태를 모니터링 할 수 있게 된다. 즉, 해양 연안을 예보하도록 하여 안전 사고를 미연에 방지할 수 있는 효과가 있게 된다. In addition, since it is possible to check the weather and sea conditions (e.g. waves) of the coastal area, it is possible to monitor the condition of the coastal area. In other words, there is an effect of preventing safety accidents in advance by forecasting the ocean coast.

이와 같이 생성된 특정 해양 지역의 3D 모델과 3D 해저 지형 모델 데이터를 정렬하여 해양 영역과 해저 지형이 혼합된 3D 모델을 생성할 수 있게 된다. 이렇게 생성부(140)에서 생성한 모델링 파일은 메모리(180)에 저장되고, 이후 사용자가 수중 생물 콘텐츠를 선택하면 단말(100)을 통해 디스플레이 될 수 있다(단계 S130). By aligning the 3D model of a specific ocean area created in this way with the 3D seabed topography model data, it is possible to create a 3D model that is a mixture of the ocean area and the seabed topography. The modeling file generated by the generation unit 140 is stored in the memory 180, and can then be displayed through the terminal 100 when the user selects underwater creature content (step S130).

해양 정보를 디스플레이 할 때, 심층 신경망 모델을 생성하여 콘텐츠 제공 시, 단말(100)에서 보여지는 언어를 예측할 수 있다. 구체적으로 단말(100)을 사용하는 사용자가 발화를 통해 특정 콘텐츠가 디스플레이 되도록 할 수 있다. 예를 들어 사용자가 단말(100)을 통해 "부산 해안 관광지 보여줘"라고 발화하는 경우, 발화된 단어 중 "부산", "해안", "관광지"를 인지, 획득하고, 발화한 언어 정보와 관련된 해양 정보를 단말(100)로 디스플레이 하도록 한다. 다른 예로는, "부산 연안 해양 생물 보여줘" 라고 발화하는 경우 발화된 단어 중 "부산", "해안", "해양 생물"을 인지, 획득하고, 부산 해안 영역의 수중 생물을 단말(100)로 디스플레이 하도록 하는 것이다. When displaying marine information, a deep neural network model can be created to predict the language displayed on the terminal 100 when providing content. Specifically, a user using the terminal 100 can cause specific content to be displayed through speech. For example, when the user utters “Show me Busan coastal tourist attractions” through the terminal 100, “Busan”, “coast”, and “tourist attraction” among the words uttered are recognized and acquired, and the marine information related to the uttered language information is recognized and acquired. Information is displayed on the terminal 100. As another example, when uttering “Show me the marine life off the coast of Busan,” among the words uttered, “Busan,” “coast,” and “marine life” are recognized and acquired, and the underwater life in the Busan coastal area is displayed on the terminal 100. It is to be done.

이와 다르게, 사용자가 발화한 언어를 인지하고 인지된 언어를 기초로 관련 언어로 콘텐츠를 디스플레이 할 수도 있다. 예컨대, 사용자가 "Hi, Busan under water" 라고 발화하는 경우, "Busan", "under water"를 인지하고 부산 해안 영역의 수중 생물을 단말(100)로 디스플레이 할 수 있다. 이때, 발화 언어를 "영어"로 인지하고 디스플레이 하는 콘텐츠를 영어로 디스플레이 할 수 있다.Alternatively, the language spoken by the user may be recognized and content may be displayed in a related language based on the recognized language. For example, when the user utters “Hi, Busan under water,” “Busan” and “under water” can be recognized and underwater life in the coastal area of Busan can be displayed on the terminal 100. At this time, the speech language may be recognized as “English” and the displayed content may be displayed in English.

한편, 콘텐츠를 디스플레이 할 때 선택한 선택 언어 사이의 상관 관계를 통해 관련 해양 정보를 디스플레이 할 수도 있다. 즉, 사용자가 발화한 언어(예: 영어)와 선택한 언어 정보(예: 영어)를 저장하고, 저장한 정보를 기초로 사용자가 영어로 발화하는 경우 콘텐츠 언어를 영어로 출력할 수 있도록 하는 것이다. Meanwhile, related maritime information can also be displayed through the correlation between the selected languages selected when displaying content. In other words, the language spoken by the user (e.g., English) and the language information (e.g., English) selected are stored, and when the user speaks in English based on the stored information, the content language can be output in English.

더불어, 사용자의 외모를 기초로 콘텐츠를 출력하는 언어가 선택될 수도 있다. 예를 들어, 단말(100)에 설치된 카메라(미도시)를 통해 사용자의 외모를 촬영하고, 촬영한 사용자의 외모가 기 저장된 인물 정보를 기초로 영미권으로 판단되는 경우, 콘텐츠를 디스플레이 하는 언어를 영어로 선택할 수 있도록 한다. In addition, the language for outputting content may be selected based on the user's appearance. For example, when the user's appearance is photographed through a camera (not shown) installed on the terminal 100, and the photographed user's appearance is determined to be from an English-speaking world based on pre-stored person information, the language for displaying the content is English. Allows you to select.

추가적으로 촬영한 사용자의 외모가 동북아권으로 판단되는 경우, 한국어, 중국어, 일본어 중 어느 하나를 선택할 수 있도록 하며, 사용자가 특정 언어를 선택하면 선택된 언어로 콘텐츠가 디스플레이 될 수 있도록 한다. Additionally, if the appearance of the user in the photo is judged to be from the Northeast Asian region, one of Korean, Chinese, and Japanese can be selected. If the user selects a specific language, the content can be displayed in the selected language.

결론적으로, 사용자의 발화 언어, 사용자의 외모 이미지 등의 정보는 학습부(160)를 통해 학습된다. 이후, 사용자의 발화 언어, 사용자의 외모 이미지 등의 정보를 분석부(150)에서 분석한 뒤, 분석된 정보와 학습부(160)에서 학습된 학습 정보를 비교하여 콘텐츠를 디스플레이 하는 언어를 예측하는 것이다. In conclusion, information such as the user's spoken language and the user's appearance image is learned through the learning unit 160. Afterwards, information such as the user's spoken language and the user's appearance image is analyzed in the analysis unit 150, and then the analyzed information is compared with the learning information learned in the learning unit 160 to predict the language in which the content is displayed. will be.

메모리(180)는 생성부(140)에서 생성한 모델링 파일, 콘텐츠를 디스플레이 하는 단말(100)이 수행할 수 있는 예측 모델이 저장될 수 있다. 구체적으로 메모리(180)는 콘텐츠가 디스플레이 될 때 사용되는 언어의 정보, 선택된 해안 영역의 지형, 수중 정보 등을 기초로 단말(100)이 수행할 수 있는 예측 모델을 저장할 수 있다. The memory 180 may store modeling files generated by the generator 140 and prediction models that the terminal 100 that displays content can perform. Specifically, the memory 180 may store a prediction model that the terminal 100 can perform based on information on the language used when the content is displayed, the topography of the selected coastal area, underwater information, etc.

예컨대, 단말(100)을 사용하는 사용자가 음성으로 "부산 해양 동물 보여줘" 라고 발화하면, 발화한 사용자의 언어 중 "부산"은 해양 영역이 될 수 있으며, "해양 동물"은 선택된 해양 영역에서 실행해야 하는 실행어가 될 수 있고, "보여줘"은 부산의 수중 생물을 3D 모델로 디스플레이 할 수 있도록 하는 명령어라고 할 수 있다. For example, when a user using the terminal 100 utters "Show me Busan's marine animals" in his voice, "Busan" in the user's language may be a marine area, and "marine animals" may be executed in the selected marine area. It can be an action word that must be used, and “show” can be said to be a command that allows the underwater creatures of Busan to be displayed as a 3D model.

구체적으로, 메모리(180)에는 단말(100) 사용자가 발화하는 언어에서 해양 영역을 확인되면 선택된 해양 영역에서 사용자가 요청한 정보를 자동으로 단말(100)로 디스플레이 될 수 있도록 하는 예측 모델이 저장되는 것이다. Specifically, the memory 180 stores a prediction model that allows the terminal 100 to automatically display information requested by the user in the selected marine area when the maritime area is identified in the language spoken by the user of the terminal 100. .

또한, 메모리(180)는 예측 모델 이외에 서버(200)의 동작에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 기록 매체는 프로세서(190)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(hard disk drive), SSD(solid state disk), SDD(silicon disk drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.Additionally, the memory 180 records various information necessary for the operation of the server 200 in addition to the prediction model, and may include a volatile or non-volatile recording medium. The recording medium stores data that can be read by the processor 190, and includes hard disk drive (HDD), solid state disk (SSD), silicon disk drive (SDD), ROM, RAM, CD-ROM, magnetic tape, It may include floppy disks, optical data storage devices, etc.

더불어, 메모리(180)에는 제한적인 데이터가 저장될 수 있다. 예를 들어, 메모리(180)에는 사용자가 발화한 음성 또는/및 리모컨(10b)으로부터 제어 명령을 판단하기 위한 기 설정된 언어가 저장될 수 있다. 앞서 설명한 바와 같이, 예를 들어 "부산 해양 동물 보여줘"라는 사용자의 발화문장에서 "부산"이 해양 영역을 매칭할 수 있는 언어로 설정될 수 있고, "해양 동물"이 단말(100)에서 3D 모델링으로 보여지는 실행 모델이 될 수 있다. 이러한 제어 명령은 앞서 설명한 바와 같이 예측 모델에 의해 기 설정될 수 있지만 다르게는 사용자에 의해 설정 변경할 수도 있다. Additionally, limited data may be stored in the memory 180. For example, the memory 180 may store a voice uttered by the user and/or a preset language for determining a control command from the remote control 10b. As described above, for example, in the user's utterance sentence, "Show me Busan's marine animals," "Busan" may be set as a language that can match the marine area, and "marine animals" may be 3D modeled in the terminal 100. It can be an execution model shown as . These control commands may be preset by the prediction model as described above, but may also be changed by the user.

프로세서(190)는 학습된 콘텐츠 제공을 위한 예측 모델에 따라 단말(100)이 수행 가능한 동작이 실행될 수 있는 명령 신호를 제어할 수 있다. 이러한 프로세서(190)는 일종의 중앙처리장치로서, 메모리(180)에 탑재된 제어 소프트웨어를 구동하여 단말(100)로 보여지는 콘텐츠의 종류를 선택할 수 있는 다양한 기능을 제공할 수 있다. The processor 190 may control command signals that enable operations that the terminal 100 can perform according to the learned prediction model for providing content. This processor 190 is a type of central processing unit, and can provide various functions to select the type of content displayed on the terminal 100 by running control software mounted on the memory 180.

여기서 프로세서(190)(processor)는, 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.Here, the processor 190 may include all types of devices capable of processing data. Here, 'processor' may mean, for example, a data processing device built into hardware that has a physically structured circuit to perform a function expressed by code or instructions included in a program. Examples of data processing devices built into hardware include a microprocessor, central processing unit (CPU), processor core, multiprocessor, and application-specific integrated (ASIC). circuit) and FPGA (field programmable gate array), etc., but the scope of the present invention is not limited thereto.

한편, 본 실시예의 서버(200)는 학습 결과로서 객체를 인식하는 인공지능 모델을 훈련 시키는데 필요한 학습용 데이터와 각종 인공 지능 알고리즘과 관련된 컴퓨터 프로그램, 예를 들어 API, 데이터 워크플로우(data workflows) 등을 단말(100)에 제공할 수 있다.Meanwhile, the server 200 of this embodiment provides learning data necessary for training an artificial intelligence model that recognizes objects as a learning result and computer programs related to various artificial intelligence algorithms, such as APIs and data workflows. It can be provided to the terminal 100.

또한, 서버(200)는 객체 인식을 위한 학습에 필요한 학습용 데이터를 사용자 로그 데이터 형태로 수집하고 수집된 학습용 데이터를 이용하여 직접 훈련시킨 인공지능 모델을 단말(100)에 제공할 수도 있다. Additionally, the server 200 may collect learning data necessary for learning for object recognition in the form of user log data and provide the terminal 100 with an artificial intelligence model directly trained using the collected learning data.

더욱이 서버(200)는 단말(100)의 외부에 별도로 구성된 장치 또는 단말(100) 내부에 탑재된 구성으로 단말(100)의 프로세서(190)와 동일한 기능을 수행할 수도 있다. Furthermore, the server 200 may be a separately configured device external to the terminal 100 or mounted inside the terminal 100 and may perform the same function as the processor 190 of the terminal 100.

즉, 서버(200)는 데이터 마이닝, 데이터 분석, 지능형 의사 결정 및 기계 학습 알고리즘을 위해 이용될 정보를 수신, 분류, 저장 및 출력하도록 구성될 수 있다. 여기서, 기계 학습 알고리즘은 딥 러닝 알고리즘을 포함할 수 있다.That is, the server 200 may be configured to receive, classify, store, and output information to be used for data mining, data analysis, intelligent decision-making, and machine learning algorithms. Here, the machine learning algorithm may include a deep learning algorithm.

또한, 서버(200)는 적어도 하나의 단말(100)과 통신할 수 있으며, 단말(100)을 대신하거나(혹은 도와) 데이터를 분석하거나 학습하여 결과를 도출할 수 있다. 여기서, 다른 장치를 도운다는 의미는 분산 처리를 통한 연산력의 분배를 의미할 수 있다.Additionally, the server 200 may communicate with at least one terminal 100 and may analyze or learn data on behalf of (or assist with) the terminal 100 to derive results. Here, helping other devices may mean distributing computing power through distributed processing.

인공 신경망을 포함하는 서버(200)는 인공 신경망을 학습하기 위한 다양한 장치로서, 통상적으로 서버를 의미할 수 있고, 학습 장치 또는 학습 서버 등으로 칭할 수 있다.The server 200 including an artificial neural network is a variety of devices for learning an artificial neural network, and may generally refer to a server, and may be referred to as a learning device or learning server.

특히 서버(200)는 단일한 서버뿐만 아니라 복수의 서버 세트, 클라우드 서버 또는 이들의 조합 등으로 구현될 수 있다. 즉, 서버(200)는 복수로 구성되어 학습 장치 세트(혹은 클라우드 서버)를 구성할 수 있고, 학습 장치 세트에 포함된 적어도 하나 이상의 서버(200)는 분산 처리를 통해 데이터 분석 또는 학습하여 결과를 도출할 수 있다.In particular, the server 200 may be implemented not only as a single server, but also as a plurality of server sets, cloud servers, or a combination thereof. That is, a plurality of servers 200 may be configured to form a learning device set (or cloud server), and at least one server 200 included in the learning device set analyzes or learns data through distributed processing and provides results. It can be derived.

이러한 서버(200)는 주기적 또는 요청에 의하여 단말(100)에 기계 학습 또는 딥 러닝에 의한 학습한 모델을 전송할 수 있다. This server 200 may transmit a model learned through machine learning or deep learning to the terminal 100 periodically or upon request.

이를 위해 서버(200)는 통신부(Communication Unit, 210), 메모리(Memory, 230), 러닝 프로세서(Learning Processor, 220), 및 프로세서(Processor, 260) 등을 포함할 수 있다.To this end, the server 200 may include a communication unit (Communication Unit) 210, a memory (230), a learning processor (220), and a processor (260).

통신부(210)는 단말(100)의 통신부(110)를 포괄하는 구성과 대응될 수 있다. 즉, 유무선 통신이나 인터페이스를 통하여 다른 장치와 데이터를 송수신할 수 있다.The communication unit 210 may correspond to a configuration encompassing the communication unit 110 of the terminal 100. In other words, data can be transmitted and received with other devices through wired or wireless communication or an interface.

메모리(230)는 단말(100)의 메모리(170)에 대응하는 구성이다. The memory 230 is a component corresponding to the memory 170 of the terminal 100.

메모리(230)는 모델 저장부(231) 등을 포함할 수 있다. 모델 저장부(231)는 러닝 프로세서(140)을 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망_231a)을 저장하며, 학습을 통하여 모델이 업데이트되면 업데이트 된 모델을 저장한다.The memory 230 may include a model storage unit 231 and the like. The model storage unit 231 stores a model being learned or learned through the learning processor 140 (or artificial neural network_231a), and when the model is updated through learning, it stores the updated model.

이때, 모델 저장부(231)는 필요에 따라 학습된 모델을 학습 시점 또는 학습 진척도 등에 따라 복수의 버전으로 구분하여 저장할 수 있다. At this time, the model storage unit 231 may store the learned model by dividing it into a plurality of versions depending on the learning time or learning progress, if necessary.

도 3에 도시된 인공 신경망(231a)은 복수의 은닉층을 포함하는 인공 신경망의 하나의 예시일 뿐이며, 본 발명의 인공 신경망이 이에 한정되는 것은 아니다The artificial neural network 231a shown in FIG. 3 is only an example of an artificial neural network including a plurality of hidden layers, and the artificial neural network of the present invention is not limited to this.

인공 신경망(231a)은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 인공 신경망(231a)의 일부 또는 전부가 소프트웨어로 구현되는 경우, 인공 신경망(231a)을 구성하는 하나 이상의 명령어는 메모리(230)에 저장될 수 있다.The artificial neural network 231a may be implemented with hardware, software, or a combination of hardware and software. When part or all of the artificial neural network 231a is implemented as software, one or more instructions constituting the artificial neural network 231a may be stored in the memory 230.

러닝 프로세서(220)는 훈련 데이터 또는 트레이닝 셋(training set)을 이용하여 인공 신경망(231a)을 훈련(training, 또는 학습)시킬 수 있다.The learning processor 220 may train (or learn) the artificial neural network 231a using training data or a training set.

러닝 프로세서(220)는 프로세서(260)가 입력부(220)를 통해 획득한 입력 데이터를 전처리한 데이터를 바로 획득하여 인공 신경망(231a)을 학습하거나, 데이터베이스(232)에 저장된 전처리된 입력 데이터를 획득하여 인공 신경망(231a)을 학습할 수 있다.The learning processor 220 directly acquires data preprocessed by the processor 260 through the input unit 220 to learn the artificial neural network 231a or acquires preprocessed input data stored in the database 232. Thus, the artificial neural network 231a can be learned.

구체적으로, 러닝 프로세서(220)는 앞서 설명한 다양한 학습 기법을 이용하여 인공 신경망(231a)을 반복적으로 학습시킴으로써, 인공 신경망(231a)의 최적화된 모델 파라미터들을 결정할 수 있다Specifically, the learning processor 220 can determine optimized model parameters of the artificial neural network 231a by repeatedly training the artificial neural network 231a using various learning techniques described above.

본 명세서에서는 훈련 데이터를 이용하여 학습됨으로써 파라미터가 결정된 인공 신경망을 학습 모델 또는 학습된 모델(a trained model)이라 칭할 수 있다.In this specification, an artificial neural network whose parameters are determined by learning using training data may be referred to as a learning model or a trained model.

이때, 학습 모델은 인공 신경망의 서버(200)에 탑재된 상태에서 결과 값을 추론할 수도 있으며, 통신부(210)를 통해 단말(100)과 같은 다른 장치에 전송되어 탑재될 수도 있다. 같은 다른 장치에 전송되어 탑재될 수 있다.At this time, the learning model may be installed on the artificial neural network server 200 and infer the result, or it may be transmitted and installed on another device such as the terminal 100 through the communication unit 210. It can be transmitted and mounted on another device of the same type.

그 밖에 서버(200)는 인공지능 모델을 평가할 수 있으며, 평가 후에도 더 나은 성능을 위해 인공지능 모델을 업데이트 하고 업데이트된 인공지능 모델을 단말(100)에 제공할 수 있다. 여기서 단말(100)은 서버(200)가 수행하는 일련의 단계들을 로컬 영역에서 단독으로 또는 서버(200)와의 통신을 통해 함께 수행할 수 있다. 예를 들어 단말(100)은 사용자 개인의 데이터에 의한 학습을 통해 인공지능 모델이 사용자의 개인적 패턴을 학습시킴으로써 서버(200)로부터 다운로드 받은 인공지능 모델을 업데이트할 수 있다. In addition, the server 200 can evaluate the artificial intelligence model, and even after evaluation, it can update the artificial intelligence model for better performance and provide the updated artificial intelligence model to the terminal 100. Here, the terminal 100 can perform a series of steps performed by the server 200 alone or together through communication with the server 200 in the local area. For example, the terminal 100 can update the artificial intelligence model downloaded from the server 200 by having the artificial intelligence model learn the user's personal patterns through learning based on the user's personal data.

또한, 서버(200)는 인공지능 모델을 평가할 수 있으며, 평가 후에도 더 나은 성능을 위해 인공지능 모델을 업데이트 하고 업데이트된 인공지능 모델을 단말(100)에 제공할 수 있다. 여기서, 단말(100)은 서버(200)가 수행하는 일련의 단계들을 로컬 영역에서 단독으로 또는 서버(200)와의 통신을 통해 함께 수행할 수 있다.Additionally, the server 200 can evaluate the artificial intelligence model, and even after evaluation, it can update the artificial intelligence model for better performance and provide the updated artificial intelligence model to the terminal 100. Here, the terminal 100 can perform a series of steps performed by the server 200 alone or together in the local area through communication with the server 200.

이와 같이, 특정 해양 지역을 3D 모델로 생성하고, 해양 지역의 특성과 해저 수중 생물을 VR, AR을 기반한 가상 체험이 이루어지도록 함으로써, 사용자가 보다 능동적이고 활동적으로 해양 연안 지역의 특징을 체험할 수 있게 된다. In this way, by creating a 3D model of a specific marine area and providing a virtual experience of the characteristics of the marine area and underwater life on the sea floor based on VR and AR, users can more actively and actively experience the characteristics of the marine coastal area. There will be.

구체적으로 사용자는 보다 안전한 환경에서 실제와 같은 체험이 가능해질 수 있다. 이때, 개인과 단체가 선택적으로 체험할 수 있어 교육의 선택 폭이 넓어질 수 있게 된다. Specifically, users can have a realistic experience in a safer environment. At this time, individuals and groups can experience it selectively, expanding the range of educational choices.

더욱이, 다양한 디바이스(예: HMD 디스플레이 , 개인 휴대 단말, 스마트 글래스 등)을 이용하여 AR, VR 체험이 이루어질 수 있다. Moreover, AR and VR experiences can be achieved using various devices (e.g. HMD displays, personal mobile devices, smart glasses, etc.).

이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.Embodiments according to the present invention described above may be implemented in the form of a computer program that can be executed through various components on a computer, and such a computer program may be recorded on a computer-readable medium. At this time, the media includes magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and ROM. , RAM, flash memory, etc., may include hardware devices specifically configured to store and execute program instructions.

한편, 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.Meanwhile, the computer program may be designed and constructed specifically for the present invention, or may be known and available to those skilled in the art of computer software. Examples of computer programs may include not only machine language code such as that created by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. In the specification (particularly in the claims) of the present invention, the use of the term “above” and similar referential terms may refer to both the singular and the plural. In addition, when a range is described in the present invention, it includes the invention to which individual values within the range are applied (unless there is a statement to the contrary), and is the same as if each individual value constituting the range is described in the detailed description of the invention. .

본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 단계들은 적당한 순서로 행해질 수 있다. 반드시 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 또한, 본 발명에 따른 방법들에 포함된 단계들은 프로세서 또는 해당 단계의 기능을 수행하기 위한 모듈들을 통해서 수행될 수 있다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.Unless there is an explicit order or statement to the contrary regarding the steps constituting the method according to the invention, the steps may be performed in any suitable order. The present invention is not necessarily limited by the order of description of the steps. Additionally, the steps included in the methods according to the present invention may be performed through a processor or modules for performing the function of the step. The use of any examples or illustrative terms (e.g., etc.) in the present invention is merely to describe the present invention in detail, and the scope of the present invention is not limited by the examples or illustrative terms unless limited by the claims. That is not the case. Additionally, those skilled in the art will recognize that various modifications, combinations and changes may be made depending on design conditions and factors within the scope of the appended claims or their equivalents.

따라서, 본 발명의 사상은 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and the claims described below as well as all scopes equivalent to or equivalently changed from the claims fall within the scope of the spirit of the present invention. They will say they do it.

삭제delete

Claims (14)

해양 자료 시뮬레이션 방법으로서,
항만, 해저 지형, 해안 주변의 환경 정보 및 수중 생물 정보를 포함하는 해양 정보를 수집하는 단계;
수집된 상기 해양 정보를 기초로 상기 해양 정보와 관련된 해양 영역을 3D 모델로 생성하는 단계; 및
생성된 상기 3D 모델을 디스플레이 하는 단계를 포함하고,
상기 디스플레이 하는 단계는,
상기 해양 영역을 교육, 관광 및 해양 치유 테마에 기초하여 콘텐츠를 시청하는 사용자의 선택에 따라 상기 해양 정보를 디스플레이 하는 단말이 수행 가능하며, 상기 단말을 사용하는 사용자의 발화 언어 정보, 사용자가 선택한 선택 언어 및 사용자의 외모 이미지 정보 중 적어도 어느 하나의 정보에 기반하여 예측 모델을 저장하고,
획득한 사용자 발화 언어 정보, 사용자가 선택한 선택 언어 및 사용자의 외모 이미지의 상관 관계에 따라 상기 콘텐츠를 디스플레이할 언어를 예측하여 상기 콘텐츠를 디스플레이하고,
상기 해양 정보를 디스플레이 하는 단말은 HMD(Head Mounted Display) 또는 스마트 글래스(Smart Glass)로 구현되고,
상기 디스플레이 하는 단계는,
상기 단말의 디스플레이 상에 MR(Mixed Reality) 또는 AR(Augmented Reality)/VR(Virtual Reality) 기반으로 디스플레이하는 단계를 포함하는,
해양 자료 시뮬레이션 방법.
As a marine data simulation method,
Collecting marine information including ports, seabed topography, environmental information around the coast, and aquatic life information;
generating a 3D model of an ocean area related to the ocean information based on the collected ocean information; and
Including displaying the generated 3D model,
The display step is,
A terminal is capable of displaying the marine information according to the selection of the user who views the marine area based on the theme of education, tourism and marine healing, and the language information of the user using the terminal and the selection selected by the user. Store a prediction model based on at least one of language and user appearance image information,
Predicting the language in which to display the content according to the correlation between the obtained user speech language information, the selected language selected by the user, and the user's appearance image, and displaying the content;
The terminal that displays the marine information is implemented as a Head Mounted Display (HMD) or Smart Glass,
The display step is,
Including the step of displaying based on MR (Mixed Reality) or AR (Augmented Reality)/VR (Virtual Reality) on the display of the terminal.
Marine data simulation method.
제1항에 있어서,
상기 3D 모델로 생성하는 단계는,
국립지리원에서 제공하는 상기 해양 영역의 GIS을 기반하고, 국립해양조사원에서 제공하는 전자해도의 정밀해저지형 수치정보를 XYZ 파일로 추출하는 단계; 및
추출된 상기 XYZ 파일의 바운더리를 계산하여 임의의 격자 단위 파일로 재구성하는 단계를 포함하고,
상기 추출하는 단계는,
임의의 특정 지역의 DEM(Digital Elevation Model)과 임의의 건물 고도의 결과값이 입력된 Raster 파일을 기반으로 3D 모델로 추출하는,
해양 자료 시뮬레이션 방법.
According to paragraph 1,
The step of creating the 3D model is,
Based on the GIS of the marine area provided by the National Geographical Institute, extracting precise seafloor topographic numerical information of electronic charts provided by the National Oceanographic Survey into an XYZ file; and
Comprising the step of calculating the boundaries of the extracted XYZ file and reconstructing it into an arbitrary grid unit file,
The extracting step is,
Extracting the DEM (Digital Elevation Model) of a specific area and the elevation of any building into a 3D model based on the input Raster file.
Marine data simulation method.
제2항에 있어서,
상기 격자 단위 파일로 재구성하는 단계는,
상기 임의의 격자 단위 파일에서 상기 XYZ 파일에서 일정 간격으로 배치된 포인트(point)의 배치 간격, 해저 최저 수심 및 최대 수심 중 적어도 하나의 오차를 범위를 추정하는 단계; 및
오차 범위가 추정된 상기 격자 단위 파일을 멀티포인트 데이터(Multi point Data)로 변환하고, 변환된 멀티포인트 데이터에 해저 지형 굴곡을 반영하여 지형(Terrain) 데이터를 생성하는 단계를 포함하는,
해양 자료 시뮬레이션 방법.
According to paragraph 2,
The step of reconstructing into the grid unit file is,
estimating the range of at least one error among the arrangement interval of points arranged at regular intervals in the XYZ file, the minimum water depth of the seafloor, and the maximum water depth in the arbitrary grid unit file; and
Converting the grid unit file with an estimated error range into multi-point data, and generating terrain data by reflecting the curvature of the seafloor in the converted multi-point data,
Marine data simulation method.
제1항에 있어서,
상기 3D 모델로 생성하는 단계는,
수중 촬영 장비를 통해 수중 생물을 촬영하는 단계;
촬영한 상기 수중 생물과 기 저장된 수중 생물 정보와 매칭하여 촬영한 상기 수중 생물의 정보를 추출하는 단계; 및
상기 촬영한 상기 수중 생물을 기 저장된 상기 수중 생물 정보에 대응하는 실물과 대응되는 배율로 3D 모델링 하는 단계를 포함하는,
해양 자료 시뮬레이션 방법.
According to paragraph 1,
The step of creating the 3D model is,
Photographing underwater life using underwater photography equipment;
extracting information about the photographed aquatic creature by matching the photographed aquatic creature with previously stored aquatic creature information; and
Comprising the step of 3D modeling the photographed aquatic life at a scale corresponding to the actual object corresponding to the previously stored aquatic creature information,
Marine data simulation method.
삭제delete 제1항에 있어서,
상기 디스플레이하는 단계는,
상기 단말을 통해 촬영한 사용자의 외모가 기 저장된 인물 정보에 기초하여 선택된 특정 지역권 언어로 판단되는 경우, 상기 단말을 통해 촬영한 사용자 외모를 기준으로 상기 콘텐츠를 디스플레이할 언어로 디스플레이하는,
해양 자료 시뮬레이션 방법.
According to paragraph 1,
The display step is,
If the appearance of the user captured through the terminal is determined to be the language of a specific region selected based on pre-stored person information, displaying the content in the language to be displayed based on the appearance of the user captured through the terminal,
Marine data simulation method.
제1항에 있어서,
상기 디스플레이 하는 단계는,
상기 단말을 통해 촬영한 사용자의 외모가 기 저장된 인물 정보에 기초하여 선택된 특정 지역권 언어로 판단되고, 상기 사용자의 발화 언어가 상기 특정 지역권 언어와 일치하지 경우, 상기 사용자의 발화 언어 및 상기 사용자가 선택한 언어 중 어느 하나를 기준으로 상기 콘텐츠를 디스플레이할 언어로 디스플레이하는,
해양 자료 시뮬레이션 방법.
According to paragraph 1,
The display step is,
If the user's appearance captured through the terminal is determined to be a specific local area language selected based on pre-stored person information, and the user's speech language does not match the specific local area language, the user's speech language and the user's selected language Displaying the content in the language to be displayed based on one of the languages,
Marine data simulation method.
제1항에 있어서,
기 저장된 기 저장된 안면 이미지에 대한 감정 정보에 기초하여 상기 단말 사용 시점 시, 상기 단말을 사용하는 상기 사용자의 안면 이미지 정보에 따른 상기 사용자 감정을 판단하는 단계;
상기 디스플레이 하는 단계는,
심층 신경망 모델에 의해 예측된 상기 사용자 감정에 기초하여 상기 단말에 디스플레이 되는 상기 콘텐츠의 종류를 선택하여 디스플레이 하는,
해양 자료 시뮬레이션 방법.
According to paragraph 1,
determining the user's emotion according to the facial image information of the user using the terminal at the time of use of the terminal based on previously stored emotional information about the facial image;
The display step is,
Selecting and displaying the type of content displayed on the terminal based on the user emotion predicted by a deep neural network model,
Marine data simulation method.
삭제delete 제1항에 있어서,
상기 디스플레이 하는 단계는,
상기 단말에 설치된 어플리케이션을 통해 구현되는,
해양 자료 시뮬레이션 방법.
According to paragraph 1,
The display step is,
Implemented through an application installed on the terminal,
Marine data simulation method.
삭제delete 해양 자료 시뮬레이션 시스템으로서,
항만, 해저 지형, 해안 주변의 환경 정보 및 수중 생물 정보를 포함하는 해양 정보를 수집하는 서버; 및
상기 서버와 통신 연결되며, 상기 해양 정보를 디스플레이 하거나, 상기 해양 정보를 외부 디스플레이 로 제공하는 프로세서를 포함하는 단말을 포함하고,
상기 단말은,
HMD(Head Mounted Display) 또는 스마트 글래스(Smart Glass)로 구현되며,
상기 해양 영역을 교육, 관광 및 해양 치유 테마에 기초하여 콘텐츠를 시청하는 사용자의 선택에 따라 상기 해양 정보를 디스플레이 하는 단말이 수행 가능하며, 상기 단말을 사용하는 사용자의 발화 언어 정보, 사용자가 선택한 선택 언어 및 사용자의 외모 이미지 정보 중 적어도 어느 하나의 정보를 기반하여 예측 모델을 포함하고,
획득한 사용자 발화 언어 정보, 사용자가 선택한 선택 언어 및 사용자의 외모 이미지의 상관 관계에 따라 상기 콘텐츠를 디스플레이할 언어를 예측하여 상기 콘텐츠를 디스플레이하고,
상기 해양 정보를 MR(Mixed Reality) 또는 AR(Augmented Reality)/VR(Virtual Reality) 기반으로 디스플레이하도록 상기 프로세서에 의해 제어되는,
해양 자료 시뮬레이션 시스템.
As a marine data simulation system,
A server that collects marine information including ports, seabed topography, environmental information around the coast, and aquatic life information; and
Comprising a terminal that is connected to the server and includes a processor that displays the marine information or provides the marine information to an external display,
The terminal is,
Implemented with HMD (Head Mounted Display) or Smart Glass,
A terminal is capable of displaying the marine information according to the selection of the user who views the marine area based on the theme of education, tourism and marine healing, and the language information of the user using the terminal and the selection selected by the user. Contains a prediction model based on at least one of language and user appearance image information,
Predicting the language in which to display the content according to the correlation between the obtained user speech language information, the selected language selected by the user, and the user's appearance image, and displaying the content;
Controlled by the processor to display the ocean information based on MR (Mixed Reality) or AR (Augmented Reality)/VR (Virtual Reality),
Marine data simulation system.
제12항에 있어서,
상기 단말은,
상기 단말을 통해 촬영한 사용자의 외모가 기 저장된 인물 정보에 기초하여 선택된 특정 지역권 언어로 판단되는 경우, 상기 단말을 통해 촬영한 사용자 외모를 기준으로 상기 콘텐츠를 디스플레이할 언어로 디스플레이하도록 상기 프로세스에 의해 제어되는,

해양 자료 시뮬레이션 시스템.
According to clause 12,
The terminal is,
If the appearance of the user captured through the terminal is determined to be in a specific regional language selected based on pre-stored person information, the process is performed to display the content in the language to be displayed based on the appearance of the user captured through the terminal. controlled,

Marine data simulation system.
제12항에 있어서,
상기 단말은,
상기 단말을 통해 촬영한 사용자의 외모가 기 저장된 인물 정보에 기초하여 선택된 특정 지역권 언어로 판단되고, 상기 사용자의 발화 언어가 상기 특정 지역권 언어와 일치하지 경우, 상기 사용자의 발화 언어 및 상기 사용자가 선택한 언어 중 어느 하나를 기준으로 상기 콘텐츠를 디스플레이할 언어로 디스플레이하도록 상기 프로세스에 의해 제어되는,
해양 자료 시뮬레이션 시스템.

According to clause 12,
The terminal is,
If the user's appearance captured through the terminal is determined to be a specific local area language selected based on pre-stored person information, and the user's speech language does not match the specific local area language, the user's speech language and the user's selected language Controlled by the process to display the content in the language to be displayed based on one of the languages,
Marine data simulation system.