KR102407339B1 - 어로 활동을 통해 포획한 수생 생물의 정보를 제공하는 서버, 방법 및 사용자 단말 - Google Patents

Abstract

어로 활동을 통해 포획한 수생 생물의 정보를 제공하는 서버는 기수집된 수생 생물의 이미지 및 레이블 정보를 포함하는 학습 데이터를 이용하여 어종 판별 학습 모델을 구축하고, 복수의 사용자 단말로부터 미판별된 수생 생물의 이미지에 관한 레이블 정보를 수신하여 학습 데이터를 갱신하고, 갱신된 학습 데이터를 이용하여 어종 판별 학습 모델을 학습하는 모델 학습부, 제 1 사용자 단말로부터 수생 생물의 이미지를 수신하는 수신부, 어종 판별 학습 모델을 이용하여 수신한 수생 생물의 이미지로부터 수생 생물의 어종을 판별하는 어종 판별부 및 판별된 수생 생물의 어종에 기초하여 판별된 수생 생물의 정보를 제공하는 수생 생물 정보 제공부를 포함한다.

Description

어로 활동을 통해 포획한 수생 생물의 정보를 제공하는 서버, 방법 및 사용자 단말{SERVER, METHOD AND USER DEVICE FOR PROVIDING INFORMATION OF AQUATIC ORGANISMS CATCHED FISHING ACTIVITY}

본 발명은 어로 활동을 통해 포획한 수생 생물의 정보를 제공하는 서버, 방법 및 사용자 단말에 관한 것이다.

스마트폰(Smart Phone)이란 컴퓨터로 할 수 있는 작업 중 일부를 휴대폰에서도 할 수 있도록 개발된 휴대 기기이다. 사람들은 스마트폰을 항상 들고 다니면서 인터넷을 검색하거나 메일을 송수신하고, 동영상 또는 사진을 촬영 및 편집할 수 있다. 또한, 스마트폰 이용자들은 서로 간에 동영상, 음악, 사진 등의 콘텐츠를 주고받을 수도 있다.

최근 사용자들은 스마트폰의 어플리케이션을 이용하여 다양한 취미 활동과 관련된 서비스를 제공받을 수 있게 되었다. 이러한 취미 활동과 관련된 서비스와 관련하여, 선행기술인 한국등록특허 제10-1825742호는 인터넷 및 통신단말기를 이용한 낚시 컨텐츠 정보 제공 방법을 개시하고 있다.

한편, 최근 취미 활동으로 낚시를 즐기는 이용자들이 점차 증가하고 있으며, 52시간 근무제 및 여가 활동 시간이 증가됨에 따라 낚시 활동에 대한 관심이 더욱 증가될 것으로 전망되고 있다.

이와 관련하여, 낚시를 취미 활동으로 즐기는 이용자들은 자신이 포획한 수생 생물을 공유하거나 관련 정보들을 기록하고자 하는 욕구가 있지만, 현재 스마트폰으로 통해 제공되는 낚시와 관련된 서비스가 전무함에 따라 낚시를 취미 활동으로 즐기는 이용자들은 포획한 수생 생물을 사진으로 촬영하여 기록하고 있다.

그러나, 포획한 수생 생물을 사진으로 촬영하여 기록하는 방법은 수생 생물을 공유하거나 관련 정보들을 기록함에 있어 다양한 한계가 존재한다.

기수집된 수생 생물의 이미지 및 레이블 정보를 포함하는 학습 데이터를 이용하여 어종 판별 학습 모델을 구축하고, 복수의 사용자 단말로부터 미판별된 수생 생물의 이미지에 관한 레이블 정보를 수신하여 학습 데이터를 갱신하고, 갱신된 학습 데이터를 이용하여 어종 판별 학습 모델을 학습하는 서버, 방법 및 사용자 단말을 제공하고자 한다.

제 1 사용자 단말로부터 수생 생물의 이미지를 수신하고, 어종 판별 학습 모델을 이용하여 수신한 수생 생물의 이미지로부터 수생 생물의 어종을 판별하고, 판별된 수생 생물의 어종에 기초하여 판별된 수생 생물의 정보를 제공하는 서버, 방법 및 사용자 단말을 제공하고자 한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 기수집된 수생 생물의 이미지 및 레이블 정보를 포함하는 학습 데이터를 이용하여 어종 판별 학습 모델을 구축하고, 복수의 사용자 단말로부터 미판별된 수생 생물의 이미지에 관한 레이블 정보를 수신하여 상기 학습 데이터를 갱신하고, 상기 갱신된 학습 데이터를 이용하여 상기 어종 판별 학습 모델을 학습하는 모델 학습부, 제 1 사용자 단말로부터 수생 생물의 이미지를 수신하는 수신부, 상기 어종 판별 학습 모델을 이용하여 상기 수신한 수생 생물의 이미지로부터 상기 수생 생물의 어종을 판별하는 어종 판별부 및 상기 판별된 수생 생물의 어종에 기초하여 상기 판별된 수생 생물의 정보를 제공하는 수생 생물 정보 제공부를 포함하는 수생 생물 정보 제공 서버를 제공할 수 있다.

본 발명의 다른 실시예는, 기수집된 수생 생물의 이미지 및 레이블 정보를 포함하는 학습 데이터를 이용하여 어종 판별 학습 모델을 구축하고, 복수의 사용자 단말로부터 미판별된 수생 생물의 이미지에 관한 레이블 정보를 수신하여 상기 학습 데이터를 갱신하고, 상기 갱신된 학습 데이터를 이용하여 상기 어종 판별 학습 모델을 학습하는 단계, 제 1 사용자 단말로부터 수생 생물의 이미지를 수신하는 단계, 상기 어종 판별 학습 모델을 이용하여 상기 수신한 수생 생물의 이미지로부터 상기 수생 생물의 어종을 판별하는 단계 및 상기 판별된 수생 생물의 어종에 기초하여 상기 판별된 수생 생물의 정보를 제공하는 단계를 포함하는 수생 생물 정보 제공 방법을 제공할 수 있다.

본 발명의 또 다른 실시예는, 카메라를 이용하여 수생 생물의 이미지를 촬영하는 촬영부, 상기 촬영된 수생 생물의 이미지를 수생 생물 정보 제공 서버로 전송하는 전송부 및 상기 수생 생물 정보 제공 서버로부터 상기 수생 생물의 이미지에 기초하여 판별된 상기 수생 생물의 정보를 제공받는 수생 생물 정보 제공부를 포함하고, 상기 수생 생물의 정보는 상기 수생 생물 정보 제공 서버에 의해 어종 판별 학습 모델을 이용하여 상기 수생 생물의 이미지로부터 상기 수생 생물의 어종이 판별되고, 상기 어종 판별 학습 모델은 상기 수생 생물 정보 제공 서버에 의해 기수집된 수생 생물의 이미지 및 레이블 정보를 포함하는 학습 데이터를 이용하여 구축되고, 복수의 사용자 단말로부터 수신된 미판별된 수생 생물의 이미지에 관한 레이블 정보에 기초하여 상기 학습 데이터가 갱신되고, 상기 갱신된 학습 데이터를 이용하여 상기 어종 판별 학습 모델이 학습된 것인 사용자 단말을 제공할 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자가 사용자 단말을 이용하여 어로 활동을 통해 포획한 수생 생물을 촬영한 경우, 촬영된 수생 생물의 이미지를 어종 판별 학습 모델을 이용하여 수생 생물의 어종을 판별하고, 판별된 수생 생물의 어종에 기초하여 수생 생물의 정보를 사용자 단말로 제공하는 서버, 방법 및 사용자 단말을 제공할 수 있다.

기수집된 수생 생물의 이미지 및 레이블 정보를 포함하는 학습 데이터를 이용하여 어종 판별 학습 모델을 구축하고, 복수의 사용자 단말로부터 미판별된 수생 생물의 이미지에 관한 레이블 정보를 수신하여 학습 데이터를 갱신하고, 갱신된 학습 데이터를 이용하여 어종 판별 학습 모델을 학습시킴으로써, 수생 생물의 어종 판별의 정확도를 높일 수 있는 서버, 방법 및 사용자 단말을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 수생 생물 정보 제공 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 수생 생물 정보 제공 서버의 구성도이다.
도 3a 내지 도 3d는 본 발명의 일 실시예에 따른 수생 생물의 정보를 제공하는 과정을 설명하기 위한 예시적인 도면이다.
도 4는 본 발명의 일 실시예에 따른 미판별된 수생 생물의 레이블 정보의 진위 여부에 대한 투표 결과를 획득하는 과정을 설명하기 위한 예시적인 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 가상 아쿠아리움 서비스를 제공하는 과정을 설명하기 위한 예시적인 도면이다.
도 6은 본 발명의 일 실시예에 따른 어로 활동에 대한 인증을 수행하는 과정을 설명하기 위한 예시적인 도면이다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 어로 활동과 관련된 적어도 하나의 부가 정보를 제공하는 과정을 설명하기 위한 예시적인 도면이다.
도 8은 본 발명의 일 실시예에 따른 수생 생물 정보 제공 서버에서 어로 활동을 통해 포획한 수생 생물의 정보를 제공하는 방법의 순서도이다.
도 9는 본 발명의 일 실시예에 따른 사용자 단말의 구성도이다.
도 10a 내지 도 10d는 본 발명의 일 실시예에 따른 사용자 단말에서 가상 아쿠아리움을 통해 가상 수생 생물을 표시하는 과정을 설명하기 위한 예시적인 도면이다.
도 11은 본 발명의 일 실시예에 따른 사용자 단말에서 어로 활동을 통해 포획한 수생 생물의 정보를 제공받는 방법의 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.

본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 수생 생물 정보 제공 시스템의 구성도이다. 도 1을 참조하면, 수생 생물 정보 제공 시스템(1)은 수생 생물 정보 제공 서버(110) 및 복수의 사용자 단말(120)을 포함할 수 있다. 수생 생물 정보 제공 서버(110) 및 복수의 사용자 단말(120)은 수생 생물 정보 제공 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다.

도 1의 수생 생물 정보 제공 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 수생 생물 정보 제공 서버(110)는 복수의 사용자 단말(120)과 동시에 또는 시간 간격을 두고 연결될 수 있다.

네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.

수생 생물 정보 제공 서버(110)는 기수집된 수생 생물의 이미지 및 레이블 정보를 포함하는 학습 데이터를 이용하여 어종 판별 학습 모델을 구축하고, 복수의 사용자 단말(120)로부터 미판별된 수생 생물의 이미지에 관한 레이블 정보를 수신하여 학습 데이터를 갱신하고, 갱신된 학습 데이터를 이용하여 어종 판별 학습 모델을 학습할 수 있다.

수생 생물 정보 제공 서버(110)는 제 1 사용자 단말(121)로부터 수생 생물의 이미지를 수신할 수 있다.

수생 생물 정보 제공 서버(110)는 어종 판별 학습 모델을 이용하여 수신한 수생 생물의 이미지로부터 수생 생물의 어종을 판별하고, 판별된 수생 생물의 어종에 기초하여 판별된 수생 생물의 정보를 제공할 수 있다. 여기서, 수생 생물의 정보는 수생 생물과 관련된 어종 정보, 포획 정보, 어류 도감 정보 및 수생 생물의 이미지의 메타정보 등을 포함할 수 있다.

수생 생물 정보 제공 서버(110)는 수생 생물의 어종의 판별이 불가능한 경우, 제 1 사용자 단말(121)로부터 수생 생물의 어종에 대한 레이블 정보를 수신하거나, 또는 레이블 정보 부여 알고리즘을 이용하여 자동으로 레이블 정보를 부여할 수 있다.

수생 생물 정보 제공 서버(110)는 수생 생물의 이미지 및 레이블 정보를 포함하는 수생 생물 게시물을 SNS(Social Network Service), 수생 생물 정보 제공 앱 또는 웹 중 적어도 하나에 게시하고, 복수의 사용자 단말(120)로부터 수생 생물 게시물에 기초하여 수생 생물의 어종에 대한 추천 레이블 정보를 더 수신할 수 있다.

예를 들어, 수생 생물 정보 제공 서버(110)는 복수의 사용자 단말(120)로부터 레이블 정보의 진위 여부에 대한 정보를 수신할 수 있다.

예를 들어, 수생 생물 정보 제공 서버(110)는 레이블 정보의 진위 여부에 대한 투표 게시물을 SNS, 수생 생물 정보 제공 앱 또는 웹 중 적어도 하나에 게시하여 투표 게시물에 대한 투표 결과를 획득할 수 있다. 이때, 수생 생물 정보 제공 서버(110)는 진위 여부에 대한 투표 게시물에 대한 투표에 참여한 사용자 단말(120)의 계정으로 소정의 포인트를 지급할 수 있다.

수생 생물 정보 제공 서버(110)는 투표 결과의 전체 투표량 및 참(True)에 대한 투표율이 기설정된 임계값 이상인 경우, 수생 생물의 이미지 및 레이블 정보를 학습 데이터에 추가할 수 있다.

수생 생물 정보 제공 서버(110)는 수생 생물의 이미지에 기초하여 수생 생물의 형상을 모델링한 가상 수생 생물을 생성하고, 생성된 가상 수생 생물을 가상 아쿠아리움을 통해 관상할 수 있도록 하는 가상 아쿠아리움 서비스를 제 1 사용자 단말(121)로 제공할 수 있다.

수생 생물 정보 제공 서버(110)는 제 1 사용자 단말(121)로부터 수생 생물을 포획한 위치 정보를 수신하고, 수생 생물의 이미지 및 위치 정보를 SNS 상에 게시하여 제 1 사용자 단말(121)의 어로 활동에 대한 인증을 수행할 수 있다.

수생 생물 정보 제공 서버(110)는 어로 활동과 관련된 기상 정보, 조황 정보, 대회 정보, 추천 낚시 장소 정보, 낚시 가이드 정보, 낚시 용품점 정보, 낚시배 정보, 및 숙박 정보 등과 관련된 부가 정보를 제 1 사용자 단말(121)로 제공할 수 있다. 예를 들어, 수생 생물 정보 제공 서버(110)는 사용자가 지정한 낚시터로부터 최소거리 또는 최소시간이 소요되는 숙박 장소에 대한 정보를 제 1 사용자 단말(121)로 제공할 수 있다. 여기서, 최소거리는 harversine fomula, spherical low of cosines 등을 통해 도출되고, 최소시간은 현재 도로 상황에 기초하여 맨허튼 거리, 유클리드 거리, 위상순서, Dijkstra, Bellman Ford, A-Star, Floyd-Warshall, Prim, MST, Kruskal 등을 통해 도출될 수 있다.

이러한 수생 생물 정보 제공 서버(110)는 수생 생물 정보 제공 앱을 통해 SNS 서비스를 복수의 사용자 단말(120)로 제공할 수 있다. SNS 서비스는 타사용자와 커뮤니티 기능, 관심 지역 등록 기능, 인기 게시글 노출 기능, 사용자 관심에 따른 추천 컨텐츠 기능, SNS 게시글의 댓글 기능, 피드 광고 기능, 실시간 낚시 조황 방송 기능 등을 포함할 수 있다. 예를 들어, 제 1 사용자 단말(121)이 SNS 서비스를 통해 시화방조제에서 어로 활동을 한 SNS 게시물을 업로드한 적이 있는 경우, 수생 생물 정보 제공 서버(110)는 서해 바다에서 업로드된 추천 컨텐츠를 제 1 사용자 단말(121)로 제공할 수 있다. 다른 예를 들어, 수생 생물 정보 제공 서버(110)는 제 1 사용자 단말(121)의 검색 이력 및 태깅 정보에 기초하여 제 1 사용자의 취향을 분석하고, 제 1 사용자가 관심을 가질 만한 광고를 SNS 서비스를 통해 노출시킬 수 있다. 또 다른 예를 들어, 제 1 사용자 단말(121)로부터 낚시 일정을 등록받은 경우, 등록된 낚시 일정과 관련된 날씨 예보 및 동행 정보 등을 제 1 사용자 단말(121)로 제공할 수 있다.

또한, 수생 생물 정보 제공 서버(110)는 수생 생물 정보 제공 앱을 통해 수생 생물 포획 랭킹 정보를 복수의 사용자 단말(120)로 제공할 수 있다. 예를 들어, 수생 생물 정보 제공 서버(110)는 수생 생물의 어종별 길이에 따른 랭킹 정보를 복수의 사용자 단말(120)로 제공할 수 있다. 이하, 사용자 단말은 복수의 사용자 단말(120) 중 제 1 사용자 단말(121)을 기준으로 설명하도록 한다.

사용자 단말(121)은 카메라를 이용하여 수생 생물의 이미지를 촬영하고, 촬영된 수생 생물의 이미지를 수생 생물 정보 제공 서버(110)로 전송할 수 있다. 여기서, 카메라는 일반 카메라, 심도 카메라 등을 포함할 수 있다. 예를 들어, 사용자 단말(121)은 심도 카메라가 구비된 경우, 수생 생물의 길이를 측정할 수도 있다.

사용자 단말(121)은 수생 생물 정보 제공 서버(110)로부터 수생 생물의 이미지에 기초하여 판별된 수생 생물의 정보를 제공받고, 디스플레이를 통해 수생 생물의 정보를 표시할 수 있다.

사용자 단말(121)은 수생 생물 정보 제공 서버(110)로부터 수생 생물의 어종의 판별과 관련된 메시지를 수신한 경우, 수생 생물의 어종에 대한 레이블 정보를 입력받고, 입력된 레이블 정보를 수생 생물 정보 제공 서버(110)로 전송할 수 있다.

사용자 단말(121)은 수생 생물 정보 제공 서버(110)로부터 수생 생물의 이미지에 기초하여 생성된 가상 수생 생물을 가상 아쿠아리움을 통해 관상할 수 있도록 하는 가상 아쿠아리움 서비스를 제공받을 수 있다.

사용자 단말(121)은 가상 아쿠아리움을 통해 가상 수생 생물을 표시할 수 있다.

이러한 사용자 단말(121)은 수생 생물 정보 제공 앱을 통해 SNS 서비스를 사용자에게 제공할 수 있다. 또한, 사용자 단말(121)은 수생 생물 정보 제공 앱을 통해 어로 활동과 관련된 기상 정보, 조황 정보, 대회 정보, 추천 낚시 장소 정보, 낚시 가이드 정보, 낚시 용품점 정보, 낚시배 정보, 및 숙박 정보 등과 관련된 부가 정보를 제공할 수 있다.

도 2는 본 발명의 일 실시예에 따른 수생 생물 정보 제공 서버의 구성도이다. 도 2를 참조하면, 수생 생물 정보 제공 서버(110)는 모델 학습부(210), 수신부(220), 어종 판별부(230), 수생 생물 정보 제공부(240) 가상 수생 생물 생성부(250), 가상 아쿠아리움 서비스 제공부(260), 포인트 지급부(270) 및 인증 수행부(280)를 포함할 수 있다.

모델 학습부(210)는 기수집된 수생 생물의 이미지 및 레이블 정보를 포함하는 학습 데이터를 이용하여 어종 판별 학습 모델을 구축할 수 있다. 여기서, 어종 판별 학습 모델은 합성곱 신경망(CNN, Convolution Neural network), SSD(Single Shot MultiBox Detector), YOLO(You Only Look Once), Retinanet, K-최근접 이웃(K-nearest Neighbor), K-평균/K-모드(K-menas/K-modes), 가우시안 혼합 모델(Gaussian Mixture Model), SVM(Support Vector Machine), BoW(Bag of Words), Viola-Jones 등을 기반으로 하여 구축될 수 있으며, 이에 한정하지 않는다.

어종 판별 학습 모델은 주성분 분석(Principal Component Analysis), 특이값 분해(Singular Value Decomposition), 잠재 디리클레 할당(Latent Dirichlet Allocation), 분류(Claasfication) 등을 이용하여 수생 생물의 이미지의 인식 정확도를 더 높일 수 있다.

모델 학습부(210)는 복수의 사용자 단말(120)로부터 미판별된 수생 생물의 이미지에 관한 레이블 정보를 수신하여 학습 데이터를 갱신하고, 갱신된 학습 데이터를 이용하여 어종 판별 학습 모델을 학습할 수 있다.

모델 학습부(210)는 레이블 정보 관리부(211)를 포함할 수 있다.

레이블 정보 관리부(211)는 복수의 사용자 단말(120)로부터 미판별된 수생 생물의 이미지에 관한 레이블 정보의 진위 여부에 대한 정보를 수신할 수 있다.

수신부(220)는 제 1 사용자 단말(121)로부터 수생 생물의 이미지를 수신할 수 있다.

어종 판별부(230)는 어종 판별 학습 모델을 이용하여 수신한 수생 생물의 이미지로부터 수생 생물의 어종을 판별할 수 있다.

수생 생물 정보 제공부(240)는 판별된 수생 생물의 어종에 기초하여 판별된 수생 생물의 정보를 제공할 수 있다. 여기서, 수생 생물의 정보는 수생 생물과 관련된 어종 정보, 포획 정보, 어류 도감 정보, 수생 생물의 이미지의 이미지 정보 및 메타정보 등을 포함할 수 있다.

여기서, 수생 생물의 이미지의 이미지 정보는 예를 들어, 어종 판별 정보, 픽셀 판별 정보, 동일 이미지의 존재 여부 등을 포함하고, 메타정보는 예를 들어, 촬영 일시, 촬영 위치, 태그 정보, 파일 크기, 확장자, 색정보, 카메라 정보(예를 들어, 조리개, 셔터스피드, ISO, 렌즈크기, 화이트밸런스, 플래시 등) 등을 포함할 수 있다.

또한, 제 1 사용자 단말(121)이 포획한 수생 생물을 SNS 상에 게시한 경우, 수생 생물 정보 제공부(240)는 SNS 상에 게시된 게시물 업로드 날짜, 텍스트 정보, 수생 생물의 크기 정보, 태그 정보 등을 더 제공할 수 있다. 수생 생물의 어종을 판별하여 수생 생물의 정보를 제공하는 과정에 대해서는 도 3a 내지 도 3d를 통해 상세히 설명하도록 한다.

도 3a 내지 도 3d는 본 발명의 일 실시예에 따른 수생 생물의 정보를 제공하는 과정을 설명하기 위한 예시적인 도면이다.

도 3a를 참조하면, 제 1 사용자는 어로 활동을 통해 수생 생물을 포획한 후, 자신의 제 1 사용자 단말(121)을 이용하여 포획한 수생 생물을 촬영할 수 있다.

수신부(220)는 제 1 사용자 단말(121)로부터 수생 생물의 이미지(300)를 수신할 수 있다.

도 3b를 참조하면, 어종 판별부(230)는 수생 생물의 어종의 판별에 앞서, 수생 생물의 이미지(300)로부터 다양한 길이 측정 방법을 이용하여 수생 생물의 길이를 측정할 수 있다.

예를 들어, 어종 판별부(230)는 마커 비교 길이 측정법(310)을 이용하여 수생 생물의 길이를 측정할 수 있다. 여기서, 수생 생물의 이미지(300)는 수생 생물의 주변에 위치한 마커(312)를 포함할 수 있다. 예를 들어, 어종 판별부(230)는 수생 생물의 이미지에 기초하여 기설정된 마커(312)의 길이와 수생 생물의 길이의 비를 이용하여 제 1 사용자가 포획한 수생 생물의 길이를 측정할 수 있다. 예를 들어, 기설정된 마커(312)의 길이가 10cm이고, 수생 생물의 이미지에서 획득한 마커(312)의 길이와 수생 생물의 길이의 비가 1:2인 경우, 어종 판별부(230)는 비례식을 통해 수생 생물의 길이를 20cm로 측정할 수 있다.

다른 예를 들어, 어종 판별부(230)는 증강현실 길이 측정법(320)을 이용하여 수생 생물의 길이를 측정할 수 있다. 예를 들어, 어종 판별부(230)는 수생 생물의 이미지에 포함된 수생 생물의 머리쪽 종단과 꼬리쪽 종단 각각에 마커(321)를 표시하고, 표시된 각각의 마커(321)를 기준으로 증강현실을 이용하여 수생 생물의 길이를 측정할 수 있다.

또 다른 예를 들어, 어종 판별부(230)는 심도카메라 길이 측정법(330)을 이용하여 수생 생물의 길이를 측정할 수 있다. 예를 들어, 수신부(220)는 제 1 사용자 단말(121)로부터 높이 정보를 수신할 수 있다. 여기서, 높이 정보는 제 1 사용자 단말(121)로부터 수생 생물까지의 측정 거리를 의미할 수 있다.

어종 판별부(230)는 수생 생물의 이미지로부터 수생 생물이 차지하는 크기를 측정하고, 이를 통해 기저장된 높이 정보와 수생 생물의 이미지에서 수생 생물의 크기와의 상관관계를 이용하여 수생 생물의 이미지로부터 수생 생물의 길이를 측정할 수 있다.

도 3c를 참조하면, 어종 판별부(230)는 수생 생물의 이미지(300)로부터 수생 생물의 어종을 판별할 수 있다. 예를 들어, 어종 판별부(230)는 선택적 탐색(Selective Search)을 수행할 수 있는 컴퓨터 비전 기술 또는 딥러닝 기반의 영역 제안 네트워크(RPN, Region Proposal Network) 알고리즘을 이용하여 수생 생물의 이미지(300)로부터 수생 생물이 위치할 가능성이 높은 영역을 소정의 바운딩 영역으로 검출할 수 있다.

이후, 어종 판별부(230)는 검출된 바운딩 영역에 해당하는 이미지를 어종 판별 학습 모델(340)에 입력하여 수생 생물의 어종을 '조피볼락'(350)으로 판별할 수 있다.

도 3d를 참조하면, 수생 생물 정보 제공부(240)는 판별된 수생 생물의 어종에 기초하여 판별된 수생 생물의 정보를 제공할 수 있다. 예를 들어, 수생 생물 정보 제공부(240)는 수생 생물의 어종이 '조피볼락'으로 판별된 경우, '조피볼락'의 크기, 무게, 나이, 포획 정보, 물고기 정보, 조리법, 채비법, 우럭 낚시 법령과 같은 '조피볼락'에 대한 상세 정보(360)를 제 1 사용자 단말(121)로 제공할 수 있다. 여기서, 포획 정보는 포획 일자, 포획 환경, 포획하는데 소요된 시간, 포획 장소, 포획 도구, 양식 또는 자연산 정보 등을 포함하고, 어류 도감 정보는 학명, 영명, 일본어명, 별칭, 방언, 멸종위기등급, 분포, 서식지, 형태, 산란, 성장, 회유, 먹이, 평균 수명, 체색, 경매정보 등을 포함할 수 있다.

수생 생물 정보 제공부(240)는 수생 생물의 어종과 관련된 거래 가격 정보, 금어기 정보, 산란철 정보, 횟감 순위 정보, 어종별 손질 정보, 어종별 조리법 정보, 장비 점검 정보, 주요 먹이 정보, 위험도 정보 등을 더 제공할 수 있다.

다시 도 2로 돌아와서, 어종 판별부(230)는 수생 생물의 이미지로부터 수생 생물의 어종의 판별이 불가능한 경우, 수생 생물 정보 제공부(240)는 어종 판별을 위한 어종 판별 요청 메시지를 제 1 사용자 단말(121)로 제공할 수 있다.

레이블 정보 관리부(211)는 수생 생물의 어종의 판별이 불가능한 경우, 제 1 사용자 단말(121)로부터 수생 생물의 어종에 대한 레이블 정보를 수신하거나 또는 레이블 정보 부여 알고리즘을 이용하여 자동으로 레이블 정보를 부여할 수 있다.

예를 들어, 레이블 정보 관리부(211)는 제 1 사용자 단말(121)로부터 사용자에 의해 입력된 '조피볼락'을 레이블 정보로 수신할 수 있다. 다른 예를 들어, 수생 생물 정보 제공부(240)가 수생 생물의 이미지와 관련하여 "이 물고기가 조피볼락(우럭)이 맞나요?"와 같은 어종 판별 요청 메시지를 제 1 사용자 단말(121)로 전송한 경우, 레이블 정보 관리부(211)는 제 1 사용자 단말(121)로부터 응답 메시지를 수신하여 레이블 정보를 생성할 수 있다. 또 다른 예를 들어, 수생 생물 정보 제공부(240)가 수생 생물의 이미지와 관련하여 복수의 후보 어종을 제 1 사용자 단말(121)로 전송한 경우, 레이블 정보 관리부(211)는 제 1 사용자 단말(121)로부터 사용자에 의해 입력된 '조피볼락'을 포함하는 레이블 정보를 수신할 수 있다.

레이블 정보 관리부(211)는 수생 생물의 이미지 및 레이블 정보를 포함하는 수생 생물 게시물을 SNS, 수생 생물 정보 제공 앱 또는 웹 중 적어도 하나에 게시하고, 복수의 사용자 단말(120)로부터 수생 생물 게시물에 기초하여 수생 생물의 어종에 대한 추천 레이블 정보를 더 수신할 수 있다.

레이블 정보 관리부(211)는 복수의 사용자 단말(120)로부터 레이블 정보의 진위 여부에 대한 정보를 수신할 수 있다.

레이블 정보 관리부(211)는 레이블 정보의 진위 여부에 대한 투표 게시물을 SNS(400), 수생 생물 정보 제공 앱 또는 웹 중 적어도 하나에 게시하여 복수의 사용자 단말(120)이 참여한 투표 게시물(401)에 대한 투표 결과(402)를 획득할 수 있다. 예를 들어, 레이블 정보 관리부(211)는 복수의 사용자 단말(120)이 수생 생물 정보 제공 앱 또는 웹에 접속한 경우, 수생 생물 정보 제공 앱 또는 웹 상에서 투표 게시물(401)을 팝업 형태 또는 이미지 형태로 표시할 수 있다.

포인트 지급부(270)는 투표 게시물에 대한 투표에 참여한 복수의 사용자 단말(120)의 계정으로 소정의 포인트를 지급할 수 있다.

모델 학습부(210)는 투표 결과의 전체 투표량 및 참(True)에 대한 투표율이 기설정된 임계값 이상인 경우, 수생 생물의 이미지 및 레이블 정보를 학습 데이터에 추가할 수 있다. 예를 들어, 모델 학습부(210)는 투표 결과의 전체 투표량이 예를 들어, 1천표이상이고, 참에 대한 투표율이 약 66% 이상(2/3 이상)인 경우, 수생 생물의 이미지 및 레이블 정보를 학습 데이터에 추가할 수 있다. 이때, 거짓(False)에 대한 투표율이 약 33% 이상(1/3 이상)인 경우, 수생 생물의 이미지 및 레이블 정보가 잘못 매칭된 것으로 판단하여 학습 데이터에 추가되지 않을 수 있다.

포인트 지급부(270)는 수생 생물의 이미지가 학습 데이터에 추가되지 않은 경우, 퀴즈 이벤트를 통해 제 1 사용자 단말(121)에게 소정의 포인트 또는 가상 아쿠아리움의 꾸미기 아이템 등을 지급할 수 있다.

이외에도, 포인트 지급부(270)는 수생 생물 정보 제공 애플리케이션의 출석 체크, 이벤트 등에 참여한 복수의 사용자 단말(120)에게 소정의 포인트를 지급할 수 있다.

가상 수생 생물 생성부(250)는 수생 생물의 이미지에 기초하여 수생 생물의 형상을 모델링한 가상 수생 생물을 생성할 수 있다.

가상 아쿠아리움 서비스 제공부(260)는 생성된 가상 수생 생물을 가상 아쿠아리움을 통해 관상할 수 있도록 하는 가상 아쿠아리움 서비스를 제 1 사용자 단말(121)로 제공할 수 있다. 가상 아쿠아리움 서비스를 제공하는 과정에 대해서는 도 5a 및 도 5b를 통해 상세히 설명하도록 한다.

도 5a 및 도 5b는 본 발명의 일 실시예에 따른 가상 아쿠아리움 서비스를 제공하는 과정을 설명하기 위한 예시적인 도면이다.

도 5a를 참조하면, 가상 수생 생물 생성부(250)는 수생 생물의 어종 정보, 길이 정보(500) 및 색상 정보(510)에 기초하여 가상 수생 생물 생성 모델을 통해 가상 수생 생물을 생성할 수 있다. 여기서, 수생 생물의 색상 정보(510)는 수생 생물의 이미지로부터 추출된 색상일 수 있으며, 수생 생물의 어종이 판별된 경우, 판별된 어종에 대응하는 색상일 수도 있다.

가상 수생 생물 생성부(250)는 가상 수생 생물 생성 모델을 통해 수생 생물의 어종의 2D 이미지, 2D 일러스터, 3D 모델링, 3D 일러스터, 3D 생김새를 그대로 구현한 가상 수생 생물을 생성할 수 있다.

가상 수생 생물 생성 모델은 사실감이 표현된 딥페이크 기술로 알려진 생성적 적대 신경망(CGAN, Conditional Generative Adversarial Network) 알고리즘이 적용된 모델일 수 있다. 예를 들어, 가상 수생 생물 생성 모델은 수생 생물의 어종에 대응하는 기본 입체 모델에 대해 수생 생물의 길이 정보(500)를 적용하고, 수생 생물의 이미지에 기초하여 가상 수생 생물의 색상 정보(510) 및 재질 정보를 적용하여 가상 수생 생물을 생성할 수 있다.

도 5b를 참조하면, 가상 아쿠아리움 서비스 제공부(260)는 가상 아쿠아리움(520)을 생성할 수 있다. 예를 들어, 가상 아쿠아리움 서비스 제공부(260)는 제 1 사용자 단말(121)의 계정에 대해 포획 장소별 또는 어로 활동의 시기별로 적어도 하나 이상의 가상 아쿠아리움(520)을 생성할 수 있다.

예를 들어, 가상 아쿠아리움 서비스 제공부(260)는 가상 수생 생물을 보관하면서 발생되는 가상의 물 때, 잔여물 등을 구현하는 동시에, 실제 아쿠아리움에서 수생 생물을 사육시키면서 발생되는 다양한 환경 변화를 가상 아쿠아리움(520)을 통해 발생시킬 수 있다.

다른 예를 들어, 가상 아쿠아리움 서비스 제공부(260)는 가상 아쿠아리움 내에 수초, 조명, 바닥 장식, 기타 구조물 정보 등이 구현된 가상 아쿠아리움 서비스를 제 1 사용자 단말(121)로 제공함으로써, 제 1 사용자가 가상 아쿠아리움 내의 내부 구조를 시각적으로 확인하도록 할 수 있다. 이때, 가상 아쿠아리움 서비스 제공부(260)는 가상 아쿠아리움의 형태 정보(예를 들어, 원형, 사각형, 원통형, 바다형, 민물형, 배형, 하우스형, 우주형 등), 수초 정보, 조명 정보, 바닥 장식 정보, 기타 구조물 정보 등을 제 1 사용자 단말(121)로 더 제공함으로써, 제 1 사용자 단말(121)에 의해 가상 아쿠아리움의 내부 구조와 관련된 설정을 변경하도록 할 수도 있다.

이와 같이, 가상 아쿠아리움(520)은 제 1 사용자 단말(121)에 의해 기설정된 가상 아쿠아리움의 형태, 장식이 변경될 수 있으며, 제 1 사용자 단말(121)이 구매한 별도의 꾸미기 아이템으로 장식이 변경 또는 추가될 수도 있다.

또 다른 예를 들어, 가상 아쿠아리움 서비스 제공부(260)는 가상 아쿠아리움(520)과 관련된 청소 정보, 온도 정보, 여과기 정보, 산소 발생 정보, 사료 정보 등을 제 1 사용자 단말(121)로 제공함으로써, 제 1 사용자 단말(121)에 의해 가상 아쿠아리움의 환경과 관련된 설정이 변경되도록 할 수도 있다.

가상 아쿠아리움 서비스 제공부(260)는 생성된 가상 아쿠아리움(520) 내에 가상 수생 생물(521)을 위치시켜 가상 아쿠아리움 서비스를 제 1 사용자 단말(121)로 제공할 수 있다. 예를 들어, 가상 아쿠아리움 서비스 제공부(260)는 가상 아쿠아리움(520) 내에서 실제 수생 생물의 어종에 해당하는 유영 및 움직임 등을 반영하여 가상 수생 생물(521)이 움직이도록 할 수 있다.

가상 아쿠아리움 서비스 제공부(260)는 가상 현실, 증강 현실, 혼합 현실 등을 이용하여 가상 아쿠아리움을 가상 현실 컨텐츠, 증강 현실 컨텐츠, 혼합 현실 컨텐츠 등으로 구현하여 제 1 사용자 단말(121)로 제공함으로써, 제 1 사용자가 가상 아쿠아리움의 컨텐츠를 통해 생동감을 느끼도록 할 수 있다.

가상 아쿠아리움 서비스 제공부(260)는 가상 아쿠아리움 서비스를 통해 다른 사용자들이 제 1 사용자의 가상 아쿠아리움에 방문한 경우, 방명록을 작성하도록 하고, 작성된 방명록을 제 1 사용자가 확인하도록 할 수 있다.

또한, 가상 아쿠아리움 서비스 제공부(260)는 사용자별 가상 아쿠아리움의 장식에 대한 점수에 기초하여 가상 아쿠아리움의 랭킹 정보를 복수의 사용자 단말(120)로 제공할 수 있다. 예를 들어, 복수의 사용자 단말(120) 각각이 가상 아쿠아리움 서비스를 통해 다른 사용자의 가상 아쿠아리움의 장식에 대하여 평가함으로써, 가상 아쿠아리움 서비스 제공부(260)는 가상 아쿠아리움의 랭킹 정보를 복수의 사용자 단말(120)로 제공할 수 있다. 다른 예를 들어, 가상 아쿠아리움 서비스 제공부(260)는 기설정된 평가 알고리즘을 이용하여 사용자별 가상 아쿠아리움 내 장식 아이템 간의 조화, 장식 아이템의 수 및 종류 등에 따른 점수를 산정하여 가상 아쿠아리움의 장식에 대한 점수를 도출하고, 이에 기초한 가상 아쿠아리움의 랭킹 정보를 복수의 사용자 단말(120)로 제공할 수 있다.

다시 도 2로 돌아와서, 수신부(220)는 제 1 사용자 단말(121)로부터 수생 생물을 포획한 위치 정보를 수신할 수 있다.

인증 수행부(280)는 수생 생물의 이미지 및 위치 정보를 SNS 상에 게시하여 제 1 사용자 단말(121)의 어로 활동에 대한 인증을 수행할 수 있다. 제 1 사용자 단말(121)의 어로 활동에 대한 인증을 수행하는 과정에 대해서는 도 6을 통해 상세히 설명하도록 한다.

도 6은 본 발명의 일 실시예에 따른 어로 활동에 대한 인증을 수행하는 과정을 설명하기 위한 예시적인 도면이다. 도 6을 참조하면, 인증 수행부(280)는 수생 생물의 이미지(611) 및 위치 정보(610)를 SNS(600) 상에 게시하여 제 1 사용자 단말(121)의 어로 활동에 대한 인증을 수행할 수 있다.

예를 들어, 인증 수행부(280)는 수생 생물의 이미지(611) 및 위치 정보(610)를 데이터베이스에 저장된 수생 생물 정보와 비교하여 제 1 사용자 단말(121)의 어로 활동에 대한 인증을 수행할 수 있다. 데이터베이스는 예를 들어, 실내 어로 활동 장소, 민물/바다 등과 같은 실외 어로 활동 장소 등에서 포획 가능한 수생 생물의 어종이 저장될 수 있다. 예를 들어, 인증 수행부(280)는 '메기'의 이미지 및 '부산 해운대'의 위치 정보를 이용하여, '부산 해운대'에서 '메기'가 포획되지 않는 경우, 제 1 사용자 단말(121)의 어로 활동에 대한 인증을 수행하지 않을 수 있다.

다른 예를 들어, 제 1 사용자 단말(121)과 수생 생물의 포획 장소가 동일한 다른 사용자 단말이 자신이 포획한 수생 생물의 이미지 및 위치 정보를 SNS 상에 게시하였다고 가정하자.

인증 수행부(280)는 SNS(600) 상에 게시된 게시물들을 비교하여 어로 활동에 대한 인증을 수행할 수 있다. 예를 들어, 인증 수행부(280)는 제 1 사용자가 포획한 수생 생물의 이미지(611)와 다른 사용자가 포획한 수생 생물의 이미지를 비교한 후, 두 수생 생물의 이미지가 서로 다른 경우, 제 1 사용자 단말(121)의 어로 활동에 대한 인증을 수행할 수 있다. 다른 예를 들어, 인증 수행부(280)는 포획 장소가 동일한 제 1 사용자 및 다른 사용자가 게시한 수생 생물의 이미지가 동일한 경우, 제 1 사용자 및 다른 사용자가 자신이 직접 포획한 수생 생물이 아닌 것으로 판단하여, 제 1 사용자 단말(121) 및 다른 사용자 단말의 어로 활동에 대한 인증을 수행하지 않을 수 있다.

다시 도 2로 돌아와서, 어로 활동 서비스 제공부(290)는 어로 활동과 관련된 기상 정보, 조황 정보, 대회 정보, 추천 낚시 장소 정보, 낚시 가이드 정보, 낚시 용품점 정보, 낚시배 정보, 및 숙박 정보 등과 관련된 부가 정보를 제 1 사용자 단말(121)로 제공할 수 있다. 어로 활동과 관련된 부가 정보를 제공하는 과정에 대해 도 7a 및 도 7b를 통해 상세히 설명하도록 한다.

도 7a 및 도 7b는 본 발명의 일 실시예에 따른 어로 활동과 관련된 적어도 하나의 부가 정보를 제공하는 과정을 설명하기 위한 예시적인 도면이다.

도 7a를 참조하면, 어로 활동 서비스 제공부(290)는 제 1 사용자가 전남 영양방조제에서 수생 생물을 포획하는 경우, 전남 영양방조제의 기상 정보(700)를 제 1 사용자 단말(121)로 제공할 수 있다. 예를 들어, 어로 활동 서비스 제공부(290)는 포획 장소가 바다 또는 민물인지 여부에 따라 일출, 일몰, 바람, 파도, 물대, 조류세기, 월상, 날씨, 온도, 체감온도, 최고기온, 최저기온, 습도, 강수확률, 강수량, 미세먼지, 초미세먼지, 자외선, 기상 특보 등을 포함하는 기상 정보(700)를 제공할 수 있다.

이때, 어로 활동 서비스 제공부(290)는 바다 낚시 지수 및 민물 낚시 지수를 제 1 사용자 단말(121)로 더 제공할 수 있다. 여기서, 바다 낚시 지수 및 민물 낚시 지수는 날씨와 조황 정보의 빅데이터에 기초하여 도출된 포획 장소별 낚시 지수를 의미할 수 있다. 이외에도, 어로 활동 서비스 제공부(290)는 수온, 기압, 탁도, 파도 높이, 수위, 지진, 해일, 해상 조난 정보 등을 더 제공할 수 있다.

어로 활동 서비스 제공부(290)는 최근 조황 데이터, 과거 조황 데이터, 예상 날씨 데이터, 과거 날씨 데이터 등에 기초하여 어로 활동 추천 날짜를 제 1 사용자 단말(121)로 더 제공할 수도 있다.

도 7b를 참조하면, 어로 활동 서비스 제공부(290)는 조황 정보 또는 사용자의 선호도를 조합하여 어로 활동 추천 장소를 제 1 사용자 단말(121)로 제공할 수 있다. 조황 정보는 수생 생물의 포획 정보, 길이, 어종, 포획 환경 등을 통해 도출된 것일 수 있다. 어로 활동 추천 장소의 경우, 수생 생물의 종별 포획 스팟 장소를 제공할 수 있다.

예를 들어, 어로 활동 서비스 제공부(290)는 제 1 사용자가 수생 생물을 포획하기 위한 추천 낚시 장소로, 예를 들어, 연암방조제, 고하도선착장, 압해대교, 금호방조제, 백연지 등을 제 1 사용자 단말(121)로 제공할 수 있다.

이때, 어로 활동 서비스 제공부(290)는 수생 생물의 어종별 포획 장소, 수생 생물의 어종별 포획 도구, 수생 생물의 어종별 위험도 정보, 관련 법령 정보 등을 더 제공할 수 있다.

예를 들어, 어로 활동 서비스 제공부(290)는 SNS 상의 지도를 통해 어로 활동 추천 장소를 노출시킬 수 있으며, SNS 상에 실제 조황 사진을 시간상으로 노출시키고, 어종별 포획 장소를 노출시킬 수 있다.

어로 활동 서비스 제공부(290)는 어로 활동 장소와 관련된 혼잡도를 더 제공할 수 있다. 혼잡도는 예를 들어, 복수의 사용자 단말(120)의 SNS의 접속 기록, 낚시터별 예약 기록, 낚시터별 현재 이용 인원 등에 기초하여 혼잡도를 도출하여 제공할 수 있다. 이때, 어로 활동 서비스 제공부(290)는 어로 활동 장소의 혼잡도에 기초하여 대체 어로 활동 장소 또는 대체 어로 활동 추천 날짜 등을 제 1 사용자 단말(121)로 제공할 수 있다.

도 8은 본 발명의 일 실시예에 따른 수생 생물 정보 제공 서버에서 어로 활동을 통해 포획한 수생 생물의 정보를 제공하는 방법의 순서도이다. 도 8에 도시된 수생 생물 정보 제공 서버(110)에서 수행되는 어로 활동을 통해 포획한 수생 생물의 정보를 제공하는 방법은 도 1 내지 도 7b에 도시된 실시예에 따른 수생 생물 정보 제공 시스템(1)에 의해 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 7b에 도시된 실시예에 따른 수생 생물 정보 제공 서버(110)에서 어로 활동을 통해 포획한 수생 생물의 정보를 제공하는 방법에도 적용된다.

단계 S810에서 수생 생물 정보 제공 서버(110)는 기수집된 수생 생물의 이미지 및 레이블 정보를 포함하는 학습 데이터를 이용하여 어종 판별 학습 모델을 구축하고, 복수의 사용자 단말(120)로부터 미판별된 수생 생물의 이미지에 관한 레이블 정보를 수신하여 학습 데이터를 갱신하고, 갱신된 학습 데이터를 이용하여 어종 판별 학습 모델을 학습할 수 있다.

단계 S820에서 수생 생물 정보 제공 서버(110)는 제 1 사용자 단말(121)로부터 수생 생물의 이미지를 수신할 수 있다.

단계 S830에서 수생 생물 정보 제공 서버(110)는 어종 판별 학습 모델을 이용하여 수신한 수생 생물의 이미지로부터 수생 생물의 어종을 판별할 수 있다.

단계 S840에서 수생 생물 정보 제공 서버(110)는 판별된 수생 생물의 어종에 기초하여 판별된 수생 생물의 정보를 제공할 수 있다.

상술한 설명에서, 단계 S810 내지 S840은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.

도 9는 본 발명의 일 실시예에 따른 사용자 단말의 구성도이다. 여기서, 사용자 단말은 복수의 사용자 단말(120) 중 제 1 사용자 단말(121)을 기준으로 설명하도록 한다. 도 9를 참조하면, 사용자 단말(121)은 촬영부(910), 전송부(920), 수생 생물 정보 제공부(930), 표시부(940), 입력부(950) 및 가상 아쿠아리움 서비스 제공부(960)를 포함할 수 있다.

촬영부(910)는 카메라를 이용하여 수생 생물의 이미지를 촬영할 수 있다. 여기서, 카메라는 일반 카메라, 심도 카메라 등을 포함할 수 있다. 예를 들어, 촬영부(910)는 사용자가 기설정된 위치 및 기설정된 크기의 촬영 영역을 사용자 단말(121)의 디스플레이 상에 표시하여, 사용자가 해당 촬영 영역을 제시하여, 수생 생물의 이미지를 촬영하도록 할 수 있다.

전송부(920)는 촬영된 수생 생물의 이미지를 수생 생물 정보 제공 서버(110)로 전송할 수 있다.

전송부(920)는 사용자 단말(121)의 위치 정보를 수생 생물 정보 제공 서버(110)로 전송할 수 있다. 예를 들어, 전송부(920)는 GPS(Global Positioning System)을 통해 측정된 사용자 단말(121)의 위치 정보를 수생 생물 정보 제공 서버(110)로 전송할 수 있다. 다른 예를 들어, 전송부(920)는 사용자에 의해 입력된 위치 정보를 수생 생물 정보 제공 서버(110)로 전송할 수 있다.

수생 생물 정보 제공부(930)는 수생 생물 정보 제공 서버(110)로부터 수생 생물의 이미지에 기초하여 판별된 수생 생물의 정보를 제공받을 수 있다. 예를 들어, 수생 생물 정보 제공부(930)는 수생 생물 정보 제공 서버(110)로부터 수생 생물의 이미지에 기초하여 수생 생물의 어종이 '조피볼락'으로 판별된 경우, '조피볼락'과 관련된 상세 정보를 제공받을 수 있다.

표시부(940)는 수생 생물의 정보를 디스플레이를 통해 표시할 수 있다.

입력부(950)는 수생 생물 정보 제공 서버(110)로부터 수생 생물의 어종의 판별 요청 메시지를 수신한 경우, 수생 생물의 어종에 대한 레이블 정보를 입력받을 수 있다. 예를 들어, 입력부(950)는 수생 생물의 어종의 판별 확인 요청 메시지를 수신한 경우, 수생 생물의 어종에 대한 레이블 정보로 '조피볼락'을 입력받을 수 있다.

전송부(920)는 입력된 레이블 정보를 수생 생물 정보 제공 서버(110)로 전송할 수 있다.

가상 아쿠아리움 서비스 제공부(960)는 수생 생물 정보 제공 서버(110)로부터 수생 생물의 이미지에 기초하여 생성된 가상 수생 생물을 가상 아쿠아리움을 통해 관상할 수 있도록 하는 가상 아쿠아리움 서비스를 제공할 수 있다.

표시부(940)는 가상 아쿠아리움을 통해 가상 수생 생물을 표시할 수 있다.

도 10a 내지 도 10d는 본 발명의 일 실시예에 따른 사용자 단말에서 가상 아쿠아리움을 통해 가상 수생 생물을 표시하는 과정을 설명하기 위한 예시적인 도면이다.

도 10a를 참조하면, 사용자 단말(121)은 자신의 수생 생물 정보 제공 앱을 통해 가상 아쿠아리움(1000)을 확인할 수 있다. 예를 들어, 사용자 단말(121)은 가상 아쿠아리움(1000) 내에 위치한 복수의 가상 수생 생물을 표시할 수 있다. 여기서, 복수의 가상 수생 생물은 각각 어종, 체장, 포획 날짜, 포획 지역 등이 가상 아쿠아리움(1000) 상에 표시될 수 있다.

도 10b를 참조하면, 사용자 단말(121)은 가상 아쿠아리움(1000) 상에 표시된 특정 가상 수생 생물(1010)을 선택한 경우, 특정 가상 수생 생물(1010)과 관련된 상세 정보(1020)를 표시할 수 있다.

도 10c를 참조하면, 사용자는 자신이 포획한 수생 생물을 가상 수생 생물을 통해 어종별 및 크기별로 확인할 수 있다. 이때, 사용자는 가상 수생 생물을 무게, 생김새 등의 여러가지 정보를 확인함으로써, 즉각적으로 자신이 포획한 수생 생물들을 비교하는 효과를 제공할 수 있다.

도 10d를 참조하면, 사용자 단말(121)은 가상현실 컨텐츠 또는 증강현실 컨텐츠로 구현된 가상 아쿠아리움을 통해 가상 수생 생물이 실제 수생 생물처럼 유영 및 이동하는 모습을 확인하도록 함으로써, 사용자가 실제 아쿠아리움 공간에 있는 것과 같이 실감적으로 표현된 가상 아쿠아리움을 통해 가상 수생 생물을 확인할 수 있다.

종래에는, 사용자가 어로 활동을 통해 수생 생물을 포획한 경우, 포획한 수생 생물을 보관 및 관리할 수 없어, 사용자는 자신이 수생 생물을 포획한 기억 또는 사용자 단말(121)에 저장된 사진과 자신의 포획 경험에 의존할 수 밖에 없었다. 그러나 본원은 사용자가 포획한 수생 생물에 기초하여 생성된 가상 수생 생물을 가상 아쿠아리움을 통해 확인할 수 있도록 함으로써, 사용자가 포획한 수생 생물을 자신의 가상 아쿠아리움을 통해 사육하는 것과 같은 느낌을 제공할 수 있다.

사용자가 가상 아쿠아리움을 통해 가상 수생 생물의 사료를 주고, 가상 아쿠아리움의 물 온도를 조절하고, 여과기의 작동을 제어하는 등을 수행함으로써, 사용자가 직접 가상 수생 생물을 기르고 있는 듯한 느낌을 제공할 수 있다.

도 11은 본 발명의 일 실시예에 따른 사용자 단말에서 어로 활동을 통해 포획한 수생 생물의 정보를 제공받는 방법의 순서도이다. 도 11에 도시된 사용자 단말(121)에서 어로 활동을 통해 포획한 수생 생물의 정보를 제공하는 방법은 도 1 내지 도 10d에 도시된 실시예에 따른 수생 생물 정보 제공 시스템(1)에 의해 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 10d에 도시된 실시예에 따른 사용자 단말(121)에서 어로 활동을 통해 포획한 수생 생물의 정보를 제공하는 방법에도 적용된다.

단계 S1110에서 사용자 단말(121)은 카메라를 이용하여 수생 생물의 이미지를 촬영할 수 있다.

단계 S1120에서 사용자 단말(121)은 촬영된 수생 생물의 이미지를 수생 생물 정보 제공 서버(110)로 전송할 수 있다.

단계 S1130에서 사용자 단말(121)은 수생 생물 정보 제공 서버(110)로부터 수생 생물의 이미지에 기초하여 판별된 수생 생물의 정보를 제공받을 수 있다.

상술한 설명에서, 단계 S1110 내지 S1130은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.

도 1 내지 도 11을 통해 설명된 수생 생물 정보 제공 서버에서 어로 활동을 통해 포획한 수생 생물의 정보를 제공하는 방법 및 사용자 단말에서 어로 활동을 통해 포획한 수생 생물의 정보를 제공받는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 11을 통해 설명된 수생 생물 정보 제공 서버에서 어로 활동을 통해 포획한 수생 생물의 정보를 제공하는 방법 및 사용자 단말에서 어로 활동을 통해 포획한 수생 생물의 정보를 제공받는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.

컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

110: 수생 생물 정보 제공 서버
120: 복수의 사용자 단말
121: 제 1 사용자 단말
210: 모델 학습부
211: 레이블 정보 관리부
220: 수신부
230: 어종 판별부
240: 수생 생물 정보 제공부
250: 가상 수생 생물 생성부
260: 가상 아쿠아리움 서비스 제공부
270: 포인트 지급부
280: 인증 수행부
290: 어로 활동 서비스 제공부
910: 촬영부
920: 전송부
930: 수생 생물 정보 제공부
940: 표시부
950: 입력부
960: 가상 아쿠아리움 서비스 제공부

Claims (20)

1. 어로 활동을 통해 포획한 수생 생물의 정보를 제공하는 서버에 있어서,
   기수집된 수생 생물의 이미지 및 레이블 정보를 포함하는 학습 데이터를 이용하여 어종 판별 학습 모델을 구축하고, 복수의 사용자 단말로부터 미판별된 수생 생물의 이미지에 관한 레이블 정보를 수신하여 상기 학습 데이터를 갱신하고, 상기 갱신된 학습 데이터를 이용하여 상기 어종 판별 학습 모델을 학습하는 모델 학습부;
   제 1 사용자 단말로부터 수생 생물의 이미지를 수신하는 수신부;
   상기 어종 판별 학습 모델을 이용하여 상기 수신한 수생 생물의 이미지로부터 상기 수생 생물의 어종을 판별하는 어종 판별부; 및
   상기 판별된 수생 생물의 어종에 기초하여 상기 판별된 수생 생물의 정보를 제공하는 수생 생물 정보 제공부
   를 포함하는 것인, 수생 생물 정보 제공 서버.
   
2. 제 1 항에 있어서,
   상기 수생 생물의 이미지에 기초하여 상기 수생 생물의 형상을 모델링한 가상 수생 생물을 생성하는 가상 수생 생물 생성부; 및
   상기 생성된 가상 수생 생물을 가상 아쿠아리움을 통해 관상할 수 있도록 하는 가상 아쿠아리움 서비스를 상기 제 1 사용자 단말로 제공하는 가상 아쿠아리움 서비스 제공부
   를 더 포함하는 것인, 수생 생물 정보 제공 서버.
   
3. 제 1 항에 있어서,
   상기 모델 학습부는 상기 수생 생물의 어종의 판별이 불가능한 경우, 상기 제 1 사용자 단말로부터 상기 수생 생물의 어종에 대한 레이블 정보를 수신하거나 또는 레이블 정보 부여 알고리즘을 이용하여 자동으로 레이블 정보를 부여하는 레이블 정보 관리부를 더 포함하는 것인, 수생 생물 정보 제공 서버.
   
4. 제 3 항에 있어서,
   상기 레이블 정보 관리부는 상기 수생 생물의 이미지 및 상기 레이블 정보를 포함하는 수생 생물 게시물을 SNS(Social Network Service), 수생 생물 정보 제공 앱 또는 웹 중 적어도 하나에 게시하고,
   상기 복수의 사용자 단말로부터 상기 수생 생물 게시물에 기초하여 상기 수생 생물의 어종에 대한 추천 레이블 정보를 더 수신하는 것인, 수생 생물 정보 제공 서버.
   
5. 제 3 항에 있어서,
   상기 레이블 정보 관리부는 상기 복수의 사용자 단말로부터 상기 레이블 정보의 진위 여부에 대한 정보를 수신하고, 상기 레이블 정보의 진위 여부에 대한 투표 게시물을 SNS, 수생 생물 정보 제공 앱 또는 웹 중 적어도 하나에 게시하여 상기 투표 게시물에 대한 투표 결과를 획득하는 것인, 수생 생물 정보 제공 서버.
   
6. 제 5 항에 있어서,
   상기 모델 학습부는 상기 투표 결과의 전체 투표량 및 참(True)에 대한 투표율이 기설정된 임계값 이상인 경우, 상기 수생 생물의 이미지 및 상기 레이블 정보를 상기 학습 데이터에 추가하는 것인, 수생 생물 정보 제공 서버.
   
7. 제 5 항에 있어서,
   상기 투표 게시물에 대한 투표에 참여한 상기 복수의 사용자 단말의 계정으로 소정의 포인트를 지급하는 포인트 지급부를 더 포함하는 것인, 수생 생물 정보 제공 서버.
   
8. 제 1 항에 있어서,
   상기 수생 생물의 정보는 상기 수생 생물과 관련된 어종 정보, 포획지 정보, 어류 도감 정보, 상기 수생 생물의 이미지의 이미지 정보 및 메타정보 중 적어도 하나를 포함하는 것인, 수생 생물 정보 제공 서버.
   
9. 제 1 항에 있어서,
   상기 수신부는 상기 제 1 사용자 단말로부터 상기 수생 생물을 포획한 위치 정보를 더 수신하고,
   상기 수생 생물의 이미지 및 상기 위치 정보를 SNS 상에 게시하여 상기 제 1 사용자 단말의 어로 활동에 대한 인증을 수행하는 인증 수행부를 더 포함하는 것인, 수생 생물 정보 제공 서버.
   
10. 제 1 항에 있어서,
    상기 어로 활동과 관련된 기상 정보, 조황 정보, 대회 정보, 추천 낚시 장소 정보, 낚시 가이드 정보, 낚시 용품점 정보, 낚시배 정보, 및 숙박 정보 중 적어도 하나와 관련된 부가 정보를 상기 제 1 사용자 단말로 제공하는 어로 활동 서비스 제공부를 더 포함하는 것인, 수생 생물 정보 제공 서버.
    
11. 수생 생물 정보 제공 서버에서 어로 활동을 통해 포획한 수생 생물의 정보를 제공하는 방법에 있어서,
    기수집된 수생 생물의 이미지 및 레이블 정보를 포함하는 학습 데이터를 이용하여 어종 판별 학습 모델을 구축하고, 복수의 사용자 단말로부터 미판별된 수생 생물의 이미지에 관한 레이블 정보를 수신하여 상기 학습 데이터를 갱신하고, 상기 갱신된 학습 데이터를 이용하여 상기 어종 판별 학습 모델을 학습하는 단계;
    제 1 사용자 단말로부터 수생 생물의 이미지를 수신하는 단계;
    상기 어종 판별 학습 모델을 이용하여 상기 수신한 수생 생물의 이미지로부터 상기 수생 생물의 어종을 판별하는 단계; 및
    상기 판별된 수생 생물의 어종에 기초하여 상기 판별된 수생 생물의 정보를 제공하는 단계
    를 포함하는 것인, 수생 생물 정보 제공 방법.
    
12. 제 11 항에 있어서,
    상기 수생 생물의 정보를 제공하는 단계는,
    상기 수생 생물의 이미지에 기초하여 상기 수생 생물의 형상을 모델링한 가상 수생 생물을 생성하는 단계; 및
    상기 생성된 가상 수생 생물을 가상 아쿠아리움을 통해 관상할 수 있도록 하는 가상 아쿠아리움 서비스를 상기 제 1 사용자 단말로 제공하는 단계를 더 포함하는 것인, 수생 생물 정보 제공 방법.
    
13. 제 11 항에 있어서,
    상기 수생 생물의 어종을 판별하는 단계는,
    상기 수생 생물의 어종의 판별이 불가능한 경우, 상기 제 1 사용자 단말로부터 상기 수생 생물의 어종에 대한 레이블 정보를 수신하거나 또는 레이블 정보 부여 알고리즘을 이용하여 자동으로 레이블 정보를 부여하는 단계
    를 더 포함하는 것인, 수생 생물 정보 제공 방법.
    
14. 제 13 항에 있어서,
    상기 레이블 정보를 부여하는 단계는,
    상기 수생 생물의 이미지 및 상기 레이블 정보를 포함하는 수생 생물 게시물을 SNS, 수생 생물 정보 제공 앱 또는 웹 중 적어도 하나에 게시하는 단계; 및
    상기 복수의 사용자 단말로부터 상기 수생 생물 게시물에 기초하여 상기 수생 생물의 어종에 대한 추천 레이블 정보를 수신하는 단계를 더 포함하는 것인, 수생 생물 정보 제공 방법.
    
15. 제 13 항에 있어서,
    상기 레이블 정보를 부여하는 단계는,
    상기 복수의 사용자 단말로부터 상기 레이블 정보의 진위 여부에 대한 정보를 수신하는 단계; 및
    상기 레이블 정보의 진위 여부에 대한 투표 게시물을 SNS, 수생 생물 정보 제공 앱 또는 웹 중 적어도 하나에 게시하여 상기 투표 게시물에 대한 투표 결과를 획득하는 단계를 포함하는 것인, 수생 생물 정보 제공 방법.
    
16. 제 15 항에 있어서,
    상기 투표 결과를 획득하는 단계 이후에,
    상기 투표 결과의 전체 투표량 및 참(True)에 대한 투표율이 기설정된 임계값 이상인 경우, 상기 수생 생물의 이미지 및 상기 레이블 정보를 상기 학습 데이터에 추가하는 단계를 더 포함하는 것인, 수생 생물 정보 제공 방법.
    
17. 어로 활동을 통해 포획한 수생 생물의 정보를 제공받는 사용자 단말에 있어서,
    카메라를 이용하여 수생 생물의 이미지를 촬영하는 촬영부;
    상기 촬영된 수생 생물의 이미지를 수생 생물 정보 제공 서버로 전송하는 전송부; 및
    상기 수생 생물 정보 제공 서버로부터 상기 수생 생물의 이미지에 기초하여 판별된 상기 수생 생물의 정보를 제공받는 수생 생물 정보 제공부
    를 포함하고,
    상기 수생 생물 정보 제공 서버에 의해 어종 판별 학습 모델을 이용하여 상기 수생 생물의 이미지로부터 상기 수생 생물의 어종이 판별되고,
    상기 어종 판별 학습 모델은 상기 수생 생물 정보 제공 서버에 의해 기수집된 수생 생물의 이미지 및 레이블 정보를 포함하는 학습 데이터를 이용하여 구축되고,
    상기 학습 데이터는 복수의 사용자 단말로부터 수신된 미판별된 수생 생물의 이미지에 관한 레이블 정보에 기초하여 갱신되고,
    상기 갱신된 학습 데이터를 이용하여 상기 어종 판별 학습 모델이 학습된 것인, 사용자 단말.
    
18. 제 17 항에 있어서,
    상기 수생 생물의 정보를 디스플레이를 통해 표시하는 표시부를 더 포함하는 것인, 사용자 단말.
    
19. 제 18 항에 있어서,
    상기 수생 생물 정보 제공 서버로부터 상기 수생 생물의 이미지에 기초하여 생성된 가상 수생 생물을 가상 아쿠아리움을 통해 관상할 수 있도록 하는 가상 아쿠아리움 서비스를 제공하는 가상 아쿠아리움 서비스 제공부를 더 포함하고,
    상기 표시부는 상기 가상 아쿠아리움을 통해 상기 가상 수생 생물을 표시하는 것인, 사용자 단말.
    
20. 제 17 항에 있어서,
    상기 수생 생물 정보 제공 서버로부터 상기 수생 생물의 어종 판별 요청 메시지를 수신한 경우, 상기 수생 생물의 어종에 대한 레이블 정보를 입력받는 입력부를 더 포함하고,
    상기 전송부는 상기 입력된 레이블 정보를 상기 수생 생물 정보 제공 서버로 전송하는 것인, 사용자 단말.

Images