KR20240078529A - 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 시스템 및 그 방법 - Google Patents

전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 시스템 및 그 방법 Download PDF

Info

Publication number
KR20240078529A
KR20240078529A KR1020220160496A KR20220160496A KR20240078529A KR 20240078529 A KR20240078529 A KR 20240078529A KR 1020220160496 A KR1020220160496 A KR 1020220160496A KR 20220160496 A KR20220160496 A KR 20220160496A KR 20240078529 A KR20240078529 A KR 20240078529A
Authority
KR
South Korea
Prior art keywords
ornamental fish
image
image processing
image search
search service
Prior art date
Application number
KR1020220160496A
Other languages
English (en)
Inventor
조성윤
권기원
박경원
김양섭
송현학
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020220160496A priority Critical patent/KR20240078529A/ko
Publication of KR20240078529A publication Critical patent/KR20240078529A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 시스템은 관상어 이미지를 촬영하여 전송하는 사용자 디바이스 및 관상어 이미지를 수신하여 이미지 프로세싱 기반으로 관상어 특징을 추출하고, 전자도감 관상어 이미지 검색 서비스를 제공하는 서버를 포함한다.

Description

전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 시스템 및 그 방법{SYSTEM FOR SEARCHING SIMILAR ORNAMENTAL FISH IMAGES BASED ON IMAGE PROCESSING FOR ELECTRINIC ILLUSTRATED BOOK ORNAMENTAL FISH IMAGE SEARCH SERVICE AND METHOD USING THEREOF}
본 발명은 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 시스템 및 그 방법에 관한 것이다.
해마다 국내로 들여오는 수입 관상어에 대한 시장 규모가 커지면서, 항공, 선박을 통해 국내로 들어오는 관상어의 품종이 다양해지고 그 수도 증가하고 있다. 관상어의 경우 스트레스를 받으면 쉽게 폐사하기 때문에, 신속하게 수입을 진행한 업체에 전달하고 관상어 별로 최적 환경 조건의 큰 수조로 옮기는 것이 중요한 이슈이다. 그런데, 수입 관상어의 수가 급격히 증가함에 따라, 검역 수행 시간은 그에 비례하여 증가되고, 이 과정에서 여러 겹의 비닐 속 물에 담긴 관상어가 좁은 공간에 오랜 시간 갇혀 있게 되는 문제점이 있다. 또한, 검역 수행 과정에서의 흔들림 등 환경 요인으로 인해 폐사율이 증가하여 업체의 손해가 발생되는 문제점이 있다.
수입 관상어 검역 수행은 검역관이 수입되는 관상어의 학명/품명 리스트, 이미지 등의 다양한 정보를 직접 찾고 출력하여, 수입 관상어를 육안으로 대조하며 진행하므로, 검역 수행 과정에 많은 시간이 소요될 수 밖에 없다. 수입 관상어 검역 수행을 신속하게 돕기 위해 이미지 기반의 인공지능 모델을 활용한 연구가 개발되고 있지만, 인공지능 모델을 이용할 경우 고성능의 컴퓨팅 파워, 다양한 환경의 이미지 데이터셋 수집 및 라벨링 작업이 요구되므로, 비용 측면에서 적용하기 어려운 한계가 있다. 또한, 신규 수입 관상어 발생 시 인공지능 모델에서 추가적으로 이미지 데이터셋을 수집하고 라벨링하여, 기존 관상어 이미지 학습 정보를 통합하는 재학습 과정이 필요하며, 학습 시간이 긴 인공지능 모델의 현장 적용이 어려운 한계가 있다.
본 발명은 전술한 문제점을 해결하기 위해 제안된 것으로, 국내로 들여오는 수많은 품종의 수입 관상어를 대상으로 한 전자도감 장치에 있어서, 검역 현장에서 육안 식별이 어려운 관상어에 대한 신속 검역 보조를 지원하는 것이 가능한 이미지 프로세싱 기반 관상어 객체 특징 중심 유사 관상어 이미지 탐색 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명에 따른 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 시스템은 관상어 이미지를 촬영하여 전송하는 사용자 디바이스 및 관상어 이미지를 수신하여 이미지 프로세싱 기반으로 관상어 특징을 추출하고, 전자도감 관상어 이미지 검색 서비스를 제공하는 서버를 포함한다.
상기 사용자 디바이스에는 전자도감 소프트웨어가 설치되고, 상기 전자도감 소프트웨어는 관상어 이름, 분류, 유사종, 분류키, 형태, 생태, 유전정보, 질병, 검역 정보, 사진을 포함하는 검역 필요 관상어 정보가 제공된다.
상기 사용자 디바이스는 신규 관상어 이미지를 촬영하여 전송하고, 상기 서버는 상기 신규 관상어 이미지에 대한 이미지 프로세싱을 통해, 기저장된 데이터파일의 특징 정보에 상기 신규 관상어와 관련한 파일을 추가 저장한다.
상기 서버는 기저장된 데이터파일의 특징과 상기 이미지 프로세싱 기반으로 추출한 관상어 특징을 비교하고, 유사도가 높은 순서를 고려하여 유사 관상어 후보군을 추출한다.
상기 서버는 상기 이미지 프로세싱을 통해, 입력된 이미지에 대해 블러링 알고리즘을 적용하고, 그레이스케일 알고리즘을 적용하고, Otsu 이진화 알고리즘을 적용하고, 연결요소 라벨링을 복수 적용하고, 상기 연결요소 라벨링의 복수 적용 시 확장된 픽셀 영역의 상관 관계를 이용하여 객체의 영역을 검출한다.
상기 서버는 상기 이미지 프로세싱을 통해, 입력된 이미지의 객체 검출 영역에 대해 그레이스케일 알고리즘을 적용하고, 캐니 엣지 알고리즘을 적용하고, 객체의 세그멘테이션을 검출하고, 배경 제거를 위한 마스크를 생성하여, 배경이 제거된 이미지를 추출한다.
상기 서버는 상기 이미지 프로세싱을 통해, RGB 이미지를 HSV로 변환하고, 변환된 이미지에서 꼬리, 윗 지느러미, 아랫 지느러미, 머리 영역으로 영역을 분리하고, 분리된 각 영역에 대해 색상 특징을 추출한다.
본 발명에 따른 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 방법은 (a) 사용자 디바이스가 촬영한 관상어 이미지를 수신하는 단계 및 (b) 관상어 이미지에 대해 이미지 프로세싱을 적용하여, 신규 관상어 등록 및 유사 관상어 리스트 제공 서비스를 제공하는 단계를 포함한다.
상기 (b) 단계는 상기 (a) 단계에서 수신된 관상어 이미지가 신규 관상어 이미지인 경우, 기저장된 데이터파일 특징 정보에 신규 관상어와 관련한 파일을 추가 저장한다.
상기 (b) 단계는 기저장된 데이터파일의 특징과 상기 이미지 프로세싱 기반으로 추출한 관상어 특징을 비교하고, 유사도가 높은 순서를 고려하여 상기 유사 관상어 리스트를 제공한다.
상기 (b) 단계는 입력된 이미지에 대해 블러링 알고리즘을 적용하고, 그레이스케일 알고리즘을 적용하고, Otsu 이진화 알고리즘을 적용하고, 연결요소 라벨링을 복수 적용하고, 상기 연결요소 라벨링의 복수 적용 시 확장된 픽셀 영역의 상관 관계를 이용하여 객체의 영역을 검출한다.
상기 (b) 단계는 입력된 이미지의 객체 검출 영역에 대해 그레이스케일 알고리즘을 적용하고, 캐니 엣지 알고리즘을 적용하고, 객체의 세그멘테이션을 검출하고, 배경 제거를 위한 마스크를 생성하여, 배경이 제거된 이미지를 추출한다.
상기 (b) 단계는 RGB 이미지를 HSV로 변환하고, 변환된 이미지에서 꼬리, 윗 지느러미, 아랫 지느러미, 머리 영역으로 영역을 분리하고, 분리된 각 영역에 대해 색상 특징을 추출한다.
본 발명에 따르면, 관상어에 대한 육안 판별이 어려운 복잡한 검역 환경에서 전자 기기를 이용한 관상어 사진 촬영을 통해 유사 관상어 정보를 제공함으로써, 검역관의 검역 수행 편의성을 증대하는 효과가 있다.
본 발명에 따르면, 매해 수입 관상어의 수가 증가되는 환경에서, 이미지 프로세싱 기술을 이용하여 신속하게 유사 관상어 검색 서비스를 제공하는 것이 가능하다.
본 발명에 따르면, 관상어의 공통 특징 분석 기반 알고리즘을 통해, 인공지능 대비 상대적으로 낮은 객체 파악 정확도 성능을 가지는 이미지 프로세싱 기술을 보완하는 효과가 있다.
본 발명에 따르면, 서버에 저장된 여러 품종의 관상어 정보를 비교하고, 유사도에 따른 품종을 나열하여 제공하며, 검역관의 최종 선택을 입력 받아 유사 검색 서비스의 정확도를 향상시키는 효과가 있다.
본 발명에 따르면, 검역 현장의 검역관뿐 아니라, 일반 대중들에게 제공되어 스마트렌즈, 이미지 검색과 같은 관상어 이미지 검색 서비스의 제공이 가능하다.
본 발명에 따르면, 관상어의 이미지 기반의 유사 관상어 검색 서비스를 제공함으로써, Fishbase와 같은 다양한 전자도감 소프트웨어에 적용이 가능하다.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 시스템을 도시한다.
도 2는 본 발명의 실시예에 따른 신규 관상어 유사 이미지 검색을 위한 관상어 특징 정보 등록 과정을 도시한다.
도 3은 본 발명의 실시예에 따른 이미지 프로세싱 기술 기반의 유사 관상어 이미지 검색 과정을 도시한다.
도 4는 본 발명의 실시예에 따른 관상어 영역 검출 및 추출 과정을 도시한다.
도 5는 본 발명의 실시예에 따른 관상어 형태 엣지 연관성에 따른 관상어 이미지 배경 제거 과정을 도시한다.
도 6은 본 발명의 실시예에 따른 관상어 공통 영역에 따른 색상 기반 특징 추출 과정을 도시한다.
도 7은 본 발명의 실시예에 따른 전자도감 소프트웨어의 관상어 유사 이미지 검색 사용자 인터페이스를 도시한다.
도 8은 본 발명의 실시예에 따른 전자도감 소프트웨어의 관상어 유사 이미지 검색 전체 결과 리스트 제공에 관한 사용자 인터페이스를 도시한다.
도 9는 본 발명의 실시예에 따른 방법을 구현하기 위한 컴퓨터 시스템을 나타낸 블록도이다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.
본 발명의 실시예에 따르면, 이미지 프로세싱 기반 유사 이미지 검색 서비스를 제공하여, 국내로 들여오는 수입 관상어에 대한 검역관들의 검역 수행 시 육안 식별이 어려운 관상어에 대한 정보를 제공하며, 신속한 검역 수행을 지원한다. 본 발명의 실시예에 따르면, 복잡한 인공지능 기술이 아닌 관상어 특징 중심 이미지 프로세싱 기반의 유사 이미지 검색 서비스를 제공한다. 본 발명의 실시예에 따른 유사 관상어 이미지 검색 프로세스 기능을 통해, 검역 현장에서 육안 판별이 어려운 관상어에 대해 신속히 유사 관상어 정보를 제공할 수 있다. 본 발명의 실시예에 따르면, 인공지능 모델의 CNN 계층 구조 대비 연산량이 적으므로, 신속한 결과 출력이 가능하고, 신규 관상어에 대한 이미지 데이터셋 수집 및 라벨링 작업이 요구되지 않으며, 이미지 데이터의 관상어 영역 내 특징을 추출하고 데이터값을 파일로 저장하는 방식으로서 신속한 현장 적용이 가능하다.
도 1은 본 발명의 실시예에 따른 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 시스템을 도시한다.
사용자 디바이스(100)에 설치되는 전자도감 소프트웨어는 관상어의 이름, 분류, 유사종, 분류키, 형태, 생태, 유전정보, 질병, 검역 정보, 사진 등 검역에 필요한 관상어 정보를 제공한다. 전자도감 소프트웨어가 설치되는 사용자 디바이스(100)는 카메라를 내장하고 데이터 통신이 가능한 모든 전자기기의 적용이 가능하다. 사용자 디바이스(100)는 전자도감 소프트웨어를 이용하여 검역 현장에서 이미지 검색을 위해 촬영한 관상어 이미지를 서버(200)로 전송하는 송신부(110) 및 서버(200)로부터 유사 이미지 리스트를 포함하는 처리 결과를 수신하는 수신부(120)를 포함한다.
서버(200)의 통신부(210)는 사용자 디바이스(100)의 송신부(110)로부터 수신한 관상어 이미지를 처리부(220)로 전달한다. 처리부(220)는 사용자 디바이스(100)의 전자도감 소프트웨어에 의해 송신된 데이터에 따라 신규 관상어 입력 또는 유사 관상어 비교에 대한 처리를 수행하는 모듈로 이미지를 전달한다.
신규 관상어 입력부(230)는 사용자 디바이스(100)에서 접속한 전자도감 소프트웨어를 통한, 신규 어종에 대한 신속한 이미지 검색 서비스 지원을 위해, 신규로 들여온 관상어 이미지를 이용하여 특징을 추출한다.
서버(200)의 데이터파일 저장부(240)는 관상어 이미지의 특징 정보가 추출된 데이터파일이 저장되며, 신규 관상어 입력부(230)에 의해 추출된 신규 관상어의 특징은 기존의 데이터파일에 추가로 저장된다.
유사 관상어 비교부(250)는 사용자 디바이스(100)에서 접속한 전자도감 소프트웨어를 통해 수신된 관상어 이미지에 대해, 이미지 프로세싱 기술을 적용하여 특징을 추출하고, 추출된 특징을 기존에 데이터파일 저장부(240)에 저장된 관상어 특징과 비교하고, 유사도가 높은 관상어 후보군을 추출한다.
유사 관상어 비교부(250)에 의해 추출된 관상어 후보군에 대한 리스트는 유사도가 높은 순으로 정렬되어, 사용자 디바이스(100)로 제공되고, 관상어 후보군에 대한 리스트에서 사용자 선택 신호를 수신하여 선택된 대상에 대해 검역에 필요한 관상어 정보를 제공한다.
도 2는 본 발명의 실시예에 따른 신규 관상어 유사 이미지 검색을 위한 관상어 특징 정보 등록 과정을 도시한다.
사용자 단말기에 의해 전자도감 소프트웨어가 실행되고, 새로운 관상어에 대한 정보가 입력된다(S210). 관상어에 대한 정보는 검역 수행에 필요한 텍스트 정보 및 이미지가 입력되며, 새롭게 입력된 정보는 서버에 저장된다.
서버는 신규 유입 관상어에 대한 이미지를 수신하면, 이미지 프로세싱 처리를 통해 관상어 영역을 검출하고(S220), 배경을 제거하며(S230), 색상 기반 관상어 특징 추출을 수행한다(S240).
신규 관상어에 대해 추출된 특징은 서버 내 관상어 특징 정보 파일에 추가적으로 입력되고(S250), 신규 관상어의 특징 정보에 대해 등록이 완료되면(S260), 신규 관상어에 대한 유사 관상어 이미지 검색 서비스 이용이 가능하게 된다.
도 3은 본 발명의 실시예에 따른 이미지 프로세싱 기술 기반의 유사 관상어 이미지 검색 과정을 도시한다.
사용자 단말기에 의해 전자도감 소프트웨어가 실행되고, 검색 대상 관상어 이미지가 입력된다(S310).
관상어 이미지에 대해 서버는 이미지 프로세싱을 수행하며, S320 단계에서 관상어 영역을 검출하고(도 4를 참조하여 후술함), S330 단계에서 배경을 제거하며(도 5를 참조하여 후술함), S340 단계에서 색상 기반의 관상어 특징을 추출한다(도 6을 참조하여 후술함).
입력된 이미지에서 특징이 추출되면, S350 단계는 기저장된 전자도감 소프트웨어의 관상어 특징정보 파일을 로드하고, 입력된 이미지의 특징과 파일 내 관상어의 특징을 비교하여 유사 객체 탐색을 수행한다(S360).
S370 단계에서는, 유사도가 높게 측정된 관상어 리스트가 제공되며, 이 때 리스트는 유사도가 높은 순으로 정렬된다. 관상어 리스트는 사용자 디바이스로 전송되며, 사용자는 관상어 리스트에 대한 정보를 확인하고, 선택한다.
S380 단계는 선택된 관상어에 대해 검역 수행에 필요한 다양한 정보를 제공한다.
도 4는 본 발명의 실시예에 따른 관상어 영역 검출 및 추출 과정을 도시한다.
도 4의 (a)에 도시한 바와 같이 관상어 이미지가 입력되면, 이진화(Binarization) 알고리즘 기반으로 객체 영역 검출을 위해 객체의 세그멘테이션(Segmentation) 추출을 위해, 도 4의 (b)에 도시한 바와 같이 이미지 블러링(Blurring) 알고리즘이 적용되어 이미지를 매끄럽게 나타낸다.
도 4의 (c)를 참고하면, 블러링(Blurring)이 적용된 이미지를 이진화하기 위해, RGB 3개의 채널을 1개의 채널로 나타내는 그레이스케일(Grayscale) 알고리즘을 적용한다.
일반적인 이진화(Binarization)는 임계값(Threshold)을 고정적으로 설정해야 하여 다양한 색상을 가진 관상어에 적용하기 어려우므로, 도 4의 (d)를 참고하면, 이미지에 따라 유동적으로 임계값을 찾아 설정하는 Otsu 이진화 알고리즘이 적용된다.
Otsu 이진화 알고리즘은 이미지 내 픽셀을 두 부류의 명암 분포로 균일하게 나타내고, 화려한 색상을 가진 관상어에 적용하더라도 이미지 속 관상어의 세그멘테이션 추출이 어렵다. 도 4의 (e) 및 도 4의 (f)를 참고하면, 관상어의 세그멘테이션이 여러 개로 분리되었을 때 이를 재결합하기 위하여 모폴리지 연산인 팽창(Dilation)과 연결요소 라벨링(Component Connected Labeling) 알고리즘이 복수 적용된다. 연결요소 라벨링(Component Connected Labeling)의 최초 적용 시 여러 개로 분리된 흰색 영역의 관상어 세그멘테이션 검출 박스 영역에 상/하/좌/우로 픽셀 영역 확장이 수행된다.
도 4의 (g)를 참고하면, 연결요소 라벨링(Component Connected Labeling) 복수 적용 시 확장된 영역들의 상관 관계를 이용하여, 하나의 영역으로 통합하여 객체의 영역을 검출한다.
이미지에 따른 팽창, 연결요소 라벨링 복수 적용 횟수는 이진화된 이미지에 연결요소 라벨링을 최초 적용하였을 때 추출된 박스 영역들과 관련되어 있다. 예컨대, 연결요소 라벨링의 최초 적용 시 10개의 박스 영역이 추출되면, 팽창을 통해 박스 영역을 확장하고, 다시 연결요소 라벨링을 적용하여 추출되는 박스의 수를 메모리에 저장한다. 이전에 추출된 박스의 개수와 현재 추출된 박스의 개수의 변화량이 적을 때까지 팽창과 연결요소 라벨링 알고리즘 적용을 수행한다. 팽창과 연결요소 라벨링 적용으로 검출된 영역의 픽셀 좌표를 이용하여, 입력된 이미지 내에서 객체의 영역을 추출한다(도 4의 (h)).
도 5는 본 발명의 실시예에 따른 관상어 형태 엣지 연관성에 따른 관상어 이미지 배경 제거 과정을 도시한다.
도 5의 (a)에 도시한 관상어 입력 이미지는 앞서 도 4를 참고하여 설명한 객체 영역과 동일한다.
배경 제거를 위해, 도 5의 (b)와 같이 입력 이미지에 그레이스케일(Grayscale) 알고리즘을 적용한다.
도 5의 (c)를 참고하면, 그레이스케일(Grayscale) 알고리즘이 적용된 이미지에서 이미지의 외각을 검출하기 위해 캐니 엣지(Canny Edge) 알고리즘을 적용한다.
도 5의 (d)를 참고하면, 캐니 엣지(Canny Edge)에서 검출되어 서로 이어지지 않은 별개의 엣지 정보를 찾아, 엣지 간의 연관성 분석을 통해 객체의 세그멘테이션을 검출한다. 엣지 간 연관성 분석 시, 관상어 엣지 좌표값에 대한 가로/세로 라인의 Min/Max 픽셀 좌표값을 계산하고, 이를 기반으로 배경 제거를 위한 마스크를 생성한다. 예컨대, 이미지의 (x,y) 픽셀 형식에서 세로를 기준으로 (0,0), (0,1), (0,2), (0,R) 좌표 값을 증가시키며 흰색 픽셀을 가진 좌표값을 찾고, 이에 대한 (x,y) 좌표의 Min/Max 값을 찾으며, X 픽셀을 하나 시켜 전술한 과정을 반복한다. 세로 기준으로 (x,y)의 Min/Max 값을 다 찾으면, 가로를 기준으로 하여 전술한 과정을 반복한다.
이미지의 픽셀 라인별로 찾은 (x,y) 좌표의 Min/Max를 이어, 배경 제거를 위한 이진화 마스크를 생성한다. 도 5의 (e)를 참고하면, 검출된 세그멘테이션을 마스크로 사용하여 원본 이미지에서 객체 영역을 제외한 배경이 제거된 이미지를 추출한다.
도 6은 본 발명의 실시예에 따른 관상어 공통 영역에 따른 색상 기반 특징 추출 과정을 도시한다.
도 6의 (a)와 같이 배경이 제거된 관상어의 RGB 이미지가 입력되면, 도 6의 (b)와 같이, 색상(Hue), 채도(Saturation), 명도(Value)로 색을 나타내는 HSV로 변환한다.
도 6의 (c)를 참고하면, HSV로 변환된 관상어 이미지는 총 4가지의 영역, 즉 꼬리, 윗 지느러미, 아랫 지느러미, 머리 영역으로 분리되고, 도 6의 (d)를 참고하면, 분리된 각 영역에 대해 색상 특징을 추출한다. 각 영역별 추출된 색상 특징은 총 256개의 값으로 나타낸다. 새롭게 유입된 관상어의 경우, 관상어 이미지에서 추출한 색상 정보를 서버의 관상어 특징 정보 파일에 추가 등록한다.
유사 관상어 이미지 비교 시, 관상어 이미지에서 추출한 색상 정보와 기저장된 관상어 이미지의 특징 정보를 비교하여, 입력된 관상어 이미지와 가장 유사한 관상어 후보군 리스트를 탐색한다.
또한, 주변의 복잡도가 높은 환경에서 정확한 이미지 유사 검색을 위해, 전술한 이미지 프로세싱 뿐 아니라, 심층신경망을 구성하여 이미지 프로세싱과 심층신경망 시스템을 구축한다.
이미지 프로세싱을 통해 검출한 관상어의 꼬리, 윗 지느러미, 아랫 지느러미, 머리에 대해 추출한 HSV 색상 정보의 분포에 대한 값을 심층신경망에 입력하고, 기 학습된 Weights/Bias를 이용해 가장 정답에 근접한 유사 관상어를 결과로 추출한다.
그런데, 2D 이미지 속 관상어가 움직이는 과정에서 촬영됨으로써, 꼬리가 휘어있거나 핵심 특징 영역이 타 객체에 의해 가려져 있는 경우, 관상어 분석이 어려운 문제점이 있다.
따라서, 본 발명의 실시예에 따르면 카메라를 이용하여 촬영한 2D 이미지 프레임을 저장할 뿐 아니라, 동기화된 복수의 카메라를 이용하여 관상어에 대한 3D 모델링을 수행한다. 3D 모델링된 관상어는 다양한 각도에 따라 2D 이미지로 변환되어, 도 4 및 도 5의 과정을 통해 관상어 영역이 추출되고, 배경이 제거된다. 본 발명의 실시예에 따르면, 단순히 2D 이미지 하나를 이용하여 유사 관상어를 찾는 것이 아니라, 하나의 관상어에 대해 다양한 각도에서의 유사 관상어 검색 결과를 추출하고, 검색 결과를 종합하여 가장 유사한 관상어 탐색을 수행한다. 입력된 관상어 영상 분석을 통해 추출한 특징을 기저장한 다양한 품종의 관상어의 특징점과 비교를 하여, 유사한 관상어 리스트를 제공한다.
기저장된 관상어의 개수가 증가할 수록, 비교대상이 많아짐에 따라 처리 시간이 많이 소요될 수 있으므로, 본 발명의 실시예에 따르면 비교 분류 관상어 리스트에 대한 최소화를 위해 라이다(LiDAR) 센서를 활용한다. 라이다 센서는 주변에 빛을 쏘고 물체에 맞아 되돌아온 시간 정보를 이용해 X, Y, Z의 3차원 포인트 수집한다. 라이다 센서를 이용하는 경우, 사전에 관상어의 크기와 형태 데이터를 수집하고 저장할 수 있다. 관상어가 입력되면 카메라와 라이다 센서로 관상어의 정보를 획득한다. 라이다 센서로부터 관상어의 모양과 형태를 파악하고 이와 유사한 정보를 지닌 관상어를 파악한다. 카메라로부터 얻은 관상어 2D 이미지, 3D 이미지에서 특징을 추출하여 라이다 센서로부터 분류된 관상어 리스트 안에서 특징 비교 분석을 한다.
도 7은 본 발명의 실시예에 따른 전자도감 소프트웨어의 관상어 유사 이미지 검색 사용자 인터페이스를 도시한다. 도 7의 (a)는 관상어 유사 이미지 검색 전 사용자 인터페이스를, 도 7의 (b)는 관상어 유사 이미지 검색 후 사용자 인터페이스를 도시한다.
전자도감 소프트웨어를 이용하여, 검색 대상 이미지를 업로드하고, 유사도 분석을 통해 유사 관상어 리스트가 제공된다. 유사 관상어 리스트 중, 사용자가 선택한 객체에 대해 관상어의 이름, 분류, 생태, 질병, 사진 등의 정보가 제공된다.
이미지 업로드는 사용자 단말기의 카메라로 직접 촬영하여 업로드할 수 있고, 기존에 촬영하여 저장한 이미지를 업로드할 수도 있다.
유사 관상어 이미지 검색을 통해 제시된 유사 관상어 리스트에서 사용자가 선택할 객체가 없는 경우, "더보기" 기능 선택을 통해 더 많은 유사 관상어 리스트를 확인할 수 있다.
도 8은 본 발명의 실시예에 따른 전자도감 소프트웨어의 관상어 유사 이미지 검색 전체 결과 리스트 제공에 관한 사용자 인터페이스를 도시한다.
유사 관상어 리스트에 포함되는 객체들은 유사도가 높은 순으로 디스플레이되며, 어종 및 사진이 함께 제공된다. 사용자는 UI를 통해 터치, 마우스, 키보드 등의 스크롤 기능을 이용하여 화면 내 하단에 표시되지 않은 관상어 리스트에 대한 확인이 가능하다.
도 9는 본 발명의 실시예에 따른 방법을 구현하기 위한 컴퓨터 시스템을 나타낸 블록도이다.
도 9를 참조하면, 컴퓨터 시스템(1000)은, 버스(1070)를 통해 통신하는 프로세서(1010), 메모리(1030), 입력 인터페이스 장치(1050), 출력 인터페이스 장치(1060), 및 저장 장치(1040) 중 적어도 하나를 포함할 수 있다. 컴퓨터 시스템(1000)은 또한 네트워크에 결합된 통신 장치(1020)를 포함할 수 있다. 프로세서(1010)는 중앙 처리 장치(central processing unit, CPU)이거나, 또는 메모리(1030) 또는 저장 장치(1040)에 저장된 명령을 실행하는 반도체 장치일 수 있다. 메모리(1030) 및 저장 장치(1040)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read only memory) 및 RAM(random access memory)를 포함할 수 있다. 본 기재의 실시예에서 메모리는 프로세서의 내부 또는 외부에 위치할 수 있고, 메모리는 이미 알려진 다양한 수단을 통해 프로세서와 연결될 수 있다. 메모리는 다양한 형태의 휘발성 또는 비휘발성 저장 매체이며, 예를 들어, 메모리는 읽기 전용 메모리(read-only memory, ROM) 또는 랜덤 액세스 메모리(random access memory, RAM)를 포함할 수 있다.
따라서, 본 발명의 실시예는 컴퓨터에 구현된 방법으로서 구현되거나, 컴퓨터 실행 가능 명령이 저장된 비일시적 컴퓨터 판독 가능 매체로서 구현될 수 있다. 한 실시예에서, 프로세서에 의해 실행될 때, 컴퓨터 판독 가능 명령은 본 기재의 적어도 하나의 양상에 따른 방법을 수행할 수 있다.
통신 장치(1020)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다.
또한, 본 발명의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능 매체에 기록될 수 있다.
상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은, 본 발명의 실시예를 위해 특별히 설계되어 구성된 것이거나, 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체는 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치를 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 기록 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 롬(ROM), 램(RAM), 플래시 메모리 등일 수 있다. 프로그램 명령은 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 통해 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (13)

  1. 관상어 이미지를 촬영하여 전송하는 사용자 디바이스; 및
    상기 관상어 이미지를 수신하여 이미지 프로세싱 기반으로 관상어 특징을 추출하고, 전자도감 관상어 이미지 검색 서비스를 제공하는 서버
    를 포함하는 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 시스템.
  2. 제1항에 있어서,
    상기 사용자 디바이스에는 전자도감 소프트웨어가 설치되고, 상기 전자도감 소프트웨어는 관상어 이름, 분류, 유사종, 분류키, 형태, 생태, 유전정보, 질병, 검역 정보, 사진을 포함하는 검역 필요 관상어 정보가 제공되는 것
    인 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 시스템.
  3. 제1항에 있어서,
    상기 사용자 디바이스는 신규 관상어 이미지를 촬영하여 전송하고, 상기 서버는 상기 신규 관상어 이미지에 대한 이미지 프로세싱을 통해, 기저장된 데이터파일의 특징 정보에 상기 신규 관상어와 관련한 파일을 추가 저장하는 것
    인 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 시스템.
  4. 제1항에 있어서,
    상기 서버는 기저장된 데이터파일의 특징과 상기 이미지 프로세싱 기반으로 추출한 관상어 특징을 비교하고, 유사도가 높은 순서를 고려하여 유사 관상어 후보군을 추출하는 것
    인 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 시스템.
  5. 제3항 또는 제4항 중 어느 하나의 항에 있어서,
    상기 서버는 상기 이미지 프로세싱을 통해, 입력된 이미지에 대해 블러링 알고리즘을 적용하고, 그레이스케일 알고리즘을 적용하고, Otsu 이진화 알고리즘을 적용하고, 연결요소 라벨링을 복수 적용하고, 상기 연결요소 라벨링의 복수 적용 시 확장된 픽셀 영역의 상관 관계를 이용하여 객체의 영역을 검출하는 것
    인 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 시스템.
  6. 제3항 또는 제4항 중 어느 하나의 항에 있어서,
    상기 서버는 상기 이미지 프로세싱을 통해, 입력된 이미지의 객체 검출 영역에 대해 그레이스케일 알고리즘을 적용하고, 캐니 엣지 알고리즘을 적용하고, 객체의 세그멘테이션을 검출하고, 배경 제거를 위한 마스크를 생성하여, 배경이 제거된 이미지를 추출하는 것
    인 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 시스템.
  7. 제3항 또는 제4항 중 어느 하나의 항에 있어서,
    상기 서버는 상기 이미지 프로세싱을 통해, RGB 이미지를 HSV로 변환하고, 변환된 이미지에서 꼬리, 윗 지느러미, 아랫 지느러미, 머리 영역으로 영역을 분리하고, 분리된 각 영역에 대해 색상 특징을 추출하는 것
    인 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 시스템.
  8. 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 시스템에 의해 수행되는 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 방법에 있어서,
    (a) 사용자 디바이스가 촬영한 관상어 이미지를 수신하는 단계; 및
    (b) 상기 관상어 이미지에 대해 이미지 프로세싱을 적용하여, 신규 관상어 등록 및 유사 관상어 리스트 제공 서비스를 제공하는 단계
    를 포함하는 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 방법.
  9. 제8항에 있어서,
    상기 (b) 단계는 상기 (a) 단계에서 수신된 관상어 이미지가 신규 관상어 이미지인 경우, 기저장된 데이터파일 특징 정보에 신규 관상어와 관련한 파일을 추가 저장하는 것
    인 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 방법.
  10. 제8항에 있어서,
    상기 (b) 단계는 기저장된 데이터파일의 특징과 상기 이미지 프로세싱 기반으로 추출한 관상어 특징을 비교하고, 유사도가 높은 순서를 고려하여 상기 유사 관상어 리스트를 제공하는 것
    인 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 방법.
  11. 제8항에 있어서,
    상기 (b) 단계는 입력된 이미지에 대해 블러링 알고리즘을 적용하고, 그레이스케일 알고리즘을 적용하고, Otsu 이진화 알고리즘을 적용하고, 연결요소 라벨링을 복수 적용하고, 상기 연결요소 라벨링의 복수 적용 시 확장된 픽셀 영역의 상관 관계를 이용하여 객체의 영역을 검출하는 것
    인 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 방법.
  12. 제8항에 있어서,
    상기 (b) 단계는 입력된 이미지의 객체 검출 영역에 대해 그레이스케일 알고리즘을 적용하고, 캐니 엣지 알고리즘을 적용하고, 객체의 세그멘테이션을 검출하고, 배경 제거를 위한 마스크를 생성하여, 배경이 제거된 이미지를 추출하는 것
    인 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 방법.
  13. 제8항에 있어서,
    상기 (b) 단계는 RGB 이미지를 HSV로 변환하고, 변환된 이미지에서 꼬리, 윗 지느러미, 아랫 지느러미, 머리 영역으로 영역을 분리하고, 분리된 각 영역에 대해 색상 특징을 추출하는 것
    인 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 방법.
KR1020220160496A 2022-11-25 2022-11-25 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 시스템 및 그 방법 KR20240078529A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220160496A KR20240078529A (ko) 2022-11-25 2022-11-25 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220160496A KR20240078529A (ko) 2022-11-25 2022-11-25 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20240078529A true KR20240078529A (ko) 2024-06-04

Family

ID=91466159

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220160496A KR20240078529A (ko) 2022-11-25 2022-11-25 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20240078529A (ko)

Similar Documents

Publication Publication Date Title
Chaudhuri et al. Multilabel remote sensing image retrieval using a semisupervised graph-theoretic method
Neumann et al. Efficient scene text localization and recognition with local character refinement
JP6098702B2 (ja) 複数の整理されたオブジェクトを含む画像を解析する方法、システム及びコンピュータ可読プログラム
US9367766B2 (en) Text line detection in images
Lucas et al. ICDAR 2003 robust reading competitions: entries, results, and future directions
JP5775225B2 (ja) マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出
Ye et al. Scene text detection via integrated discrimination of component appearance and consensus
CN106845513B (zh) 基于条件随机森林的人手检测器及方法
JP2010140478A (ja) 文書画像分類のための方法及びシステム
CN109389115B (zh) 文本识别方法、装置、存储介质和计算机设备
Peng et al. Text extraction from video using conditional random fields
CN112101386B (zh) 文本检测方法、装置、计算机设备和存储介质
CN112633297A (zh) 目标对象的识别方法、装置、存储介质以及电子装置
He et al. Aggregating local context for accurate scene text detection
Kumar et al. A deep learning paradigm for detection of harmful algal blooms
Chen et al. Page segmentation for historical handwritten document images using conditional random fields
JP6639743B1 (ja) 検索システム、検索方法、及びプログラム
Yasmeen et al. Text detection and classification from low quality natural images
Vidhyalakshmi et al. Text detection in natural images with hybrid stroke feature transform and high performance deep Convnet computing
JP6637221B1 (ja) 検索システム、検索方法、及びプログラム
KR20240078529A (ko) 전자도감 관상어 이미지 검색 서비스를 위한 이미지 프로세싱 기반 유사 관상어 이미지 탐색 시스템 및 그 방법
CN113065559B (zh) 图像比对方法、装置、电子设备及存储介质
Shinde et al. Street view text detection methods
Mansoor et al. Recognizing text with a CNN
Montoya-Zegarra et al. Semantic tie points