KR101552302B1 - 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템 및 방법 - Google Patents

모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템 및 방법 Download PDF

Info

Publication number
KR101552302B1
KR101552302B1 KR1020140050456A KR20140050456A KR101552302B1 KR 101552302 B1 KR101552302 B1 KR 101552302B1 KR 1020140050456 A KR1020140050456 A KR 1020140050456A KR 20140050456 A KR20140050456 A KR 20140050456A KR 101552302 B1 KR101552302 B1 KR 101552302B1
Authority
KR
South Korea
Prior art keywords
image
server
mobile terminal
sharpened
sharpening
Prior art date
Application number
KR1020140050456A
Other languages
English (en)
Inventor
김진영
Original Assignee
김진영
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김진영 filed Critical 김진영
Priority to KR1020140050456A priority Critical patent/KR101552302B1/ko
Application granted granted Critical
Publication of KR101552302B1 publication Critical patent/KR101552302B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템 및 방법에 관한 것으로, 카메라로 이미지를 촬영하고, 촬영된 이미지를 서버에 전송하며, 상기 서버로부터 전송된 이미지 정보를 수신하여 이를 표시하는 모바일 단말기; 및 상기 모바일 단말기 및/또는 컴퓨터로부터 원본 이미지를 수신하며, 블러링 마스크를 사용하여 블러링(blurring)하여 최초 원본 이미지를 보다 부드럽게 하며, 블러링 된 이미지에 샤프닝(sharpening)을 적용하여 고주파 통과 필터를 통과하여 저주파가 제거되고 윤곽이 강조된 섬세한 샤프닝 된 이미지로 변환하여 리소스 매니저를 통해 사진 DB에 저장하고, PC 또는 모바일 단말기의 검색 키워드의 이미지 검색 및 특정 이미지 전송 요청에 따라 이미지 명칭을 검색하여 상기 모바일 단말기에 해당 이미지를 전송하며 선택된 사진의 예약 전송 기능을 제공하는 온라인 이미지 서버;를 포함한다. 상기 시스템은 모바일 단말기를 이용하여 촬영한 이미지를 온라인 이미지 서버로 업로딩하여 전송하고, 이미지 서버가 윤곽선이 흐릿한 원본 이미지를 샤프닝 처리된 이미지로 변환하여 윤곽이 섬세한 샤프닝 이미지를 저장하며, 서버에 접속하여 화질이 개선된 샤프닝된 이미지를 보다 편리하게 검색하는 서비스를 제공하고, 선택된 사진을 서버의 예약전송 스케쥴러를 사용하여 기 설정된 사람들의 모바일 단말기의 이동 전화번호로 예약 전송한다.

Description

모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템 및 방법{SYSTEM AND METHOD FOR SEARCHING IMAGE APPLIED SHARPENING BASED ON MOBILE COMMUNICATION TERMINAL}
본 발명은 이미지 검색시스템 및 방법에 관한 것으로, 보다 상세하게는 모바일 단말기를 이용하여 촬영한 이미지를 온라인 이미지 서버로 업로딩하여 전송하고, 온라인 이미지 서버가 윤곽선이 흐릿한 원본 이미지를 샤프닝(Sharpening) 처리된 이미지로 변환하여 윤곽이 섬세한 샤프닝 이미지를 저장하며, 동호회, 동문회 등의 기념 촬영의 경우 동호회 사진 또는 기념 사진을 서버의 예약전송 스케쥴러를 사용하여 기 설정된 사람들의 모바일 단말기의 이동 전화번호로 예약 전송하여 표시되도록 하며, 화질이 개선된 샤프닝된 이미지를 보다 편리하게 검색하는, 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템 및 방법에 관한 것이다.
최근, 컴퓨터의 급격한 확산으로 TCP/IP(Transport Control Protocol / Internet Protocol)를 기반으로 하는 인터넷(INTERNET)이 확립되면서 전 세계적으로 각종 통신망이 인터넷을 중심으로 통합되는 추세이다. 이에 따라 인터넷 사용자는 인터넷을 통하여 많은 정보들을 검색하고 획득할 수 있다.
인터넷은 정보제공서버와 다수의 개인용 컴퓨터(PC)에 결합되고, 개인용 컴퓨터(PC)들은 인터넷을 접속하는 웹브라우저를 구비하며, 사용자가 개인용 컴퓨터(PC)를 이용하여 인터넷 접속한 후 웹 서핑을 통해 웹서버에서 제공하는 각종 정보를 검색하거나 또는 각종 데이터를 실시간으로 전송 또는 제공받을 수 있다.
인터넷 사용자는 인터넷 상에서 원하는 이미지를 검색하고자 하는 경우 검색어를 키워드로 입력하면, 검색 엔진에 의해 키워드로 입력된 검색어를 검색하여 상기 입력된 키워드에 매칭된 이미지를 출력시킨다.
상기와 같은 키워드 조건의 검색 시스템의 경우 키워드를 조건화시켜 해당 이미지를 찾게 되므로 찾고자 하는 이미지 정보를 쉽고 정확하게 찾을 수 없다. 즉, 종래의 키워드 조건의 이미지 검색시스템은 키워드를 입력하면 각 음절이나 단어가 포함된 이미지의 제목이나 설명부분에 키워드와 일치하는 키워드가 없을 경우 해당 이미지를 검색해 주지 못하게 되는 문제점이 있었다.
또한 기존의 Web 2.0 서비스로 제공되던 Flickr 서비스는 온라인 사진 저장, 검색 공유 서비스를 제공하였지만, 비가 오거나 구름이 끼고 흐린 날씨에 촬영된 사진에 촬영된 사진의 이미지의 블러링과 셔프닝 처리 후에 윤곽이 보정된 서비스를 제공하지 않았으므로 raw 원본 이미지의 화질의 품질이 좋지 않았던 단점이 있었다.
상기 문제점을 해결하기 위해, 본 발명은 모바일 단말기를 이용하여 촬영한 이미지를 온라인 이미지 서버로 업로딩하여 전송하고, 온라인 이미지 서버가 윤곽선이 흐릿한 원본 이미지를 샤프닝(Sharpening) 처리된 이미지로 변환하여 윤곽이 섬세한 샤프닝 이미지를 저장하며, 동호회, 동문회 등의 기념 촬영의 경우 동호회 사진 또는 기념 사진을 서버의 예약전송 스케쥴러를 사용하여 기 설정된 사람들의 모바일 단말기의 이동 전화번호로 예약 전송하여 표시되도록 하며, 서버에 접속된 유무선 단말기의 검색 키워드에 따라 이미지의 명칭을 검색하여 샤프닝된 이미지를 보다 편리하게 검색하는, 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템 및 방법을 제공하는 것을 그 목적으로 한다.
본 발명에 따른 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템은, 카메라로 이미지를 촬영하고, 촬영된 이미지를 서버에 전송하며, 상기 서버로부터 전송된 이미지 정보를 수신하여 이를 표시하는 모바일 단말기; 및 상기 모바일 단말기 및/또는 컴퓨터로부터 원본 이미지를 수신하며, 블러링 마스크를 사용하여 블러링(blurring)하여 최초 원본 이미지를 보다 부드럽게 하며, 블러링 된 이미지에 샤프닝(sharpening)을 적용하여 고주파 통과 필터를 통과하여 저주파가 제거되고 윤곽이 강조된 섬세한 샤프닝 된 이미지로 변환하여 리소스 매니저를 통해 사진 DB에 저장하고, PC 또는 모바일 단말기의 검색 키워드의 이미지 검색 및 특정 이미지 전송 요청에 따라 이미지 명칭을 검색하여 상기 모바일 단말기에 해당 이미지를 전송하며 선택된 사진의 예약 전송 기능을 제공하는 온라인 이미지 서버를 포함하며,
상기 온라인 이미지 서버는 기 저장된 샤프닝 된 이미지의 축소나 확대시, 이미지 확대의 경우 기존 크기의 샤프닝 된 이미지 크기(width, height)를 확대된 크기의 이미지를 확대시 확대된 크기의 이미지의 빈 픽셀들의 빈 화소들에 대하여 최근접 보간법(nearest neighbor interpolation)을 사용하며, 이미지 축소시 빈 픽셀들이 나타나지 않으므로 보간법을 사용하지 않는 이미지 확대 축소기능과, 상기 서버로 수신된 원본 이미지를 샤프닝 처리된 이미지로 변경 후에, 사진의 의미를 부여하는 문자나 로고를 합성하는 이미지 합성 기능 및 원본 이미지에 저작권 정보가 표시되는 것을 특징으로 한다.
상기 온라인 이미지 서버는 모바일 단말기 또는 컴퓨터로부터 촬영된 원본 이미지를 수신하고 이미지 전송 요청에 따라 이미지를 전송하는 이미지 송수신부; 상기 이미지 송수신부로부터 원본 이미지 수신시 이미지를 저장되도록 하고 유무선 단말기로부터 수신된 검색 키워드에 따라 이미지 명칭을 검색하는 이미지 저장 및 검색부; 상기 원본 이미지를 우선 블러링 마스크를 사용하여 최초 원본 이미지를 부드럽게 블러링(blurring)하며, 블러링 된 이미지에 샤프닝(sharpening)을 적용하여 고주파 통과 필터를 통과하여 저주파가 제거되고 윤곽이 강조된 섬세한 샤프닝 된 이미지로 변환하는 샤프닝부; 기 저장된 샤프닝 된 이미지의 축소나 확대시, 이미지 확대의 경우 기존 크기의 샤프닝 된 이미지 크기(width, height)를 확대된 크기의 이미지를 확대시 확대된 크기의 이미지의 빈 픽셀들의 빈 화소들에 대하여 최근접 보간법(nearest neighbor interpolation)을 사용하며, 이미지 축소시 빈 픽셀들이 나타나지 않으므로 보간법을 사용하지 않는 이미지 확대 축소부; 상기 모바일 단말기 또는 컴퓨터를 포함하는 유무선 단말기로부터 수신된 원본 이미지를 샤프닝 처리된 이미지로 변경 후에, 사진의 의미를 부여하는 문자나 로고를 합성하는 이미지 합성부; 상기 샤프닝부로부터 전송된 샤프닝 된 이미지들을 이미지의 명칭에 따라 분류하여 저장하는 리소스 매니저; 상기 원본 이미지에 대응하는 샤프닝 된 사진을 저장하는 사진 DB; 및 모바일 단말기의 사용자 또는 컴퓨터 사용자의 신상 정보를 저장하는 회원 DB를 포함한다.
상기 온라인 이미지 서버는 DRM 서버와 지불 서버와 연동되어 유료로 ID/Passwd 또는 공인 인증서로 인증된 사용자에게만 조회 및 다운로드 서비스되며 DRM 이미지 컨텐츠를 암호화/복호화하여 사용하게 할 수 있으며, 원저작자의 저작권을 보호하고 복제 방지를 위해 흐린 바탕 무늬 또는 로고 등의 가시적인 워터 마크를 표시하거나 또는 비가시적인 워터 마크(Watermark)를 표시할 수 있으며, 저작권자의 정보, 촬영 일자, 사진의 의미를 나타내는 내용을 표시하는 저작권 정보 표시부를 더 포함한다.
상기 온라인 이미지 서버는 선택된 사진을 사용자가 설정한 예약된 시간 이내에 기 설정된 사람들의 컴퓨터의 이메일 또는 모바일 단말기의 이동 전화번호로 예약 전송하는 예약전송 스케쥴러를 더 포함한다.
본 발명의 다른 실시예에 따른 이미지 검색 시스템은 모바일 단말기로 이미지를 촬영하고, 촬영된 이미지를 웹서버에 전송하며, 상기 웹서버로부터 전송된 이미지 정보를 수신하여 이를 표시하는 모바일 단말기; 및 상기 모바일 단말기로부터 이미지를 수신하며, 블러링 마스크를 사용하여 블러링(blurring)하여 최초 원본 이미지를 보다 부드럽게 하며, 블러링 된 이미지에 샤프닝(sharpening)을 적용하여 고주파 통과 필터를 통과하여 저주파가 제거되고 윤곽이 강조된 섬세한 샤프닝 된 이미지로 변환하여 리소스 매니저를 통해 사진 DB에 저장하고, PC 또는 모바일 단말기의 검색 키워드의 이미지 검색 및 특정 이미지 전송 요청에 따라 이미지 명칭을 검색하여 상기 모바일 단말기에 해당 이미지를 전송하는 웹서버를 포함하는 이미지 검색 시스템이고,
상기 웹서버는, 상기 모바일 단말기로부터 이미지를 수신하는 데이터수신부;상기 이미지의 정보를 분석하여 관심 영역(Region of Interest, ROI)의 상기 이미지에 포함된 각 픽셀의 순서대로 추출하는 색상값추출부; 단말기의 화면에 표시될 화상 이미지의 타입, 이미지가 표시될 위치(top, left)와 폭과 넓이(width, height)를 위치정보값을 추출하는 위치정보추출부; 상기 이미지의 객체의 윤곽선을 추출하는 형상추출부; 이미지 ID, 이미지의 저작권자의 이동전화 번호 및 이미지의 명칭을 포함시켜 상기 이미지의 정보에 매칭되도록 통합하는 데이터통합부; 상기 데이터통합부에 의하여 통합된 결과값을 데이터베이스(DB)에 미리 저장된 후, 검색시의 검색 키워드에 해당하는 이미지 명칭을 비교하는 비교분석부; 및 상기 비교분석부에 의하여 추출된 이미지를 상기 모바일 단말기로 전송하는 데이터전송부를 포함한다.
모바일 단말기 기반의 샤프닝이 적용된 이미지 검색 방법은 (a) 모바일 단말기를 통하여 이미지를 촬영하고, 촬영된 이미지를 온라인 이미지 서버가 전송받는 단계; (b) 상기 서버로 수신된 원본 이미지에 이미지 ID를 할당하고, 화면의 표시 위치(top, left)와 크기(width, hight)를 추출하는 단계; (c) 상기 모바일 단말기 또는 PC를 포함하는 유무선 단말기로부터 서버로 수신된 원본 이미지를 우선 블러링 마스크를 사용하여 최초 원본 이미지를 부드럽게 블러링(blurring)하며, 블러링 된 이미지에 샤프닝(sharpening)을 적용하여 고주파 통과 필터를 통과하여 저주파가 제거되고 윤곽이 강조된 섬세한 샤프닝 된 이미지로 변환하여 리소스 매니저를 통해 이미지 ID와 이미지의 명칭 및 이미지의 타입을 분류하여 사진 DB에 저장하는 단계; 및 (d) 상기 유무선 단말기로부터 수신된 검색 키워드에 따라 사진 DB에 저장된 이미지 명칭을 검색하여 검색된 샤프닝 된 이미지를 유무선 단말기로 제공하는 단계를 포함한다.
상기 방법은 (e) 선택된 사진을 서버의 예약전송 스케쥴러를 사용하여 예약된 시간에 기 설정된 사람들의 컴퓨터 이메일 또는 모바일 단말기의 이동 전화번호로 예약전송하는 단계를 더 포함한다.
본 발명에 따른 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템 및 방법은 모바일 단말기를 이용하여 촬영한 이미지를 온라인 이미지 서버로 업로딩하여 전송하고, 온라인 이미지 서버가 윤곽선이 흐릿한 원본 이미지를 샤프닝(Sharpening) 처리된 이미지로 변환하여 윤곽이 섬세한 샤프닝 이미지를 저장하며, 서버에 접속하여 유무선 단말기의 검색 키워드에 따라 이미지의 명칭을 검색하여 화질이 개선된 샤프닝된 이미지를 검색하는 서비스를 제공하고, 동호회, 동문회 등의 기념 촬영의 경우 동호회 사진 또는 기념 사진을 서버의 예약전송 스케쥴러를 사용하여 기 설정된 사람들의 모바일 단말기의 이동 전화번호로 예약 전송하여 표시되도록 한다.
도 1은 본 발명의 일시예에 따른 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일실시예에 따른 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색방법을 나타내는 순서도이다.
도 3은 모바일 단말기로부터 촬영되어 전송된 원본 이미지가 흐릿한 경우 샤프닝(sharpening) 처리하여 이미지의 윤곽을 강조하기 위한 3x3 샤프닝 마스크(sharping mask)를 예시한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템의 구성을 나타내는 블록도이다.
도 5는 모바일 단말기에 표시되는 이미지 검색결과를 나타내는 도면이다.
이하, 본 발명의 실시예를 첨부한 도면을 참조하여 상세하게 설명한다. 다만, 첨부된 도면은 본 발명의 내용을 보다 쉽게 개시하기 위하여 설명되는 것일 뿐, 본 발명의 범위가 첨부된 도면의 범위로 한정하지 않으며, 그 기술분야의 통상의 지식을 가진 자가 용이하게 적용할 수 있다.
도 1은 본 발명에 따른 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템의 구성을 나타내는 블록도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 이미지 검색시스템은, 모바일 단말기(20)와 PC(30) 및 온라인 이미지 서버(100)로 구성된다.
본 발명의 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템 및 방법은 모바일 단말기(20)를 이용하여 촬영한 이미지를 이동통신망을 통해 온라인 이미지 서버(100)로 업로딩하여 전송하고, 온라인 이미지 서버(100)가 윤곽선이 흐릿한 원본 이미지를 샤프닝(Sharpening) 처리된 이미지로 변환하여 윤곽이 섬세한 샤프닝 이미지를 저장하며, 유무선 통신망을 통해 서버(100)에 접속하여 유무선 단말기의 검색 키워드에 따라 이미지의 명칭을 검색하여 화질이 개선된 샤프닝된 이미지를 보다 편리하게 검색하는 서비스를 제공하고, 예를들면 동호회, 동문회 등의 기념 촬영의 경우 동호회 사진 또는 기념 사진을 서버의 예약전송 스케쥴러를 사용하여 예약된 시간 이내에 기 설정된 사람들의 모바일 단말기의 이동 전화번호로 예약 전송하여 온라인 이미지 서비스를 제공한다.
본 발명의 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템은 카메라로 이미지를 촬영하고, 촬영된 이미지를 서버에 전송하며, 상기 서버로부터 전송된 이미지 정보를 수신하여 이를 표시하는 모바일 단말기(20); 및 상기 모바일 단말기(20) 및/또는 컴퓨터(30)로부터 원본 이미지를 수신하며, 블러링 마스크를 사용하여 블러링(blurring)하여 최초 원본 이미지를 보다 부드럽게 하며, 블러링 된 이미지에 샤프닝(sharpening)을 적용하여 고주파 통과 필터를 통과하여 저주파가 제거되고 윤곽이 강조된 섬세한 샤프닝 된 이미지로 변환하여 리소스 매니저를 통해 사진 DB에 저장하고, PC 또는 모바일 단말기의 검색 키워드의 이미지 검색 및 특정 이미지 전송 요청에 따라 이미지 명칭을 검색하여 상기 모바일 단말기에 해당 이미지를 전송하며 선택된 사진의 예약전송 기능을 제공하는 온라인 이미지 서버(100);를 포함한다.
모바일 단말기(20)는 스마트폰 또는 타블렛 PC를 사용하며, 내장된 카메라(CMOS Image Sensor)로 이미지를 촬영하여 이미지 명칭을 부여하여 저장하고, 촬영된 이미지를 자신의 이동전화 번호 정보와 함께 이동통신망(WI-FI, Wibro, 3G, 4G LTE)을 통해 온라인 이미지 서버(100)에 전송하며, 서버로 이미지 요청시 상기 온라인 이미지 서버(100)로부터 전송된 이미지 정보를 수신하여 이를 디스플레이 화면에 표시한다.
컴퓨터(PC)(30)는 디지털 카메라의 CCD(Charge Coupled Device) 카메라로 촬영된 이미지를 해당하는 이미지 명칭을 부여하고 자신의 이동 전화 번호를 표시하여 온라인 이미지 서버(100)에 전송한다.
온라인 이미지 서버(100)는 모바일 단말기와 컴퓨터로부터 촬영된 원본 이미지를 수신하고 이미지 전송 요청에 따라 이미지를 전송하는 이미지 송수신부(110); 상기 이미지 송수신부(110)로부터 원본 이미지 수신시 이미지를 저장되도록 하고 유무선 단말기로부터 수신된 검색 키워드에 따라 이미지 명칭을 검색하는 이미지 저장 및 검색부(120); 상기 원본 이미지를 우선 블러링 마스크를 사용하여 최초 원본 이미지를 부드럽게 블러링(blurring)하며, 블러링 된 이미지에 샤프닝(sharpening)을 적용하여 고주파 통과 필터를 통과하여 저주파가 제거되고 윤곽이 강조된 섬세한 샤프닝 된 이미지로 변환하는 샤프닝부(130); 상기 샤프닝부(130)로부터 전송된 샤프닝 된 이미지들을 이미지의 명칭에 따라 분류하여 저장하는 리소스 매니저(resource manager)(140); 원본 이미지에 대응하는 샤프닝 된 사진을 저장하는 사진 DB(150); 모바일 단말기의 사용자 또는 컴퓨터 사용자의 신상 정보(이름, 주민등록번호, 주소, 이메일, 이동 전화번호 등)를 저장하는 회원 DB(170); 및 예를들면 동호회, 동문회 등의 기념 촬영의 경우 동호회 사진 또는 기념 사진 등의 선택된 사진을 사용자가 설정한 예약된 시간 이내에 기 설정된 사람들의 컴퓨터의 이메일 또는 모바일 단말기의 이동 전화번호로 예약전송하는 예약전송 스케쥴러(160)를 포함한다.
온라인 이미지 서버(100)는 회원 가입부 및 소정의 월별 사용료를 지불하는 과금부를 더 포함할 수 있으며, 유료로 사용하는 경우 외부의 인증 서버와 연동되어 사용자의 범용 인증서를 통해 사진 저작권과 유료 정보가 표시된 사진을 저장할 수 있다. 해외 유명 저널 리스트나 보도 사진, 희소성이 높은 예술작품 사진, 사진가의 작품 사진은 유료로 제공할 수도 있다.
온라인 이미지 서버(100)는 DRM 서버와 지불 서버와 연동되어 유료로 ID/Passwd 또는 공인 인증서로 인증된 사용자에게만 조회 및 다운로드 서비스되며 DRM 이미지 컨텐츠를 암호화/복호화하여 사용하게 할 수 있으며, 원저작자의 저작권을 보호하고 복제 방지를 위해 흐린 바탕 무늬 또는 로고 등의 가시적인 워터 마크를 표시하거나 또는 비가시적인 워터 마크(Watermark)를 표시할 수 있으며, 저작권자의 정보, 촬영 일자, 사진의 의미를 나타내는 내용(고등학교/대학 졸업 사진, 엠티 사진, 동문회 사진, 해외여행 기타 등등)을 표시하는 저작권 정보 표시부를 더 포함한다.
온라인 이미지 서버(100)는 기 저장된 샤프닝 된 이미지의 축소나 확대시, 이미지 확대의 경우 기존 크기의 샤프닝 된 이미지 크기(width, height)를 확대된 크기의 이미지를 확대시 확대된 크기의 이미지의 빈 픽셀들의 빈 화소들에 대하여 최근접 보간법(nearest neighbor interpolation)을 사용하며, 이미지 축소시 빈 픽셀들이 나타나지 않으므로 보간법을 사용하지 않는 이미지 확대 축소부를 더 포함한다.
온라인 이미지 서버(100)는 모바일 단말기 또는 PC를 포함하는 유무선 단말기로부터 수신된 원본 이미지를 샤프닝 처리된 이미지로 변경 후에, 사진의 의미를 부여하는 문자나 로고를 합성하는 이미지 합성부를 더 포함할 수 있다.
도 2는 본 발명에 따른 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색방법을 나타내는 순서도이다.
본 발명의 실시예에 따른 이미지 검색방법은, (a) 모바일 단말기를 통하여 이미지를 촬영하고, 촬영된 이미지를 온라인 이미지 서버로 전송받는 단계(S100); (b) 단말기로부터 수신된 원본 이미지에 이미지 ID를 할당하고, 화면의 표시 위치(top, left)와 크기(width, hight)를 추출하는 단계(S200); (c) 상기 모바일 단말기 또는 PC를 포함하는 유무선 단말기로부터 서버로 수신된 원본 이미지를 우선 블러링 마스크를 사용하여 최초 원본 이미지를 부드럽게 블러링(blurring)하며, 블러링 된 이미지에 샤프닝(sharpening)을 적용하여 고주파 통과 필터를 통과하여 저주파가 제거되고 윤곽이 강조된 섬세한 샤프닝 된 이미지로 변환하여 리소스 매니저를 통해 이미지 ID와 이미지의 명칭 및 이미지의 타입을 분류하여 사진 DB에 저장하는 단계(S300); 및 (d) 상기 유무선 단말기로부터 수신된 검색 키워드에 따라 사진 DB에 저장된 이미지 명칭을 검색하여 검색된 샤프닝 된 이미지를 유무선 단말기로 제공하는 단계;를 포함한다.
상기 방법은 (d) 예를들면 동호회, 동문회 등의 기념 촬영의 경우 동호회 사진 또는 기념 사진 등의 선택된 사진을 서버의 예약전송 스케쥴러를 사용하여 사용자가 설정한 예약된 시간 이내에 기 설정된 사람들의 컴퓨터의 이메일 또는 모바일 단말기의 이동 전화번호로 예약 전송하는 단계(S400)를 더 포함한다.
도 3은 모바일 단말기로부터 촬영되어 전송된 원본 이미지가 흐릿한 경우 샤프닝(sharpening) 처리하여 이미지의 윤곽을 강조하기 위한 3x3 샤프닝 마스크(sharping mask)를 예시한 도면이다.
샤프닝 부는 모바일 단말기로부터 수신된 흐릿한 원본 이미지를 우선 블러링(blurring) 후에 고주파 통과 필터를 통과하여 저주파가 제거되고 윤곽이 강조된 섬세한 샤프닝 된 이미지로 변환하는 기능을 제공한다.
블러링(blurring)은 예를들면 중간값 블러(Median blur)와 3x3 마스크를 사용하는 경우 이웃 화소들 값을 마스크의 총 갯수(1/9)로 나누어 평균하여 최초 원본 이미지를 보다 부드럽게 하며, 5x5, 31x31 블러링 마스크의 크기가 커질수록 블러링 효과는 더욱 커지며 더 많은 처리 시간이 요구되고, 가우시안 스무딩 필터(smoothing)를 사용한다.
Smoothing은 블러링 알고리듬을 사용하여 영상을 전체적으로 부드럽게 해주며, 영상 내의 고주파 성분을 제거하여 저주파 성분을 남기는 것이며, 영상의 잡음을 제거하는 전처리 과정에서 주로 사용된다. 블러는 단순 블러, 스케일링 없는 단순 블러, 중간값 블러, 가우시안 블러 중 어느 하나의 블러를 사용할 수 있다.
샤프닝(sharpening)은 영상강화 라고 하며, 획득된 영상이 흐린 경우 샤프닝을 통하여 고주파 통과 필터를 통과하여 저주파가 제거되고 윤곽이 강조된 섬세한 샤프닝 된 이미지로 변환된다.
샤프닝 마스크는 3x3 마스크, 5x5 마스크, 31x31 마스크로 다양하게 응용할 수 있으며, 마스크의 중심에는 양의 값을 가지며 바깥 경계 값은 0 이하의 음의 값을 갖는다. 일반적으로, 샤프닝 마스크의 계수에 따라 샤프닝 된 이미지가 섬세하게 이미지의 윤곽이 보정된 이미지의 선명도가 달라진다. 예를 들면, 마스크 컨볼류션을 사용한 영상 샤프닝은 한 픽셀의 주변 픽셀 색상의 가중값으로 한 픽셀의 밝기를 선명하게 결정하는 알고리듬을 사용할 수 있다.
영상 또는 이미지의 샤프닝은 고주파 통과 필터(high pass filter)를 기반으로 하며, 영상 또는 이미지에 포함된 저주파 성분을 제거하고 이미지의 윤곽이 강조된 섬세한 이미지를 얻게 된다. 원본 이미지와 샤프닝 된 이미지를 비교하면, 샤프닝 이미지는 흐릿한 원본 이미지를 고주파 통과 필터를 통과하여 윤곽이 강조된 섬세한 이미지를 의미한다. 샤프닝 관련 기술은 통상의 이미지 프로세싱 기술을 적용한다.
도 4는 본 발명의 다른 실시예에 따른 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템의 구성을 나타내는 블록도이다.
모바일 단말기(101)는 내장된 카메라로 이미지를 촬영하고, 촬영된 이미지를 웹서버(200)에 전송하며, 상기 웹서버(200)로부터 전송된 이미지 정보를 수신하여 이를 표시한다. 모바일 단말기(101)는 카메라 폰 또는 카메라가 장착된 PDA 또는 스마트 폰 등과 같이 카메라가 장착되어 무선으로 데이터통신을 수행하는 모바일 무선데이터 통신장치이다. 이러한 모바일 단말기(101)는 그 자체에 장착된 카메라를 이용하여 촬영한 이미지를 통신망(Wi-Fi, Wibro, 3G, 4G LTE 이동통신망 등)을 통하여 웹서버(200)로 전송한다. 여기서, 이미지 정보를 전송하기 위해 모바일 단말기(101)에 전용 소프트웨어가 설치된다. 전용소프트웨어는 사용자가 모바일 단말기(101)에 설치되어 있는 카메라를 통하여 촬영한 사물의 이미지를 웹서버(200)에 전송하여 전송된 이미지와 매칭되는 이미지를 검색하는 서비스의 제공을 요청하는 기능을 수행하게 된다.
또한, 모바일 단말기(101)로부터 촬영되어 검색될 수 있는 사물은, 꽃, 나무, 버섯, 야생화, 약초, 채소, 과일, 나물, 약초(특히, 사람이 먹을 수 있는 것) 등의 식물이나, 가축 등과 같은 동물, 자동차, 비행기, 오토바이, 명품회사 로고, 예술품, 암석, 보석 등과 같이 이미지로 촬영될 수 있는 모든 종류의 물건일 수 있으며, 이러한 사물의 이미지를 촬영하여 웹서버(200)를 통하여 간단하게 유사한 사물의 이미지를 검색할 수 있게 된다.
상기와 같이 모바일 단말기(101)로부터 전송된 이미지의 정보는 WEB 서버 또는 WAP서버 등을 통하여 인터넷을 포함하는 통신망에 연결된 웹서버(200)로 전달된다.
웹서버(200)는, 상기 모바일 단말기(101)로부터 이미지를 수신하여 원본 이미지를 블러링과 샤프닝을 적용하여
상기 모바일 단말기(101)에 전송한다. 이때, 웹서버(200)는 모바일 단말기(101)로부터 전송되는 다양한 이미지에 매칭될 수 있도록 다양한 이미지의 정보를 보유할 수 있다.
도 4에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 이미지 검색 시스템은 카메라로 이미지를 촬영하고, 촬영된 이미지를 웹서버에 전송하며, 상기 웹서버로부터 전송된 이미지 정보를 수신하여 이를 표시하는 모바일 단말기(101); 및
상기 모바일 단말기로부터 이미지를 수신하며, 블러링 마스크를 사용하여 블러링(blurring)하여 최초 원본 이미지를 보다 부드럽게 하며, 블러링 된 이미지에 샤프닝(sharpening)을 적용하여 고주파 통과 필터를 통과하여 저주파가 제거되고 윤곽이 강조된 섬세한 샤프닝 된 이미지로 변환하여 리소스 매니저를 통해 사진 DB에 저장하고, PC 또는 모바일 단말기의 검색 키워드의 이미지 검색 및 특정 이미지 전송 요청에 따라 이미지 명칭을 검색하여 상기 모바일 단말기에 해당 이미지를 전송하는 웹서버(200)를 포함하는 이미지 검색 시스템이고,
웹서버(200)는 상기 모바일 단말기(101)로부터 이미지를 수신하는 데이터수신부(210); 상기 이미지의 정보를 분석하여 사용자가 원하는 관심 영역(Region of Interest, ROI)의 상기 이미지에 포함된 각 픽셀의 순서대로 추출하는 색상값추출부(220); 단말기의 화면에 표시될 화상 이미지의 타입(bmp, gif, jpg, tiff 등), 이미지가 표시될 위치(top, left)와 폭과 넓이(width, height)를 포함하는 위치정보값을 추출하는 위치정보추출부(230); 상기 이미지의 객체의 윤곽선을 추출하는 형상추출부(240); 이미지 ID, 이미지의 저작권자의 이동전화 번호 및 이미지의 명칭(예: 입학식 사진, 엠티 사진, 졸업 사진, 동호회 사진, 전시회 사진, 해외여행 사진, 자동차 등)를 포함시켜 상기 이미지의 정보에 매칭되도록 통합하는 데이터통합부(250); 상기 데이터통합부(250)에 의하여 통합된 결과값을 데이터베이스(DB)에 미리 저장된 후, 검색시의 검색 키워드에 해당하는 이미지 명칭(이미지 검색 식별 정보)을 비교하는 비교분석부(260); 및 상기 비교분석부(260)에 의하여 추출된 이미지를 상기 모바일 단말기(100)로 전송하는 데이터전송부(270);를 포함한다. 여기서, 웹서버(200)에 구비된 데이터베이스는 각각의 이미지에 대응하는 이미지ID와 이미지의 타입(bmp, gif, jpg, tiff 등)과 이미지 명칭이 포함된 이미지 식별정보, 즉 각각의 이미지의 명칭, 위치정보값, 크기정보값 등이 저장된다.
이러한 색상값을 추출하기 위해 색상 발생 빈도가 밀집된 특정영역만을 추출하기 위한 전처리과정, 즉 임계값을 이용한 이진화처리를 수행한다. 영상처리의 가장 기본적인 기법 중 하나인 이진화(Binary) 처리는 비교적 간단한 알고리즘이다. 이 이진화 기법을 이용하여 특정색상값을 추출한다.
웹서버(200)의 데이터베이스는, 검색 키워드에 따라 이미지 명칭을 검색하여 모바일 단말기(101)로 전송되는 때, 전송되는 정보를 저장하여 관리되며, 추후에 동일한 이미지의 검색을 요청받게 되는 때에 보다 정확한 검색자료로 활용한다.
본 발명의 다른 실시예로써, 모바일 단말기(101)는, 웹서버(200)에서 검색되어 추출된 이미지와 그 명칭을 순서대로 표시하며, 사용자는 표시된 결과를 통하여 찾고자 하는 사물의 이미지를 검색할 수 있다. 본 이미지 검색시스템에 의하면, 모바일 단말기(100)를 이용하여 촬영한 이미지를 웹서버에 전송하여, 웹서버로 하여금 미리 저장된 이미지 중에서 전송된 이미지와 씽크율이 높은 순으로 이미지를 추출하여 모바일 단말기로 전송하여 표시하게 함으로써, 해당 이미지에 매칭되는 이미지를 보다 편리하게 검색할 수 있다.
도 5는 모바일 단말기에 표시되는 이미지 검색결과를 나타내는 도면이다.
모바일 단말기(20)의 카메라로 촬영된 이미지를 온라인 이미지 서버(100)로 전송되면, 온라인 이미지 서버(100)는 모바일 단말기(20)로부터 수신된 윤곽선이 흐릿한 원본 이미지를 샤프닝 된 이미지로 변환하여 저장하며, 인증된 사용자의 모바일 단말기로 Image On-demand 방식으로 다운로드하거나 또는 예약 전송 방식으로 기 설정된 사람들의 모바일 단말기의 이동전화번호로 예약 전송되어 표시하게 된다. 예를 들면, 스마트폰을 이용하여 장미를 촬영하여, 그 촬영한 이미지를 온라인 이미지 서버 또는 웹서버에 전송하면 이미지 명칭의 카테고리 별로 분류되고, 이미지를 그 명칭과 함께 표시하게 된다. 이때, 모바일 단말기는 온라인 이미지 서버 또는 웹서버로부터 전송된 이미지 중 찾고자 하는 이미지를 검색할 수 있고, 찾고자 하는 이미지가 없다면 서버로 재검색 요청을 할 수 있다.
전술한 바와 같이 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다.
그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
20: 모바일 단말기 30: PC
100: 온라인 이미지 서버 110: 이미지 송수신부
120: 이미지 저장 및 검색부 130: 샤프닝부
140: 리소스 매니저 150: 사진 DB
160: 예약전송 스케쥴러 170: 회원 DB

Claims (6)

  1. 카메라로 이미지를 촬영하고, 촬영된 이미지를 서버에 전송하며, 상기 서버로부터 전송된 이미지 정보를 수신하여 이를 표시하는 모바일 단말기; 및
    상기 모바일 단말기 및/또는 컴퓨터로부터 원본 이미지를 수신하며, 상기 서버로 수신된 원본 이미지에 이미지 ID를 할당하고, 화면의 표시 위치(top, left)와 크기(width, hight)를 추출 후, 블러링 마스크를 사용하여 블러링(blurring)하여 최초 원본 이미지를 보다 부드럽게 하며, 블러링 된 이미지에 샤프닝(sharpening)을 적용하여 고주파 통과 필터를 통과하여 저주파가 제거되고 윤곽이 강조된 섬세한 샤프닝 된 이미지로 변환하여 리소스 매니저를 통해 사진 DB에 저장하고, PC 또는 모바일 단말기의 검색 키워드의 이미지 검색 및 특정 이미지 전송 요청에 따라 이미지 명칭을 검색하여 상기 모바일 단말기에 해당 이미지를 전송하며 선택된 사진의 예약 전송 기능을 제공하는 온라인 이미지 서버;를 포함하며,
    상기 온라인 이미지 서버는 기 저장된 샤프닝 된 이미지의 축소나 확대시, 이미지 확대의 경우 기존 크기의 샤프닝 된 이미지 크기(width, height)를 확대된 크기의 이미지를 확대시 확대된 크기의 이미지의 빈 픽셀들의 빈 화소들에 대하여 최근접 보간법(nearest neighbor interpolation)을 사용하며, 이미지 축소시 빈 픽셀들이 나타나지 않으므로 보간법을 사용하지 않는 이미지 확대 축소기능과, 상기 서버로 수신된 원본 이미지를 샤프닝 처리된 이미지로 변경 후에, 사진의 의미를 부여하는 문자나 로고를 합성하는 이미지 합성 기능 및 원본 이미지에 저작권 정보가 표시되는 것을 특징으로 하는 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템.
  2. 제1항에 있어서,
    상기 온라인 이미지 서버는
    상기 모바일 단말기 또는 컴퓨터로부터 촬영된 원본 이미지를 수신하고 이미지 전송 요청에 따라 이미지를 전송하는 이미지 송수신부;
    상기 이미지 송수신부로부터 원본 이미지 수신시 이미지를 저장되도록 하고 유무선 단말기로부터 수신된 검색 키워드에 따라 이미지 명칭을 검색하는 이미지 저장 및 검색부;
    상기 원본 이미지를 우선 블러링 마스크를 사용하여 최초 원본 이미지를 부드럽게 블러링(blurring)하며, 블러링 된 이미지에 샤프닝(sharpening)을 적용하여 고주파 통과 필터를 통과하여 저주파가 제거되고 윤곽이 강조된 섬세한 샤프닝 된 이미지로 변환하는 샤프닝부;
    기 저장된 샤프닝 된 이미지의 축소나 확대시, 이미지 확대의 경우 기존 크기의 샤프닝 된 이미지 크기(width, height)를 확대된 크기의 이미지를 확대시 확대된 크기의 이미지의 빈 픽셀들의 빈 화소들에 대하여 최근접 보간법(nearest neighbor interpolation)을 사용하며, 이미지 축소시 빈 픽셀들이 나타나지 않으므로 보간법을 사용하지 않는 이미지 확대 축소부;
    모바일 단말기 또는 컴퓨터를 포함하는 유무선 단말기로부터 수신된 원본 이미지를 샤프닝 처리된 이미지로 변경 후에, 사진의 의미를 부여하는 문자나 로고를 합성하는 이미지 합성부;
    상기 샤프닝부로부터 전송된 샤프닝 된 이미지들을 이미지의 명칭에 따라 분류하여 저장하는 리소스 매니저;
    상기 원본 이미지에 대응하는 샤프닝 된 사진을 저장하는 사진 DB; 및
    모바일 단말기의 사용자 또는 컴퓨터 사용자의 신상 정보를 저장하는 회원 DB를 포함하는 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템.
  3. 제2항에 있어서,
    상기 온라인 이미지 서버는
    DRM 서버와 지불 서버와 연동되어 유료로 ID/Passwd 또는 공인 인증서로 인증된 사용자에게만 조회 및 다운로드 서비스되며 DRM 이미지 컨텐츠를 암호화/복호화하여 사용하게 할 수 있으며, 원저작자의 저작권을 보호하고 복제 방지를 위해 흐린 바탕 무늬 또는 로고 등의 가시적인 워터 마크를 표시하거나 또는 비가시적인 워터 마크(Watermark)를 표시할 수 있으며, 저작권자의 정보, 촬영 일자, 사진의 의미를 나타내는 내용을 표시하는 저작권 정보 표시부를 더 포함하는 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템.
  4. 삭제
  5. 삭제
  6. 삭제
KR1020140050456A 2014-04-28 2014-04-28 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템 및 방법 KR101552302B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140050456A KR101552302B1 (ko) 2014-04-28 2014-04-28 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140050456A KR101552302B1 (ko) 2014-04-28 2014-04-28 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101552302B1 true KR101552302B1 (ko) 2015-09-10

Family

ID=54248005

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140050456A KR101552302B1 (ko) 2014-04-28 2014-04-28 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101552302B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101699765B1 (ko) * 2016-09-23 2017-01-25 (주) 천기화생활과학연구소 상품 구매자가 촬영한 사진으로 상품을 구매하는 방법
CN114584831A (zh) * 2022-01-20 2022-06-03 百果园技术(新加坡)有限公司 提高视频清晰度的视频优化处理方法、装置、设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101699765B1 (ko) * 2016-09-23 2017-01-25 (주) 천기화생활과학연구소 상품 구매자가 촬영한 사진으로 상품을 구매하는 방법
CN114584831A (zh) * 2022-01-20 2022-06-03 百果园技术(新加坡)有限公司 提高视频清晰度的视频优化处理方法、装置、设备和存储介质
CN114584831B (zh) * 2022-01-20 2024-04-02 百果园技术(新加坡)有限公司 提高视频清晰度的视频优化处理方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
US8810684B2 (en) Tagging images in a mobile communications device using a contacts list
Li et al. Weighted guided image filtering
CN107507155B (zh) 视频分割结果边缘优化实时处理方法、装置及计算设备
KR101562972B1 (ko) 공유 레벨에 따라 영상을 차등화하여 제공하는 영상 공유 장치 및 방법
CN108241645B (zh) 图像处理方法及装置
US20160343149A1 (en) System and process for automatically finding objects of a specific color
US10469701B2 (en) Image processing method that obtains special data from an external apparatus based on information multiplexed in image data and apparatus therefor
US20150358525A1 (en) Methods and systems for content processing
US10810657B2 (en) System and method adapted to facilitate sale of digital images while preventing theft thereof
KR100737974B1 (ko) 이미지 분리 합성 장치 및 방법, 그리고 그것을 이용한이미지 검색방법
JP2020532916A (ja) 画像処理方法、端末及び記憶媒体
JP2016505950A (ja) 最良の写真を検出及び選択する方法及びシステム
JP2006190259A (ja) 手ぶれ判定装置及び画像処理装置及びその制御方法及びプログラム
CN103412877A (zh) 图片传递方法及装置
CN107547803B (zh) 视频分割结果边缘优化处理方法、装置及计算设备
WO2023207408A1 (zh) 一种数据处理方法、装置、设备以及可读存储介质
US9117275B2 (en) Content processing device, integrated circuit, method, and program
CN109840885A (zh) 图像融合方法及相关产品
KR101552302B1 (ko) 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템 및 방법
WO2015196681A1 (zh) 一种图片处理方法及电子设备
CN111316628A (zh) 一种基于智能终端的图像拍摄方法及图像拍摄***
US9508135B1 (en) System and method for image enhancement
WO2018121552A1 (zh) 基于掌纹数据的业务处理方法、装置、程序及介质
WO2021250564A1 (en) Method for accessing multimedia content
US10860876B2 (en) Image presentation system, image presentation method, program, and recording medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee