KR102079091B1 - 단말기 및 그것의 이미지 처리 방법 - Google Patents

단말기 및 그것의 이미지 처리 방법 Download PDF

Info

Publication number
KR102079091B1
KR102079091B1 KR1020180012389A KR20180012389A KR102079091B1 KR 102079091 B1 KR102079091 B1 KR 102079091B1 KR 1020180012389 A KR1020180012389 A KR 1020180012389A KR 20180012389 A KR20180012389 A KR 20180012389A KR 102079091 B1 KR102079091 B1 KR 102079091B1
Authority
KR
South Korea
Prior art keywords
image
area
ratio
filter
display area
Prior art date
Application number
KR1020180012389A
Other languages
English (en)
Other versions
KR20190092995A (ko
Inventor
안상일
신범준
오민식
최은희
Original Assignee
주식회사 하이퍼커넥트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하이퍼커넥트 filed Critical 주식회사 하이퍼커넥트
Priority to KR1020180012389A priority Critical patent/KR102079091B1/ko
Priority to US16/259,401 priority patent/US10855933B2/en
Priority to JP2019013990A priority patent/JP6887612B2/ja
Priority to EP19154386.7A priority patent/EP3522110A1/en
Publication of KR20190092995A publication Critical patent/KR20190092995A/ko
Application granted granted Critical
Publication of KR102079091B1 publication Critical patent/KR102079091B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Studio Devices (AREA)

Abstract

단말기는 주변으로부터 반사된 빛으로부터 변환된 프리뷰 이미지를 입력받는 입력부, 프리뷰 이미지에 포함된 오브젝트의 종류를 식별하고, 프리뷰 이미지에 적용될 이미지 필터에 대한 추천 알고리즘을 이용하여 두 개 이상의 이미지 필터를 선택하는 제어부, 및 선택된 두 개 이상의 이미지 필터가 적용된 프리뷰 이미지를 디스플레이하는 표시부를 포함하고, 제어부는 두 개 이상의 필터 중 제1 이미지 필터를 프리뷰 이미지의 제1 이미지 영역에 적용하고, 제1 이미지 필터와 다른 제2 이미지 필터를 프리뷰 이미지의 제1 이미지 영역을 제외한 영역인 제2 이미지 영역에 적용할 수 있다.

Description

단말기 및 그것의 이미지 처리 방법{TERMINAL AND IMAGE PROCESSING METHOD THEREOF}
기재된 실시예는 사용자가 촬영하려는 이미지에 포함된 오브젝트의 종류에 따라 사용자가 선택할 것으로 예측되는 두 개 이상의 이미지 필터를 추천할 수 있는 단말기 및 그것의 이미지 처리 방법에 관한 것이다.
통신 기술이 발전되고 전자 장치가 소형화됨에 따라 개인용 단말기가 일반 소비자에게 널리 보급되고 있다. 특히 최근에는 스마트폰 또는 스마트 태블릿과 같은 휴대용 개인 단말기가 널리 보급되고 있다. 대부분의 단말기는 이미지 촬영 기술을 포함하고 있다. 사용자는 단말기를 이용하여 다양한 오브젝트를 포함하는 이미지를 촬영할 수 있다.
또한, 사용자는 단말기에 다운로드 가능한 다양한 애플리케이션을 이용하여 촬영된 이미지를 보정할 수 있다. 예를 들어, 사용자는 애플리케이션에서 제공되는 다양한 이미지 필터들을 이용하여 촬영된 이미지를 보정할 수 있다. 애플리케이션을 통해 제공되는 이미지 필터가 다양하기 때문에 사용자는 촬영된 이미지에 모든 이미지 필터들을 적용해보기 어려울 수 있다. 또한, 사용자는 촬영된 이미지에 포함된 오브젝트에 가장 적합한 이미지 필터가 무엇인지 모를 수 있다.
기재된 실시예에 따르면 사용자에 의해 촬영될 이미지에 포함된 오브젝트 종류에 적합한 두 개 이상의 이미지 필터를 추천할 수 있는 단말기 및 그것의 이미지 처리 방법이 제공될 수 있다.
또한, 실시예에 따르면 두 개 이상의 이미지 필터를 자동으로 추천해줌으로써 사용자의 편리성을 향상시킬 수 있는 단말기 및 그것의 이미지 처리 방법이 제공될 수 있다.
본 발명의 실시예에 따른 단말기에서 수행되는 이미지 처리 방법은 단말기의 주변으로부터 반사된 빛으로부터 변환된 프리뷰 이미지를 입력받는 단계, 프리뷰 이미지에 포함된 오브젝트의 종류를 식별하는 단계, 프리뷰 이미지에 적용될 이미지 필터에 대한 추천 알고리즘을 준비하는 단계, 추천 알고리즘을 이용하여 오브젝트의 종류에 대응하는 서로 다른 두 개 이상의 이미지 필터를 선택하는 단계, 및 선택된 두 개 이상의 이미지 필터가 적용된 프리뷰 이미지를 출력하는 단계를 포함할 수 있다.
실시예로서, 단말기에서 수행되는 이미지 처리 방법은 프리뷰 이미지에 포함된 오브젝트의 종류를 식별하기 전에 다수의 사진에 대한 이미지 데이터 및 다수의 사진에 포함된 오브젝트의 종류 사이의 상관관계에 대해 학습된, 프리뷰 이미지에 포함된 오브젝트의 종류를 식별하기 위한 학습 모델을 준비하는 단계를 더 포함할 수 있다.
실시예로서, 프리뷰 이미지에 적용될 이미지 필터에 대한 추천 알고리즘을 준비하는 단계는, 다수의 이미지에 포함된 오브젝트의 종류 및 다수의 이미지를 보정하기 위해 선택된 이미지 필터의 종류 사이의 상관관계에 대해 학습된, 이미지 필터를 추천하기 위한 학습 모델을 준비하는 단계를 포함할 수 있다.
실시예로서, 추천 알고리즘을 이용하여 오브젝트의 종류에 대응하는 서로 다른 두 개 이상의 이미지 필터를 선택하는 단계는 이미지 필터를 추천하기 위한 학습 모델 및 프리뷰 이미지를 이용하여 프리뷰 이미지에 포함된 오브젝트의 종류에 따라 단말기의 사용자가 선택할 확률이 높을 것으로 예측되는 두 개 이상의 이미지 필터를 선택하는 단계를 포함할 수 있다.
실시예로서, 추천 알고리즘을 이용하여 오브젝트의 종류에 대응하는 서로 다른 두 개 이상의 이미지 필터를 선택하는 단계는 프리뷰 이미지에 포함된 오브젝트의 종류에 따라 단말기의 사용자가 선택할 확률이 가장 높을 것으로 예측된 제1 이미지 필터, 및 프리뷰 이미지에 포함된 오브젝트의 종류에 따라 단말기의 사용자가 선택할 확률이 두 번째로 높을 것으로 예측된 제2 이미지 필터를 선택하는 단계를 더 포함할 수 있다.
실시예로서, 선택된 두 개 이상의 이미지 필터가 적용된 프리뷰 이미지를 출력하는 단계는 제1 이미지 필터를 프리뷰 이미지의 제1 이미지 영역에 적용하는 단계, 및 제2 이미지 필터를 프리뷰 이미지의 제1 이미지 영역을 제외한 영역인 제2 이미지 영역에 적용하는 단계를 포함할 수 있다.
실시예로서, 선택된 두 개 이상의 이미지 필터가 적용된 프리뷰 이미지를 출력하는 단계는 제1 이미지 영역에 대응하는 단말기의 제1 표시 영역 또는 제2 이미지 영역에 대응하는 단말기의 제2 표시 영역에 입력된 터치 드래그 입력을 수신하는 단계, 및 터치 드래그 입력이 수신된 표시 영역에 대응하는 이미지 영역에 적용된 이미지 필터를 제1 이미지 필터 및 제2 이미지 필터와는 다른 제3 이미지 필터로 변경하는 단계를 더 포함할 수 있다.
실시예로서, 제3 이미지 필터는 이미지 필터를 추천하기 위한 학습 모델 및 프리뷰 이미지를 이용하여 프리뷰 이미지에 포함된 오브젝트의 종류에 따라 단말기의 사용자가 선택할 확률이 세 번째로 높을 것으로 예측될 수 있다.
실시예로서, 제1 이미지 영역에 대응하는 단말기의 제1 표시 영역 또는 제2 이미지 영역에 대응하는 단말기의 제2 표시 영역에 입력된 터치 드래그 입력을 수신하는 단계는 제1 표시 영역 또는 제2 표시 영역에 입력된, 제1 표시 영역에서 제2 표시 영역을 향하는 방향과 수직하는 제1 방향 또는 제1 방향과 반대인 제2 방향으로의 터치 드래그 입력을 수신하는 단계를 포함할 수 있다.
실시예로서, 선택된 두 개 이상의 이미지 필터가 적용된 프리뷰 이미지를 출력하는 단계는 제1 표시 영역 및 제2 표시 영역의 경계의 임의의 지점에서부터 시작되는 터치 드래그 입력을 수신하는 단계, 터치 드래그 입력에 기초하여 제1 이미지 영역의 비율 및 제2 이미지 영역의 비율을 조정하는 단계, 제1 이미지 영역의 비율 또는 제2 이미지 영역의 비율 중 하나가 기준 비율 이상 높아졌는지 판단하는 단계, 및 판단 결과에 따라, 기준 비율 이상 높아진 비율을 갖는 이미지 영역에 적용된 이미지 필터를 프리뷰 이미지의 전체 영역에 적용하는 단계를 더 포함할 수 있다.
실시예로서, 제1 이미지 영역의 비율 또는 제2 이미지 영역의 비율 중 하나가 기준 비율 이상 높아졌는지 판단하는 단계는 제1 이미지 영역의 크기 또는 제2 이미지 영역의 크기 중 하나가 기준 크기 이상 넓어졌는지 판단하는 단계를 포함할 수 있다.
실시예로서, 제1 이미지 영역의 비율 또는 제2 이미지 영역의 비율 중 하나가 기준 비율 이상 높아졌는지 판단하는 단계는 제1 이미지 영역의 가로 폭 또는 제2 이미지 영역의 가로 폭 중 하나가 기준 폭 이상 넓어졌는지 판단하는 단계를 포함할 수 있다.
실시예로서, 단말기에서 수행되는 이미지 처리 방법은 기준 비율 이상 높아진 비율을 갖는 이미지 영역에 적용된 이미지 필터를 프리뷰 이미지의 전체 영역에 적용하는 단계 후에, 촬영 아이콘을 출력하는 단계, 및 촬영 아이콘에 터치 입력이 수신되면, 기준 비율 이상 높아진 비율을 갖는 이미지 영역에 적용된 이미지 필터가 적용된 프리뷰 이미지를 저장하는 단계를 더 포함할 수 있다.
실시예로서, 터치 드래그 입력에 기초하여 제1 이미지 영역의 비율 및 제2 이미지 영역의 비율을 조정하는 단계는 제1 표시 영역 및 제2 표시 영역의 경계의 임의의 지점으로부터 제2 표시 영역에서 제1 표시 영역으로 향하는 방향으로의 터치 드래그 입력이 수신되는 경우, 터치 드래그 입력의 시작점과 종점 사이의 거리에 비례하도록 프리뷰 이미지에서 제2 이미지 영역의 비율을 증가시킬 수 있다.
실시예로서, 터치 드래그 입력에 기초하여 제1 이미지 영역의 비율 및 제2 이미지 영역의 비율을 조정하는 단계는 제1 표시 영역 및 제2 표시 영역의 경계의 임의의 지점으로부터 제1 표시 영역에서 제2 표시 영역으로 향하는 방향으로의 터치 드래그 입력이 수신되는 경우, 터치 드래그 입력의 시작점과 종점 사이의 거리에 비례하도록 프리뷰 이미지에서 제1 이미지 영역의 비율을 증가시킬 수 있다.
본 발명의 실시예에 따른 단말기는 주변으로부터 반사된 빛으로부터 변환된 프리뷰 이미지를 입력받는 입력부, 프리뷰 이미지에 포함된 오브젝트(object)의 종류를 식별하고, 프리뷰 이미지에 적용될 이미지 필터에 대한 추천 알고리즘을 이용하여 두 개 이상의 이미지 필터를 선택하는 제어부, 및 선택된 두 개 이상의 이미지 필터가 적용된 프리뷰 이미지를 표시하는 표시부를 포함하고, 제어부는 선택된 두 개 이상의 필터 중 제1 이미지 필터를 프리뷰 이미지의 제1 이미지 영역에 적용하고, 제1 이미지 필터와 다른 제2 이미지 필터를 프리뷰 이미지의 제1 이미지 영역을 제외한 영역인 제2 이미지 영역에 적용할 수 있다.
실시예로서, 표시부는 제1 이미지 영역에 대응하는 표시부의 제1 표시 영역 또는 제2 이미지 영역에 대응하는 표시부의 제2 표시 영역에 입력된 터치 드래그(touch drag) 입력을 수신하고, 제어부는 터치 드래그 입력이 수신된 표시 영역에 대응하는 이미지 영역에 적용된 이미지 필터를 제1 이미지 필터 및 제2 이미지 필터와는 다른 제3 이미지 필터로 변경할 수 있다.
실시예로서, 표시부는 제1 표시 영역 또는 제2 표시 영역에 입력된, 제1 표시 영역에서 제2 표시 영역을 향하는 방향과 수직하는 제1 방향 또는 제1 방향과 반대인 제2 방향으로의 터치 드래그 입력을 수신할 수 있다.
실시예로서, 표시부는 제1 이미지 영역에 대응하는 표시부의 제1 표시 영역 및 제2 이미지 영역에 대응하는 표시부의 제2 표시 영역의 경계의 임의의 지점에서부터 시작되는 터치 드래그 입력을 수신하고, 터치 드래그 입력에 기초하여 제1 이미지 영역의 비율 및 제2 이미지 영역의 비율을 조정하고, 제어부는 제1 이미지 영역의 비율 또는 제2 이미지 영역의 비율 중 하나가 기준 비율 이상 높아졌는지 판단하고, 판단 결과에 따라, 기준 비율 이상 높아진 비율을 갖는 이미지 영역에 적용된 이미지 필터를 프리뷰 이미지의 전체 영역에 적용할 수 있다.
기재된 실시예에 따르면 사용자에 의해 촬영될 이미지에 포함된 오브젝트의 종류에 적합한 서로 다른 두 개 이상의 이미지 필터가 자동으로 추천될 수 있다.
또한, 실시예에 따르면 서로 다른 두 개 이상의 이미지 필터를 자동으로 추천해줌으로써 사용자의 편리성이 향상될 수 있다.
도 1은 본 발명의 실시예에 따른 전자 장치가 동작하는 환경을 나타내는 네트워크 구성도이다.
도 2는 본 발명의 실시예에 따른 단말기의 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시 예에 따른 단말기의 동작 방법을 보여주는 블록도이다.
도 4는 본 발명의 실시 예에 따른 두 개 이상의 이미지 필터를 이용하여 보정된 프리뷰 이미지가 출력되는 단말기를 보여주는 도면이다.
도 5는 본 발명의 실시 예에 따른 단말기의 이미지 필터 적용 방법을 보여주는 순서도이다.
도 6은 다른 실시 예에 따른 두 개 이상의 이미지 필터를 이용하여 보정된 프리뷰 이미지가 출력되는 단말기를 보여주는 도면이다.
도 7은 본 발명의 다른 실시 예에 따른 단말기의 동작 방법을 보여주는 순서도이다.
도 8 내지 도 10은 본 발명의 실시 예에 따른 프리뷰 이미지의 두 개 이상의 이미지 영역의 비율을 조절하는 방법을 보여주는 도면이다.
도 11은 본 발명의 실시 예에 따른 선택된 이미지 필터를 이용하여 보정된 프리뷰 이미지가 출력되는 단말기를 보여주는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1구성요소는 본 발명의 기술적 사상 내에서 제2구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 본 발명의 실시예에 따른 전자 장치가 동작하는 환경을 나타내는 네트워크 구성도이다. 도 1을 참조하면, 전자 장치(100)가 동작하는 환경은 서버(200) 및 전자 장치(100)를 포함할 수 있다. 예를 들어, 전자 장치(100)가 동작하는 환경은 서버(200)를 포함하지 않을 수 있다.
전자 장치(100)는 서버(200)를 매개로 연결될 수 있다. 본 발명의 설명의 편의를 위해, 도 1에서 한 개의 전자 장치들이 도시되어 있다. 하지만, 전자 장치의 개수는 한 개로 한정되지 않는다. 전자 장치(100)는 데스크탑 컴퓨터, 랩탑 컴퓨터, 스마트폰, 스마트 태블릿, 스마트 워치, 이동 단말, 디지털 카메라, 웨어러블 디바이스(wearable device), 또는 휴대용 전자기기 중 하나로써 구현될 수 있다. 전자 장치(100)는 프로그램 또는 애플리케이션을 실행할 수 있다.
전자 장치(100)는 통신망에 연결될 수 있다. 전자 장치(100)는 통신망을 통해 외부의 다른 장치와 서로 연결될 수 있다. 전자 장치(100)는 서로 연결된 다른 장치에 데이터를 출력하거나 다른 장치로부터 데이터를 수신할 수 있다.
전자 장치(100)와 연결된 통신망은 유선 통신망, 무선 통신망, 또는 복합 통신망을 포함할 수 있다. 통신망은 3G, LTE, 또는 LTE-A 등과 같은 이동 통신망을 포함할 수 있다. 통신망은 와이파이(Wi-Fi), UMTS/GPRS, 또는 이더넷(Ethernet) 등과 같은 유선 또는 무선 통신망을 포함할 수 있다. 통신망은 마그네틱 보안 출력(MST, Magnetic Secure Transmission), RFID(Radio Frequency IDentification), NFC(Near Field Communication), 지그비(ZigBee), Z-Wave, 블루투스(Bluetooth), 저전력 블루투스(BLE, Bluetooth Low Energy), 또는 적외선 통신(IR, InfraRed communication) 등과 같은 근거리 통신망을 포함할 수 있다. 통신망은 근거리 네트워크(LAN, Local Area Network), 도시권 네트워크(MAN, Metropolitan Area Network), 또는 광역 네트워크(WAN, Wide Area Network) 등을 포함할 수 있다.
서버(200)는 전자 장치(100)의 사용자가 전자 장치(100)를 이용하여 촬영된 이미지를 보정할 수 있도록 각종 프로그램 또는 애플리케이션 및 데이터를 저장할 수 있다.
이하에서, 발명의 설명의 편의를 위해, 전자 장치 및 단말기는 동일한 의미로 사용될 수 있다. 그리고, 전자 장치(100) 및 서버(200)의 통신 방법은 도 2 내지 도 11을 참조하여 설명될 것이다.
도 2는 본 발명의 실시예에 따른 단말기의 구성을 나타내는 블록도이다. 도 2를 참조하면, 단말기(100)는 입력부(110), 저장부(120), 제어부(130), 출력부(140) 및 통신부(150)를 포함할 수 있다.
입력부(110)는 외부로부터 신호를 수신할 수 있다. 입력부(110)는 단말기(100)의 사용자로부터 신호를 수신할 수 있다. 또한, 입력부(110)는 외부 장치로부터 신호를 수신할 수 있다. 입력부(110)는 예를 들어, 마이크, 카메라, 키보드, 마우스, 트랙볼, 터치스크린, 버튼, 스위치, 센서, 네트워크 인터페이스, 또는 기타 입력 장치 등을 포함할 수 있다. 입력부(110)는 입력부(110)에 포함된 마이크를 통해 외부로부터 음성을 수신할 수 있다. 또한, 입력부(110)는 입력부(110)에 포함된 카메라로부터 촬영된 이미지 또는 사용자로부터 제스처를 수신할 수 있다. 또는, 입력부(100)는 단말기(100)의 주변으로부터 반사된 빛으로부터 변환된 프리뷰 이미지(preview image)를 입력받을 수 있다. 입력부(110)에 포함된 터치스크린은 단말기(100)의 사용자로부터 터치 입력을 수신할 수 있다.
저장부(120)는 데이터를 저장할 수 있다. 저장부(120)는 입력부(110)로부터 수신된 음성 또는 이미지 데이터를 저장할 수 있다. 그리고, 저장부(120)는 제어부(130)에 의해 수행된 연산 결과를 저장할 수 있다. 예를 들어, 저장부(120)는 제어부(130)에 의해 인코딩된 음성을 저장할 수 있다. 저장부(120)는 통신부(150)를 통해 외부에 출력할 데이터를 저장하거나 통신부(150)를 통해 외부로부터 수신된 데이터를 저장할 수 있다.
저장부(120)는 소프트웨어 또는 프로그램을 저장할 수 있다. 예를 들어, 저장부(120)는 애플리케이션, 애플리케이션 프로그래밍 인터페이스(API) 등과 같은 프로그램 및 다양한 종류의 데이터를 저장할 수 있다. 저장부(120)는 제어부(130)에 의해 실행 가능한 명령어들을 저장할 수 있다.
저장부(120)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 하나를 포함할 수 있다. 저장부(120)는 예를 들어, 플래시(flash) 메모리, ROM(Read Only Memory), RAM(Random Access Memory), EEROM(Electrically Erasable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 하드디스크 드라이브(HDD, Hard Disk Drive), 또는 레지스터(register) 중 적어도 하나를 포함할 수 있다. 저장부(120)는 예를 들어, 파일 시스템, 데이터베이스, 또는 임베디드 데이터베이스 등을 포함할 수 있다.
제어부(130) 또는 제어부(130)에 포함된 구성 요소들 각각은 소프트웨어(software) 또는 하드웨어(hardware) 형태로 구현될 수 있다. 예시적으로, 소프트웨어는 기계코드, 펌웨어 코드(firmware code), 임베디드 코드(embedded code), 및 애플리케이션(application) 등과 같은 프로그램 실행 명령어들로써 구현될 수 있다. 하드웨어는 전기 전자 회로, 프로세서, 컴퓨터, 압력 센서, 관성 센서, MEMS(microelectromechanical system), 수동 소자들, 또는 그것들의 조합일 수 있다.
제어부(130)는 단말기(100)의 동작을 제어할 수 있다. 제어부(130)는 단말기(100)에 포함된 각각의 구성요소와 서로 연결될 수 있다. 제어부(130)는 단말기(100)에 포함된 각각의 구성요소의 동작을 제어할 수 있다. 제어부(130)는 입력부(110)에 의해 수신된 신호에 대한 응답으로, 단말기(100)의 동작을 제어할 수 있다.
제어부(130)는 입력부(110)를 통해 입력되는 프리뷰 이미지를 검사할 수 있다. 프리뷰 이미지는 단말기(100)의 사용자가 입력부(100)를 통해 입력되는 이미지를 저장하기 전에, 입력부(110)를 통해 입력되는 이미지를 의미할 수 있다. 예를 들어, 제어부(130)는 입력된 프리뷰 이미지에 포함된 오브젝트(object)의 종류를 식별할 수 있다.
제어부(130)는 프리뷰 이미지에 포함된 오브젝트의 종류가 사물인지 또는 사람인지 여부를 식별할 수 있다. 좀 더 구체적으로, 프리뷰 이미지에 포함된 오브젝트가 사물인 경우, 제어부(130)는 사물의 종류, 색상, 또는 패턴 등을 식별할 수 있다. 또는, 제어부(130)는 프리뷰 이미지에 포함된 오브젝트의 종류가 특정 동물, 특정 음식, 특정 풍경 또는 특정 물건인지 식별할 수 있다.
제어부(130)는 준비된 학습 모델을 이용하여 프리뷰 이미지에 포함된 오브젝트의 종류에 적합한 두 개 이상의 이미지 필터를 선택할 수 있다. 제어부(130)가 두 개 이상의 이미지 필터를 선택하는 방법은 도 2 내지 도 8을 참조하여 자세히 설명될 수 있다.
출력부(140)는 표시부(141)를 포함할 수 있다. 표시부(141)는 화면을 표시할 수 있다. 제어부(130)는 표시부(141)에 화면이 표시되도록 제어할 수 있다. 표시부(141)는 사용자 인터페이스를 표시할 수 있다. 표시부(141)는 사용자로부터의 입력에 대한 응답으로 다른 화면을 표시할 수 있다.
표시부(141)는 데이터를 표시할 수 있다. 표시부(141)는 제어부(130)에 의해 수행된 연산 결과를 표시할 수 있다. 예를 들어, 표시부(141)는 제어부(130)에 의해 선택된 두 개 이상의 이미지 필터가 적용된 프리뷰 이미지를 출력할 수 있다. 표시부(141)는 저장부(120)에 저장된 데이터를 표시할 수 있다. 표시부(141)는 통신부(150)에 의해 수신된 데이터를 표시할 수 있다. 예를 들어, 표시부(141)는 입력부(110)로부터 수신되는 이미지를 표시할 수 있다.
표시부(141)는 예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), 또는 PDP(Plasma Display Panel) 등의 평판 표시 장치를 포함할 수 있다. 표시부(141)는 곡면 디스플레이 또는 플렉서블 디스플레이(flexible display)를 포함할 수 있다. 표시부(141)는 터치스크린을 포함할 수 있다. 표시부(141)가 터치스크린을 포함하는 경우, 표시부(141)는 출력 동작을 수행하는 동시에 입력부(110)로써 동작할 수 있다.
출력부(140)는 소리를 출력할 수 있다. 출력부(140)는 입력부(110)를 통해 수신된 소리, 또는 외부 장치를 통해 수신된 소리를 출력할 수 있다. 예를 들어, 출력부(140)는 스피커(speaker)를 포함할 수 있다.
통신부(150)는 외부에 데이터를 출력하거나 외부로부터 데이터를 수신할 수 있다. 통신부(150)는 서버(200) 또는 외부 장치에 데이터를 출력할 수 있다. 통신부(150)는 서버(200) 및 외부 장치로부터 데이터를 수신할 수 있다. 통신부(150)는 제어부(130)에 의해 수행된 연산 결과를 외부에 출력할 수 있다. 또한, 통신부(150)는 저장부(120)에 저장된 데이터를 외부에 출력할 수 있다.
통신부(150)에 의해 출력될 데이터 또는 통신부(150)에 의해 수신된 데이터는 저장부(120)에 저장될 수 있다. 예를 들어, 통신부(150)는 제어부(130)에서 생성된 메시지를 서버(200)에 출력할 수 있다.
통신부(150)는 예를 들어, 3G 모듈, LTE 모듈, LTE-A 모듈, Wi-Fi 모듈, 와이기그(WiGig) 모듈, UWB(Ultra Wide Band) 모듈, 또는 랜카드 등과 같은 원거리용 네트워크 인터페이스를 포함할 수 있다. 또한, 통신부(150)는 마그네틱 보안 출력(MST) 모듈, 블루투스 모듈, NFC 모듈, RFID 모듈, 지그비(ZigBee) 모듈, Z-Wave 모듈, 또는 적외선 모듈 등과 같은 근거리용 네트워크 인터페이스를 포함할 수 있다. 또한, 통신부(150)는 기타 네트워크 인터페이스를 포함할 수 있다.
도 3은 본 발명의 실시 예에 따른 단말기의 동작 방법을 보여주는 블록도이다. S110 단계에서, 단말기(100)의 입력부(110)는 프리뷰 이미지를 입력받을 수 있다. 예를 들어, 단말기(100)는 입력부(110)를 통해 입력되는 이미지를 보정할 수 있는 서비스를 제공하는 애플리케이션을 실행할 수 있다. 그리고, 프리뷰 이미지는 단말기(100)의 주변으로부터 반사된 빛으로부터 변환된 이미지일 수 있다.
S120 단계에서, 단말기(100)의 제어부(130)는 프리뷰 이미지에 포함된 오브젝트의 종류를 식별할 수 있다. 예를 들어, 단말기(100)의 제어부(130)는 준비된 학습 모델을 이용하여 프리뷰 이미지에 포함된 오브젝트의 종류를 식별할 수 있다.
준비된 학습 모델은 애플리케이션을 통해 보정될 프리뷰 이미지에 포함된 오브젝트의 종류를 식별하기 위해 이용되는 데이터 인식 모델일 수 있다. 데이터 인식 모델은 인공 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예를 들면, 학습 모델은 DNN(Deep Neural Network), RNN(Recurrent Neural Network), 및 BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 데이터 인식 모델로서 사용될 수 있으나, 이에 한정되지 않는다.
준비된 학습 모델은 프리뷰 이미지에 포함된 오브젝트의 종류를 식별하기 위한 학습 모델 일 수 있다. 오브젝트의 종류를 식별하기 위한 학습 모델은 다수의 사진 이미지 데이터 및 다수의 사진에 포함된 오브젝트의 종류 사이의 상관관계에 대해 학습된 결과일 수 있다. 예를 들어, 단말기(100)는 다수의 사진 이미지 데이터 및 다수의 사진에 포함된 오브젝트의 종류 사이의 상관관계를 학습할 수 있다. 단말기(100)는 학습 결과에 기초하여 인공 신경망을 훈련하여, 프리뷰 이미지에 포함된 오브젝트의 종류를 식별하기 위한 학습 모델을 생성할 수 있다.
다른 예로서, 단말기(100)는 서버(200)로부터 오브젝트의 종류를 식별하기 위한 학습 모델을 수신할 수 있다. 이와 같은 경우, 서버(200)가 프리뷰 이미지에 포함된 오브젝트의 종류를 식별하기 위한 학습 모델을 생성할 수 있다.
S130 단계에서, 단말기(100)의 제어부(130)는 프리뷰 이미지에 적용될 이미지 필터에 대한 추천 알고리즘을 준비할 수 있다. 예를 들어, 준비된 추천 알고리즘은 프리뷰 이미지를 애플리케이션을 통해 보정하기 위해 이용되는 데이터 인식 모델일 수 있다. 데이터 인식 모델은 인공 신경망을 기반으로 하는 모델일 수 있다. 예를 들면, 학습 모델은 DNN, RNN, 및 BRDNN과 같은 모델이 데이터 인식 모델로서 사용될 수 있으나, 이에 한정되지 않는다.
준비된 추천 알고리즘은 프리뷰 이미지를 보정에 사용될 이미지 필터를 추천하기 위한 학습 모델일 수 있다. 이미지 필터를 추천하기 위한 학습 모델은 다수의 이미지에 포함된 오브젝트의 종류 및 다수의 이미지를 보정하기 위해 사용자에 의해 선택된 이미지 필터의 종류 사이의 상관관계에 대해 학습된 결과일 수 있다. 예를 들어, 단말기(100)는 다수의 이미지에 포함된 오브젝트의 종류 및 다수의 이미지를 보정하기 위해 선택된 이미지 필터의 종류 사이의 상관관계를 학습할 수 있다. 예를 들어, 이미지 필터의 종류는 다수의 이미지 중 특정 이미지를 보정하기 위해 단말기(100)의 사용자에 의해 선택된 보정 효과일 수 있다. 단말기(100)는 학습 결과에 기초하여 인공 신경망을 훈련하여, 프리뷰 이미지의 보정에 사용될 이미지 필터의 종류를 선택하기 위한 학습 모델을 생성할 수 있다.
다른 예로서, 단말(100)은 서버(200)로부터 이미지 필터를 추천하기 위한 추천 알고리즘을 수신할 수 있다. 이와 같은 경우, 서버(200) 이미지 필터를 추천하기 위한 추천 알고리즘을 생성할 수 있다.
S140 단계에서, 단말기(100)의 제어부(130)는 이미지 필터를 선택하기 위한 추천 알고리즘을 이용하여 두 개 이상의 이미지 필터를 선택할 수 있다. 예를 들어, 단말기(100)의 제어부(130)는 프리뷰 이미지에 포함된 오브젝트를 보정하기 위해 두 개 이상의 이미지 필터를 선택할 수 있다.
단말기(100)의 제어부(130)는 이미지 필터를 추천하기 위한 학습 모델에 프리뷰 이미지를 적용하여 프리뷰 이미지에 포함된 오브젝트의 종류에 따라 단말기(100)의 사용자가 선택할 확률이 높을 것으로 예측되는 두 개 이상의 이미지 필터를 선택할 수 있다. 예를 들어, 단말기(100)의 제어부(130)는 프리뷰 이미지에 포함된 오브젝트의 종류에 따라 단말기(100)의 사용자가 선택할 확률이 가장 높을 것으로 이미지 필터 및 선택할 확률이 두 번째로 높을 것으로 예측된 이미지 필터를 선택할 수 있다.
S150 단계에서, 단말기(100)의 출력부(140)는 선택된 두 개 이상의 이미지 필터가 적용된 프리뷰 이미지를 출력할 수 있다. 예를 들어, 단말기(100)의 출력부(140)는 프리뷰 이미지를 두 개 이상의 이미지 영역으로 구분하고, 두 개 이상의 이미지 영역에 각각 선택된 두 개 이상의 이미지 필터를 적용할 수 있다. 두 개 이상의 이미지 필터를 이용하여 보정된 프리뷰 이미지를 출력하는 방법은 도 4를 참조하여 설명될 수 있다.
도 4는 본 발명의 실시 예에 따른 두 개 이상의 이미지 필터를 이용하여 보정된 프리뷰 이미지가 출력되는 단말기를 보여주는 도면이다. 도 3 및 도 4를 참조하면, 단말기(100)의 출력부(141)을 통해 프리뷰 이미지가 표시될 수 있다. 예를 들어, 표시부(141)의 제1 표시 영역(142)은 프리뷰 이미지의 제1 이미지 영역에 대응하고, 제2 표시 영역(143)은 프리뷰 이미지의 제2 이미지 영역에 대응할 수 있다.
제1 표시 영역(142)을 통해 표시되는 제1 이미지 영역 및 제2 표시 영역(143)을 통해 표시되는 제2 이미지 영역 각각에 서로 다른 이미지 필터가 적용될 수 있다. 예를 들어, 제1 표시 영역(142)에는 제1 이미지 필터(예를 들어, ‘mellow’ 이미지 필터)가 적용된 제1 이미지 영역이 표시될 수 있고, 제2 표시 영역(143)에는 제2 이미지 필터(예를 들어, ‘hipster’ 이미지 필터)가 적용된 제2 이미지 영역이 표시될 수 있다. 즉, 제1 이미지 영역은 프리뷰 이미지에서 제1 이미지 필터가 적용된 범위일 수 있고, 제2 이미지 영역은 프리뷰 이미지에서 제2 이미지 필터가 적용된 범위일 수 있다.
예를 들어, 제1 이미지 영역은 프리뷰 이미지의 좌측 일부 영역에 대응할 수 있다. 제2 이미지 영역은 프리뷰 이미지의 우측 일부 영역에 대응할 수 있다. 그리고, 제2 이미지 영역은 프리뷰 이미지에서 제1 이미지 영역을 제외한 나머지 영역에 대응할 수 있다. 본 발명은 이에 한정되지 않고, 제1 이미지 영역은 프리뷰 이미지의 상측 일부 영역에 대응할 수 있다. 제2 이미지 영역은 프리뷰 이미지의 하측 일부 영역에 대응할 수 있다. 그리고, 제2 이미지 영역은 프리뷰 이미지에서 제1 이미지 영역을 제외한 나머지 영역에 대응할 수 있다.
예를 들어, 제1 이미지 영역에 적용된 제1 이미지 필터는 단말기(100)의 제어부(130)에서 프리뷰 이미지에 포함된 오브젝트의 종류에 따라 단말기(100)의 사용자가 선택할 확률이 가장 높을 것으로 예측된 이미지 필터일 수 있다. 제2 이미지 영역에 적용된 제2 이미지 필터는 단말기(100)의 제어부(130)에서 프리뷰 이미지에 포함된 오브젝트의 종류에 따라 단말기(100)의 사용자가 선택할 확률이 두 번째로 높을 것으로 예측된 이미지 필터일 수 있다. 제1 이미지 영역 또는 제2 이미지 영역에 적용된 이미지 필터는 단말기(100)의 화면에 수신되는 사용자의 입력에 의해 변경될 수 있다. 제1 이미지 영역 또는 제2 이미지 영역에 적용된 이미지 필터를 변경하는 방법은 도 5를 참조하여 설명될 것이다.
도 5는 본 발명의 실시 예에 따른 단말기의 이미지 필터 적용 방법을 보여주는 순서도이다. 도 4 및 도 5를 참조하면, S210 단계에서, 단말기(100)의 제어부(130)는 제1 이미지 필터를 프리뷰 이미지의 제1 이미지 영역에 적용할 수 있다. S220 단계에서, 단말기(100)의 제어부(130)는 제2이미지 필터를 프리뷰 이미지의 제2 이미지 영역에 적용할 수 있다.
도 4에 도시된 바와 같이, 프리뷰 이미지의 제1 이미지 영역 및 제2 이미지 영역 각각에는 서로 다른 이미지 필터가 적용될 수 있다. 그리고, 단말기(100)의 표시부(141)는 각각 서로 다른 이미지 필터가 적용된 제1 이미지 영역 및 제2 이미지 영역을 표시할 수 있다. 구체적으로, 표시부(141)의 제1 표시 영역(142)에는 제1 이미지 필터가 적용된 제1 이미지 영역이 표시될 수 있고, 표시부(141)의 제2 표시 영역(143)에는 제2 이미지 필터가 적용용된 제2 이미지 영역이 표시될 수 있다.
S230 단계에서, 단말기(100)는 제1 표시 영역(142) 또는 제2 표시 영역(143) 중 하나에 입력된 사용자 입력을 수신할 수 있다. 예를 들어, 표시부(141)는 터치스크린으로 구현되고, 입력부(110)로써 구동할 수 있다. 단말기(100)는 제1 표시 영역(142) 또는 제2 표시 영역(143)에 입력된 터치 드래그(touch drage) 입력을 수신할 수 있다. 단말기(100)는 제1 표시 영역(142) 또는 제2 표시 영역(143) 중 하나에 입력된 제3 방향(D3)으로의 터치 드래그 입력 또는 제3 방향(D3)과 반대되는 제4 방향(D4)으로의 터치 드래그 입력 중 하나를 수신할 수 있다.
예를 들어, 제2 표시 영역(143)에서 제1 표시 영역(142)을 향하는 방향은 제1 방향(D1)일 수 있고, 제1 표시 영역(142)에서 제2 표시 영역(143)을 향하는 방향은 제2 방향(D2)일 수 있다. 그리고, 제3 방향(D3) 및 제4 방향(D4) 각각은 표시부(141)의 표면을 포함하는 평면 상에서 제1 표시 영역(142)에서 제2 표시 영역(143)으로 향하는 방향과 수직할 수 있다. 좀 더 구체적으로, 제3 방향(D3)은 제1 방향(D1)과의 외적의 방향이 표시부(141)가 빛을 발하는 방향과 동일할 수 있고, 제4 방향(D4)은 제3 방향(D3)과 반대되는 방향일 수 있다.
S240 단계에서, 단말기(100)의 제어부(130)는 사용자 입력이 수신된 표시 영역에 대응하는 이미지 영역에 적용된 이미지 필터를 제3 이미지 필터로 변경할 수 있다. 이미지 필터를 변경하는 방법은 도 6을 참조하여 설명될 수 있다.
도 6은 다른 실시 예에 따른 두 개 이상의 이미지 필터를 이용하여 보정된 프리뷰 이미지가 출력되는 단말기를 보여주는 도면이다. 도 4 및 도 6을 함께 참조하면, 표시부(141)의 제2 표시 영역(143)에 터치 드래그 입력이 수신될 수 있다. 제2 표시 영역(143)에 터치 드래그 입력이 수신되는 경우, 제2 이미지 영역에 적용된 필터는 제2 이미지 필터에서 제3 이미지 필터(예를 들어, ‘vintage’ 이미지 필터)로 변경될 수 있다. 예를 들어, 제3 이미지 필터는 단말기(100)의 제어부(130)에서 프리뷰 이미지에 포함된 오브젝트의 종류에 따라 단말기(100)의 사용자가 선택할 확률이 세 번째로 높을 것으로 예측된 이미지 필터일 수 있다.
예를 들어, 제2 표시 영역(143)에 제3 방향(D3)으로의 터치 드래그 입력이 수신되는 경우, 제2 이미지 영역에 적용된 이미지 필터는 제2 이미지 필터에서 제3 이미지 필터로 변경될 수 있다. 그 이후에, 제2 표시 영역(143)에 제4 방향(D4)으로의 터치 드래그 입력이 수신되는 경우, 제2 이미지 영역에 적용된 이미지 필터는 다시 제3 이미지 필터에서 제2 이미지 필터로 변경될 수 있다.
반대로, 제2 표시 영역(143)에 제4 방향(D4)으로의 터치 드래그 입력이 수신되는 경우, 제2 이미지 영역에 적용된 이미지 필터는 제2 이미지 필터에서 제3 이미지 필터로 변경될 수 있다. 그 이후에, 제2 표시 영역(143)에 제3 방향(D3)으로의 터치 드래그 입력이 수신되는 경우, 제2 이미지 영역에 적용된 이미지 필터는 다시 제3 이미지 필터에서 제2 이미지 필터로 변경될 수 있다.
다른 예로서, 제2 이미지 영역에 적용된 이미지 필터가 제2 이미지 필터에서 제3 이미지 필터로 변경된 후, 제1 표시 영역(142)에 제3 방향(D3) 또는 제4 방향(D4)으로의 터치 드래그 입력이 수신될 수 있다. 이때, 제1 이미지 영역에 적용된 이미지 필터는 제1 이미지 필터에서 제2 이미지 필터 또는 제4 이미지 필터로 변경될 수 있다. 예를 들어, 제2 이미지 필터는 단말기(100)의 제어부(130)에서 프리뷰 이미지에 포함된 오브젝트의 종류에 따라 단말기(100)의 사용자가 선택할 확률이 네 번째로 높을 것으로 예측된 이미지 필터일 수 있다.
만약, 제2 표시 영역(143)에 제3 방향(D3) 또는 제4 방향(D4)으로의 터치 드래그 입력이 수신되지 않고, 제1 표시 영역(142)에 제3 방향(D3) 또는 제4 방향(D4)으로의 터치 드래그 입력이 수신되는 경우, 제1 이미지 영역에 적용된 이미지 필터는 제1 이미지 필터에서 제3 이미지 필터로 변경될 수 있다. 제1 이미지 영역에 적용된 이미지 필터가 제1 이미지 필터에서 제3 이미지 필터로 변경된 후, 제2 표시 영역(143)에 제3 방향(D3) 또는 제4 방향(D4)으로의 터치 드래그 입력이 수신될 수 있다. 이때, 제2 이미지 영역에 적용된 이미지 필터는 제2 이미지 필터에서 제1 이미지 필터 또는 제4 이미지 필터로 변경될 수 있다.
도 4 내지 도 6을 참조하여 설명된 바와 같이, 단말기(100)는 외부로부터 입력되는 프리뷰 이미지에 포함된 오브젝트의 종류를 식별하고, 식별된 오브젝트에 적용될 두 개 이상의 이미지 필터를 선택할 수 있다. 좀 더 구체적으로, 단말기(100)는 준비된 학습 모델을 이용하여 오브젝트의 종류에 적합한 두 개 이상의 이미지 필터를 선택할 수 있다. 이와 같은 방법을 통해, 단말기(100)에 입력되는 프리뷰 이미지에 적용될 두 개 이상의 이미지 필터가 자동으로 추천될 수 있다. 또한, 두 개 이상의 이미지 필터가 자동으로 추천됨으로써, 사용자의 편리성이 향상될 수 있다. 단말기(100)의 사용자는 간단한 터치 드래그 입력을 통해 프리뷰 이미지에 적용될 이미지 필터의 종류를 변경하고, 어떤 이미지 필터가 프리뷰 이미지에 더 적합한지 비교할 수 있다. 이와 같은 조작 방법을 통해, 사용자의 편리성이 향상될 수 있다.
도 7은 본 발명의 다른 실시 예에 따른 단말기의 동작 방법을 보여주는 순서도이다. 단말기의 동작 방법은 도 8 내지 도 11을 참조하여 설명될 수 있다. 도 8 내지 도 10은 본 발명의 실시 예에 따른 프리뷰 이미지의 두 개 이상의 이미지 영역의 비율을 조절하는 방법을 보여주는 도면이다.
도 7 및 도 8을 참조하면, S310 단계에서, 단말기(100)의 표시부(141)는 제1 표시 영역(142) 및 제2 표시 영역(143)의 경계의 임의의 지점에서부터 시작하는 사용자의 입력을 수신할 수 있다.
예를 들어, 단말기(100)의 표시부(141)는 제1 표시 영역(142) 및 제2 표시 영역(143)의 경계의 임의의 지점에서 시작하는 터치 드래그 입력을 수신할 수 있다. 도 8을 참조하면, 단말기(100)는 제1 표시 영역(142) 및 제2 표시 영역(143)의 경계의 임의의 지점을 터치하고, 제1 방향(D1)으로 드래그하는 사용자 입력 또는 제1 방향(D1)과 반대되는 제2 방향(D2)으로 드래그하는 사용자 입력 중 하나를 수신할 수 있다. 예를 들어, 제1 방향(D1)은 제2 표시 영역(143)에서 제1 표시 영역(142)을 향하는 방향이고, 제2 방향(D2)은 제1 표시 영역(142)에서 제2 표시 영역(143)을 향하는 방향일 수 있다.
S320 단계에서, 단말기(100)는 사용자 입력에 기초하여 프리뷰 이미지의 제1 이미지 영역 또는 제2 이미지 영역의 비율을 조정할 수 있다. 예를 들어, 도 9를 참조하면, 제1 표시 영역(142) 및 제2 표시 영역(143)의 경계의 임의의 지점에서부터 시작되는 제1 방향(D1)으로의 터치 드래그 입력이 수신되는 경우, 단말기(100)는 터치 드래그 입력의 시작점과 종점 사이의 거리에 비례하도록 프리뷰 이미지에서 제2 이미지 영역의 비율을 증가시킬 수 있다. 그리고, 제2 이미지 영역의 비율이 증가한 만큼 제1 이미지 영역의 비율이 감소할 것이다. 제2 이미지 영역의 크기가 증가하면, 제2 이미지 영역에 대응하는 제2 표시 영역(143)의 크기도 함께 증가할 수 있다.
제2 이미지 영역의 비율이 제1 이미지 영역보다 증가하면, 제2 표시 영역(143)에서 표시되는 제2 이미지 영역의 가로 폭(W2)은 제1 표시 영역(142)에서 표시되는 제1 이미지 영역의 가로 폭(W1)보다 넓어질 수 있고, 프리뷰 이미지에서 제1 이미지 필터가 적용된 제1 이미지 영역보다 제2 이미지 필터가 적용된 제2 이미지 영역의 크기가 더 커질 수 있다.
도 10을 참조하면, 제1 표시 영역(142) 및 제2 표시 영역(143)의 경계의 임의의 지점에서부터 시작되는 제2 방향(D2)으로의 터치 드래그 입력이 수신되는 경우, 단말기(100)는 터치 드래그 입력의 시작점과 종점 사이의 거리에 비례하도록 프리뷰 이미지에서 제1 이미지 영역의 비율을 증가시킬 수 있다. 그리고, 제1 이미지 영역의 비율이 증가한 만큼 제2 이미지 영역의 비율은 감소할 것이다. 제1 이미지 영역의 크기가 증가하면, 제1이미지 영역에 대응하는 제1 표시 영역(142)의 크기도 함께 증가할 수 있다.
제1 이미지 영역의 비율이 제2 이미지 영역보다 증가하면, 제1 표시 영역(142)에서 표시되는 제1 이미지 영역의 가로 폭(W1)은 제2 표시 영역(143)에서 표시되는 제2 이미지 영역의 가로 폭(W2)보다 넓어질 수 있고, 프리뷰 이미지에서 제2 이미지 필터가 적용된 제2 이미지 영역보다 제1 이미지 필터가 적용된 제1 이미지 영역의 크기가 더 커질 수 있다.
다시 도 7을 참조하면, S330 단계에서, 단말기(100)의 제어부(130)는 제1 이미지 영역의 비율 또는 제2 이미지 영역의 비율 중 하나가 기준 비율 이상으로 높아졌는지 판단할 수 있다. 단말기(100)의 제어부(130)는 다양한 방법으로 제1 이미지 영역의 비율 또는 제2 이미지 영역의 비율 중 하나와 기준 비율을 비교할 수 있다.
예를 들어. 단말기(100)의 제어부(130)는 제1 이미지 영역의 비율 또는 제2 이미지 영역의 비율 중 하나가 기준 비율 이상 높아졌는지 판단할 수 있다. 다른 예로서, 단말기(100)의 제어부(130)는 제1 이미지 영역의 크기 또는 제2 이미지 영역의 크기중 하나가 기준 크기 이상 증가하였는지 판단할 수 있다. 다른 예로서, 단말기(100)의 제어부(130)는 제1 이미지 영역의 가로 폭(W1) 또는 제2 이미지 영역의 가로폭(W2) 중 하나가 기준 폭 이상 넓어졌는지 판단할 수 있다.
S340 단계에서, 단말기(100)의 제어부(130)는 판단 결과에 따라, 기준 비율 이상 높아진 비율을 갖는 이미지 영역에 적용된 이미지 필터를 프리뷰 이미지의 전체 영역에 적용할 수 있다.
예를 들어, 단말기(100)의 제어부(130)는 제2 이미지 영역의 비율이 기준 비율 이상 높아진 것으로 판단할 수 있다. 제2 이미지 영역의 크기가 기준 크기 이상으로 증가하였거나, 제2 이미지 영역의 가로 폭(W2)이 기준 폭 이상 넓어진 경우, 단말기(100)의 제어부(130)는 제2 이미지 영역의 비율이 기준 비율 이상 높아진 것으로 판단할 수 있다. 선택된 이미지 필터를 프리뷰 이미지 전체 영역에 적용하는 방법은 도 11을 참조하여 설명될 수 있다.
도 11은 본 발명의 실시 예에 따른 선택된 이미지 필터를 이용하여 보정된 프리뷰 이미지가 출력되는 단말기를 보여주는 도면이다. 도 11에 도시된 바와 같이, 제2 이미지 영역에 적용된 제2 이미지 필터(예를 들어, ‘hipster’ 이미지 필터)를 프리뷰 이미지의 전체 영역에 적용할 수 있다. 제2 이미지 영역에 적용된 제2 이미지 필터를 프리뷰 이미지의 전체 영역에 적용된 후, S350 단계에서, 단말기(100)는 이미지 촬영이 수행될 수 있도록 촬영 아이콘(13)을 표시할 수 있다.
제2 이미지 영역의 비율이 기준 비율 이상 높아진 것으로 판단되는 경우, 단말기(100)는 제2 이미지 영역에 적용된 제2 이미지 필터가 선택된 것으로 판단할 수 있다. 그리고, 단말기(100)의 표시부(141)는 제2 이미지 필터가 적용된 프리뷰 이미지를 출력할 수 있다.
단말기(100)는 제2 이미지 필터를 프리뷰 이미지의 전체 영역에 적용하고, 촬영을 수행할 수 있다록 촬영 아이콘(144)을 표시할 수 있다. 예를 들어, 단말기(100)의 사용자로부터 촬영 아이콘(144)의 터치 입력이 수신되는 경우, 단말기(100)는 제2 이미지 필터가 적용된 이미지를 촬영할 수 있다. 제2 이미지 필터가 적용된 이미지가 촬영되는 경우, 제2 이미지 필터가 적용된 이미지는 단말기(100)의 저장부(120)에 저장될 수 있다.
단말기(100)가 이미지를 촬영하는 방법은 다양하게 구현될 수 있다. 단말기(100)는 제2 이미지 필터를 프리뷰 이미지의 전체 영역에 적용한 뒤, 음성 입력을 유도하는 메시지를 출력할 수 있다. 예를 들어, 단말기(100)는 ‘촬영이라고 말해주세요’라는 메시지를 출력할 수 있고, 단말기(100)의 사용자로부터 ‘촬영’이라는 음성이 입력되는 경우, 제2 이미지 필터가 적용된 이미지를 저장할 수 있다. 또는, 단말기(100)는 제2 이미지 필터를 프리뷰 이미지의 전체 영역에 적용한 뒤, 단말기(100)의 사용자로부터 특정 모션이 입력되는 경우, 제2 이미지 필터가 적용된 이미지를 저장할 수 있다.
이상에서 설명된 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다.
또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 또는 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 통신 매체는 전형적으로 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 출력 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함할 수 있다.
이상에서 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (20)

  1. 단말기에서 수행되는 이미지 처리 방법에 있어서,
    상기 단말기의 주변으로부터 반사된 빛으로부터 변환된 프리뷰 이미지를 입력받는 단계;
    상기 프리뷰 이미지에 포함된 오브젝트(object)의 종류를 식별하는 단계;
    상기 프리뷰 이미지에 적용될 이미지 필터에 대한 추천 알고리즘을 준비하는 단계;
    상기 추천 알고리즘을 이용하여 상기 오브젝트의 종류에 대응하는 서로 다른 두 개 이상의 이미지 필터를 선택하고, 상기 선택된 두 개 이상의 필터 중 제1 이미지 필터를 상기 프리뷰 이미지의 제1 이미지 영역에 적용하고, 상기 제1 이미지 필터와 다른 제2 이미지 필터를 상기 프리뷰 이미지의 상기 제1 이미지 영역을 제외한 영역인 제2 이미지 영역에 적용하는 단계;
    상기 선택된 두 개 이상의 이미지 필터가 적용된 프리뷰 이미지를 출력하는 단계;
    상기 제1 이미지 영역에 대응하는 제1 표시 영역 및 상기 제2 이미지 영역에 대응하는 제2 표시 영역의 경계의 임의의 지점에서부터 시작되는 터치 드래그 입력을 수신하는 단계;
    상기 터치 드래그 입력에 기초하여 상기 제1 이미지 영역의 비율 및 상기 제2 이미지 영역의 비율을 조정하는 단계;
    상기 제1 이미지 영역의 비율 또는 상기 제2 이미지 영역의 비율 중 하나가 기준 비율 이상 높아졌는지 판단하는 단계; 및
    상기 판단 결과에 따라, 상기 기준 비율 이상 높아진 비율을 갖는 이미지 영역에 적용된 이미지 필터를 상기 프리뷰 이미지의 전체 영역에 적용하는 단계를 포함하는 이미지 처리 방법.
  2. 제 1 항에 있어서,
    상기 프리뷰 이미지에 포함된 상기 오브젝트의 종류를 식별하기 전에 다수의 사진에 대한 이미지 데이터 및 상기 다수의 사진에 포함된 오브젝트의 종류 사이의 상관관계에 대해 학습된, 상기 프리뷰 이미지에 포함된 상기 오브젝트의 종류를 식별하기 위한 학습 모델을 준비하는 단계를 더 포함하는 이미지 처리 방법.
  3. 제 1 항에 있어서,
    상기 프리뷰 이미지에 적용될 상기 이미지 필터에 대한 상기 추천 알고리즘을 준비하는 단계는,
    다수의 이미지에 포함된 오브젝트의 종류 및 상기 다수의 이미지를 보정하기 위해 선택된 이미지 필터의 종류 사이의 상관관계에 대해 학습된, 상기 이미지 필터를 추천하기 위한 학습 모델을 준비하는 단계를 포함하는 이미지 처리 방법.
  4. 제 3 항에 있어서,
    상기 추천 알고리즘을 이용하여 상기 오브젝트의 종류에 대응하는 상기 서로 다른 두 개 이상의 이미지 필터를 선택하는 단계는,
    상기 이미지 필터를 추천하기 위한 학습 모델 및 상기 프리뷰 이미지를 이용하여 상기 프리뷰 이미지에 포함된 상기 오브젝트의 종류에 따라 상기 단말기의 사용자가 선택할 확률이 높을 것으로 예측되는 상기 두 개 이상의 이미지 필터를 선택하는 단계를 포함하는 이미지 처리 방법.
  5. 제 4 항에 있어서,
    상기 추천 알고리즘을 이용하여 상기 오브젝트의 종류에 대응하는 상기 서로 다른 두 개 이상의 이미지 필터를 선택하는 단계는,
    상기 프리뷰 이미지에 포함된 상기 오브젝트의 종류에 따라 상기 단말기의 사용자가 선택할 확률이 가장 높을 것으로 예측된 제1 이미지 필터, 및 상기 프리뷰 이미지에 포함된 상기 오브젝트의 종류에 따라 상기 단말기의 사용자가 선택할 확률이 두 번째로 높을 것으로 예측된 제2 이미지 필터를 선택하는 단계를 더 포함하는 이미지 처리 방법.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 선택된 두 개 이상의 이미지 필터가 적용된 프리뷰 이미지를 출력하는 단계는,
    상기 제1 표시 영역 또는 상기 제2 표시 영역에 입력된 터치 드래그(touch drag) 입력을 수신하는 단계; 및
    상기 터치 드래그 입력이 수신된 표시 영역에 대응하는 이미지 영역에 적용된 이미지 필터를 상기 제1 이미지 필터 및 상기 제2 이미지 필터와는 다른 제3 이미지 필터로 변경하는 단계를 더 포함하는 이미지 처리 방법.
  8. 제 7 항에 있어서,
    상기 제3 이미지 필터는 상기 이미지 필터를 추천하기 위한 학습 모델 및 상기 프리뷰 이미지를 이용하여 상기 프리뷰 이미지에 포함된 상기 오브젝트의 종류에 따라 상기 단말기의 사용자가 선택할 확률이 세 번째로 높을 것으로 예측된 이미지 처리 방법.
  9. 제 7 항에 있어서,
    상기 제1 표시 영역 또는 상기 제2 표시 영역에 입력된 상기 터치 드래그 입력을 수신하는 단계는,
    상기 제1 표시 영역 또는 상기 제2 표시 영역에 입력된, 상기 제1 표시 영역에서 상기 제2 표시 영역을 향하는 방향과 수직하는 제1 방향 또는 상기 제1 방향과 반대인 제2 방향으로의 상기 터치 드래그 입력을 수신하는 단계를 포함하는 이미지 처리 방법.
  10. 삭제
  11. 제 1 항에 있어서,
    상기 제1 이미지 영역의 비율 또는 상기 제2 이미지 영역의 비율 중 하나가 상기 기준 비율 이상 높아졌는지 판단하는 단계는,
    상기 제1 이미지 영역의 크기 또는 상기 제2 이미지 영역의 크기 중 하나가 기준 크기 이상 넓어졌는지 판단하는 단계를 포함하는 이미지 처리 방법.
  12. 제 1 항에 있어서,
    상기 제1 이미지 영역의 비율 또는 상기 제2 이미지 영역의 비율 중 하나가 상기 기준 비율 이상 높아졌는지 판단하는 단계는,
    상기 제1 이미지 영역의 가로 폭 또는 상기 제2 이미지 영역의 가로 폭 중 하나가 기준 폭 이상 넓어졌는지 판단하는 단계를 포함하는 이미지 처리 방법.
  13. 제 1 항에 있어서,
    상기 기준 비율 이상 높아진 비율을 갖는 이미지 영역에 적용된 이미지 필터를 상기 프리뷰 이미지의 상기 전체 영역에 적용하는 단계 후에,
    촬영 아이콘을 출력하는 단계; 및
    상기 촬영 아이콘에 터치 입력이 수신되면, 상기 기준 비율 이상 높아진 비율을 갖는 이미지 영역에 적용된 이미지 필터가 적용된 상기 프리뷰 이미지를 저장하는 단계를 더 포함하는 이미지 처리 방법.
  14. 제 1 항에 있어서,
    상기 터치 드래그 입력에 기초하여 상기 제1 이미지 영역의 비율 및 상기 제2 이미지 영역의 비율을 조정하는 단계는,
    상기 제1 표시 영역 및 상기 제2 표시 영역의 상기 경계의 상기 임의의 지점으로부터 상기 제2 표시 영역에서 상기 제1 표시 영역으로 향하는 방향으로의 상기 터치 드래그 입력이 수신되는 경우, 상기 터치 드래그 입력의 시작점과 종점 사이의 거리에 비례하도록 상기 프리뷰 이미지에서 상기 제2 이미지 영역의 비율을 증가시키는 이미지 처리 방법.
  15. 제 1 항에 있어서,
    상기 터치 드래그 입력에 기초하여 상기 제1 이미지 영역의 비율 및 상기 제2 이미지 영역의 비율을 조정하는 단계는,
    상기 제1 표시 영역 및 상기 제2 표시 영역의 상기 경계의 상기 임의의 지점으로부터 상기 제1 표시 영역에서 상기 제2 표시 영역으로 향하는 방향으로의 상기 터치 드래그 입력이 수신되는 경우, 상기 터치 드래그 입력의 시작점과 종점 사이의 거리에 비례하도록 상기 프리뷰 이미지에서 상기 제1 이미지 영역의 비율을 증가시키는 이미지 처리 방법.
  16. 제1항의 이미지 처리 방법을 컴퓨터에서 실행시키는 프로그램이 기록된 컴퓨터 판독 가능 기록 매체.
  17. 주변으로부터 반사된 빛으로부터 변환된 프리뷰 이미지를 입력받는 입력부;
    상기 프리뷰 이미지에 포함된 오브젝트(object)의 종류를 식별하고, 상기 프리뷰 이미지에 적용될 이미지 필터에 대한 추천 알고리즘을 이용하여 두 개 이상의 이미지 필터를 선택하는 제어부; 및
    상기 선택된 두 개 이상의 이미지 필터가 적용된 프리뷰 이미지를 표시하는 표시부를 포함하고,
    상기 제어부는 상기 선택된 두 개 이상의 필터 중 제1 이미지 필터를 상기 프리뷰 이미지의 제1 이미지 영역에 적용하고, 상기 제1 이미지 필터와 다른 제2 이미지 필터를 상기 프리뷰 이미지의 상기 제1 이미지 영역을 제외한 영역인 제2 이미지 영역에 적용하고,
    상기 표시부는 상기 제1 이미지 영역에 대응하는 상기 표시부의 제1 표시 영역 및 상기 제2 이미지 영역에 대응하는 상기 표시부의 제2 표시 영역의 경계의 임의의 지점에서부터 시작되는 터치 드래그 입력을 수신하고, 상기 터치 드래그 입력에 기초하여 상기 제1 이미지 영역의 비율 및 상기 제2 이미지 영역의 비율을 조정하고,
    상기 제어부는 상기 제1 이미지 영역의 비율 또는 상기 제2 이미지 영역의 비율 중 하나가 기준 비율 이상 높아졌는지 판단하고, 상기 판단 결과에 따라, 상기 기준 비율 이상 높아진 비율을 갖는 이미지 영역에 적용된 이미지 필터를 상기 프리뷰 이미지의 전체 영역에 적용하는 단말기.
  18. 제 17 항에 있어서,
    상기 표시부는 상기 제1 이미지 영역에 대응하는 상기 표시부의 제1 표시 영역 또는 상기 제2 이미지 영역에 대응하는 상기 표시부의 제2 표시 영역에 입력된 터치 드래그(touch drag) 입력을 수신하고,
    상기 제어부는 상기 터치 드래그 입력이 수신된 표시 영역에 대응하는 이미지 영역에 적용된 이미지 필터를 상기 제1 이미지 필터 및 상기 제2 이미지 필터와는 다른 제3 이미지 필터로 변경하는 단말기.
  19. 제 18 항에 있어서,
    상기 표시부는 상기 제1 표시 영역 또는 상기 제2 표시 영역에 입력된, 상기 제1 표시 영역에서 상기 제2 표시 영역을 향하는 방향과 수직하는 제1 방향 또는 상기 제1 방향과 반대인 제2 방향으로의 상기 터치 드래그 입력을 수신하는 단말기.
  20. 삭제
KR1020180012389A 2018-01-31 2018-01-31 단말기 및 그것의 이미지 처리 방법 KR102079091B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180012389A KR102079091B1 (ko) 2018-01-31 2018-01-31 단말기 및 그것의 이미지 처리 방법
US16/259,401 US10855933B2 (en) 2018-01-31 2019-01-28 Terminal and image processing method thereof
JP2019013990A JP6887612B2 (ja) 2018-01-31 2019-01-30 端末機及びこれのイメージ処理方法（ｔｅｒｍｉｎａｌ ａｎｄ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｍｅｔｈｏｄ ｔｈｅｒｅｏｆ）
EP19154386.7A EP3522110A1 (en) 2018-01-31 2019-01-30 Terminal and image processing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180012389A KR102079091B1 (ko) 2018-01-31 2018-01-31 단말기 및 그것의 이미지 처리 방법

Publications (2)

Publication Number Publication Date
KR20190092995A KR20190092995A (ko) 2019-08-08
KR102079091B1 true KR102079091B1 (ko) 2020-02-19

Family

ID=65443638

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180012389A KR102079091B1 (ko) 2018-01-31 2018-01-31 단말기 및 그것의 이미지 처리 방법

Country Status (4)

Country Link
US (1) US10855933B2 (ko)
EP (1) EP3522110A1 (ko)
JP (1) JP6887612B2 (ko)
KR (1) KR102079091B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022154388A1 (ko) * 2021-01-12 2022-07-21 삼성전자 주식회사 전자 장치 및 그의 이미지 처리 방법

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11553157B2 (en) 2016-10-10 2023-01-10 Hyperconnect Inc. Device and method of displaying images
KR101932844B1 (ko) 2017-04-17 2018-12-27 주식회사 하이퍼커넥트 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법
KR102558166B1 (ko) * 2018-08-08 2023-07-24 삼성전자주식회사 복수의 객체들을 포함하는 이미지를 보정하는 전자 장치 및 그 제어 방법
US11100325B2 (en) * 2018-12-07 2021-08-24 International Business Machines Corporation Photographic results by composition analysis using deep learning neural networks
KR102282963B1 (ko) 2019-05-10 2021-07-29 주식회사 하이퍼커넥트 단말기, 서버 및 그것의 동작 방법
KR102311603B1 (ko) 2019-10-01 2021-10-13 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
KR102658688B1 (ko) * 2019-11-04 2024-04-17 엘지전자 주식회사 이미지 조도 향상을 위한 방법 및 장치
WO2021100932A1 (ko) * 2019-11-22 2021-05-27 엘지전자 주식회사 디스플레이의 크기를 제어하는 전자 장치 및 그 제어 방법
CN114981836A (zh) * 2020-01-23 2022-08-30 三星电子株式会社 电子设备和电子设备的控制方法
KR102293422B1 (ko) 2020-01-31 2021-08-26 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
KR20210101571A (ko) * 2020-02-10 2021-08-19 삼성전자주식회사 이미지의 생성 방법 및 그 전자 장치
CN113497898B (zh) * 2020-04-02 2023-04-07 抖音视界有限公司 视频特效配置文件生成方法、视频渲染方法及装置
CN111488476B (zh) * 2020-04-03 2023-06-27 北京爱芯科技有限公司 图像推送方法、模型训练方法及对应装置
KR20210141179A (ko) * 2020-05-15 2021-11-23 삼성전자주식회사 영상을 제공하는 방법 및 장치
WO2022092620A1 (en) * 2020-10-30 2022-05-05 Samsung Electronics Co., Ltd. Method and system operating an imaging system in an image capturing device based on artificial intelligence techniques
USD1023040S1 (en) * 2021-03-22 2024-04-16 Hyperconnect Inc. Display screen or portion thereof with transitional graphical user interface
KR20240007255A (ko) 2021-05-19 2024-01-16 스냅 인코포레이티드 메시징 시스템 내에서 기능들을 숏컷들로 조합
EP4341804A1 (en) * 2021-05-19 2024-03-27 Snap Inc. Shortcuts from scan operation within messaging system
US11935154B2 (en) * 2022-03-02 2024-03-19 Microsoft Technology Licensing, Llc Image transformation infrastructure

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082211B2 (en) * 2002-05-31 2006-07-25 Eastman Kodak Company Method and system for enhancing portrait images
EP2634751B1 (en) * 2012-03-01 2018-12-26 BlackBerry Limited Drag handle for applying image filters in picture editor
WO2013175784A1 (ja) * 2012-05-22 2013-11-28 株式会社ニコン 電子カメラ、画像表示装置および画像表示プログラム
US9154709B2 (en) 2012-12-21 2015-10-06 Google Inc. Recommending transformations for photography
WO2015171934A1 (en) * 2014-05-09 2015-11-12 Google Inc. Providing pre-edits for photos
US9225897B1 (en) * 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
KR20160051390A (ko) * 2014-11-03 2016-05-11 삼성전자주식회사 전자장치 및 전자장치의 필터 제공 방법
US9569697B1 (en) * 2015-02-19 2017-02-14 Google Inc. Object oriented image editing
KR20180000255A (ko) * 2016-06-22 2018-01-02 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022154388A1 (ko) * 2021-01-12 2022-07-21 삼성전자 주식회사 전자 장치 및 그의 이미지 처리 방법

Also Published As

Publication number Publication date
JP2019135645A (ja) 2019-08-15
US20190238759A1 (en) 2019-08-01
KR20190092995A (ko) 2019-08-08
US10855933B2 (en) 2020-12-01
EP3522110A1 (en) 2019-08-07
JP6887612B2 (ja) 2021-06-16

Similar Documents

Publication Publication Date Title
KR102079091B1 (ko) 단말기 및 그것의 이미지 처리 방법
KR102444085B1 (ko) 휴대용 통신 장치 및 휴대용 통신 장치의 영상 표시 방법
US10871798B2 (en) Electronic device and image capture method thereof
CN107566693B (zh) 电子设备及其图像捕获方法
KR102597680B1 (ko) 맞춤형 화질 이미지를 제공하는 전자 장치 및 그 제어 방법
US10972662B2 (en) Method for providing different indicator for image based on shooting mode and electronic device thereof
CN107105130B (zh) 电子设备及其操作方法
KR102627244B1 (ko) 전자 장치 및 전자 장치에서 홍채 인식을 위한 이미지 표시 방법
US11080325B2 (en) Server and operating method thereof
EP3399742B1 (en) Method for processing image and electronic device for supporting same
KR102328098B1 (ko) 전자장치의 초점 검출 장치 및 방법
US20160037067A1 (en) Method for generating image and electronic device thereof
KR102547104B1 (ko) 전자 장치 및 복수의 영상을 처리하는 방법
EP3169052A1 (en) Mobile terminal and method for controlling the same
CN104869320A (zh) 电子设备和控制电子设备操作方法
CN105874776A (zh) 图像处理设备和方法
EP3364284B1 (en) Electronic device and method for determining underwater shooting
KR102264431B1 (ko) 복수의 압전 소자를 구비하는 전자 장치
CN106254807B (zh) 提取静止图像的电子设备和方法
KR102379898B1 (ko) 포커스에 대한 그래픽 인디케이터를 제공하는 전자 장치와 이의 동작 방법
CN109447258B (zh) 神经网络模型的优化方法及装置、电子设备和存储介质
KR102434754B1 (ko) 전자 장치 및 전자 장치의 컨텐츠 표시 방법
US10440283B2 (en) Electronic device and method for controlling the same
CN108141544B (zh) 面部检测方法以及支持该方法的电子设备
US20180035044A1 (en) Method of processing image and electronic device supporting the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant