KR20140137738A - 이미지 디스플레이 방법, 이미지 디스플레이 장치 및 기록 매체 - Google Patents

이미지 디스플레이 방법, 이미지 디스플레이 장치 및 기록 매체 Download PDF

Info

Publication number
KR20140137738A
KR20140137738A KR1020130058599A KR20130058599A KR20140137738A KR 20140137738 A KR20140137738 A KR 20140137738A KR 1020130058599 A KR1020130058599 A KR 1020130058599A KR 20130058599 A KR20130058599 A KR 20130058599A KR 20140137738 A KR20140137738 A KR 20140137738A
Authority
KR
South Korea
Prior art keywords
image
effect
boundary
remaining
image display
Prior art date
Application number
KR1020130058599A
Other languages
English (en)
Inventor
강태훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130058599A priority Critical patent/KR20140137738A/ko
Priority to US14/162,009 priority patent/US20140347540A1/en
Priority to PCT/KR2014/000651 priority patent/WO2014189193A1/en
Priority to RU2015155004A priority patent/RU2015155004A/ru
Priority to MX2015016142A priority patent/MX2015016142A/es
Priority to EP14156175.3A priority patent/EP2806402A1/en
Publication of KR20140137738A publication Critical patent/KR20140137738A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

이미지 디스플레이 방법을 개시한다. 본 발명의 다양한 실시 예에 따른 이미지 디스플레이 방법은, 촬영 이미지를 디스플레이 하는 단계와, 디스플레이 된 촬영 이미지에 포함된 오브젝트가 선택되면, 선택된 오브젝트의 경계를 검출하는 단계와, 검출된 오브젝트의 경계를 기초로, 오브젝트와 오브젝트를 제외한 나머지 이미지 영역을 구별하는 단계와, 오브젝트 및 나머지 이미지 영역에 대해 서로 다른 효과(effect)를 적용하여 오브젝트를 식별력 있게 표시하는 단계를 포함한다.

Description

이미지 디스플레이 방법, 이미지 디스플레이 장치 및 기록 매체{IMAGE DISPLAY METHOD, IMAGE DISPLAY APPARATUS AND RECORDABLE MEDIA}
본 발명은 이미지 처리 방법에 대한 것으로, 좀더 상세하게는 촬영 이미지에 포함된 오브젝트에 효과를 적용할 수 있는 이미지 디스플레이 방법, 이미지 디스플레이 장치 및 기록 매체에 관한 것이다.
디지털 촬영 이미지를 사용자 기호에 따라 편집할 수 있는 다양한 기술이 개발되고 있다. 특히, 사용자가 스마트 폰이나 디지털 카메라를 이용하여 촬영을 하고, 촬영 이미지에 대해 스케치 효과, 블러링 효과, 유채화 효과 등의 효과를 줄 수 있는 기술이 개발되고 있다.
현재까지 발명된 기술들은 촬영 이미지 전체에 대해 일괄적으로 효과를 주거나 촬영 이미지에 포함된 오브젝트 중에서 사용자가 선택한 오브젝트와 동일한 색채를 갖는 오브젝트들에 대해 일괄적으로 효과를 적용하는 기술 또는 사용자가 선택한 색상과 동일한 색상을 갖는 이미지 영역에 대해 일괄적으로 효과를 처리하는 기술 등이다.
도 1은 종래 기술에 따라 촬영 이미지에서 선택된 색채와 동일한 색채를 갖는 오브젝트에 대해 효과가 적용된 이미지를 도시한다. 도 1에서 사과(10), 펜(11)의 위 아래 영역, 모니터(12)의 모서리는 선택된 색채와 동일한 색채를 갖는 영역으로써 기 설정된 효과가 적용되었고, 나머지 이미지 영역은 이와 다른 효과가 적용되었거나 아무런 효과도 적용되지 않았다.
이처럼 종래의 기술들은 사용자가 원하는 특정 오브젝트에 대해서만 효과를 주는 방법을 제안하고 있지 못하다. 특히, 라이브 뷰 기술의 경우 라이브 뷰의 모든 이미지 프레임에 대해 특정 영역별로 효과를 주는 것이 어려운 바, 전체 영상에 대해서만 컬러 필터를 적용하거나, 선택된 색채에 대해서만 일괄적으로 효과를 주는 등의 단순한 효과 적용만을 해오고 있다.
따라서, 사용자가 원하는 특정 오브젝트에 대해 선택적으로 효과를 적용할 수 있는 이미지 처리 기술이 요청된다. 또한, 라이브 뷰의 경우도 이러한 기능을 제공하여 다양한 사용자 니즈를 만족시킬 필요가 있다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 사용자가 원하는 특정 오브젝트에 대해 선택적으로 효과를 적용할 수 있고, 라이브 뷰의 경우도 이러한 기능을 제공하는 이미지 디스플레이 방법, 이미지 디스플레이 장치 및 기록 매체에 관한 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 이미지 디스플레이 방법은, 촬영 이미지를 디스플레이 하는 단계, 촬영 이미지가 포함된 오브젝트가 선택되면, 선택된 오브젝트의 경계를 검출하는 단계를 포함한다. 또한, 검출된 오브젝트의 경계를 기초로, 오브젝트와 오브젝트를 제외한 나머지 이미지 영역을 구별하는 단계를 포함하고, 상기 오브젝트 및 상기 나머지 이미지 영역에 대해 서로 다른 효과를 적용하여 상기 오브젝트를 식별력 있게 표시하는 단계를 포함한다.
이때, 상기 오브젝트의 경계를 검출하는 단계는, 상기 디스플레이 된 촬영 이미지를 복수의 세그먼트로 분할하여 각 세그먼트 별로 픽셀값에 기초하여 상기 오브젝트의 경계를 검출할 수 있다.
또한, 상기 오브젝트와 상기 나머지 이미지 영역을 구별하는 단계는, 상기 검출된 오브젝트의 경계를 기초로, 상기 오브젝트와 상기 나머지 이미지 영역을 이진화하여 마스크 영상(Mask image)을 생성하는 단계와, 상기 생성된 마스크 영상에서 상기 검출된 오브젝트에 존재하는 노이즈를 보정하는 단계를 포함할 수 있다.
또한, 상기 오브젝트를 표시하는 단계는, 상기 보정된 마스크 영상을 이용하여 상기 촬영 이미지에 포함된 오브젝트에 제1 효과를 적용하는 단계와, 상기 보정된 마스크 영상을 이용하여 상기 나머지 이미지 영역에 제2 효과를 적용하는 단계를 포함할 수 있다.
또한, 상기 적용되는 효과는, 그레이 컬러(Grey Color) 효과, 세피아 톤 효과, 스케치 효과, 올드 필름(Old Film) 효과, 블루어(Blur) 효과, 유채화 효과, 수채화 효과, 모자이크 효과 및 추상화 효과 중 적어도 하나일 수 있다.
또한, 상기 이미지 디스플레이 방법은, 상기 디스플레이 된 촬영 이미지에 포함된 복수의 오브젝트 각각이 선택되면, 상기 선택된 복수의 오브젝트 각각에 대해서 독립적으로 상기 각 단계들을 수행할 수 있다.
또한, 상기 이미지 디스플레이 방법은, 상기 촬영 이미지가 라이브 뷰(Live View Image)를 구성하는 이미지 프레임인 경우, 다음 촬영 이미지에서 상기 선택된 오브젝트를 추적하여 경계를 새롭게 검출하는 단계와, 상기 새롭게 검출된 오브젝트의 경계를 기초로, 상기 다음 촬영 이미지에서 상기 오브젝트와 나머지 이미지 영역을 구별하는 단계와, 상기 다음 촬영 이미지에서 상기 오브젝트 및 상기 나머지 이미지 영역에 대해 서로 다른 효과를 적용하여 상기 오브젝트를 식별력 있게 표시하는 단계를 더 포함할 수 있다.
또한, 상기 오브젝트의 경계를 검출하는 단계는, 상기 촬영 이미지 상에서 임의의 영역을 특정하는 사용자 드래그 입력이 이루어지면, 상기 특정된 영역 내에 포함된 오브젝트가 선택된 것으로 인식할 수 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 이미지 디스플레이 장치는, 이미지 디스플레이 장치에 있어서, 촬영 이미지를 디스플레이 하는 디스플레이부와, 상기 디스플레이 된 촬영 이미지에 포함된 오브젝트가 선택되면, 상기 선택된 오브젝트의 경계를 검출하는 경계 검출부와, 상기 검출된 오브젝트의 경계를 기초로, 상기 오브젝트와 상기 오브젝트를 제외한 나머지 이미지 영역을 구별하는 오브젝트 구별부와, 상기 오브젝트 및 상기 나머지 이미지 영역에 대해 서로 다른 효과(effect)를 적용하여 상기 오브젝트를 식별력 있게 표시하는 효과 처리부를 포함한다.
이때, 상기 경계 검출부는, 상기 디스플레이 된 촬영 이미지를 복수의 세그먼트로 분할하여 각 세그먼트 별로 픽셀값에 기초하여 상기 오브젝트의 경계를 검출할 수 있다.
또한, 상기 오브젝트 구별부는, 상기 검출된 오브젝트의 경계를 기초로, 상기 오브젝트와 상기 나머지 이미지 영역을 이진화하여 마스크 영상(Mask image)을 생성하고, 상기 생성된 마스크 영상에서 상기 검출된 오브젝트에 존재하는 노이즈를 보정할 수 있다.
또한, 상기 효과 처리부는, 상기 보정된 마스크 영상을 이용하여 상기 촬영 이미지에 포함된 오브젝트에 제1 효과를 적용하고, 상기 보정된 마스크 영상을 이용하여 상기 나머지 이미지 영역에 제2 효과를 적용할 수 있다.
또한, 상기 적용되는 효과는, 그레이 컬러(Grey Color) 효과, 세피아 톤 효과, 스케치 효과, 올드 필름(Old Film) 효과, 블루어(Blur) 효과, 유채화 효과, 수채화 효과, 모자이크 효과 및 추상화 효과 중 적어도 하나일 수 있다.
또한, 상기 디스플레이 된 촬영 이미지에 포함된 복수의 오브젝트 각각이 선택되면, 상기 선택된 복수의 오브젝트 각각에 대해서 독립적으로 상기 경계 검출, 상기 오브젝트 구별, 상기 효과 적용을 수행할 수 있다.
또한, 상기 촬영 이미지가 라이브 뷰(Live View Image)를 구성하는 이미지 프레임인 경우, 상기 경계 검출부는, 다음 촬영 이미지에서 상기 선택된 오브젝트를 추적하여 경계를 새롭게 검출하고, 상기 오브젝트 구별부는, 상기 새롭게 검출된 오브젝트의 경계를 기초로, 상기 다음 촬영 이미지에서 상기 오브젝트와 나머지 이미지 영역을 구별하고, 상기 효과 처리부는, 상기 다음 촬영 이미지에서 상기 오브젝
트 및 상기 나머지 이미지 영역에 대해 서로 다른 효과를 적용하여 상기 오브젝트를 식별력 있게 표시할 수 있다.
또한, 상기 경계 검출부는, 상기 촬영 이미지 상에서 임의의 영역을 특정하는 사용자 드래그 입력이 이루어지면, 상기 특정된 영역 내에 포함된 오브젝트가 선택된 것으로 인식할 수 있다.
또한, 상기 이미지 디스플레이 장치는 디지털 카메라일 수 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 기록매체는 전술한 이미지 디스플레이 방법을 수행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 판독 가능한 비일시적 기록매체이다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 본 발명은사용자가 원하는 특정 오브젝트에 대해 선택적으로 효과를 적용할 수 있고, 라이브 뷰의 경우도 이러한 기능을 제공한다.
도 1은 종래 기술에 따라 촬영 이미지에서 선택된 색채와 동일한 색채를 갖는 오브젝트에 대해 효과가 적용된 이미지를 도시한 도면,
도 2는 본 발명의 일 실시 예에 따른 이미지 디스플레이 장치의 구성을 도시한 블록도,
도 3은 촬영 이미지에 포함된 오브젝트가 선택되어 오브젝트와 나머지 영역이 서로 다른 효과가 적용된 촬영 이미지를 도시한 도면,
도 4는 마스크 영상의 노이즈를 제거하는 실시 예를 도시한 도면,
도 5는 촬영 이미지에 포함된 오브젝트가 선택되어 복수의 오브젝트에 대해 효과가 적용된 촬영 이미지를 도시한 도면,
도 6은 촬영 이미지에 포함된 오브젝트의 선택 방법을 도시한 도면,
도 7은 라이브 뷰 영상의 연속되는 4개 프레임에 해당하는 촬영 이미지를 도시한도면, 그리고,
도 8은 본 발명의 다양한 실시 예에 따른 이미지 디스플레이 방법의 흐름도이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 다양한 실시 예를 설명한다.
도 2는 본 발명의 일 실시 예에 따른 이미지 디스플레이 장치(100)의 구성을 도시한 블록도이고, 도 3은 촬영 이미지에 포함된 오브젝트가 선택되어 오브젝트와 나머지 영역이 서로 다른 효과가 적용된 촬영 이미지를 도시한 도면이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 이미지 디스플레이 장치(100)는, 디스플레이부(110), 경계 검출부(120), 오브젝트 구별부(130), 효과 처리부(140)를 포함한다.
디스플레이부(110)는 촬영 이미지를 디스플레이 하는 구성이다. 여기서 촬영 이미지는 이미지 센서를 이용하여 실세계의 모습을 촬영한 이미지를 의미한다. 예를 들어, 풍경 사진, 인물 사진, 물체 사진 등이 될 수 있고, 이미지 디스플레이 장치(100)를 이용하여 직접 촬영한 경우, 다른 전자 장치가 촬영한 이미지를 상기 이미지 디스플레이 장치(100)가 수신하여 저장하는 경우를 포함한다. 그러나, 다양한 아이콘들로 구성된 웹 화면, 윈도우 화면 등과는 구별되는 개념이다.
디스플레이부(110)는 통상적인 디스플레이 장치의 구성을 갖고 통상적인 디스플레이 장치와 동일하게 동작한다. 우선, 디스플레이부(110)는 표시하는 영상을 처리하여 구성한다. 이를 위해 디스플레이부(110)는 신호 처리 모듈을 포함한다. 신호 처리 모듈은 A/V디코더(미도시), 스케일러(미도시), 프레임 레이트 컨버터(미도시) 및 비디오 인헨서(video enhancer)(미도시) 중 적어도 하나를 포함한다. A/V디코더는 오디오, 비디오 데이터를 분리하여 디코딩하고, 스케일러는 오브젝트가 표시된 촬영 이미지의 화면비를 맞춘다. 그리고, 비디오 인헨서는 영상의 열화나 잡음을 제거하여, 처리된 영상은 프레임 버퍼에 저장되고, 프레임 레이트 컨버터에 의해 설정된 주파수에 따라 디스플레이 모듈로 전달된다. 또한, 상기 신호 처리 모듈은 후술하는 경계 검출부(120), 오브젝트 구별부(130), 효과 처리부(140)의 기능을 포함할 수 있다. 즉, 후술하는 구성들은 상기 신호 처리 모듈의 구성으로 구현 가능하다.
디스플레이 모듈(미도시)은 디스플레이 패널(미도시)에 영상을 출력하는 회로구성으로서, 타이밍 컨트롤러(미도시), 게이트 드라이버(미도시), 데이터 드라이버(미도시), 전압 구동부(미도시)를 포함할 수 있다.
타이밍 컨트롤러(미도시)는 게이트 제어신호(주사 제어신호), 데이터 제어신호(데이터 신호)를 생성하고, 입력받은 R, G, B 데이터를 재정렬하여 데이터 드라이버(미도시)에 공급한다.
게이트 드라이버(미도시)는 타이밍 컨트롤러에 의해 생성된 게이트 제어 신호에 따라 전압 구동부로부터 제공받은 게이트 온/오프 전압(Vgh/Vgl)을 디스플레이 패널에 인가한다.
데이터 드라이버(미도시)는 타이밍 컨트롤러(미도시)에 의해 생성된 데이터 제어 신호에 따라 스케일링이 완료되고 이미지 프레임의 RGB 데이터를 디스프플레이 패널에 입력한다.
전압 구동부(미도시)는 게이트 드라이버, 데이터 드라이버, 디스플레이 패널 등에 각각의 구동 전압을 생성하여 전달한다.
상기 디스플레이 모듈의 각 구성은 본 발명의 기술적 특징은 아니므로 상세한 설명은 생략한다.
전술한 디스플레이 패널은 다양한 기술로 설계될 수 있다. 즉, 디스플레이 패널은 유기발광 다이오드 OLED(Organic Light Emitting Diodes), 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), VFD(Vacuum Fluorescent Display), FED(Field EmissionDisplay), ELD(Electro Luminescence Display) 중 어느 하나로 구성될 수 있다. 디스플레이 패널은 주로 발광형으로 이루어질 것이지만, 반사형 디스플레이(E-ink, P-ink, Photonic Crystal)를 배제하는 것은 아니다. 또한, 플렉서블 디스플레이(flexible display), 투명 디스플레이(transparent display) 등으로 구현 가능할 것이다. 또한, 이미지 디스플레이 장치(100)는 두 개 이상의 디스플레이 패널을 구비하는 멀티 디스플레이 장치(100)로 구현 가능하다.
경계 검출부(120)는, 상기 디스플레이 된 촬영 이미지에 포함된 오브젝트가 선택되면, 상기 선택된 오브젝트의 경계를 검출하는 구성이다.
여기서 오브젝트란, 화면 상에 표시되는 촬영 이미지에 포함되어 육안으로 식별 가능한 상기 이미지의 일 영역을 의미한다. 예를 들어, 전술한 도 1의 촬영 이미지에 포함된 사과(10), 펜(11), 모니터 베젤(12)은 상기 촬영 이미지에 포함되어 있는 개별적인 오브젝트이다.
오브젝트를 선택하는 기술 수단은 다양할 수 있다. 일 실시 예로 이미지 디스플레이 장치(100)는 터치 스크린(미도시)을 포함할 수 있다. 이때, 터치 스크린은 전술한 디스플레이부(110)의 디스플레이 패널에 적층되므로 사용자는 오브젝트가 디스플레이되는 디스플레이 패널과 대응되는 터치 스크린의 영역에 터치를 수행할 수 있다. 즉, 사용자는 오브젝트에 대해 직접 터치를 수행할 수 있다. 이 경우 터치가 있는 영역에 표시되는 오브젝트가 선택된다. 구현 방식에 따라 터치 스크린은 전술한 디스플레이부(110)의 구성으로 포함될 수도 있다. 터치 스크린은 정전식 터치 스크린 및 압전식 터치 스크린 중 적어도 하나로 구현 가능하다.
다른 실시 예로 이미지 디스플레이 장치(100)는 근접 센서를 포함할 수 있다. 근접 센서는 사용자의 손이나 스타일러스 펜이 이미지 디스플레이 장치(100)에 근접하는 것을 감지한다. 즉, 이미지 디스플레이 장치(100)가 디스플레이하고 있는 촬영 이미지에 포함된 오브젝트에 근접이 있는 경우 해당 오브젝트가 선택될 수 있다.
그 밖에도 오브젝트를 선택할 수 있는 다양한 기술수단이 고려될 수 있고, 본 발명의 기술사상은 특정한 기술 수단에 한정되지 않는다.
경계 검출부(120)는, 상기 디스플레이 된 촬영 이미지에 포함된 오브젝트가 선택되면, 상기 선택된 오브젝트의 경계를 검출한다. 도 3의 실시 예에서 촬영 이미지에 포함된 오브젝트인 사과(30)가 선택되면, 사과(30)의 경계를 검출한다.
경계 검출은, 특정 (x,y) 좌표를 중심으로 상하좌우 방향으로 픽셀거리(YCbCr의 차) 연산을 통해 경계를 찾기 위해 플러드 필(flood fill)알고리즘이 적용될 수 있다. 플러드 필 알고리즘은 시드 필(seed fill)이라고 불리며 다차원 배열에서 지정된 위치와 연결된 부분을 결정하는 알고리즘이다. 플러드 필 알고리즘은 일반적으로 시작 노드, 목표 색깔, 대체 색깔이라는 세 개의 파라미터를 받아들인다. 이 알고리즘은 시작 노드와 연결된 배열의 모든 노드를 따라가며 목표 색깔을 대체 색깔로 바꾸어 나간다. 스택이나 큐 등의 자료구조를 이용하여 구현하고, 본 발명에서는 전술한 촬영 이미지에 포함된 오브젝트 선택 지점의 픽셀값을 중심으로 기 설정된 픽셀값 범위 내에 존재하는지를 상하 좌우로 이동하면서 판단한다. 오브젝트 선택 지점의 픽셀값으로부터 기 설정된 픽셀값 범위를 초과하는 픽셀이 발견되는 경우 이 지점은 기본적으로 경계 영역으로 판단된다.
이러한 경계를 검출하기 위해 경계 확장/축소 알고리즘이 사용될 수 있다. 경계 확장/축소 알고리즘은 오브젝트의 선택 지점의 픽셀값이 속하는 픽셀값 구간을 점차로 늘려가거나 줄여가는 방식으로 경계를 검출하는 기법이다. 예를 들어, 오브젝트 선택지점의 픽셀값이 40이라고 하면, +10 범위를 제1 픽셀값 구간으로 설정하고, 픽셀값이 40~50구간에 속하는 범위를 동일한 오브젝트로 처리한다. 다음으로는 +10에서 +20범위를 제2 픽셀구간으로 설정하고, 픽셀값이 50~60 구간에 속하는 범위를 동일한 오브젝트로 처리할 수 있다. 경계 확장 기법은 이런 식으로 경계를 확장하면서 동일한 오브젝트 영역을 식별한다. 그러나, 기 설정된 범위를 넘어서는 픽셀을 발견하는 경우 동일한 오브젝트 영역이 아닌 별개의 오브젝트로 인식한다. 경계 축소 기법은 경계 확장 기법과 반대로 동작한다. 경계 확장/축소 알고리즘은 이러한 방식으로 지배적인 픽셀값(범위)으로 이루어진 오브젝트 영역을 검출한다.
다만, 실제로 하나의 오브젝트를 나타내는 영역에 해당하는 복수의 픽셀들은 지배적인 픽셀값으로만 이루어지지 않고 지배적인 픽셀값을 기 설정된 범위에서 크게 초과하는 픽셀값의 영역을 포함하므로 이러한 노이즈를 고려해야 한다. 예를 들어, 도 3의 사과(30)는 빛이 반사되어 밝게 빛나는 영역이 있을 수 있는데, 이러한 영역 역시 사과(30)를 구성하는 일부 이미지로 처리해야 한다. 즉, 이러한 영역을 경계라고 판단하지 않는 로직이 필요한데, 후술하는 라벨링 기법을 사용하는 경우 이러한 영역의 처리가 가능하다.
경계 검출의 구현은 전술한 플러드 필 알고리즘에 한정되지는 않는다. 즉, 노멀라이즈 컷(Normalized cut), 그래프 컷(Gragh cut) 등 다양한 알고리즘 기법이 적용 가능할 것이다.
또한, 상기 경계 검출부(120)는, 디스플레이 된 촬영 이미지를 복수의 세그먼트로 분할하여 각 세그먼트 별로 픽셀값에 기초하여 상기 오브젝트의 경계를 검출하는 것도 가능하다. 이러한 구성은 촬영 이미지의 해상도가 높을 때, 복수 개의 픽셀 단위로 묶은 세그먼트 단위로 경계 검출을 수행하므로 처리 속도가 지연을 최소화한다.
오브젝트 구별부(130)는 경계 검출이 완료되면, 상기 검출된 오브젝트의 경계를 기초로, 상기 오브젝트와 상기 오브젝트를 제외한 나머지 이미지 영역을 구별한다. 오브젝트 구별부(130)의 연산은 사실상 전술한 경계 검출부(120)의 연산에 포함될 수 있다. 오브젝트가 나머지 이미지 영역과 구별되면 이를 기초로 마스크 영상을 생성한다. 구체적으로 오브젝트 구별부(130)는 상기 검출된 오브젝트의 경계를 기초로, 상기 오브젝트와 상기 나머지 이미지 영역을 이진화하여 마스크 영상(Mask image)을 생성한다. 생성된 마스크 영상은 오브젝트와 나머지 이미지 영역을 완전하게 구별할 수 있으므로 오브젝트와 나머지 이미지 영역에 대해 상이한 효과를 적용하는 것을 가능하게 한다.
효과 처리부(140)는 상기 오브젝트 및 상기 나머지 이미지 영역에 대해 서로 다른 효과(effect)를 적용하여 상기 오브젝트를 식별력 있게 표시하는 구성이다. 구체적으로 전술한 마스크 영상을 이용하여 오브젝트와 나머지 이미지 영역에 대해 서로 다른 효과를 적용할 수 있다.
즉, 상기 효과 처리부(140)는, 상기 마스크 영상을 이용하여 상기 촬영 이미지에 포함된 오브젝트에 제1 효과를 적용하고, 상기 마스크 영상을 이용하여 상기 나머지 이미지 영역에 제2 효과를 적용할 수 있다. 실제로 마스크 영상은 최초의 촬영 이미지와 효과를 주기 위한 필터를 합성할 때, 가중치로 적용될 수 있다. 예를 들어, 효과를 주기 위한 오브젝트 또는 나머지 이미지 영역은 픽셀값이 1이 되고, 그 외의 영역은 0으로 설정될 수 있다. 이 경우 픽셀값이 0으로 설정된 영역은 가중치가 0이 되어 결과적으로 아무런 효과가 적용되지 않는 반면, 픽셀값이 1로 설정된 영역은 효과가 온전하게 적용된다. 도 3의 실시 예에서 효과 처리부(140)는 사과(30)의 색상은 유지한 상태로 나머지 이미지 영역은 무색으로 처리하였다.
이처럼 선택된 오브젝트에 대해 컬러를 유지한 상태에서 나머지 이미지 영역은 무색으로 처리할 수도 있지만, 다른 효과를 적용할 수도 있다. 예를 들어, 상기 오브젝트 또는 나머지 이미지 영역에 대해 그레이 컬러(Grey Color) 효과, 세피아 톤 효과, 스케치 효과, 올드 필름(Old Film) 효과, 블루어(Blur) 효과, 유채화 효과, 수채화 효과, 모자이크 효과 및 추상화 효과 중 적어도 하나를 적용할 수 있다. 그리고, 이를 통해 상기 오브젝트를 식별력 있게 표시할 수 있다. 반대로 나머지 이미지 영역을 식별력 있게 표시할 수도 있을 것이다.
한편, 본 발명에 따른 이미지 디스플레이 장치(100)는 상기와 같은 효과를 적용하기 위한 사용자 인터페이스를 제공할 수 있다. 즉, 전술한 디스플레이부(110)는 전술한 다양한 효과를 사용자가 선택할 수 있도록 메뉴를 디스플레이할 수 있고, 사용자가 그 중 적어도 하나의 효과를 선택하면 선택된 효과를 오브젝트 및 나머지 이미지 영역 중 적어도 하나에 적용할 수 있다.
한편, 전술한 바와 같이 오브젝트는 하나의 지배적인 픽셀값만을 갖는 것은 아니므로, 완전한 마스크 영상을 생성하기 위해서는 보정이 필요한 경우가 종종 생긴다. 하기의 실시 예는 마스크 영상의 보정에 관한 것이다.
도 4는 마스크 영상의 노이즈를 제거하는 실시 예를 도시한 도면이다.
도 4를 참조하면, 촬영 이미지(A)에서 오브젝트 선크림(40)이 선택된 경우를 도시한다. 이때, 전술한 방법에 따라 선크림(40)의 경계를 검출하고, 오브젝트를 구별한 뒤 생성된 마스크 영상은 오브젝트에 일부 노이즈를 갖게 된다(도 4의 (B)). 이러한 노이즈는 오브젝트에 대해서 효과를 주는 경우 효과가 오브젝트에 대해 균일하게 적용되지 않는 문제가 생기므로 노이즈 제거 작업이 필요하다. 전술한 오브젝트 구별부(130)는 상기 생성된 마스크 영상에서 상기 검출된 오브젝트에 존재하는 노이즈를 보정하여 제거하고, 완전한 마스크 영상을 얻는다(도 4의 (C)).
마스크 영상의 노이즈는 블롭(blob)이라고 하는데, 라벨링 기법을 적용하여 블롭 단위 노이즈의 제거가 가능하다. 마스크 영상에서 0은 검은색 1은 하얀색을 나타낼 수 있고, 주 피사체 하얀색 영역의 내부의 검은 블롭은 기 설정된 픽셀 개수 이하의 블롭을 1로 바꾸어 제거가 가능하다. 예를 들어 0의 값을 갖는 블롭 픽셀의 개수가 500개 이하라면 0의 값 픽셀을 1로 변환할 수 있다. 마스크 영상을 반전시키면 나머지 이미지 영역의 1로 된 부분을 0으로 변환하여 나머지 이미지 영역에 대한 노이즈 제거도 가능하다.
이하에서는 촬영 이미지에 포함되는 복수의 오브젝트에 대해 개별적으로 전술한 효과 처리를 수행하는 실시 예를 설명한다.
도 5는 촬영 이미지에 포함된 오브젝트가 선택되어 복수의 오브젝트에 대해 효과가 적용된 촬영 이미지를 도시한 도면이다.
사용자는 촬영 이미지에 포함된 어느 하나의 오브젝트를 선택하여 전술한 이미지 처리를 수행한 후, 동일한 촬영 이미지 또는 처리가 완료된 이미지에 포함된 다른 오브젝트를 선택할 수 있다. 이 경우 상기 선택된 다른 오브젝트에 대해서 최초에 선택된 오브젝트와 독립적으로 상기 경계 검출, 상기 오브젝트 구별, 상기 효과 적용을 수행할 수 있다. 또한, 오브젝트에 대한 효과 처리는 오브젝트 각각에 대한 선택이 완료된 후 한번에 수행될 수도 있다. 또한, 각 선택된 오브젝트에 대해 서로 다른 효과 처리가 이루어질 수 있을 것이다. 도 5에서 사과(50), 화분(52), 펜(54)는 각각 최초 촬영 이미지의 색채로 표시되고 나머지 이미지 영역은 무색으로 처리될 수 있다. 또는 사과(50), 화분(52), 펜(54)이 동일한 색채로 표시되고 나머지 이미지 영역이 무색으로 처리되는 것도 가능할 것이다. 유사하게 각 오브젝트 또는 나머지 이미지 영역에 대해 독립적으로 그레이 컬러(Grey Color) 효과, 세피아 톤 효과, 스케치 효과, 올드 필름(Old Film) 효과, 블루어(Blur) 효과, 유채화 효과, 수채화 효과, 모자이크 효과 및 추상화 효과 중 적어도 하나를 적용할 수 있다. 그리고, 이를 통해 상기 오브젝트들 각각을 식별력 있게 표시할 수 있다. 반대로 나머지 이미지 영역을 식별력 있게 표시할 수도 있을 것이다.
도 6은 촬영 이미지에 포함된 오브젝트의 선택 방법을 도시한 도면이다.
오브젝트를 선택하는 기술은 전술한 것처럼 터치 스크린 상의 터치, 근접 센서에 의한 근접 감지 등이 될 수 있는데, 이러한 터치 또는 근접 입력은 드래그에 의한 입력을 포함한다. 즉, 전술한 경계 검출부(120)는, 상기 촬영 이미지 상에서 임의의 영역을 특정하는 사용자 드래그 입력이 이루어지면, 상기 특정된 영역 내에 포함된 오브젝트가 선택된 것으로 인식할 수 있다. 근접에 의한 드래그 입력의 경우 오브젝트를 포함하는 영역에서 호버링(Hovering)이 있는 경우 상기 호버링 영역 내에 포함된 오브젝트가 선택된 것으로 인식할 수 있다. 도 6의 실시 예에서, 촬영 이미지의 임의의 영역에서 사용자 드래그 입력이 이루어지고, 사용자 드래그 입력이 내의 사과(60)가 선택될 수 있다. 이러한 입력 방식은 촬영 오브젝트가 위치하는 영역의 한계를 설정해주는 기능을 하므로 경계 검출에서의 오차를 줄여주게 된다.
한편, 전술한 촬영 이미지는 라이브 뷰(Live View Image)를 구성하는 이미지 프레임일 수 있다. 이 경우의 실시 예는 도 7에서 도시된다.
도면에는 도시되지 않았지만, 이 경우 상기 이미지 디스플레이 장치(100)는 촬영 이미지를 저장하는 저장부(미도시)를 더 포함한다.
저장부는 촬영 이미지를 저장하는 구성이다. 즉, 저장부는 라이브 뷰(Live View Image)를 구성하는 이미지 프레임을 저장한다. 이 경우 저장부는 상기 촬영 이미지를 저장에 효율적일 수 있는 형태로 변환하여 저장할 수 있다. 저장부는 다양한 기술로 구현 가능한데, 예를 들어, 메모리, HDD(Hard Disk Drive), BD(Blur-ray Disk) 등을 포함할 수 있다. 특히, EEROM(Electrically Erasable and Programmable ROM)과 같은 불휘발성 메모리는 촬영 이미지의 처리를 위해 촬영 이미지를 저장하는데 사용될 수 있다. 저장된 촬영 이미지는 라이브 뷰를 구성하는 다음 이미지 프레임에서 상기 오브젝트를 추적하기 위해 독출된다.
전술한 경계 검출부(120)는, 라이브 뷰를 구성하는 다음 촬영 이미지에서 상기 촬영 이미지에 포함되어 선택된 오브젝트를 추적한다. 오브젝트의 추적은 상기 다음 촬영 이미지 상에서 오브젝트의 픽셀값과 유사성이 높은 영역을 찾음으로써 이루어진다. 그리고, 라이브 뷰의 경우 촬영 각도에 따라 오브젝트의 경계 부분의 픽셀값이 이전 촬영 이미지와 완전히 동일하지 않을 수 있으므로 추적된 촬영 이미지에 대해서는 경계 검출이 다시 이루어진다.
이처럼 다음 촬영 이미지에 대해 오브젝트를 추적하는 이유는 다음 촬영 이미지에 포함된 동일 오브젝트에 대해서는 사용자 선택이 없는 경우가 있기 때문이다. 예를 들어, 전술한 이미지 디스플레이 장치(100)가 디지털 카메라인 경우 이미지를 실시간을 촬영하여 디스플레이부(110) 상에 라이브 뷰로 표시하게 되면 최초 디스플레이된 촬영 이미지에 대해 오브젝트 선택이 이루어진 후, 디스플레이부(110)는 다음 촬영 이미지를 디스플레이하게 된다. 이 경우 전술한 본 발명의 방법에 의하면 최초 촬영 이미지에 효과가 적용되어 디스플레이 된 후 다음 촬영 이미지는 아무런 효과도 적용되지 않은 상태로 디스플레이 되는 문제가 생긴다. 사용자는 한번의 선택만으로 라이브 뷰 영상에 대해 계속하여 원하는 효과를 적용하길 원할 것이므로 상술한 방법과 같이 오브젝트 추적이 필요할 것이다.
이때 상기 오브젝트 구별부(130)는, 상기 새롭게 검출된 오브젝트의 경계를 기초로, 상기 다음 촬영 이미지에서 상기 오브젝트와 나머지 이미지 영역을 구별한다. 그리고, 상기 효과 처리부(140)는, 상기 다음 촬영 이미지에서 상기 오브젝트 및 상기 나머지 이미지 영역에 대해 서로 다른 효과를 적용하여 상기 오브젝트를 식별력 있게 표시한다. 결과적으로 이미지 디스플레이 장치(100)는 라이브 뷰를 구성하는 하나의 촬영 이미지에 포함된 오브젝트에 대해 한번 선택이 이루어지면, 그 이후부터 디스플레이되는 라이브 뷰 영상은 동일한 오브젝트 추적을 하면서 동일한 효과를 적용하여 디스플레이 하게 된다.
이미지 디스플레이 장치(100)가 상기 라이브 뷰 영상을 동영상으로 저장하는 기능을 수행하는 경우 전술한 저장부는 상기 라이브 뷰를 구성하는 이미지 프레임에 대응되는 촬영 이미지에 대해 효과 처리한 이미지를 모두 저장하고 동영상으로 인코딩한다.
도 7은 라이브 뷰 영상의 연속되는 4개 프레임에 해당하는 촬영 이미지를 도시한다. 라이브 뷰 영상은 촬영 시점이 왼쪽으로 점차 이동하는 모습을 보여주고 있다. 최초 촬영 이미지는 사과(70)를 식별 가능하도록 표시하고 있으며(a), 다음 촬영 이미지는 동일한 사과(70)를 식별 가능하도록 표시하면서 영상의 시점이 왼쪽으로 이동한 상태를 디스플레이한다(b). 마찬가지로 연속되는 촬영 이미지가 표시된다(c, d).
전술한 이미지 디스플레이 장치(100)는, 하나 이상의 디스플레이를 구비하며, 어플리케이션을 실행하거나 컨텐츠를 표시 가능하도록 구성되는 장치로써, 예를 들면, 디지털 카메라(Digital Camera), 디지털 텔레비전(Digital television), 태블릿 PC(Tablet PC), 개인 컴퓨터(Personal Computer: PC), 휴대용 멀티미디어 재생 장치(Portable Multimedia Player: PMP), 개인 정보 단말기(Personal Digital Assistant: PDA), 스마트 폰(Smart Phone), 휴대폰, 디지털 액자, 디지털 사이니지(Digital Signage) 및 키오스크 중 적어도 하나로 구현될 수 있다.
특히, 촬영 모듈을 갖고 라이브 뷰 기능을 제공하는 디지털 카메라, 스마트 폰 등에서 효과적으로 사용될 수 있다.
이하에서는 본 발명의 기술사상이 적용될 수 있는 가장 보편적인 장치로서 디지털 카메라의 구성에 대해서 간략히 설명한다. 디지털 카메라의 각 구성은 전술한 본 발명의 이미지 디스플레이 장치(100)의 각 구성을 보완하여 본 발명의 기능을 완전하게 제공할 수 있을 것이다. 다만, 전술한 것처럼 본 발명은 다양한 디스플레이 장치(100)에서 적용 가능한 것은 분명하다.
본 발명의 일 실시 예에 따른 디지털 카메라(미도시)는 촬영부(미도시)와 영상 처리부(미도시), 제어부(미도시)를 더 포함한다.
촬영부(미도시)는 셔터, 렌즈부, 조리개 및 CCD(Charge Coupled Device) 이미지 센서 및 ADC(Analog/Digital Converter)를 포함한다. 셔터는 조리개와 함께 노광하는 빛의 양을 조절하는 기구이다. 렌즈부는 외부 광원으로부터 빛을 받아 영상을 처리한다. 이때, 조리개는 개폐 정도에 따라 입사되는 빛의 양(광량)을 조절한다. CCD 이미지 센서는 렌즈부를 통하여 입력되는 광량을 축적하고 그 축적된 광량에 따라 렌즈부에서 촬상된 영상을 수직 동기 신호에 맞추어 출력한다. 디지털 카메라의 영상 획득은 피사체로부터 반사되어 나오는 빛을 전기적인 신호로 변환시켜 주는 CCD 이미지 센서에 의해 이루어진다. CCD 이미지 센서를 이용하여 컬러 영상을 얻기 위해서는 컬러 필터를 필요로 하며, 대부분 CFA(Color filter array) 라는 필터를 채용하고 있다. CFA는 한 픽셀마다 한 가지 컬러를 나타내는 빛만을 통과시키며 규칙적으로 배열된 구조를 가지고 있으며, 배열 구조에 따라 여러 가지 형태를 가지고 있다. ADC는 CCD 이미지 센서로부터 출력되는 아날로그 영상신호를 디지털 신호로 변환한다.
한편, 촬영부가 상술한 바와 같이 영상을 촬영하는 것은 일 실시 예에 불과할 뿐, 다른 방법에 의해 영상을 촬영할 수 있다. 예를 들어, CCD 이미지 센서가 아닌가 아닌 CMOS(Complementary Metal Oxide Semiconductor)이미지 센서를 이용하여 영상을 촬영할 수 있다.
영상 처리부(미도시)는 제어부(미도시)의 제어에 의해 디지털 변환된 RAW 데이터를 디스플레이 가능하도록 신호처리 한다. 영상 처리부는 온도변화에 민감한 CCD 이미지 센서 및 CFA 필터에서 발생하는 암 전류에 의한 블랙레벨(Black level)을 제거한다. 영상 처리부는 인간 시각의 비선형성에 맞추어 정보를 부호화 하는 감마 보정을 수행한다. 영상 처리부는 감마 보정된 소정 데이터의 RGRG라인 및 GBGB 라인으로 구현된 베이어 패턴을 RGB 라인으로 보간하는 CFA 보간을 수행한다. 영상 처리부는 보간된 RGB 신호를 YUV 신호로 변환하고, 고 대역 필터에 의해 Y 신호를 필터링 하여 영상을 뚜렷하게 처리하는 에지 보상과, 표준 컬러 좌표계를 이용하여 U, V 신호의 컬러 값을 정정하는 컬러 정정을 수행하며, 이들의 노이즈를 제거한다. 영상 처리부는 노이즈가 제거된 Y, U, V 신호를 압축 및 신호 처리하여 JPEG 파일을 생성하고, 생성된 JPEG 파일은 디스플레이부(110)에 디스플레이되고, 저장부에 저장된다. 또한, 영상 처리부는 전술한 경계 검출부(120), 오브젝트 구별부(130), 효과 처리부(140)의 기능을 포함할 수 있다. 즉, 상기 구성들은 소프트웨어적 또는 하드웨어적으로 영상 처리부에 포함될 수 있다.
제어부(미도시)는, 디지털 카메라의 동작 전반을 제어한다. 제어부는 CPU, 캐쉬 메모리 등의 하드웨어 구성과, 운영체제, 특정 목적을 수행하는 어플리케이션의 소프트웨어 구성을 포함한다. 시스템 클럭에 따라 디지털 카메라의 동작을 위한 각 구성요소에 대한 제어 명령이 메모리에서 읽혀지며, 읽혀진 제어 명령에 따라 전기 신호를 발생시켜 하드웨어의 각 구성요소들을 동작시킨다.
이하에서는 본 발명의 다양한 실시 예에 따른 이미지 디스플레이 방법을 설명한다.
도 8은 본 발명의 다양한 실시 예에 따른 이미지 디스플레이 방법의 흐름도이다.
도 8을 참조하면, 본 발명의 다양한 실시 예에 따른 이미지 디스플레이 방법은, 촬영 이미지를 디스플레이 하는 단계(S810), 촬영 이미지가 포함된 오브젝트가 선택되면(S820-Y), 선택된 오브젝트의 경계를 검출하는 단계(S830)를 포함한다. 또한, 검출된 오브젝트의 경계를 기초로, 오브젝트와 오브젝트를 제외한 나머지 이미지 영역을 구별하는 단계(S840)를 포함하고, 상기 오브젝트 및 상기 나머지 이미지 영역에 대해 서로 다른 효과를 적용하여 상기 오브젝트를 식별력 있게 표시하는 단계(S850)를 포함한다.
이때, 상기 오브젝트의 경계를 검출하는 단계(S830)는, 상기 디스플레이 된 촬영 이미지를 복수의 세그먼트로 분할하여 각 세그먼트 별로 픽셀값에 기초하여 상기 오브젝트의 경계를 검출할 수 있다.
또한, 상기 오브젝트와 상기 나머지 이미지 영역을 구별하는 단계(S840)는, 상기 검출된 오브젝트의 경계를 기초로, 상기 오브젝트와 상기 나머지 이미지 영역을 이진화하여 마스크 영상(Mask image)을 생성하는 단계와, 상기 생성된 마스크 영상에서 상기 검출된 오브젝트에 존재하는 노이즈를 보정하는 단계를 포함할 수 있다.
또한, 상기 오브젝트를 표시하는 단계(S850)는, 상기 보정된 마스크 영상을 이용하여 상기 촬영 이미지에 포함된 오브젝트에 제1 효과를 적용하는 단계와, 상기 보정된 마스크 영상을 이용하여 상기 나머지 이미지 영역에 제2 효과를 적용하는 단계를 포함할 수 있다.
또한, 상기 적용되는 효과는, 그레이 컬러(Grey Color) 효과, 세피아 톤 효과, 스케치 효과, 올드 필름(Old Film) 효과, 블루어(Blur) 효과, 유채화 효과, 수채화 효과, 모자이크 효과 및 추상화 효과 중 적어도 하나일 수 있다.
또한, 상기 이미지 디스플레이 방법은, 상기 디스플레이 된 촬영 이미지에 포함된 복수의 오브젝트 각각이 선택되면, 상기 선택된 복수의 오브젝트 각각에 대해서 독립적으로 상기 각 단계들을 수행할 수 있다.
또한, 상기 이미지 디스플레이 방법은, 상기 촬영 이미지가 라이브 뷰(Live View Image)를 구성하는 이미지 프레임인 경우, 다음 촬영 이미지에서 상기 선택된 오브젝트를 추적하여 경계를 새롭게 검출하는 단계와, 상기 새롭게 검출된 오브젝트의 경계를 기초로, 상기 다음 촬영 이미지에서 상기 오브젝트와 나머지 이미지 영역을 구별하는 단계와, 상기 다음 촬영 이미지에서 상기 오브젝트 및 상기 나머지 이미지 영역에 대해 서로 다른 효과를 적용하여 상기 오브젝트를 식별력 있게 표시하는 단계를 더 포함할 수 있다.
또한, 상기 오브젝트의 경계를 검출하는 단계(S830)는, 상기 촬영 이미지 상에서 임의의 영역을 특정하는 사용자 드래그 입력이 이루어지면, 상기 특정된 영역 내에 포함된 오브젝트가 선택된 것으로 인식할 수 있다.
한편, 전술한 이미지 디스플레이 방법은 컴퓨터 상에서 판독 가능한 비일시적 기록 매체에 프로그램의 형태로 저장될 수 있다. 여기서 비일시적 판독 가능 매체란 레지스터, 캐쉬 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장이 가능하며, 전자기기에 의해 판독(reading)이 가능한 매체를 의미한다. 예를 들어, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.
또한, 전술한 이미지 디스플레이 방법은 임베디드 소프트웨어 형태로 하드웨어 IC칩에 내장되거나 펌웨어 형태로 제공될 수도 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100 : 이미지 디스플레이 장치
110 : 디스플레이부 120 : 경계 검출부
130 : 오브젝트 구별부 140 : 효과 처리부

Claims (20)

  1. 이미지 디스플레이 방법에 있어서,
    촬영 이미지를 디스플레이 하는 단계;
    상기 디스플레이 된 촬영 이미지에 포함된 오브젝트가 선택되면, 상기 선택된 오브젝트의 경계를 검출하는 단계;
    상기 검출된 오브젝트의 경계를 기초로, 상기 오브젝트와 상기 오브젝트를 제외한 나머지 이미지 영역을 구별하는 단계; 및
    상기 오브젝트 및 상기 나머지 이미지 영역에 대해 서로 다른 효과(effect)를 적용하여 상기 오브젝트를 식별력 있게 표시하는 단계;를 포함하는 이미지 디스플레이 방법.
  2. 제1 항에 있어서,
    상기 오브젝트의 경계를 검출하는 단계는,
    상기 디스플레이 된 촬영 이미지를 복수의 세그먼트로 분할하여 각 세그먼트 별로 픽셀값에 기초하여 상기 오브젝트의 경계를 검출하는 것을 특징으로 하는 이미지 디스플레이 방법.
  3. 제1항에 있어서,
    상기 오브젝트와 상기 나머지 이미지 영역을 구별하는 단계는,
    상기 검출된 오브젝트의 경계를 기초로, 상기 오브젝트와 상기 나머지 이미지 영역을 이진화하여 마스크 영상(Mask image)을 생성하는 단계; 및
    상기 생성된 마스크 영상에서 상기 검출된 오브젝트에 존재하는 노이즈를 보정하는 단계;를 포함하는 것을 특징으로 하는 이미지 디스플레이 방법.
  4. 제3항에 있어서,
    상기 오브젝트를 표시하는 단계는,
    상기 보정된 마스크 영상을 이용하여 상기 촬영 이미지에 포함된 오브젝트에 제1 효과를 적용하는 단계; 및
    상기 보정된 마스크 영상을 이용하여 상기 나머지 이미지 영역에 제2 효과를 적용하는 단계;를 포함하는 것을 특징으로 하는 이미지 디스플레이 방법.
  5. 제1항에 있어서,
    상기 적용되는 효과는, 그레이 컬러(Grey Color) 효과, 세피아 톤 효과, 스케치 효과, 올드 필름(Old Film) 효과, 블루어(Blur) 효과, 유채화 효과, 수채화 효과, 모자이크 효과 및 추상화 효과 중 적어도 하나인 것을 특징으로 하는 이미지 디스플레이 방법.
  6. 제1항에 있어서,
    상기 디스플레이 된 촬영 이미지에 포함된 복수의 오브젝트 각각이 선택되면, 상기 선택된 복수의 오브젝트 각각에 대해서 독립적으로 상기 각 단계 들을 수행하는 것을 특징으로 하는 이미지 디스플레이 방법.
  7. 제1항에 있어서,
    상기 촬영 이미지가 라이브 뷰(Live View Image)를 구성하는 이미지 프레임인 경우, 다음 촬영 이미지에서 상기 선택된 오브젝트를 추적하여 경계를 새롭게 검출하는 단계;
    상기 새롭게 검출된 오브젝트의 경계를 기초로, 상기 다음 촬영 이미지에서 상기 오브젝트와 나머지 이미지 영역을 구별하는 단계; 및
    상기 다음 촬영 이미지에서 상기 오브젝트 및 상기 나머지 이미지 영역에 대해 서로 다른 효과를 적용하여 상기 오브젝트를 식별력 있게 표시하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 디스플레이 방법.
  8. 제1항에 있어서,
    상기 오브젝트의 경계를 검출하는 단계는,
    상기 촬영 이미지 상에서 임의의 영역을 특정하는 사용자 드래그 입력이 이루어지면, 상기 특정된 영역 내에 포함된 오브젝트가 선택된 것으로 인식하는 것을 특징으로 하는 이미지 디스플레이 방법.
  9. 이미지 디스플레이 장치에 있어서,
    촬영 이미지를 디스플레이 하는 디스플레이부;
    상기 디스플레이 된 촬영 이미지에 포함된 오브젝트가 선택되면, 상기 선택된 오브젝트의 경계를 검출하는 경계 검출부;
    상기 검출된 오브젝트의 경계를 기초로, 상기 오브젝트와 상기 오브젝트를 제외한
    나머지 이미지 영역을 구별하는 오브젝트 구별부; 및
    상기 오브젝트 및 상기 나머지 이미지 영역에 대해 서로 다른 효과(effect)를 적용하여 상기 오브젝트를 식별력 있게 표시하는 효과 처리부;를 포함하는 이미지 디스플레이 장치.
  10. 제9 항에 있어서,
    상기 경계 검출부는,
    상기 디스플레이 된 촬영 이미지를 복수의 세그먼트로 분할하여 각 세그먼트 별로 픽셀값에 기초하여 상기 오브젝트의 경계를 검출하는 것을 특징으로 하는 이미지 디스플레이 장치.
  11. 제9항에 있어서,
    상기 오브젝트 구별부는,
    상기 검출된 오브젝트의 경계를 기초로, 상기 오브젝트와 상기 나머지 이미지 영역을 이진화하여 마스크 영상(Mask image)을 생성하고, 상기 생성된 마스크 영상에서 상기 검출된 오브젝트에 존재하는 노이즈를 보정하는 것을 특징으로 하는 이미지 디스플레이 장치.
  12. 제11항에 있어서,
    상기 효과 처리부는,
    상기 보정된 마스크 영상을 이용하여 상기 촬영 이미지에 포함된 오브젝트에 제1 효과를 적용하고, 상기 보정된 마스크 영상을 이용하여 상기 나머지 이미지 영역에 제2 효과를 적용하는 것을 특징으로 하는 이미지 디스플레이 장치.
  13. 제9항에 있어서,
    상기 적용되는 효과는, 그레이 컬러(Grey Color) 효과, 세피아 톤 효과, 스케치 효과, 올드 필름(Old Film) 효과, 블루어(Blur) 효과, 유채화 효과, 수채화 효과, 모자이크 효과 및 추상화 효과 중 적어도 하나인 것을 특징으로 하는 이미지 디스플레이 장치.
  14. 제9항에 있어서,
    상기 디스플레이 된 촬영 이미지에 포함된 복수의 오브젝트 각각이 선택되면, 상기 선택된 복수의 오브젝트 각각에 대해서 독립적으로 상기 경계 검출, 상기 오브젝트 구별, 상기 효과 적용을 수행하는 것을 특징으로 하는 이미지 디스플레이 장치.
  15. 제9항에 있어서,
    상기 촬영 이미지가 라이브 뷰(Live View Image)를 구성하는 이미지 프레임인 경우,
    상기 경계 검출부는,
    다음 촬영 이미지에서 상기 선택된 오브젝트를 추적하여 경계를 새롭게 검출하고,
    상기 오브젝트 구별부는,
    상기 새롭게 검출된 오브젝트의 경계를 기초로, 상기 다음 촬영 이미지에서 상기 오브젝트와 나머지 이미지 영역을 구별하고,
    상기 효과 처리부는,
    상기 다음 촬영 이미지에서 상기 오브젝트 및 상기 나머지 이미지 영역에 대해 서로 다른 효과를 적용하여 상기 오브젝트를 식별력 있게 표시하는 것을 특징으로 하는 이미지 디스플레이 장치.
  16. 제9항에 있어서,
    상기 경계 검출부는,
    상기 촬영 이미지 상에서 임의의 영역을 특정하는 사용자 드래그 입력이 이루어지면, 상기 특정된 영역 내에 포함된 오브젝트가 선택된 것으로 인식하는 것을 특징으로 하는 이미지 디스플레이 장치.
  17. 제9항에 있어서,
    상기 이미지 디스플레이 장치는
    디지털 카메라인 것을 특징으로 하는 이미지 디스플레이 장치.
  18. 제1항에 따른 이미지 디스플레이 방법을 수행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 판독 가능한 비일시적 기록매체.
  19. 제1항에 있어서,
    상기 오브젝트의 경계를 검출하는 단계는,
    상기 오브젝트의 선택 지점의 픽셀값을 기준으로 기 설정된 범위 내의 픽셀값을 갖는 영역을 동일한 오브젝트로 판단하는 단계;를 포함하고,
    상기 기 설정된 범위를 점차적으로 증가시키거나 감소시키는 방식으로, 상기 오브젝트의 경계를 검출하는 것을 특징으로 하는 이미지 디스플레이 방법.
  20. 제9항에 있어서,
    상기 경계 검출부는,
    상기 오브젝트의 선택 지점의 픽셀값을 기준으로 기 설정된 범위 내의 픽셀값을 갖는 영역을 동일한 오브젝트로 판단하고, 상기 기 설정된 범위를 점차적으로 증가시키거나 감소시키는 방식으로, 상기 오브젝트의 경계를 검출하는 것을 특징으로 하는 이미지 디스플레이 장치.
KR1020130058599A 2013-05-23 2013-05-23 이미지 디스플레이 방법, 이미지 디스플레이 장치 및 기록 매체 KR20140137738A (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020130058599A KR20140137738A (ko) 2013-05-23 2013-05-23 이미지 디스플레이 방법, 이미지 디스플레이 장치 및 기록 매체
US14/162,009 US20140347540A1 (en) 2013-05-23 2014-01-23 Image display method, image display apparatus, and recording medium
PCT/KR2014/000651 WO2014189193A1 (en) 2013-05-23 2014-01-23 Image display method, image display apparatus, and recording medium
RU2015155004A RU2015155004A (ru) 2013-05-23 2014-01-23 Способ отображения изображений, устройство отображения изображений и носитель записи
MX2015016142A MX2015016142A (es) 2013-05-23 2014-01-23 Metodo de presentacion visual de imagenes, aparato de presentacion visual de imagenes y medio de grabacion.
EP14156175.3A EP2806402A1 (en) 2013-05-23 2014-02-21 Applying different visual effects to object and background in camera live view image frames

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130058599A KR20140137738A (ko) 2013-05-23 2013-05-23 이미지 디스플레이 방법, 이미지 디스플레이 장치 및 기록 매체

Publications (1)

Publication Number Publication Date
KR20140137738A true KR20140137738A (ko) 2014-12-03

Family

ID=50193221

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130058599A KR20140137738A (ko) 2013-05-23 2013-05-23 이미지 디스플레이 방법, 이미지 디스플레이 장치 및 기록 매체

Country Status (6)

Country Link
US (1) US20140347540A1 (ko)
EP (1) EP2806402A1 (ko)
KR (1) KR20140137738A (ko)
MX (1) MX2015016142A (ko)
RU (1) RU2015155004A (ko)
WO (1) WO2014189193A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180132946A (ko) * 2016-06-09 2018-12-12 구글 엘엘씨 멀티-뷰 장면 분할 및 전파
WO2024049178A1 (ko) * 2022-09-02 2024-03-07 삼성전자주식회사 하나 이상의 외부 객체들 중 적어도 하나의 외부 객체의 표시를 제어하기 위한 전자 장치 및 방법

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
CN104796594B (zh) * 2014-01-16 2020-01-14 中兴通讯股份有限公司 一种预览界面特殊效果即时呈现方法及终端设备
US9240077B1 (en) * 2014-03-19 2016-01-19 A9.Com, Inc. Real-time visual effects for a live camera view
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
KR101671391B1 (ko) 2015-07-07 2016-11-02 한국과학기술연구원 레이어 블러 모델에 기반한 비디오 디블러링 방법, 이를 수행하기 위한 기록 매체 및 장치
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
ES2853524T3 (es) * 2015-10-16 2021-09-16 Alcon Inc Procesamiento de imagen quirúrgica oftálmica
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
CN109257542A (zh) * 2018-11-21 2019-01-22 惠州Tcl移动通信有限公司 移动终端拍照实时修图处理方法、移动终端及存储介质
US11643187B2 (en) 2019-04-09 2023-05-09 Pratt & Whitney Canada Corp. Blade angle position feedback system with profiled marker terminations
CN115393350B (zh) * 2022-10-26 2023-06-09 广东麦特维逊医学研究发展有限公司 虹膜定位方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5202935A (en) * 1990-10-19 1993-04-13 Matsushita Electric Industrial Co., Ltd. Color conversion apparatus for altering color values within selected regions of a reproduced picture
JPH11136568A (ja) * 1997-10-31 1999-05-21 Fuji Photo Film Co Ltd タッチパネル操作式カメラ
JP3539539B2 (ja) * 1998-04-28 2004-07-07 シャープ株式会社 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体
US6556704B1 (en) * 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
US6337925B1 (en) * 2000-05-08 2002-01-08 Adobe Systems Incorporated Method for determining a border in a complex scene with applications to image masking
US7212668B1 (en) * 2000-08-18 2007-05-01 Eastman Kodak Company Digital image processing system and method for emphasizing a main subject of an image
US7551223B2 (en) * 2002-12-26 2009-06-23 Sony Corporation Apparatus, method, and computer program for imaging and automatic focusing
JP4533168B2 (ja) * 2005-01-31 2010-09-01 キヤノン株式会社 撮像装置及びその制御方法
GB0608069D0 (en) * 2006-04-24 2006-05-31 Pandora Int Ltd Image manipulation method and apparatus
US20080100720A1 (en) * 2006-10-30 2008-05-01 Brokish Kevin M Cutout Effect For Digital Photographs
US8311268B2 (en) * 2008-03-17 2012-11-13 Analogic Corporation Image object separation
KR101427660B1 (ko) * 2008-05-19 2014-08-07 삼성전자주식회사 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법
US8705867B2 (en) * 2008-12-11 2014-04-22 Imax Corporation Devices and methods for processing images using scale space
JP5493789B2 (ja) * 2009-12-07 2014-05-14 株式会社リコー 撮像装置および撮像方法
US8873864B2 (en) * 2009-12-16 2014-10-28 Sharp Laboratories Of America, Inc. Methods and systems for automatic content-boundary detection
US9113074B2 (en) * 2010-12-22 2015-08-18 Olympus Corporation Imaging apparatus, imaging method, and computer readable storage medium for applying special effects processing to an automatically set region of a stereoscopic image
US20130169760A1 (en) * 2012-01-04 2013-07-04 Lloyd Watts Image Enhancement Methods And Systems

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180132946A (ko) * 2016-06-09 2018-12-12 구글 엘엘씨 멀티-뷰 장면 분할 및 전파
WO2024049178A1 (ko) * 2022-09-02 2024-03-07 삼성전자주식회사 하나 이상의 외부 객체들 중 적어도 하나의 외부 객체의 표시를 제어하기 위한 전자 장치 및 방법

Also Published As

Publication number Publication date
WO2014189193A1 (en) 2014-11-27
MX2015016142A (es) 2016-03-31
US20140347540A1 (en) 2014-11-27
RU2015155004A (ru) 2017-06-27
EP2806402A1 (en) 2014-11-26

Similar Documents

Publication Publication Date Title
KR20140137738A (ko) 이미지 디스플레이 방법, 이미지 디스플레이 장치 및 기록 매체
JP5525703B2 (ja) 画像再生表示装置
US20130194480A1 (en) Image processing apparatus, image processing method, and recording medium
KR20160031900A (ko) 이미지 촬영 방법 및 이미지 촬영 장치
US20150104113A1 (en) Method and Apparatus for Producing a Cinemagraph
US20130135428A1 (en) Method of providing panoramic image and imaging device thereof
JP5779089B2 (ja) エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法
US9262062B2 (en) Method of providing thumbnail image and image photographing apparatus thereof
JP6172935B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US8582813B2 (en) Object detection device which detects object based on similarities in different frame images, and object detection method and computer-readable medium recording program
US8295609B2 (en) Image processing apparatus, image processing method and computer readable-medium
US9219857B2 (en) Image capture
KR20160044945A (ko) 이미지 촬영 장치
US9137506B2 (en) User interface (UI) providing method and photographing apparatus using the same
JP2013235203A (ja) 表示制御装置、表示制御方法およびプログラム
US20150062436A1 (en) Method for video recording and electronic device thereof
JP4894708B2 (ja) 撮像装置
US20130293741A1 (en) Image processing apparatus, image capturing apparatus, and storage medium storing image processing program
US8965045B2 (en) Image capture
KR20110034958A (ko) 디지털 촬영 장치 및 촬영 방법
US20210190594A1 (en) Personal electronic device with built-in visible camera and thermal sensor with thermal information available in the visible camera user interface and display
JP6671323B2 (ja) 撮像装置
JP5532415B2 (ja) オートフォーカス画像システム
KR20150081391A (ko) 이미지 촬상 방법, 이미지 촬상 장치 및 비일시적 기록매체
CN111340736A (zh) 图像处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application