KR102644092B1 - 멀티 심도 이미지 생성 방법 - Google Patents

멀티 심도 이미지 생성 방법 Download PDF

Info

Publication number
KR102644092B1
KR102644092B1 KR1020170184774A KR20170184774A KR102644092B1 KR 102644092 B1 KR102644092 B1 KR 102644092B1 KR 1020170184774 A KR1020170184774 A KR 1020170184774A KR 20170184774 A KR20170184774 A KR 20170184774A KR 102644092 B1 KR102644092 B1 KR 102644092B1
Authority
KR
South Korea
Prior art keywords
image
main image
electronic device
main
screen
Prior art date
Application number
KR1020170184774A
Other languages
English (en)
Other versions
KR20190081913A (ko
Inventor
박정환
Original Assignee
주식회사 피제이팩토리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피제이팩토리 filed Critical 주식회사 피제이팩토리
Priority to KR1020170184774A priority Critical patent/KR102644092B1/ko
Priority to PCT/KR2018/016819 priority patent/WO2019132565A1/ko
Publication of KR20190081913A publication Critical patent/KR20190081913A/ko
Application granted granted Critical
Publication of KR102644092B1 publication Critical patent/KR102644092B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C19/00—Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
    • G01C19/02—Rotary gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

하나의 이미지에 다른 이미지가 삽입된 멀티 심도 이미지를 생성하는 방법을 개시한다.
본 발명의 일 실시예에 의하면, 전자 장치가 메인 이미지 내에 하나 이상의 개체가 트리 구조로 삽입된 멀티 심도 이미지를 생성하는 방법에 있어서, 메인 이미지에 삽입할 개체를 결정하는 단계, 메인 이미지와 선택된 개체 간의 유사도를 분석하여, 메인 이미지 중에서 선택된 개체에 대응하는 영역을 검색하는 단계, 메인 이미지 중 검색된 영역을 전자 장치의 화면에 디스플레이하는 단계, 화면에 디스플레이된 메인 이미지에 선택된 개체를 삽입할 위치를 선택하기 위한 사용자 입력을 수신하는 단계 및 사용자 입력에 따라 메인 이미지 내의 선택된 위치에 선택된 개체를 삽입하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법을 제공한다.

Description

멀티 심도 이미지 생성 방법{METHOD FOR GENERATING MULTI-DEPTH IMAGE}
본 발명은 스마트폰과 같은 전자 장치에서 이미지를 생성하는 방법에 대한 것이다. 구체적으로 본 발명은, 하나의 이미지에 다른 이미지가 삽입된 멀티 심도 이미지를 생성하는 방법에 대한 것이다.
이 부분에 기술된 내용은 단순히 본 발명에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
전자 장치를 이용하여 이미지 파일을 열었을 때 이미지 파일의 특정 부분에 대한 자세한 정보 또는 확대된 이미지가 요구될 수 있다. 예를 들어 자동차 이미지의 경우, 헤드라이트, 바퀴 등과 같은 특정 부분에 대한 보다 자세한 이미지가 요구될 수 있다.
스마트폰 등과 같은 휴대용 전자 장치의 경우 화면이 작으므로 전체 이미지에서 특정 부분의 자세한 이미지를 확인하기 어렵다. 특정 부분의 자세한 이미지를 확인하기 위하여 해당 부분의 이미지를 확대하는 방법을 이용할 수 있으나, 이는 단순히 픽셀의 크기를 늘리는 것에 불과하므로 만족할 만한 해상도를 얻을 수 없고, 나아가 기존 이미지를 단순 확대하는 것 이외의 추가적인 정보를 얻을 수 없다는 문제가 있다.
이러한 문제를 해결하기 위하여 본 발명자는 기본이 되는 하나의 이미지(이하, '메인 이미지')에 추가적인 정보를 제공하는 다른 이미지(이하, '삽입 이미지')의 삽입이 가능한 새로운 포맷의 이미지(이하, '멀티 심도 이미지') 및 그 생성 방법에 대한 발명을 한국 특허 제10-1501028호(2015.03.04 등록)로 등록받은 바 있다.
동 문헌은 멀티 심도 이미지의 정의와, 멀티 심도 이미지의 생성 및 편집을 위한 사용자 인터페이스를 개시하고 있다. 본 발명은 동 발명의 후속 발명으로서, 삽입 이미지가 선택되었을 때 메인 이미지에서 삽입 이미지가 삽입될 적절한 위치를 표시해 줌으로써 사용자가 편리하게 멀티 심도 이미지를 생성하는 방법에 대한 것이다.
본 발명이 해결하고자 하는 기술적 과제는 사용자가 멀티 심도 이미지를 생성하는 데 필요한 시간을 줄일 수 있는 방법을 제공하기 위한 것이다.
본 발명이 해결하고자 하는 기술적 과제는 전술한 기술적 과제에 한정되지 않고 언급되지 않은 다른 기술적 과제들이 아래의 기재로부터 통상의 기술자에게 자명하게 도출될 수 있을 것이다.
본 발명의 일 실시예에 의하면, 전자 장치가 메인 이미지 내에 하나 이상의 개체가 트리 구조로 삽입된 멀티 심도 이미지를 생성하는 방법에 있어서, 메인 이미지에 삽입할 개체를 결정하는 단계, 메인 이미지와 선택된 개체 간의 유사도를 분석하여, 메인 이미지 중에서 선택된 개체에 대응하는 영역을 검색하는 단계, 메인 이미지 중 검색된 영역을 전자 장치의 화면에 디스플레이하는 단계, 화면에 디스플레이된 메인 이미지에 선택된 개체를 삽입할 위치를 선택하기 위한 사용자 입력을 수신하는 단계 및 사용자 입력에 따라 메인 이미지 내의 선택된 위치에 선택된 개체를 삽입하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법을 제공한다.
본 발명의 다른 실시예에 의하면, 전자 장치가 메인 이미지 내에 하나 이상의 개체가 트리 구조로 삽입된 멀티 심도 이미지를 생성하는 방법에 있어서, 메인 이미지 내에서 기준 위치를 설정하는 단계, 삽입할 이미지를 촬영하기 위한 사용자 입력을 수신하는 단계, 메인 이미지 내에 삽입할 이미지가 촬영되면, 기준 위치로부터 촬영된 이미지까지의 회전 방향 및 회전 각도를 연산하는 단계, 메인 이미지 중 기준 위치로부터 회전 방향 및 회전 각도에 해당하는 영역을 전자 장치의 화면에 디스플레이하는 단계, 화면에 디스플레이된 메인 이미지에 선택된 개체를 삽입할 위치를 선택하기 위한 사용자 입력을 수신하는 단계 및 삽입할 위치를 선택하기 위한 사용자 입력에 따라 메인 이미지 내의 선택된 위치에 선택된 개체를 삽입하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법을 제공한다.
본 발명의 일 실시예에 의하면 삽입 이미지가 삽입될 적절한 위치를 자동으로 표시하여 보여 줌으로써 사용자가 빠르고 편리하게 멀티 심도 이미지를 생성할 수 있다.
도 1은 멀티 심도 이미지를 설명하기 위한 개념도이다.
도 2는 이미지 뷰어에서 도 1의 멀티 심도 이미지가 실제로 화면에 표시되는 방식을 예시한 도면이다.
도 3은 한 화면에 표시하기 어려운 메인 이미지를 예시한 것이다.
도 4는 메인 이미지에 삽입하기 위한 이미지를 촬영하는 과정을 예시한 것이다.
도 5는 메인 이미지와 삽입 이미지의 유사도를 분석하여 메인 이미지의 일부분을 디스플레이하는 과정을 예시한 것이다.
도 6은 유사도 분석을 통해 디스플레이된 메인 이미지의 일부분을 예시한 것이다.
도 7은 메인 이미지에 삽입 이미지를 삽입하는 과정을 예시한 것이다.
도 8은 메인 이미지에 삽입하기 위한 다른 이미지를 촬영하는 과정을 예시한 것이다.
도 9는 메인 이미지를 먼저 촬영된 사진의 삽입 위치로부터 전자 장치의 회전각만큼 회전시켜 표시해 주는 과정을 예시한 것이다.
도 10은 전자 장치의 회전각만큼 회전시켜 디스플레이된 메인 이미지의 일부분을 예시한 것이다.
도 11은 메인 이미지에 삽입 이미지를 삽입하는 과정을 예시한 것이다.
도 12는 본 발명의 제1 실시예에 따른 멀티 심도 이미지 생성 방법을 예시한 순서도이다.
도 13은 본 발명의 제2 실시예에 따른 멀티 심도 이미지 생성 방법을 예시한 순서도이다.
이하, 본 발명의 일 실시예를 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되어 있더라도 가능한 한 동일한 부호를 사용하고 있음에 유의해야 한다. 또한 본 발명의 일 실시예를 설명함에 있어서 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명을 생략한다.
본 발명의 일 실시예의 구성요소를 설명함에 있어서 제1, 제2, i), ii), a), b) 등의 부호를 사용할 수 있다. 이러한 부호는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐 그 부호에 의해 해당 구성요소의 본질, 차례, 순서 등이 한정되는 것은 아니다. 본 명세서에서 어떤 부분이 어떤 구성요소를 '포함' 또는 '구비'한다고 할 때, 이는 명시적으로 반대되는 기재가 없는 한 해당 부분이 다른 구성요소를 부가하는 것을 배제하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. '~부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 '하드웨어', '소프트웨어' 또는 '하드웨어와 소프트웨어의 결합'으로 구현될 수 있다.
1. 멀티 심도 이미지의 구조
도 1은 멀티 심도 이미지의 구조를 설명하기 위한 개념도이다.
도 1은 이미지 뷰어에서 멀티 심도 이미지가 실제로 표시된 화면이 아니라 멀티 심도 이미지의 구조를 표현한 개념도이다.
도 1에 나타난 것과 같이, 멀티 심도 이미지는 복수개의 이미지가 트리 구조로 연결된 구조이다. 트리 구조에서 최상위에 위치하는 이미지는 메인 이미지이다. 도 1에서는 자동차의 전체적인 이미지를 메인 이미지로 예시하였다.
메인 이미지 이외의 이미지는 삽입 이미지이다. 트리 구조에서 루트에는 메인 이미지가 위치하고, 하나 이상의 삽입 이미지는 서로 부모, 형제 또는 자식의 관계를 가지고 메인 이미지 아래에 연결되어 있다.
메인 이미지는 0의 깊이를 가지고, 메인 이미지에 직접 삽입된 삽입 이미지는 1의 깊이를 가진다. 예컨대 자동차 전체가 표시된 이미지(이하, '자동차 전체 이미지')에 헤드라이트가 표시된 이미지(이하, '헤드라이트 이미지') 및 바퀴가 표시된 이미지(이하, '바퀴 이미지')를 삽입할 수 있으며, 이 경우 헤드라이트 이미지 및 바퀴 이미지는 1의 깊이를 가진다.
삽입 이미지에 삽입된 다른 삽입 이미지는 2 이상의 깊이를 가진다. 예컨대 1의 깊이를 가지는 헤드라이트 이미지에 전구가 표시된 이미지(이하, '전구 이미지') 및 반사경이 표시된 이미지(이하, '반사경 이미지')를 삽입할 수 있으며, 이 경우 전구 이미지 및 반사경 이미지는 2의 깊이를 가진다. 또한 1의 깊이를 가지는 바퀴 이미지에 타이어휠이 표시된 이미지(이하, '타이어휠 이미지') 및 타이어가 표시된 이미지(이하, '타이어 이미지')를 삽입할 수 있으며, 이 경우 타이어휠 이미지 및 타이어 이미지는 2의 깊이를 가진다.
이와 같은 방식으로 계속하여 이미지를 삽입할 수 있다. 예컨대 전구 이미지, 반사경 이미지, 타이어휠 이미지 또는 타이어 이미지에 다른 이미지를 삽입할 수 있으며, 이 때 삽입되는 이미지는 3의 깊이를 가지게 된다.
2. 멀티 심도 이미지의 표시
도 1에서 자동차 노드 아래에 헤드라이트 노드 및 바퀴 노드가 위치하고, 헤드라이트 노드 아래에 전구 노드 및 반사경 노드가 위치하며, 바퀴 노드 아래에 타이어휠 노드 및 타이어 노드가 위치한다.
멀티 심도 이미지는 도 1에 예시된 트리 구조에서 부모 노드의 개체에 자식 노드의 개체가 삽입된 형태의 이미지 포맷이다. 부모 노드의 개체에 자식 노드의 개체가 삽입될 때 삽입되는 개체는 일반적으로 이미지이다. 그러나 이미지 외에도 동영상, 텍스트, 음성, 다른 파일에 대한 링크, 인터넷 주소 링크, 북마크 등 다양한 개체가 자식 노드의 개체로서 부모 노드의 개체에 삽입될 수 있다. 다만 이하에서는 설명의 편의상 부모 노드의 개체 및 자식 노드의 개체가 모두 이미지인 경우를 예로 들어 설명한다.
부모 노드의 개체 및 자식 노드의 개체가 이미지라고 할 때 도 1에 예시된 트리 구조에서 부모 노드의 이미지(이하, '부모 이미지')의 적절한 위치에 자식 노드의 이미지(이하, '자식 이미지')를 삽입함으로써 멀티 심도 이미지를 생성할 수 있다. 부모 이미지의 적절한 위치에 자식 이미지를 삽입하는 방법으로서, 부모 이미지와 자식 이미지를 비교한 후 부모 이미지에서 자식 이미지의 특징이 발견된 위치에 자식 이미지를 삽입하는 방법을 사용할 수 있다.
도 2는 이미지 뷰어에서 도 1의 멀티 심도 이미지가 실제로 화면에 표시된 상태를 예시한 도면이다.
이미지 뷰어에서 도 2와 같이 자동차에 대한 멀티 심도 이미지(200)를 구성하는 모든 이미지가 한 화면에 표시될 수도 있고, 자동차에 대한 멀티 심도 이미지(200)를 구성하는 자동차 전체 이미지(210), 헤드라이트 이미지(220), 전구 이미지(221), 반사경 이미지(222), 바퀴 이미지(230), 타이어휠 이미지(231) 또는 타이어 이미지(232)가 단독으로 표시될 수도 있다. 각각의 이미지가 단독으로 표시될 경우, 다른 이미지가 삽입되어 있음을 나타내는 아이콘(도 2에서는 '⊙' 모양의 아이콘)을 클릭 또는 터치하면 삽입된 이미지가 표시될 수 있다.
도 2에 나타난 것과 같이, 멀티 심도 이미지는, 자동차 전체 이미지(210)에서 헤드라이트 이미지(220)와 유사한 특징이 발견된 위치에 헤드라이트 이미지(220)가 삽입되고, 자동차 전체 이미지(210)에서 바퀴 이미지(230)와 유사한 특징이 발견된 위치에 바퀴 이미지(230)가 삽입되며, 헤드라이트 이미지(220)에서 전구 이미지(221)와 유사한 특징이 발견된 위치에 전구 이미지(221)가 삽입되고, 헤드라이트 이미지(220)에서 반사경 이미지(222)와 유사한 특징이 발견된 위치에 반사경 이미지(222)가 삽입되며, 바퀴 이미지(230)에서 타이어휠 이미지(231)와 유사한 특징이 발견된 위치에 타이어휠 이미지(231)가 삽입되고, 바퀴 이미지(230)에서 타이어 이미지(232)와 유사한 특징이 발견된 위치에 타이어 이미지(232)가 삽입된 형태의 이미지일 수 있다.
다만 반드시 부모 이미지에서 자식 이미지의 특징이 발견된 위치에 자식 이미지가 삽입되어야 하는 것은 아니고, 부모 이미지의 어느 위치에든 자식 이미지가 삽입된 구조이기만 하면 멀티 심도 이미지가 된다.
3. 기본 인터페이스
멀티 심도 이미지에서 루트 노드의 이미지가 '메인 이미지'이고, 메인 이미지를 제외한 모든 이미지가 '삽입 이미지'이다. 메인 이미지에 삽입 이미지를 삽입하기 위한 사용자 인터페이스는 다음과 같이 구현될 수 있다.
① 사용자로부터 메인 이미지를 선택하는 입력을 수신한다.
② 사용자로부터 삽입 이미지를 선택하는 입력을 수신한다.
③ 메인 이미지 및 작은 크기로 아이콘화된 삽입 이미지를 화면에 표시한다.
④ 사용자로부터 아이콘화된 삽입 이미지를 드래그하는 입력을 수신한다.
⑤ 사용자로부터 드래그 입력의 종료를 수신한다.
⑥ 터치 입력이 종료된 위치에 삽입 이미지를 삽입한다.
삽입 이미지에 다른 삽입 이미지를 삽입하기 위한 사용자 인터페이스는 다음과 같이 구현될 수 있다.
① 사용자로부터 메인 이미지를 선택하는 입력을 수신한다.
② 사용자로부터 삽입 이미지를 선택하는 입력을 수신한다.
③ 메인 이미지 및 작은 크기로 아이콘화된 삽입 이미지를 화면에 표시한다.
④ 사용자로부터 아이콘화된 삽입 이미지를 드래그하는 입력을 수신한다.
⑤ 아이콘화된 삽입 이미지가 기존의 삽입 이미지가 삽입된 위치에 드래그되면 메인 이미지 대신 기존의 삽입 이미지를 화면에 표시한다.
⑥ 사용자로부터 아이콘화된 삽입 이미지를 드래그하는 입력을 수신한다.
⑦ 사용자로부터 드래그 입력의 종료를 수신한다.
⑧ 터치 입력이 종료된 위치에 삽입 이미지를 삽입한다. 기존의 삽입 이미지의 깊이가 N이면 새롭게 삽입된 이미지의 깊이는 N+1이 된다.
이상의 사용자 인터페이스에 의하면 멀티 심도 이미지의 생성 및 편집 시 원터치(one touch) 또는 원클릭(one click)으로 메인 이미지에 삽입 이미지를 삽입할 수 있다.
그러나 상기 사용자 인터페이스는 이미지 삽입 위치가 결정된 상태에서 이미지 삽입 과정 단계를 간소화한 것이며 이미지 삽입 위치를 자동으로 판단해주는 것은 아니다.
본 발명의 일 실시예는 멀티 심도 이미지에 삽입 이미지를 삽입함에 있어서 삽입 이미지가 삽입될 위치를 자동으로 판단하여 표시해 주는 방법을 제공한다.
특히, 본 발명의 일 실시예에 의하면, 메인 이미지가 360도 이미지 또는 파노라마 이미지와 같이 한 화면에 표시하기 어려운 큰 이미지인 경우, 메인 이미지와 삽입 이미지의 유사도를 비교하여 메인 이미지에서 삽입 이미지가 삽입될 위치를 확대하여 화면에 표시함으로써, 사용자가 메인 이미지에 삽입 이미지를 용이하게 삽입할 수 있다.
4. 제1 실시예
도 3은 한 화면에 표시하기 어려운 메인 이미지를 예시한 것이다.
본 발명의 일 실시예는 메인 이미지가 360도 이미지 또는 파노라마 이미지와 같이 한 화면에 표시하기 어려운 큰 이미지일 때 적용될 수 있다. 다만 이는 예시적인 것이고, 메인 이미지가 360도 이미지 또는 파노라마 이미지와 같이 한 화면에 표시하기 어려운 큰 이미지가 아니더라도 본 발명의 일 실시예가 적용될 수 있다.
메인 이미지가 360도 이미지인 경우, 전자 장치가 무선 통신 기능이 구비된 360도 카메라에서 촬영된 360도 이미지를 무선 통신을 통해 수신할 수 있다.
또는 전자 장치에 360도 이미지 촬영 카메라가 구비되어 있을 경우, 메인 이미지는 전자 장치에서 촬영된 이미지일 수 있다.
도 3에서 좌우로 긴 사진은 실내를 촬영한 360도 이미지를 예시한 것이고, 좌우로 긴 사진에 포함된 사각형, 사람 얼굴 아이콘, 마름모 및 삼각형은 실내에 있는 사람 또는 사물을 예시한 것이다. 도 3의 점선 부분은 전자 장치의 화면에 표시되는 이미지를 예시한 것이다.
도 3에 나타난 것과 같이, 전자 장치의 화면에 360도 이미지 전체가 표시되지 않고 있음을 알 수 있다. 물론 360도 이미지를 축소시키면 전자 장치의 화면에 360도 이미지 전체를 표시할 수 있겠지만, 그 경우 실내에 있는 사람 또는 사물을 전혀 식별할 수 없으므로 통상적인 사용 예에서는 360도 이미지의 일부만을 표시하게 된다.
도 4는 메인 이미지에 삽입하기 위한 이미지를 촬영하는 과정을 예시한 것이다.
사용자는 특정 사람 또는 사물에 접근하여 상세한 사진을 다시 촬영하고, 촬영된 상세한 사진을 메인 이미지인 360도 이미지에 삽입할 수 있다. 다만 360도 이미지는 좌우로 긴 상태여서 통상적인 사용 예에서는 화면에 모두 표시되지 않으므로 촬영한 이미지를 360도 이미지의 어디에 삽입할지 찾는 과정이 번거롭고 불편하다.
도 5는 메인 이미지와 삽입 이미지의 유사도를 분석하여 메인 이미지의 일부분을 디스플레이하는 과정을 예시한 것이다.
본 발명의 일 실시예에 따르면 전자 장치를 이용하여 메인 이미지에 삽입 이미지를 삽입하여 멀티 심도 이미지를 생성함에 있어서, 메인 이미지와 삽입 이미지가 결정되면 전자 장치는 메인 이미지와 삽입 이미지 간의 유사도를 분석하여 메인 이미지에서 삽입 이미지에 대응하는 영역을 검색한다.
전자 장치는 메인 이미지 중 검색된 영역이 화면 중심에 오도록 메인 이미지의 일부분을 디스플레이하고, 사용자는 디스플레이된 메인 이미지를 참고하여 삽입 이미지를 삽입한다.
일례로서 메인 이미지가 360도 이미지인 경우, 전자 장치는 메인 이미지에서 삽입 이미지와 유사도가 높은 영역을 찾은 후, 해당 영역이 화면 중앙에 오도록 360도 이미지를 회전시켜 전자 장치에 표시할 수 있다.
유사도 분석은 메인 이미지 및 삽입 이미지의 특징점을 추출한 후 특징점 비교를 통하여 유사도를 분석하는 것일 수 있다.
구체적으로 전자 장치가 메인 이미지 및 삽입 이미지의 특징점을 추출하고, 메인 이미지의 특징점 중에서 삽입 이미지의 특징점과 유사한 특징을 가진 특징점 영역을 판단한 후, 유사한 특징점 영역이 화면 중앙에 오도록 메인 이미지를 회전시킬 수 있다.
유사도 분석 외에도 사진에 포함된 GPS 정보를 이용하여 메인 이미지와 삽입 이미지를 매칭시킬 수 있다.
예컨대 메인 이미지가 구글 스트리트 뷰, 다음 뷰와 같이 전후좌우 이동이 가능한 360도 이미지인 경우, 메인 이미지의 각 지점은 GPS 정보를 가지고 있다. 삽입 이미지가 해당 거리의 특정 지점에서 촬영한 이미지인 경우, 전자 장치는 삽입 이미지의 GPS 정보를 이용하여 삽입 이미지가 메인 이미지의 어느 지점에 삽입되어야 할지를 판단하여 메인 이미지에서 해당 지점을 확대하여 표시해 줄 수 있다. 구체적으로, 구글 스트리트 뷰, 다음 뷰 등의 이미지는 복수개의 이미지들이 스티칭되어 360도 이미지를 생성하므로, 삽입된 이미지의 EXIF 메타데이터 내의 GPS 속성의 위도, 경도, 고도 등의 정보를 이용하여 360도 이미지 내 스티칭된 이미지의 위치를 확인할 수 있다.
도 6은 유사도 분석을 통해 디스플레이된 메인 이미지의 일부분을 예시한 것이다.
도 6에 나타난 것과 같이, 전자 장치는 삽입 이미지와의 관계에서 유사도가 높은 영역에 마커를 표시한다. 도 6은 화살표 모양의 마커를 예시하고 있으나 마커의 모양은 다양하게 변경될 수 있다.
도 7은 메인 이미지에 삽입 이미지를 삽입하는 과정을 예시한 것이다.
사용자는 마커를 참고하여 삽입 이미지를 삽입할 위치를 지정한다. 이 때 사용자는 터치 스크린의 터치 인터페이스를 이용하여 드래그 앤 드롭 방식으로 메인 이미지에 삽입 이미지를 삽입할 수도 있고, 기타 마우스 등의 입력 장치를 이용하여 메인 이미지에 삽입 이미지를 삽입할 수도 있다.
마커의 위치는 삽입 이미지를 삽입하는 기본 위치로 지정될 수 있다. 다만 마커의 위치가 삽입 이미지의 삽입 위치로 강제되는 것은 아니므로, 사용자는 마커와 다른 위치에 삽입 이미지를 삽입할 수 있다.
한편, 추천 위치 마커 표시 후 컴퓨터가 자동으로 추천 위치에 개체를 삽입할 수도 있다. 이 경우 전자 장치가 유사한 특징점을 갖는 위치에 개체를 자동으로 삽입하면, 사용자는 자동으로 삽입된 개체의 위치를 확인하고, 위치가 잘못되어 있으면 개체를 드래그하여 위치를 세부 조절하도록 구현될 수도 있다.
5. 제2 실시예
도 8은 메인 이미지에 삽입하기 위한 다른 이미지를 촬영하는 과정을 예시한 것이다.
메인 이미지가 360도 이미지이고, 기 촬영되어 삽입된 이미지가 있는 경우, 전자 장치는 전자 장치의 회전각을 이용하여 삽입 위치를 표시할 수 있다.
예컨대 메인 이미지가 360도 이미지이고, 사용자가 기 촬영된 사진(이하, '제1 사진')을 메인 이미지의 특정 위치에 삽입한 후 전자 장치를 θ만큼 회전시켜 다른 사진(이하, '제2 사진')을 촬영한 경우, 전자 장치는 제1 사진이 삽입된 위치를 기준으로 메인 이미지를 θ만큼 회전시켜 화면에 표시한다.
이 때 전자 장치의 회전 방향 및 회전 각도는 자이로스코프에 의해 측정될 수 있다. 또한 회전 각도는 자이로스코프에 의해 측정된 요(YAW) 값의 차이일 수 있다. 자이로 센서 외에 스마트폰 내의 방위각 센서를 이용해서 회전 방향을 알 수도 있다.
메인 이미지가 360도 이미지이므로, 사용자가 제1 사진이 촬영된 각도에서 전자 장치를 θ만큼 회전시켜 제2 사진을 촬영하였을 경우, 메인 이미지를 제1 사진의 삽입 위치로부터 θ만큼 회전시키면 제2 사진이 삽입될 적절한 위치가 표시된다.
도 9는 메인 이미지를 먼저 촬영된 사진의 삽입 위치로부터 전자 장치의 회전각만큼 회전시켜 표시해 주는 과정을 예시한 것이다.
메인 이미지가 360도 이미지이고, 도 7의 단계에서 사람을 촬영한 이미지를 메인 이미지에 삽입한 후 전자 장치를 θ만큼 돌려 마름모 모양의 사물을 촬영하였을 경우, 전자 장치는 사람을 촬영한 이미지가 삽입된 위치를 기준으로 메인 이미지를 θ만큼 회전시켜 화면에 표시해 준다.
도 10은 전자 장치의 회전각만큼 회전시켜 디스플레이된 메인 이미지의 일부분을 예시한 것이다.
도 10에 나타난 것과 같이, 전자 장치는 메인 이미지를 이전 삽입 위치를 기준으로 θ만큼 회전시켜 화면에 표시한다. 이전 삽입 위치에 대한 마커 또한 θ만큼 회전시켜 화면에 표시해 줄 수 있다.
도 10은 화살표 모양의 마커를 예시하고 있으나 마커의 모양은 다양하게 변경될 수 있다. 특히 도 10의 경우 전자 장치의 회전각을 이용하여 메인 이미지에서 삽입 이미지가 삽입될 위치를 표시하는 것이므로, 유사도 분석을 이용하여 메인 이미지에서 삽입 이미지가 삽입될 위치를 표시하는 것과는 다른 마커를 사용할 수 있다. 예컨대 마커의 모양으로서 화살표 모양이 아닌 동그라미 모양의 아이콘을 사용할 수 있다.
도 11은 메인 이미지에 삽입 이미지를 삽입하는 과정을 예시한 것이다.
사용자는 마커를 참고하여 삽입 이미지를 삽입할 위치를 지정한다. 이 때 사용자는 터치 스크린의 터치 인터페이스를 이용하여 드래그 앤 드롭 방식으로 메인 이미지에 삽입 이미지를 삽입할 수도 있고, 기타 마우스 등의 입력 장치를 이용하여 메인 이미지에 삽입 이미지를 삽입할 수도 있다.
한편, 추천 위치 마커 표시 후 컴퓨터가 자동으로 추천 위치에 개체를 삽입할 수도 있다. 이 경우 전자 장치가 유사한 특징점을 갖는 위치에 개체를 자동으로 삽입하면, 사용자는 자동으로 삽입된 개체의 위치를 확인하고, 위치가 잘못되어 있으면 개체를 드래그하여 위치를 세부 조절하도록 구현될 수도 있다.
6. 제1 실시예의 순서도
도 12는 본 발명의 제1 실시예에 따른 멀티 심도 이미지 생성 방법을 예시한 순서도이다.
도 12에 나타난 것과 같이 본 발명의 제1 실시예에 따른 멀티 심도 이미지 생성 방법은, 메인 이미지에 삽입할 개체를 결정하는 단계(S1210), 메인 이미지와 선택된 개체 간의 유사도를 분석하여, 메인 이미지 중에서 선택된 개체에 대응하는 영역을 검색하는 단계(S1220), 메인 이미지 중 검색된 영역을 전자 장치의 화면에 디스플레이하는 단계(S1230), 화면에 디스플레이된 메인 이미지에 선택된 개체를 삽입할 위치를 선택하기 위한 사용자 입력을 수신하는 단계(S1240) 및 사용자 입력에 따라 메인 이미지 내의 선택된 위치에 선택된 개체를 삽입하는 단계(S1250)를 포함한다.
디스플레이하는 단계(S1230)는, 검색된 영역이 화면 중앙에 오도록 메인 이미지를 회전하는 단계를 포함할 수 있다.
선택된 개체에 대응하는 영역을 검색하는 단계(S1220)는, 전자 장치가 메인 이미지의 특징점을 추출하는 단계, 전자 장치가 선택된 이미지의 특징점을 추출하는 단계 및 전자 장치가 메인 이미지의 특징점 영역 중에서 멀티 심도 이미지의 특징점과 유사한 특징을 가진 특징점 영역을 판단하는 단계를 포함할 수 있다.
삽입할 개체를 결정하는 단계(S1210) 전에, 전자 장치가 무선 통신 기능이 구비된 카메라로부터 메인 이미지를 수신하는 단계를 더 포함할 수 있다.
삽입할 개체를 결정하는 단계(S1210) 전에, 전자 장치가 사용자의 입력을 받아 메인 이미지를 촬영하는 단계를 더 포함할 수 있다.
메인 이미지 및 선택된 개체는 360도 이미지일 수 있다.
선택된 개체에 대응하는 영역을 검색하는 단계(S1220)는, 전자 장치가 제1 이미지의 GPS 위치와 제2 이미지의 GPS 위치를 비교하여, GPS 위치가 유사한 영역을 판단하는 단계를 포함할 수 있다.
그밖에 전술한 실시예에서 설명한 내용과 중복되는 내용은 설명을 생략한다.
7. 제2 실시예의 순서도
도 12는 본 발명의 제2 실시예에 따른 멀티 심도 이미지 생성 방법을 예시한 순서도이다.
도 12에 나타난 것과 같이 본 발명의 제2 실시예에 따른 멀티 심도 이미지 생성 방법은, 메인 이미지 내에서 기준 위치를 설정하는 단계(S1310), 삽입할 이미지를 촬영하기 위한 사용자 입력을 수신하는 단계(S1320), 사용자 입력에 따라 메인 이미지 내에 삽입할 이미지가 촬영되면, 기준 위치로부터 촬영된 이미지까지의 회전 방향 및 회전 각도를 연산하는 단계(S1330), 메인 이미지 중 기준 위치로부터 회전 방향 및 회전 각도에 해당하는 영역을 전자 장치의 화면에 디스플레이하는 단계(S1340), 화면에 디스플레이된 메인 이미지에 선택된 개체를 삽입할 위치를 선택하기 위한 사용자 입력을 수신하는 단계(S1350) 및 삽입할 위치를 선택하기 위한 사용자 입력에 따라 메인 이미지 내의 선택된 위치에 선택된 개체를 삽입하는 단계(S1360)를 포함한다.
설정하는 단계(S1310)는 전자 장치가 마지막으로 촬영한 이미지가 메인 이미지에 삽입된 위치를 기준 위치로 설정할 수 있다.
회전 방향 및 회전 각도는 자이로스코프에 의해 측정될 수 있다.
회전 각도는 자이로스코프에 의해 측정되는 요(YAW) 값의 차이일 수 있다.
그밖에 전술한 실시예에서 설명한 내용과 중복되는 내용은 설명을 생략한다.
전술한 실시예들로 설명된 멀티 심도 이미지 생성 방법은 컴퓨터 또는 스마트폰으로 읽을 수 있는 기록매체에 컴퓨터 또는 스마트폰이 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터 또는 스마트폰이 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터 또는 스마트폰이 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, ROM, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, CD-ROM, DVD 등), 플래시 메모리(예를 들면, USB, SSD) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다. 또한 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터 또는 스마트폰이 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 실시예는 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 본 실시예의 다양한 수정 및 변형이 가능할 것이다.
본 실시예는 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 따라서 본 실시예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등하거나 균등하다고 인정되는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.

Claims (12)

  1. 전체가 아닌 일부 영역만이 전자 장치의 화면에 디스플레이될 수 있는 메인 이미지 내에 하나 이상의 개체를 트리 구조로 삽입하여 멀티 심도 이미지를 생성하는 방법에 있어서,
    상기 메인 이미지에 삽입할 개체를 선택하는 단계;
    상기 메인 이미지와 상기 선택된 개체 간의 유사도를 분석하여, 상기 메인 이미지 내에서 상기 선택된 개체에 대응하는 영역을 검색하는 단계;
    상기 메인 이미지의 전체 영역 중에서 상기 검색된 영역을 상기 전자 장치의 화면에 디스플레이하는 단계;
    상기 메인 이미지 내에서 상기 화면에 디스플레이된 영역에 상기 선택된 개체를 삽입할 위치를 선택하기 위한 사용자 입력을 수신하는 단계; 및
    상기 사용자 입력에 따라 상기 메인 이미지 내의 상기 선택된 위치에 상기 선택된 개체를 삽입하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  2. 제1항에 있어서,
    상기 디스플레이하는 단계는,
    상기 검색된 영역이 화면 중앙에 오도록 상기 메인 이미지를 회전하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  3. 제1항에 있어서,
    상기 선택된 개체에 대응하는 영역을 검색하는 단계는,
    상기 전자 장치가 상기 메인 이미지의 특징점을 추출하는 단계;
    상기 전자 장치가 상기 선택된 개체의 특징점을 추출하는 단계; 및
    상기 전자 장치가 상기 메인 이미지의 특징점과 상기 선택된 개체의 특징점을 비교하여, 상기 메인 이미지 내에서 상기 선택된 개체에 대응하는 영역을 검색하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  4. 제1항에 있어서,
    상기 삽입할 개체를 선택하는 단계 전에,
    상기 전자 장치가 무선 통신 기능이 구비된 카메라로부터 상기 메인 이미지를 수신하는 단계를 더 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  5. 제1항에 있어서,
    상기 삽입할 개체를 선택하는 단계 전에,
    상기 전자 장치가 사용자의 입력을 받아 상기 메인 이미지를 촬영하는 단계를 더 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  6. 제1항에 있어서,
    상기 메인 이미지 및 상기 선택된 개체는 360도 이미지임을 특징으로 하는 멀티 심도 이미지 생성 방법.
  7. 제6항에 있어서,
    상기 선택된 개체에 대응하는 영역을 검색하는 단계는,
    상기 메인 이미지 내의 영역별로 GPS 위치가 매핑되어 있는 경우, 상기 메인 이미지 내의 영역들 중에서 상기 선택된 개체의 GPS 위치에 대응하는 영역을 판단하는 단계를 더 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  8. 전체가 아닌 일부 영역만이 전자 장치의 화면에 디스플레이될 수 있는 메인 이미지 내에 하나 이상의 개체를 트리 구조로 삽입하여 멀티 심도 이미지를 생성하는 방법에 있어서,
    상기 메인 이미지 내에서 기준 위치를 설정하는 단계;
    삽입 대상 이미지를 촬영하기 위한 사용자 입력을 수신하는 단계;
    상기 촬영을 위한 사용자 입력에 대한 응답으로, 상기 기준 위치에 상대적인 상기 전자 장치의 회전 방향 및 회전 각도를 연산하는 단계;
    상기 메인 이미지의 전체 영역 중 상기 기준 위치로부터 상기 회전 방향을 따라 상기 회전 각도만큼 회전된 위치에 대응하는 영역을 상기 전자 장치의 화면에 디스플레이하는 단계;
    상기 메인 이미지 내에서 상기 화면에 디스플레이된 영역에 상기 삽입 대상 이미지를 삽입할 위치를 선택하기 위한 사용자 입력을 수신하는 단계; 및
    상기 삽입할 위치를 선택하기 위한 사용자 입력에 따라 상기 메인 이미지 내의 상기 선택된 위치에 상기 삽입 대상 이미지를 삽입하는 단계를 포함하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  9. 제8항에 있어서,
    상기 설정하는 단계는,
    상기 전자 장치가 마지막으로 촬영한 이미지가 상기 메인 이미지에 삽입된 위치를 기준 위치로 설정하는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  10. 제8항에 있어서,
    상기 회전 방향 및 회전 각도는, 자이로스코프에 의해 측정되는 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  11. 제10항에 있어서,
    상기 회전 각도는, 자이로스코프에 의해 측정되는 요(YAW) 값의 차이인 것을 특징으로 하는 멀티 심도 이미지 생성 방법.
  12. 제1항 내지 11항 중 어느 한 항의 방법을 실행시키는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
KR1020170184774A 2017-12-29 2017-12-29 멀티 심도 이미지 생성 방법 KR102644092B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170184774A KR102644092B1 (ko) 2017-12-29 2017-12-29 멀티 심도 이미지 생성 방법
PCT/KR2018/016819 WO2019132565A1 (ko) 2017-12-29 2018-12-28 멀티 심도 이미지 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170184774A KR102644092B1 (ko) 2017-12-29 2017-12-29 멀티 심도 이미지 생성 방법

Publications (2)

Publication Number Publication Date
KR20190081913A KR20190081913A (ko) 2019-07-09
KR102644092B1 true KR102644092B1 (ko) 2024-03-06

Family

ID=67067866

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170184774A KR102644092B1 (ko) 2017-12-29 2017-12-29 멀티 심도 이미지 생성 방법

Country Status (2)

Country Link
KR (1) KR102644092B1 (ko)
WO (1) WO2019132565A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210066291A (ko) * 2019-11-28 2021-06-07 주식회사 피제이팩토리 멀티 뎁스 이미지 생성 방법 및 이를 위한 프로그램을 기록한 기록매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101501028B1 (ko) * 2013-04-04 2015-03-12 박정환 개체가 삽입된 이미지를 생성하고 편집하는 방법 및 그 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120062297A (ko) * 2010-12-06 2012-06-14 삼성전자주식회사 디스플레이 장치 및 그 ｕｉ 제공 방법
KR20150078851A (ko) * 2013-12-31 2015-07-08 주식회사 케이티 이미지를 합성하는 방법 및 장치
KR102391497B1 (ko) * 2015-09-30 2022-04-28 삼성전자주식회사 전자장치의 이미지 처리장치 및 방법
KR20170046338A (ko) * 2015-10-21 2017-05-02 엘지전자 주식회사 이동단말기 및 그 제어방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101501028B1 (ko) * 2013-04-04 2015-03-12 박정환 개체가 삽입된 이미지를 생성하고 편집하는 방법 및 그 장치

Also Published As

Publication number Publication date
WO2019132565A1 (ko) 2019-07-04
KR20190081913A (ko) 2019-07-09

Similar Documents

Publication Publication Date Title
US11822600B2 (en) Content tagging
JP6216089B2 (ja) ファイル安全削除機能提供装置、その方法、その方法を実行するためのプログラムが記録されているコンピュータで読み取り可能な記録媒体及びアプリケーション配布システム
AU2011202609B2 (en) Image clustering method
JP6013363B2 (ja) ビューの画像の少なくとも１つの特徴に注釈付けするためのコンピュータ化された方法及びデバイス
KR102644105B1 (ko) 멀티 심도 이미지의 자동 생성 방법
WO2019125741A1 (en) Graphical coordinate system transform for video frames
US20140218353A1 (en) Image group processing and visualization
US11036792B2 (en) Method for designating and tagging album of stored photographs in touchscreen terminal, computer-readable recording medium, and terminal
US9070345B2 (en) Integrating street view with live video data
BR112014008205B1 (pt) método de gerenciamento automático de uma coleção de imagens e dispositivo correspondente
CN104954640A (zh) 照相机装置、视频自动标记方法及其电脑可读取记录媒体
WO2023096687A1 (en) Computing device displaying image conversion possibility information
KR102644092B1 (ko) 멀티 심도 이미지 생성 방법
JP2010081537A (ja) 画像処理方法及び画像処理装置
KR102644097B1 (ko) 멀티 심도 이미지의 자동 변환 방법
JP5225330B2 (ja) 電子機器及び画像処理方法
US20170213383A1 (en) Displaying Geographic Data on an Image Taken at an Oblique Angle
WO2019080257A1 (zh) 电子装置、车祸现场全景图像展示方法和存储介质
KR102396614B1 (ko) 위치정보 보안 처리 방법 및 장치
US10365804B1 (en) Manipulation of maps as documents
Evening Adobe Photoshop Lightroom CC/Lightroom 6 Book: The Complete Guide for Photographers, The
KR20240079855A (ko) 블록 체인을 이용한 연구노트 관리 시스템
KR101615475B1 (ko) 근거리 그룹 사용자들의 사진촬영 상황정보 기반 실시간 유사사진 탐색 제공 방법 및 시스템
JP2014164460A (ja) 案内ポイント設定装置及びその方法、並びに案内ポイントを設定するためのコンピュータプログラム及びコンピュータプログラムを記録した記録媒体
CN118132055A (zh) 积木编程的积木复制方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right