KR102565151B1

KR102565151B1 - Information processing apparatus to determine candidate for lighting effect, information processing method, and storage medium

Info

Publication number: KR102565151B1
Application number: KR1020200010331A
Authority: KR
Inventors: 유이치 나카다
Original assignee: 캐논 가부시끼가이샤
Priority date: 2019-02-06
Filing date: 2020-01-29
Publication date: 2023-08-10
Also published as: US11210767B2; CN111541840A; CN111541840B; KR20200096869A; US20200250799A1

Abstract

정보 처리 장치는 화상을 나타내는 화상 데이터를 획득하도록 구성되는 제1 획득 유닛; 화상 데이터에 대응하는 거리 정보를 획득하도록 구성되는 제2 획득 유닛; 및 거리 정보의 정밀도에 기초하여, 화상에 거리 정보에 기초한 라이팅 효과를 적용할 때 화상에 적용가능한 라이팅 효과에 대한 후보를 결정하도록 구성되는 제1 결정 유닛을 포함한다.The information processing apparatus includes a first acquiring unit configured to acquire image data representing an image; a second acquiring unit configured to acquire distance information corresponding to the image data; and a first determination unit, configured to determine, based on the accuracy of the distance information, a candidate for a lighting effect applicable to the image when applying a lighting effect based on the distance information to the image.

Description

라이팅 효과에 대한 후보를 결정하기 위한 정보 처리 장치, 정보 처리 방법, 및 저장 매체{INFORMATION PROCESSING APPARATUS TO DETERMINE CANDIDATE FOR LIGHTING EFFECT, INFORMATION PROCESSING METHOD, AND STORAGE MEDIUM}Information processing apparatus, information processing method, and storage medium for determining candidates for lighting effects

실시예들의 개시된 일 양태는 가상 광원에 기초한 효과를 화상에 적용하기 위한 정보 처리 기술에 관한 것이다.One disclosed aspect of the embodiments relates to an information processing technique for applying an effect based on a virtual light source to an image.

화상 내의 피사체에 가상 광원으로부터 광이 조사되는 것과 같은 효과(이하, 라이팅 효과라고 칭한다)를 적용하기 위한 화상 처리 기술이 지금까지 알려져 있다. 일본 특허 출원 공개 제2017-117029호는 피사체에 관한 3차원 정보에 기초하여 라이팅 효과를 화상에 적용하는 기술을 개시하고 있다.An image processing technique for applying an effect (hereinafter referred to as a lighting effect) as if a subject in an image is irradiated with light from a virtual light source has hitherto been known. Japanese Patent Application Laid-Open No. 2017-117029 discloses a technique for applying a lighting effect to an image based on three-dimensional information about a subject.

그러나, 일본 특허 출원 공개 제2017-117029호에 따르면, 피사체에 관한 거리 정보의 정밀도에 따라 원하는 라이팅 효과를 때때로 화상에 적용할 수 없다.However, according to Japanese Patent Application Laid-Open No. 2017-117029, a desired lighting effect cannot sometimes be applied to an image depending on the accuracy of distance information about a subject.

실시예들의 양태는 피사체에 관한 거리 정보에 기초하여 화상에 라이팅 효과를 적용하기 위해, 적합한 라이팅 효과의 후보들을 결정하기 위한 정보 처리를 제공하는 것에 관한 것이다.An aspect of the embodiments relates to providing information processing for determining suitable lighting effect candidates for applying a lighting effect to an image based on distance information about a subject.

실시예들의 양태에 따르면, 정보 처리 장치는 화상을 나타내는 화상 데이터를 획득하도록 구성되는 제1 획득 유닛, 화상 데이터에 대응하는 거리 정보를 획득하도록 구성되는 제2 획득 유닛, 및 화상에 거리 정보에 기초한 라이팅 효과를 적용할 때에 화상에 적용가능한 라이팅 효과의 후보를, 거리 정보의 정밀도에 기초하여 결정하도록 구성되는 제1 결정 유닛을 포함한다.According to an aspect of the embodiments, an information processing apparatus includes a first acquiring unit configured to acquire image data representative of an image, a second acquiring unit configured to acquire distance information corresponding to the image data, and an image based on the distance information. and a first determination unit, configured to determine a candidate of a lighting effect applicable to the image when applying the lighting effect, based on precision of the distance information.

본 개시내용의 추가의 특징은 첨부된 도면들을 참조하여 예시적인 실시예에 대한 다음 설명으로부터 명백해질 것이다.Additional features of the present disclosure will become apparent from the following description of exemplary embodiments with reference to the accompanying drawings.

도 1a 및 도 1b는 정보 처리 장치들의 하드웨어 구성들을 도시하는 도면들이다.
도 2a 및 도 2b는 정보 처리 장치의 외관을 도시하는 도면들이다.
도 3은 정보 처리 장치의 논리 구성을 도시하는 도면이다.
도 4는 정보 처리 장치에 의해 수행되는 처리를 도시하는 흐름도이다.
도 5는 라이팅 효과 리스트를 설정하기 위한 처리를 도시하는 흐름도이다.
도 6a, 도 6b, 도 6c, 및 도 6d는 거리 정보의 정밀도를 결정하기 위한 처리의 개요를 도시하는 도면이다.
도 7은 라이팅 효과 리스트에 포함되는 라이팅 효과들의 예를 도시하는 도면이다.
도 8은 화상에 라이팅 효과를 추가하기 위한 처리를 도시하는 흐름도이다.
도 9a, 도 9b, 및 도 9c는 얼굴 거리 화상 데이터 및 법선 화상 데이터의 예들을 도시하는 도면들이다.
도 10은 라이팅 효과를 나타내는 아이콘들의 예들을 도시하는 도면이다.
도 11a, 도 11b, 및 도 11c는 화상에 라이팅 효과가 적용될 때의 표시 화상의 예들을 도시하는 도면들이다.
도 12a, 도 12b, 및 도 12c는 화상에 라이팅 효과가 적용될 때의 표시 화상의 예들을 도시하는 도면들이다.
도 13은 라이팅 효과 리스트를 설정하기 위한 처리를 도시하는 흐름도이다.
도 14는 라이팅 효과 리스트를 설정하기 위한 처리를 도시하는 흐름도이다.
도 15는 라이팅 효과 리스트를 설정하기 위한 처리를 도시하는 흐름도이다.
도 16은 개인 정보의 예들을 도시하는 도면이다.
도 17은 라이팅 효과 리스트를 설정하기 위한 처리를 도시하는 흐름도이다.
도 18은 정보 처리 장치에 의해 수행되는 처리를 도시하는 흐름도이다.
도 19a 및 도 19b는 화상에 라이팅 효과가 적용될 때의 표시 화상의 예들을 도시하는 도면들이다.
도 20은 정보 처리 장치의 논리 구성을 도시하는 도면이다.
도 21은 정보 처리 장치에 의해 수행되는 처리를 도시하는 흐름도이다.
도 22는 라이팅 파라미터들의 조정가능한 범위를 설정하기 위한 처리를 도시하는 흐름도이다.
도 23a 및 도 23b는 라이팅 파라미터들의 조정가능한 범위의 설정 예들을 도시하는 도면들이다.
도 24는 화상에 라이팅 효과를 적용하기 위한 처리를 도시하는 흐름도이다.
도 25a, 도 25b, 도 25c, 및 도 25d는 화상에 라이팅 효과가 적용될 때의 표시 화상의 예들을 도시하는 도면들이다.
도 26은 정보 처리 장치에 의해 수행되는 처리를 도시하는 흐름도이다.
도 27a 및 도 27b는 화상에 라이팅 효과가 적용될 때의 표시 화상의 예들을 도시하는 도면들이다.
도 28은 라이팅 효과 리스트를 설정하기 위한 처리를 도시하는 흐름도이다.
도 29a 및 도 29b는 화상에 라이팅 효과가 적용될 때의 표시 화상의 예들을 도시하는 도면들이다.1A and 1B are diagrams showing hardware configurations of information processing devices.
2A and 2B are diagrams showing an appearance of an information processing device.
Fig. 3 is a diagram showing the logical configuration of the information processing device.
4 is a flowchart showing processing performed by the information processing apparatus.
Fig. 5 is a flowchart showing processing for setting a lighting effect list.
6A, 6B, 6C, and 6D are diagrams showing outlines of processing for determining accuracy of distance information.
7 is a diagram illustrating examples of lighting effects included in a lighting effect list.
8 is a flowchart showing processing for adding a lighting effect to an image.
9A, 9B, and 9C are diagrams showing examples of face distance image data and normal image data.
10 is a diagram illustrating examples of icons representing lighting effects.
11A, 11B, and 11C are diagrams showing examples of display images when lighting effects are applied to the images.
12A, 12B, and 12C are diagrams showing examples of display images when lighting effects are applied to the images.
Fig. 13 is a flowchart showing processing for setting a lighting effect list.
Fig. 14 is a flowchart showing processing for setting a lighting effect list.
Fig. 15 is a flowchart showing processing for setting a lighting effect list.
16 is a diagram illustrating examples of personal information.
Fig. 17 is a flowchart showing processing for setting a lighting effect list.
18 is a flowchart showing processing performed by the information processing apparatus.
19A and 19B are diagrams showing examples of display images when lighting effects are applied to the images.
20 is a diagram showing a logical configuration of an information processing device.
21 is a flowchart showing processing performed by the information processing apparatus.
22 is a flowchart showing a process for setting an adjustable range of lighting parameters.
23A and 23B are diagrams illustrating examples of setting adjustable ranges of lighting parameters.
Fig. 24 is a flowchart showing processing for applying a lighting effect to an image.
25A, 25B, 25C, and 25D are diagrams showing examples of display images when a lighting effect is applied to the images.
26 is a flowchart showing processing performed by the information processing apparatus.
27A and 27B are diagrams showing examples of display images when lighting effects are applied to the images.
Fig. 28 is a flowchart showing processing for setting a lighting effect list.
29A and 29B are diagrams showing examples of display images when lighting effects are applied to the images.

예시적인 실시예들은 도면들을 참조하여 이하에서 설명될 것이다. 다음의 예시적인 실시예들은 본 개시내용을 반드시 제한하는 것은 아니다. 예시적인 실시예들에서 설명된 특징들의 모든 조합은 본 개시내용의 해결 수단에 반드시 필수적인 것은 아니다.Exemplary embodiments will be described below with reference to the drawings. The following exemplary embodiments do not necessarily limit the present disclosure. All combinations of features described in exemplary embodiments are not necessarily essential to the solutions of the present disclosure.

<거리 정보에 기초한 화상에 대한 라이팅 효과의 적용><Application of lighting effects to images based on distance information>

본 개시내용의 제1 예시적인 실시예가 이하에서 설명될 것이다. 피사체에 관한 거리 정보에 기초하여 화상에 라이팅 효과를 적용할 때, 피사체와 배경 사이의 전후 관계를 식별하기에 충분한 정밀도를 갖는 거리 정보는 더 가까운 피사체들에 더 밝게 조사하는 라이팅 효과가 적용되도록 할 경우에 필요하다. 광원으로부터의 광이 각도에서 입사하는 것처럼 피사체가 나타나는 라이팅 효과를 적용하기 위해서는, 피사체의 얼굴 특징들을 식별하기에 충분한 정밀도를 갖는 거리 정보가 필요하다. 이러한 방식으로, 거리 정보는 라이팅 효과에 따라 특정 정밀도를 갖도록 요구된다. 거리 정보가 원하는 라이팅 효과를 적용하기에 충분한 정밀도를 갖지 않으면, 원하는 라이팅 효과는 획득불가능할 수 있다. 이러한 이유로, 본 예시적인 실시예에서는, 화상에 라이팅 효과를 적용하는데 사용되는 거리 정보의 정밀도에 기초하여, 화상에 적용되는 적절한 라이팅 효과에 대한 후보들이 사용자에게 제시된다. 이것은 사용자가 화상과 연관하여 획득된 거리 정보에 적절한 라이팅 효과를 선택할 수 있게 한다. 따라서, 본 예시적인 실시예에서는, 사용자가 의도하지 않은 라이팅 효과들이 사용자가 의도한 거리 정보 및 라이팅 효과의 정밀도에 기초하여 적용가능한 라이팅 효과들 간의 불일치로 인해 화상에 적용되는 것이 방지될 수 있다.A first exemplary embodiment of the present disclosure will be described below. When applying a lighting effect to an image based on distance information about a subject, the distance information having sufficient precision to identify the context between the subject and the background can cause a lighting effect that illuminates closer subjects more brightly to be applied. necessary in case In order to apply a lighting effect in which a subject appears as if light from a light source is incident at an angle, distance information having sufficient precision to identify facial features of the subject is required. In this way, the distance information is required to have a certain precision depending on the lighting effect. If the distance information does not have sufficient precision to apply the desired lighting effect, the desired lighting effect may not be obtainable. For this reason, in this exemplary embodiment, candidates for suitable lighting effects to be applied to the image are presented to the user based on the accuracy of the distance information used to apply the lighting effect to the image. This allows the user to select a lighting effect appropriate for distance information obtained in association with the image. Therefore, in this exemplary embodiment, lighting effects not intended by the user can be prevented from being applied to the image due to inconsistency between applicable lighting effects based on distance information intended by the user and precision of the lighting effect.

<정보 처리 장치(1)의 하드웨어 구성><Hardware Configuration of Information Processing Device 1>

도 1a는 정보 처리 장치(1)의 하드웨어 구성의 예를 도시하는 도면이다. 정보 처리 장치(1)는 스마트폰 및 태블릿 개인용 컴퓨터(PC)와 같은 통신 기능 및 촬상 기능을 갖는 디바이스에 의해 구현된다. 정보 처리 장치(1)는 중앙 처리 장치(CPU)(101), 판독 전용 메모리(ROM)(102), 랜덤 액세스 메모리(RAM)(103), 입출력 인터페이스(I/F)(104), 터치 패널 디스플레이(105), 촬상 유닛(106), 및 통신 I/F(107)를 포함한다. CPU(101)는 RAM(103)을 작업 메모리로서 사용하여, ROM(102) 및 저장 디바이스(110)에 저장된 운영 체제(OS) 및 다양한 프로그램들을 실행한다. CPU(101)는 시스템 버스(108)를 통해 컴포넌트들을 제어한다. (후술하는) 흐름도들에 기초한 처리는 CPU(101)가 ROM(102) 및 저장 디바이스(110)에 저장된 프로그램 코드를 RAM(103)으로 로딩하고 프로그램 코드를 실행함으로써 구현된다. 저장 디바이스(110)는 직렬 버스(109)를 통해 입출력 I/F(104)에 접속된다. 저장 디바이스(110)는 하드 디스크 드라이브(HDD), 광학 드라이브, 플래시 저장 디바이스, 또는 임의의 다른 비휘발성 메모리, 대용량 또는 2차 저장 디바이스들이다. 터치 패널 디스플레이(105)는 화상을 표시하는 디스플레이 및 손가락과 같은 지시 부재에 의한 터치의 위치를 검출하는 터치 패널을 일체적으로 포함하는 입출력 유닛이다. 촬상 유닛(106)은 촬상 타겟의 화상을 획득한다.1A is a diagram showing an example of a hardware configuration of the information processing device 1. As shown in FIG. The information processing apparatus 1 is implemented by a device having a communication function and an imaging function, such as a smart phone and a tablet personal computer (PC). The information processing unit 1 includes a central processing unit (CPU) 101, a read-only memory (ROM) 102, a random access memory (RAM) 103, an input/output interface (I/F) 104, a touch panel A display 105, an imaging unit 106, and a communication I/F 107 are included. The CPU 101 uses the RAM 103 as a working memory to execute an operating system (OS) and various programs stored in the ROM 102 and the storage device 110 . CPU 101 controls components via system bus 108 . Processing based on flowcharts (to be described later) is implemented by CPU 101 loading program codes stored in ROM 102 and storage device 110 into RAM 103 and executing the program codes. The storage device 110 is connected to the input/output I/F 104 via a serial bus 109. Storage device 110 is a hard disk drive (HDD), optical drive, flash storage device, or any other non-volatile memory, mass or secondary storage device. The touch panel display 105 is an input/output unit that integrally includes a display for displaying an image and a touch panel for detecting a position of a touch by a pointing member such as a finger. The imaging unit 106 acquires an image of an imaging target.

도 2a 및 도 2b는 본 예시적인 실시예에 따른 정보 처리 장치(1)의 외관의 예를 도시한다. 도 2a는 터치 패널 디스플레이(105)가 위치하는 정보 처리 장치(1)의 면(이하, 디스플레이 면이라고 칭함)을 도시한다. 도 2b는 디스플레이 면으로부터의 정보 처리 장치(1)의 대향 면(이하, 후면이라고 칭함)을 도시한다. 본 예시적인 실시예에 따른 촬상 유닛(106)은 정보 처리 장치(1)의 후면 상의 메인 카메라(202) 및 정보 처리 장치(1)의 디스플레이 면의 전방 카메라(201)를 포함한다. 전방 카메라(201)는 전방 카메라(201)가 디스플레이(디스플레이 스크린)를 보는 사용자의 얼굴의 화상을 캡처할 수 있도록 위치 및 지향된다. 통신 I/F(107)는 다른 정보 처리 장치, 통신 디바이스, 또는 저장 디바이스와 유선 또는 무선 양방향 통신을 수행한다. 본 예시적인 실시예에 따른 통신 I/F(107)는 무선 근거리 통신망(LAN)을 통해 통신 파트너에/로부터 데이터를 송수신할 수 있다. 직접 통신 외에도, 통신 I/F(107)는 또한 중계 장치를 통해 다른 통신 디바이스와의 간접 통신을 수행할 수 있다.2A and 2B show examples of appearances of the information processing apparatus 1 according to the present exemplary embodiment. 2A shows a side (hereinafter referred to as a display side) of the information processing device 1 on which the touch panel display 105 is located. Fig. 2B shows the opposite side (hereinafter referred to as the rear side) of the information processing device 1 from the display side. The imaging unit 106 according to this exemplary embodiment includes a main camera 202 on the back side of the information processing device 1 and a front camera 201 on the display side of the information processing device 1 . The front camera 201 is positioned and oriented so that the front camera 201 can capture an image of the face of a user viewing the display (display screen). The communication I/F 107 performs wired or wireless two-way communication with other information processing apparatuses, communication devices, or storage devices. The communication I/F 107 according to this exemplary embodiment can transmit/receive data to/from a communication partner via a wireless local area network (LAN). Besides direct communication, the communication I/F 107 can also perform indirect communication with other communication devices via a relay device.

<정보 처리 장치(1)의 논리 구성><Logic configuration of information processing device 1>

정보 처리 장치(1)의 논리 구성 예가 설명될 것이다. 도 3은 본 예시적인 실시예에 따른 정보 처리 장치(1)의 논리 구성을 도시하는 블록도이다. 정보 처리 장치(1)는 CPU(101)가 ROM(102)에 저장된 프로그램들을 RAM(103)을 작업 메모리로 하여 실행함으로써 도 3에 도시된 논리 구성으로서 기능한다. 후술하는 모든 처리는 반드시 CPU(101)에 의해 수행될 필요는 없다. 정보 처리 장치(1)는 CPU(101) 이외의 하나 또는 복수의 처리 회로에 의해 처리의 일부 또는 전부가 수행되도록 구성될 수 있다.An example of a logical configuration of the information processing device 1 will be described. Fig. 3 is a block diagram showing the logical configuration of the information processing apparatus 1 according to the present exemplary embodiment. The information processing device 1 functions as the logical configuration shown in Fig. 3 by allowing the CPU 101 to execute programs stored in the ROM 102 using the RAM 103 as a work memory. All of the processing described below need not necessarily be performed by the CPU 101. The information processing device 1 may be configured so that part or all of the processing is performed by one or a plurality of processing circuits other than the CPU 101 .

정보 처리 장치(1)는 화상 데이터 획득 유닛(301), 라이팅 효과 리스트 결정 유닛(302), 라이팅 효과 선택 유닛(303), 라이팅 처리 유닛(304), 화상 표시 제어 유닛(305), 및 라이팅 효과 표시 제어 유닛(306)을 포함한다. 화상 데이터 획득 유닛(301)은 입출력 유닛(309)으로부터 획득된 사용자의 명령어들에 기초하여 촬상 유닛(308) 또는 저장 유닛(307)으로부터 화상 데이터를 획득한다. 화상 데이터 획득 유닛(301)은 2가지 타입의 화상 데이터, 즉 라이팅 효과가 적용될 컬러 화상을 나타내는 컬러 화상 데이터 및 컬러 화상에 대응하는 거리 정보를 포함하는 거리 화상 데이터를 획득한다. 저장 유닛(307)의 기능들은 예를 들어, 저장 디바이스(110)에 의해 구현된다. 촬상 유닛(308)의 기능들은 촬상 유닛(106)에 의해 구현된다. 입출력 유닛(309)의 기능들은 터치 패널 디스플레이(105)에 의해 구현된다.The information processing device 1 includes an image data acquisition unit 301, a lighting effect list determination unit 302, a lighting effect selection unit 303, a lighting processing unit 304, an image display control unit 305, and a lighting effect. and a display control unit 306. The image data acquisition unit 301 acquires image data from the image pickup unit 308 or the storage unit 307 based on the user's instructions obtained from the input/output unit 309 . The image data acquisition unit 301 acquires two types of image data: color image data representing a color image to which a lighting effect is to be applied, and distance image data containing distance information corresponding to the color image. Functions of the storage unit 307 are implemented by, for example, the storage device 110 . The functions of the imaging unit 308 are implemented by the imaging unit 106 . Functions of the input/output unit 309 are implemented by the touch panel display 105 .

컬러 화상 데이터는 각각의 화소에 적색(R) 값, 녹색(G) 값, 및 청색(B) 값을 갖는 컬러 화상을 나타낸다. 컬러 화상 데이터는 촬상 유닛(308)을 사용하여, 피사체의 화상을 캡처함으로써 생성된다. 거리 화상 데이터는 각 화소에, 촬상 유닛(308)으로부터 촬상될 피사체까지의 거리 값을 갖는 거리 화상을 나타낸다. 복수의 상이한 위치로부터 피사체의 화상들을 캡처함으로써 획득된 복수의 컬러 화상 데이터에 기초하여 거리 화상 데이터가 생성된다. 예를 들어, 거리 화상 데이터는 서로 나란히 배열된 2개의 카메라를 사용하여 피사체의 화상들을 캡처함으로써 획득된 화상 데이터, 또는 카메라의 위치를 이동시키면서 피사체의 화상을 복수 회 캡처함으로써 획득된 화상 데이터에 기초하여 전형적인 스테레오 매칭을 사용하여 생성될 수 있다. 거리 화상 데이터는 적외선을 피사체에 조사하는 적외선 방출 유닛 및 피사체로부터 반사된 적외선을 수신하는 수광 유닛을 포함하는 거리 취득 장치를 사용하여 생성될 수 있다. 구체적으로, 적외선 방출 유닛으로부터 방출된 적외선 광이 피사체로부터 반사되고 수광 유닛에 의해 수신되는 시간에 기초하여 카메라로부터 피사체까지의 거리 값이 계산될 수 있다. 거리 화상 데이터와 같은 거리 정보를 생성하기 위한 방법은 전술한 것에 한정되지 않는다. 예를 들어, 피사체에 대응하는 3차원 모델 데이터를 컬러 화상 데이터에 기초하여 피팅함으로써 객체에 관한 거리 정보가 생성될 수 있다. 화상 데이터 획득 유닛(301)에 의해 획득된 각각의 화상 데이터가 나타내는 화상들은 동일한 화소 위치들에서의 화소 값들이 피사체 상의 동일한 위치에 대응하는 것으로 한다.The color image data represents a color image having a red (R) value, a green (G) value, and a blue (B) value in each pixel. Color image data is generated by capturing an image of a subject using the imaging unit 308 . The distance image data represents a distance image having at each pixel a distance value from the imaging unit 308 to a subject to be imaged. Distance image data is generated based on a plurality of color image data obtained by capturing images of a subject from a plurality of different positions. For example, the distance image data is based on image data obtained by capturing images of a subject using two cameras arranged side by side with each other, or image data obtained by capturing images of a subject multiple times while moving the position of a camera. can be created using typical stereo matching. Distance image data can be generated using a distance acquisition device that includes an infrared emitting unit that irradiates infrared rays onto a subject and a light receiving unit that receives infrared rays reflected from the subject. Specifically, the distance value from the camera to the subject may be calculated based on the time when the infrared light emitted from the infrared emitting unit is reflected from the subject and received by the light receiving unit. The method for generating distance information such as distance image data is not limited to the above. For example, distance information about an object may be generated by fitting 3D model data corresponding to a subject based on color image data. It is assumed that the images represented by each image data obtained by the image data acquisition unit 301 have pixel values at the same pixel positions corresponding to the same position on the subject.

라이팅 효과 리스트 결정 유닛(302)은 거리 화상 데이터에 포함되는 거리 정보의 정밀도(이하, 거리 정밀도라고 칭함)를 결정하고, 거리 정밀도에 기초하여 유효 라이팅 효과를 포함하는 리스트(이하, 라이팅 효과 리스트라고 칭함)를 결정한다. 본 예시적인 실시예에서, 라이팅 효과 리스트 결정 유닛(302)은 사전에 적용가능한 라이팅 효과들로서 4개의 상이한 라이팅 효과를 갖는다. 그러나, 라이팅 효과들 중 일부는 거리 정보의 정밀도에 따라 구현되지 못할 수 있다. 따라서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도에 기초하여 미리 적용가능한 라이팅 효과들 중에서 처리될 화상에 효과적인 라이팅 효과들을 선택한다. 여기서, 라이팅 효과 리스트 결정 유닛(302)은 적어도 2개 및 최대 4개의 라이팅 효과를 선택함으로써 라이팅 효과 리스트를 생성한다. 라이팅 효과 선택 유닛(303)은 입출력 유닛(309)으로부터 획득된 사용자 동작들에 기초하여 라이팅 효과 리스트에 포함된 라이팅 효과들 중 하나를 선택한다. 선택된 라이팅 효과를 컬러 화상에 적용하기 위해, 라이팅 처리 유닛(304)은 컬러 화상에 대해 라이팅 처리를 수행함으로써 컬러 화상을 보정한다. 라이팅 처리 유닛(304)은 입출력 유닛(309)으로부터 획득된 사용자 동작들에 기초하여 라이팅 효과가 적용된 화상을 나타내는 화상 데이터를 저장 유닛(307)에 기록한다.The lighting effect list determination unit 302 determines the accuracy of distance information included in the distance image data (hereinafter referred to as distance accuracy), and based on the distance accuracy, a list including effective lighting effects (hereinafter referred to as a lighting effect list) is formed. name) is determined. In this exemplary embodiment, the lighting effect list determination unit 302 has four different lighting effects as the previously applicable lighting effects. However, some of the lighting effects may not be implemented depending on the precision of the distance information. Accordingly, the lighting effect list determining unit 302 selects lighting effects effective for an image to be processed from among lighting effects applicable in advance based on the distance accuracy. Here, the lighting effect list determination unit 302 generates a lighting effect list by selecting at least two and at most four lighting effects. The lighting effect selection unit 303 selects one of the lighting effects included in the lighting effect list based on user motions obtained from the input/output unit 309 . To apply the selected lighting effect to the color image, the writing processing unit 304 corrects the color image by performing writing processing on the color image. The lighting processing unit 304 writes, in the storage unit 307, image data representing an image to which a lighting effect is applied based on user motions obtained from the input/output unit 309.

화상 표시 제어 유닛(305)은 입출력 유닛(309)을 표시 유닛으로서 사용하여 입출력 유닛(309) 상에 라이팅 효과가 적용된 화상을 표시한다. 라이팅 효과 표시 제어 유닛(306)은 라이팅 효과 리스트에 포함된 라이팅 효과에 대응하는 아이콘들을 입출력 유닛(309) 상에 표시한다.The image display control unit 305 displays an image to which a lighting effect is applied on the input/output unit 309 using the input/output unit 309 as a display unit. The lighting effect display control unit 306 displays icons corresponding to the lighting effects included in the lighting effect list on the input/output unit 309.

<정보 처리 장치(1)에 의해 수행되는 처리><Process performed by information processing device 1>

도 4는 정보 처리 장치(1)에 의해 수행되는 처리를 도시하는 흐름도이다. 본 예시적인 실시예에서, 거리 화상 데이터에 기초하여 설정되는 거리 정밀도에 기초하여 컬러 화상에 적용가능한 라이팅 효과들이 제시된다. 이하, 단계들은 숫자 앞에 "S"가 표시될 것이다.4 is a flowchart showing processing performed by the information processing device 1. As shown in FIG. In this exemplary embodiment, lighting effects applicable to a color image are presented based on distance accuracy set based on distance image data. Hereinafter, the steps will be denoted by an "S" in front of the number.

단계 S401에서, 화상 데이터 획득 유닛(301)은 입출력 유닛(309)으로부터 획득된 사용자 동작들에 기초하여 저장 유닛(307)으로부터 컬러 화상 데이터 및 거리 화상 데이터를 획득한다. 여기서, 저장 유닛(307)은 전술한 방법을 통해 미리 생성된 컬러 화상 데이터 및 거리 화상 데이터를 포함한다. 단계 S402에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 화상 데이터에 기초하여 설정되는 거리 정밀도에 기초하여 유효 라이팅 효과들을 포함하는 라이팅 효과 리스트를 결정한다. 라이팅 효과 리스트를 결정하기 위한 처리의 세부 사항들이 이하에서 설명될 것이다.In step S401, the image data acquisition unit 301 acquires color image data and distance image data from the storage unit 307 based on the user actions obtained from the input/output unit 309. Here, the storage unit 307 contains color image data and distance image data generated in advance through the method described above. In step S402, the lighting effect list determination unit 302 determines a lighting effect list containing effective lighting effects based on the distance accuracy set based on the distance image data. Details of the processing for determining the lighting effect list will be described below.

단계 S403에서, 라이팅 효과 선택 유닛(303)은 입출력 유닛(309)으로부터 획득된 사용자 동작들에 기초하여 라이팅 효과 리스트에 포함된 라이팅 효과들 중 하나를 선택한다. 라이팅 효과 선택 유닛(303)은 또한 사용자 동작들에 기초하여, 피사체에 광을 조사하기 위한 가상 광원의 방향을 포함하는 라이팅 파라미터들을 설정한다. 사용자 동작들에 의해 라이팅 효과가 선택되지 않으면, 라이팅 효과 선택 유닛(303)은 초기 상태로서 이전에 결정된 라이팅 효과를 선택한다. 단계 S404에서, 라이팅 처리 유닛(304)은 선택된 라이팅 효과에 기초하여 컬러 화상을 보정한다. 이하, 보정된 컬러 화상은 보정된 화상이라고 칭할 것이다. 보정된 화상을 나타내는 화상은 보정된 화상 데이터로서 지칭될 것이다. 컬러 화상을 보정하기 위한 처리의 세부 사항들이 후술될 것이다.In step S403, the lighting effect selection unit 303 selects one of the lighting effects included in the lighting effect list based on user motions obtained from the input/output unit 309. The lighting effect selection unit 303 also sets lighting parameters including a direction of a virtual light source for irradiating a subject with light based on user operations. If no lighting effect is selected by user operations, the lighting effect selection unit 303 selects a previously determined lighting effect as an initial state. In step S404, the lighting processing unit 304 corrects the color image based on the selected lighting effect. Hereinafter, the corrected color image will be referred to as a corrected image. An image representing a corrected image will be referred to as corrected image data. Details of processing for correcting a color image will be described later.

단계 S405에서, 화상 표시 제어 유닛(305)은 보정된 화상을 입출력 유닛(309) 상에 표시한다. 단계 S406에서, 라이팅 효과 표시 제어 유닛(306)은 라이팅 효과 리스트에 포함된 라이팅 효과들을 입출력 유닛(309) 상에 표시한다. 라이팅 효과들의 표시는 이하에서 상세히 설명될 것이다. 단계 S407에서, 라이팅 처리 유닛(304)은 입출력 유닛(309)으로부터 획득된 사용자 동작들에 기초하여 보정된 화상 데이터를 저장 유닛(307)에 기록할지를 결정한다. 보정된 화상 데이터를 기록하는 동작이 검출되면(단계 S407에서 예), 처리는 단계 S409로 진행한다. 보정된 화상 데이터를 기록하는 동작이 검출되지 않으면(단계 S407에서 아니오), 처리는 단계 S408로 진행한다. 단계 S408에서, 라이팅 처리 유닛(304)은 입출력 유닛(309)으로부터 획득된 사용자 동작들에 기초하여 라이팅 효과를 적용하는 컬러 화상을 변경할지를 결정한다. 컬러 화상을 변경하는 동작이 검출되면(단계 S408에서 예), 처리는 단계 S401로 진행한다. 컬러 화상을 변경하는 동작이 검출되지 않으면(단계 S408에서 아니오), 처리는 단계 S403으로 진행한다. 단계 S409에서, 라이팅 처리 유닛(304)은 보정된 화상 데이터를 저장 유닛(307)에 기록한다. 처리는 종료된다.In step S405, the image display control unit 305 displays the corrected image on the input/output unit 309. In step S406, the lighting effect display control unit 306 displays the lighting effects included in the lighting effect list on the input/output unit 309. The display of lighting effects will be described in detail below. In step S407, the writing processing unit 304 determines whether or not to write the corrected image data to the storage unit 307 based on user motions obtained from the input/output unit 309. If an operation of writing the corrected image data is detected (YES in step S407), the process proceeds to step S409. If the operation of writing the corrected image data is not detected (NO in step S407), the process proceeds to step S408. In step S408, the lighting processing unit 304 determines whether to change the color image to which the lighting effect is applied based on the user's motions obtained from the input/output unit 309. If an operation to change the color image is detected (YES in step S408), the process proceeds to step S401. If an operation to change the color image is not detected (NO in step S408), the process proceeds to step S403. In step S409, the writing processing unit 304 writes the corrected image data into the storage unit 307. Processing ends.

<라이팅 효과 리스트를 결정하기 위한 처리(단계 S402)><Process for determining lighting effect list (step S402)>

단계 S402에서의 라이팅 효과 리스트를 결정하기 위한 처리가 설명될 것이다. 도 5는 라이팅 효과 리스트를 결정하기 위한 처리를 도시하는 흐름도이다. 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상에서 피사체의 얼굴에 대응하는 얼굴 영역을 추출하고, 거리 화상에서의 얼굴 영역에 대응하는 거리 값들에 기초하여 거리 정밀도를 설정한다. 라이팅 효과 리스트 결정 유닛(302)은 설정된 거리 정밀도에 기초하여 라이팅 효과 리스트에 포함될 라이팅 효과들을 결정한다.The processing for determining the lighting effect list in step S402 will be described. 5 is a flowchart showing processing for determining a lighting effect list. A lighting effect list determination unit 302 extracts a face region corresponding to a face of a subject from the color image, and sets distance precision based on distance values corresponding to the face region in the distance image. The lighting effect list determination unit 302 determines lighting effects to be included in the lighting effect list based on the set distance accuracy.

단계 S501에서, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상으로부터 얼굴 영역을 추출한다. 도 6a는 얼굴 영역의 예를 도시한다. 얼굴 영역(601)은 템플릿 매칭 및 하르-유사(Haar-like) 특징량들을 사용하는 알고리즘과 같은 종래의 방법들을 사용하여 추출될 수 있다. 단계 S502에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 화상에서 얼굴 영역(601)에 대응하는 거리 정보의 정밀도를 결정한다. 구체적으로, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상에 대응하는 거리 화상으로부터 얼굴 영역(601)에서의 거리 값들을 획득한다. 얼굴 영역(601)이 미리 결정된 값보다 큰 거리 값을 갖는 미리 결정된 수 이상의 화소들을 포함하면, 거리 정밀도가 낮은 것으로 결정되고(단계 S502에서 예), 처리는 단계 S503으로 진행한다. 얼굴 영역(601)이 미리 결정된 값보다 큰 거리 값을 갖는 미리 결정된 수 미만의 화소들을 포함하면, 거리 정밀도는 높은 것으로 결정되고(단계 S502에서 아니오), 처리는 단계 S504로 진행한다. 본 예시적인 실시예에서, 미리 결정된 값보다 큰 거리 값을 갖는 화소들은 컬러 화상에서 배경에 대응하는 화소들로서 간주된다.In step S501, the lighting effect list determination unit 302 extracts a face region from the color image. 6A shows an example of a face region. The face region 601 can be extracted using conventional methods such as template matching and an algorithm using Haar-like feature quantities. In step S502, the lighting effect list determining unit 302 determines the precision of the distance information corresponding to the face region 601 in the distance image. Specifically, the lighting effect list determination unit 302 obtains distance values in the face region 601 from a distance image corresponding to a color image. If the face region 601 includes a predetermined number or more pixels having a distance value greater than the predetermined value, it is determined that the distance precision is low (YES in step S502), and the process proceeds to step S503. If the face region 601 contains less than the predetermined number of pixels having a distance value greater than the predetermined value, the distance precision is determined to be high (NO in step S502), and the process proceeds to step S504. In this exemplary embodiment, pixels having a distance value greater than a predetermined value are regarded as pixels corresponding to a background in a color image.

단계 S503에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "로우"로 설정한다. 도 6b는 거리 정밀도가 "로우"인 것으로 결정되는 거리 화상의 예를 도시한다. 도 6b의 거리 화상에서, 얼굴 영역(601) 내의 모든 화소는 배경을 나타내는 화소 값을 갖는다. 단계 S504에서, 라이팅 효과 리스트 결정 유닛(302)은 얼굴 영역(601)이 돌출 및 함몰을 포함하는지를 결정한다. 구체적으로, 라이팅 효과 리스트 결정 유닛(302)은 얼굴 영역(601) 내의 화소들의 거리 값들이 미리 결정된 값보다 작은 분산을 갖는지를 결정한다. 이러한 결정으로, 거리 정보의 정밀도는 거리 화상이 피사체의 얼굴에서의 미세한 돌출 및 함몰에 관한 정보를 포함하는지에 기초하여 결정될 수 있다. 얼굴 영역(601) 내의 화소들의 거리 값들이 미리 결정된 값보다 작은 분산(불균형)을 갖는 경우, 얼굴 영역(601)은 돌출 및 함몰을 포함하지 않는 것으로 결정되고(단계 S504에서 아니오), 처리는 단계 S505로 진행한다. 얼굴 영역(601) 내의 화소들의 거리 값들이 미리 결정된 값 이상인 분산을 갖는 경우, 얼굴 영역(601)은 돌출 및 함몰을 포함하도록 결정되고(단계 S504에서 예), 처리는 단계 S506으로 진행한다.In step S503, the lighting effect list determination unit 302 sets the distance precision to "low". Fig. 6B shows an example of a distance image for which the distance precision is determined to be "low". In the distance image of Fig. 6B, all pixels in the face area 601 have pixel values representing the background. In step S504, the lighting effect list determination unit 302 determines whether the face region 601 includes protrusions and depressions. Specifically, the lighting effect list determination unit 302 determines whether the distance values of the pixels in the face area 601 have a variance smaller than a predetermined value. With this determination, the accuracy of the distance information can be determined based on whether the distance image contains information about minute protrusions and depressions in the subject's face. If the distance values of the pixels in the face region 601 have a dispersion (imbalance) smaller than a predetermined value, the face region 601 is determined not to contain protrusions and depressions (NO in step S504), and processing proceeds to step S504. The process proceeds to S505. If the distance values of the pixels in the face region 601 have a variance equal to or greater than a predetermined value, the face region 601 is determined to include protrusions and depressions (YES in step S504), and the process proceeds to step S506.

단계 S505에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "중간"으로 설정한다. 도 6c는 거리 정밀도가 "중간"인 것으로 결정되는 거리 화상의 예를 도시한다. 도 6c의 거리 화상에서, 얼굴 영역(601) 내의 모든 화소는 동일한 거리 값을 갖는다. 단계 S506에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "하이"로 설정한다. 도 6d는 거리 정밀도가 "하이"인 것으로 결정되는 거리 화상의 예를 도시한다. 도 6d의 거리 화상에서, 얼굴 영역(601) 내의 화소들은 피사체의 얼굴의 형상에 따라 다양한 거리 값들을 갖는다.In step S505, the lighting effect list determining unit 302 sets the distance precision to "Medium". Fig. 6C shows an example of a distance image for which the distance accuracy is determined to be "medium". In the distance image of Fig. 6C, all pixels in the face area 601 have the same distance value. In step S506, the lighting effect list determining unit 302 sets the distance precision to "high". Fig. 6D shows an example of a distance image for which the distance precision is determined to be "high". In the distance image of FIG. 6D, the pixels in the face area 601 have various distance values according to the shape of the subject's face.

단계 S507에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도에 기초하여 라이팅 효과 리스트에 포함될 라이팅 효과들을 결정한다. 도 7은 거리 정밀도에 기초하여 라이팅 효과들을 설정하기 위한 방법의 예를 도시한다. 본 예시적인 실시예에서, 라이팅 효과 리스트에 포함될 라이팅 효과들은 거리 정밀도에 기초하여 4가지 타입의 라이팅 효과들 "off", "얼굴 강조", "피사체 강조", 및 "광원 위치 지정" 중에서 결정된다. 본 예시적인 실시예에서는, 거리 정밀도가 높을수록, 더 많은 라이팅 효과가 라이팅 효과 리스트에 포함된다. 구체적으로, 거리 정밀도는, 전경으로부터 배경을 구별하기에 충분한 정밀도를 갖는 거리 정보가 획득되지 않거나 전혀 거리 정보가 획득되지 않는 상황들에서 "로우"이다. 이러한 경우에, 전경과 배경 사이의 구별(미터 단위)이 필요한 라이팅 효과 "피사체 강조" 와 눈 및 코와 같은 돌출 및 함몰의 식별(센티미터 단위)이 필요한 라이팅 효과 "광원 위치 지정"은 적합하지 않다. 대조적으로, 라이팅 효과 "얼굴 강조"는 컬러 화상 상의 얼굴 검출에 의해 획득된 정보에 기초하여 구현될 수 있다. 따라서, 거리 정밀도가 "로우"인 경우, 라이팅 효과들 "off" 및 "얼굴 강조"는 효과적인 라이팅 효과들로서 라이팅 효과 리스트에 포함된다. 거리 정밀도는 눈 및 코와 같은 돌출 및 함몰의 식별(센티미터 단위)은 불가능하지 않지만 배경으로부터 전경의 구별(미터 단위)은 가능한 거리 정보가 획득되는 상황들에서 "중간"이다. 따라서, 거리 정밀도가 "중간"이면, "광원 위치 지정"을 제외한 라이팅 효과들 "off", "얼굴 강조", 및 "피사체 강조"는 라이팅 효과 리스트에 유효 라이팅 효과들로서 포함된다. 거리 정밀도는 눈 및 코와 같은 돌출 및 함몰을 식별(센티미터 단위)하기에 충분한 정밀도를 갖는 거리 정보가 획득되는 상황에서 "하이"이다. 이러한 경우에, 전술한 4가지 타입의 라이팅 효과들 모두 라이팅 효과 리스트에 포함된다. 요약하면, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도가 "로우"인 경우 라이팅 효과 리스트에 "off" 및 "얼굴 강조"를 포함한다. 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도가 "중간"인 경우 라이팅 효과 리스트에 "off", "얼굴 강조", 및 "피사체 강조"를 포함한다. 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도가 "하이"인 경우 라이팅 효과 리스트에 "off", "얼굴 강조", "피사체 강조", 및 "광원 위치 지정"을 포함한다. 컬러 화상에 적용될 라이팅 효과는 그러한 처리를 통해 거리 정밀도에 기초하여 결정된 유효 라이팅 효과들 중에서 선택될 수 있다.In step S507, the lighting effect list determining unit 302 determines lighting effects to be included in the lighting effect list based on the distance accuracy. 7 shows an example of a method for setting lighting effects based on distance precision. In this exemplary embodiment, lighting effects to be included in the lighting effect list are determined among four types of lighting effects "off", "face emphasis", "subject emphasis", and "light source positioning" based on distance precision. . In this exemplary embodiment, the higher the distance precision, the more lighting effects are included in the lighting effect list. Specifically, the distance precision is “low” in situations where distance information with sufficient precision to distinguish the background from the foreground is not obtained or no distance information is obtained. In this case, the lighting effect "Highlight Subject", which requires a distinction between foreground and background (in meters), and the lighting effect "Specify Light Source", which requires identification of protrusions and depressions (in centimeters), such as eyes and noses, are not suitable. . In contrast, the lighting effect "face emphasis" can be implemented based on information obtained by face detection on a color image. Therefore, when the distance precision is "low", the lighting effects "off" and "face enhancement" are included in the lighting effect list as effective lighting effects. Distance precision is "medium" in situations where discrimination of foreground from background (in meters) is possible, while identification of protrusions and depressions such as eyes and noses (in centimeters) is not impossible. Therefore, if the distance accuracy is "Medium", the lighting effects "off", "Face Emphasis", and "Subject Emphasis" excluding "Light Source Positioning" are included as effective lighting effects in the lighting effect list. Distance precision is “high” in situations where distance information with sufficient precision to identify protrusions and depressions (in centimeters) such as eyes and noses is obtained. In this case, all of the above four types of lighting effects are included in the lighting effect list. In summary, the lighting effect list determining unit 302 includes "off" and "face emphasis" in the lighting effect list when the distance precision is "low". The lighting effect list determination unit 302 includes "off", "face emphasis", and "subject emphasis" in the lighting effect list when the distance precision is "medium". The lighting effect list determination unit 302 includes "off", "face emphasis", "subject emphasis", and "light source position designation" in the lighting effect list when the distance precision is "high". A lighting effect to be applied to the color image can be selected from among effective lighting effects determined based on distance accuracy through such processing.

<컬러 화상 보정 처리(단계 S404)><Color image correction processing (step S404)>

단계 S404에서의 컬러 화상을 보정하는 처리가 설명될 것이다. 도 8은 컬러 화상을 보정하기 위한 처리를 도시하는 흐름도이다. 라이팅 처리 유닛(304)은 거리 화상 데이터에 기초하여 법선 화상 데이터를 생성한다. 라이팅 처리 유닛(304)은 거리 화상 데이터 및 법선 화상 데이터에 기초하여 컬러 화상을 보정한다.The process of correcting the color image in step S404 will be explained. 8 is a flowchart showing processing for correcting a color image. The writing processing unit 304 generates normal image data based on the distance image data. The writing processing unit 304 corrects the color image based on the distance image data and the normal image data.

단계 S801에서, 라이팅 처리 유닛(304)은 거리 화상 데이터에 기초하여 얼굴 거리 화상 데이터를 생성한다. 얼굴 거리 화상 데이터는 얼굴 영역(601)에 대응하는 영역이 전경 영역으로서 역할하고, 다른 영역들이 배경 영역으로서 역할하는 거리 화상 데이터이다. 본 예시적인 실시예에서, 라이팅 처리 유닛(304)은 거리 화상 데이터에 의해 나타나는 거리 화상에 상에 얼굴 영역(601)을 포함하는 타원형 영역을 설정한다. 그 다음, 라이팅 처리 유닛(304)은 얼굴 거리 화상 데이터로서, 설정된 타원형 영역 내부의 화소들이 전경을 나타내는 거리 값을 갖고 다른 화소들이 배경을 나타내는 거리 값을 갖는 거리 화상을 나타내는 거리 화상 데이터를 생성한다. 도 9a는 얼굴 거리 화상 데이터의 예를 도시한다. 단계 S802에서, 라이팅 처리 유닛(304)은 단계 S402에서 설정된 거리 정밀도가 "하이"인지를 결정한다. 거리 정밀도가 "하이"이면(단계 S802에서 예), 처리는 단계 S803으로 진행한다. 다른 경우에(단계 S802에서 아니오), 처리는 단계 S804로 진행한다.In step S801, the writing processing unit 304 generates face distance image data based on the distance image data. Face distance image data is distance image data in which an area corresponding to the face area 601 serves as a foreground area and other areas serve as background areas. In this exemplary embodiment, the writing processing unit 304 sets an elliptical region including the face region 601 on the distance image represented by the distance image data. Then, the writing processing unit 304 generates, as face distance image data, distance image data representing a distance image in which pixels inside the set elliptical region have distance values representing the foreground and other pixels have distance values representing the background. . 9A shows an example of face distance image data. In step S802, the writing processing unit 304 determines whether the distance accuracy set in step S402 is "high". If the distance accuracy is "high" (YES in step S802), the process proceeds to step S803. In other cases (NO in step S802), processing proceeds to step S804.

단계 S803에서, 라이팅 처리 유닛(304)은 거리 화상 데이터에 기초하여 법선 화상 데이터를 생성한다. 법선 화상 데이터는 각 화소가 피사체의 표면에 대한 법선 벡터를 포함하는 법선 화상을 나타내는 화상 데이터이다. 구체적으로, 라이팅 처리 유닛(304)은 거리 화상에서의 화소의 2차원 좌표 값들 및 화소에 포함된 거리 값에 기초하여 각각의 화소의 3차원 좌표 값들을 계산한다. 라이팅 처리 유닛(304)은 계산된 3차원 좌표 값들에 기초하여 각각의 화소에 대응하는 법선 벡터를 계산한다. 법선 벡터는 3차원 좌표 값들로부터 계산된 기울기에 기초한 계산 방법 또는 각 화소에 평면을 적용하고 그에 수직한 것을 법선 벡터로서 결정하는 방법을 사용하여 계산될 수 있다.In step S803, the writing processing unit 304 generates normal image data based on the distance image data. Normal image data is image data representing a normal image in which each pixel includes a normal vector to the surface of a subject. Specifically, the writing processing unit 304 calculates the 3D coordinate values of each pixel based on the 2D coordinate values of the pixels in the distance image and the distance values included in the pixels. The lighting processing unit 304 calculates a normal vector corresponding to each pixel based on the calculated 3D coordinate values. The normal vector may be calculated using a calculation method based on a slope calculated from 3D coordinate values or a method in which a plane is applied to each pixel and a normal vector is determined as a normal vector.

본 예시적인 실시예에 따른 라이팅 처리 유닛(304)은 관심 화소의 이웃 영역에 대응하는 근사 평면을 계산하고, 근사 평면에 수직한 벡터를 관심 화소의 법선 벡터로서 계산한다. 이 절차는 아래에 설명될 것이다. 법선 벡터가 계산될 관심 화소의 3차원 좌표 값들 및 그의 이웃 화소들의 3차원 좌표 값들이 (x₀, y₀, z₀), ..., (x_n-1, y_n-1, z_n-1)라고 가정한다. x 좌표 값들은 거리 화상의 수평 2차원 좌표 값들에 기초하여 계산된다. y 좌표 값들은 거리 화상의 수직 2차원 좌표 값들에 기초하여 계산된다. z 좌표 값들은 거리 화상의 화소 값들에 기초하여 계산된다. 평면 ax+by+c=z는 관심 화소의 좌표 값들 및 그 이웃 화소들의 좌표 값들에 적용된다. 구체적으로, 수학식 (1)에 의해 주어지는 함수 E를 최소화하는 a, b, 및 c는 z축 방향의 거리 값들을 사용하여 계산된다:The writing processing unit 304 according to the exemplary embodiment calculates an approximation plane corresponding to a neighboring region of the pixel of interest, and calculates a vector perpendicular to the approximation plane as a normal vector of the pixel of interest. This procedure will be explained below. The 3D coordinate values of the pixel of interest for which the normal vector is to be calculated and the 3D coordinate values of its neighboring pixels are (x ₀ , y ₀ , z ₀ ), ..., (x _n-1 , y _n-1 , z _{n -1} ) is assumed. The x-coordinate values are calculated based on the horizontal two-dimensional coordinate values of the distance image. The y coordinate values are calculated based on the vertical two-dimensional coordinate values of the distance image. The z-coordinate values are calculated based on the pixel values of the distance image. The plane ax+by+c=z is applied to the coordinate values of the pixel of interest and the coordinate values of its neighboring pixels. Specifically, a, b, and c that minimize the function E given by Equation (1) are calculated using distance values in the z-axis direction:

a, b, 및 c는 수학식 (2)를 사용하여 계산된다:a, b, and c are calculated using Equation (2):

평면 ax+by+c=z에 수직한 벡터 n=(n_x, n_y, n_z)는 수학식 (3)을 사용함으로써 계산된다:The vector n=(n _x , n _y , n _z ) perpendicular to the plane ax+by+c=z is calculated by using equation (3):

수학식 (3)을 사용하여 계산된 벡터 n=(n_x, n_y, n_z)는 관심 화소에 대응하는 법선 벡터이다. 법선 화상 데이터는 거리 화상의 각 화소에 대해 유사한 처리를 수행함으로써 생성된다. 법선 화상 데이터는 화소들 (i, j)이 각각의 법선 벡터들 (n_x(i, j), n_y(i, j), n_z(i, j))을 갖는 법선 화상을 나타내는 화상 데이터이다. 도 9b는 생성된 법선 화상 데이터에 의해 나타나는 법선 화상의 예를 도시한다.A vector n=(n _x , n _y , n _z ) calculated using Equation (3) is a normal vector corresponding to a pixel of interest. Normal image data is generated by performing similar processing for each pixel of the distance image. Normal image data is image data representing a normal image in which pixels (i, j) have respective normal vectors (n _x (i, j), n _y (i, j), n _z (i, j)) am. 9B shows an example of a normal image represented by the generated normal image data.

단계 S804에서, 라이팅 처리 유닛(304)은 간략화된 방식으로 법선 화상 데이터를 생성한다. 본 예시적인 실시예에서, 라이팅 처리 유닛(304)은 모든 화소가 법선 벡터 n=(0, 0, 1)을 갖는 법선 화상을 나타내는 법선 화상 데이터를 생성한다. 도 9c는 간략화된 방식으로 생성된 법선 화상 데이터의 예를 도시한다. 라이팅 처리 유닛(304)은 저장 유닛(307)으로부터 미리 생성된 법선 화상 데이터를 획득할 수 있다. 단계 S805에서, 라이팅 처리 유닛(304)은 단계 S403에서 어느 라이팅 효과가 선택되는지를 결정한다. 선택된 라이팅 효과가 "off"인 경우(단계 S805에서 OFF), 처리는 단계 S806으로 진행한다. 선택된 라이팅 효과가 "얼굴 강조"(단계 S805에서 얼굴 강조)인 경우, 처리는 단계 S807로 진행한다. 선택된 라이팅 효과가 "피사체 강조"이면 (단계 S805에서 피사체 강조), 처리는 단계 S808로 진행한다. 선택된 라이팅 효과가 "광원 위치 지정"(단계 S805에서 광원 위치 지정)인 경우, 처리는 단계 S809로 진행한다.In step S804, the writing processing unit 304 generates normal image data in a simplified manner. In this exemplary embodiment, the writing processing unit 304 generates normal image data representing a normal image in which all pixels have a normal vector n=(0, 0, 1). 9C shows an example of normal image data generated in a simplified manner. The writing processing unit 304 may acquire pre-generated normal image data from the storage unit 307 . In step S805, the lighting processing unit 304 determines which lighting effect is selected in step S403. If the selected lighting effect is "off" (OFF in step S805), the process proceeds to step S806. If the selected lighting effect is "face enhancement" (face enhancement in step S805), processing proceeds to step S807. If the selected lighting effect is "subject emphasis" (subject emphasis in step S805), processing proceeds to step S808. If the selected lighting effect is "light source position designation" (light source position designation in step S805), the process proceeds to step S809.

단계 S806에서, 라이팅 처리 유닛(304)은 컬러 화상을 보정하지 않고 컬러 화상 데이터를 화상 표시 제어 유닛(305)에 출력한다. 출력 컬러 화상 데이터는 보정된 화상 데이터로서 취급된다. 단계 S807에서, 라이팅 처리 유닛(304)은 거리 화상 데이터 및 법선 화상 데이터에 기초하여 컬러 화상을 보정한다. 단계 S807에서, 라이팅 처리 유닛(304)은 (후술되는) 컬러 화상을 보정하기 위한 처리를 통해 컬러 화상에 얼굴을 강조하기 위한 라이팅 효과를 적용한다. 라이팅 처리 유닛(304)은 보정된 컬러 화상을 나타내는 보정된 화상 데이터를 화상 표시 제어 유닛(305)에 출력한다.In step S806, the writing processing unit 304 outputs color image data to the image display control unit 305 without correcting the color image. Output color image data is treated as corrected image data. In step S807, the writing processing unit 304 corrects the color image based on the distance image data and the normal image data. In step S807, the lighting processing unit 304 applies a lighting effect for emphasizing the face to the color image through processing for correcting the color image (to be described later). The writing processing unit 304 outputs corrected image data representing the corrected color image to the image display control unit 305 .

단계 S808에서, 라이팅 처리 유닛(304)은 거리 화상 데이터 및 법선 화상 데이터에 기초하여 컬러 화상을 보정한다. 단계 S808에서, 라이팅 처리 유닛(304)은 (후술하는) 컬러 화상을 보정하기 위한 처리를 통해 컬러 화상에 배경을 어둡게하여 전경의 피사체를 강조하기 위한 라이팅 효과를 적용한다. 라이팅 처리 유닛(304)은 보정된 컬러 화상을 나타내는 보정된 화상 데이터를 화상 표시 제어 유닛(305)에 출력한다. 단계 S809에서, 라이팅 처리 유닛(304)은 거리 화상 데이터 및 법선 화상 데이터에 기초하여 컬러 화상을 보정한다. 단계 S809에서, 라이팅 처리 유닛(304)은 (후술되는) 컬러 화상을 보정하기 위한 처리를 통해 사용자에 의해 지정된 광원 위치에 기초하여 라이팅 효과를 컬러 화상에 적용한다. 라이팅 처리 유닛(304)은 보정된 컬러 화상을 나타내는 보정된 화상 데이터를 화상 표시 제어 유닛(305)에 출력한다.In step S808, the writing processing unit 304 corrects the color image based on the distance image data and the normal image data. In step S808, the lighting processing unit 304 applies a lighting effect for emphasizing a subject in the foreground by darkening the background to the color image through processing for correcting the color image (to be described later). The writing processing unit 304 outputs corrected image data representing the corrected color image to the image display control unit 305 . In step S809, the writing processing unit 304 corrects the color image based on the distance image data and the normal image data. In step S809, the lighting processing unit 304 applies a lighting effect to the color image based on the light source position specified by the user through processing for correcting the color image (to be described later). The writing processing unit 304 outputs corrected image data representing the corrected color image to the image display control unit 305 .

<컬러 화상을 보정하는 처리(단계 S807, S808, 및 S809)><Process for Correcting Color Image (Steps S807, S808, and S809)>

단계들 S807, S808 및 S809에서의 컬러 화상을 보정하기 위한 처리가 설명될 것이다. 라이팅 처리 유닛(304)은 컬러 화상에 적용될 라이팅 효과에 기초한 보정에 사용될 파라미터들을 스위칭한다. 따라서, 동일한 처리 절차를 통해, 원하는 방향으로 광이 조사되는 것처럼 피사체를 그늘지게 함으로써 3차원 외관을 강조하기 위한 라이팅 효과 및 배경을 어둡게 하여 전경의 피사체에 스포트라이트되는 것처럼 강조하는 라이팅 효과가 피사체에 적용될 수 있다. 이제, 특정 처리 절차의 예가 설명될 것이다. 처음에, 라이팅 처리 유닛(304)은 수학식 (4)에 따라 컬러 화상의 배경의 밝기를 보정한다:The processing for correcting the color image in steps S807, S808 and S809 will be explained. A lighting processing unit 304 switches parameters to be used for correction based on a lighting effect to be applied to a color image. Therefore, through the same processing procedure, a lighting effect for emphasizing the three-dimensional appearance by shading the subject as if light is being irradiated in a desired direction and a lighting effect emphasizing the foreground subject as if it were spotlighted by darkening the background can be applied to the subject. can An example of a specific processing procedure will now be described. First, the lighting processing unit 304 corrects the brightness of the background of the color image according to Equation (4):

여기서, I는 컬러 화상의 화소 값이고, I'는 배경의 밝기가 보정된 컬러 화상의 화소 값이다.Here, I is a pixel value of a color image, and I' is a pixel value of a color image whose background brightness is corrected.

β는 배경의 어두움을 조정하기 위한 파라미터이다. D는 거리 화상의 화소 값(거리 값) d에 기초한 함수이다. 거리 값 d가 클수록, 함수 D의 값이 작다. D는 0 에서 1까지의 값들을 취한다. 구체적으로, D는 전경을 나타내는 거리 값들에 대해 더 큰 값들을 취하고, 배경을 나타내는 거리 값들에 대해 더 작은 값들을 취한다. β는 0 내지 1의 값으로 설정된다. 파라미터 β가 1에 가까울수록, 컬러 화상의 배경은 더 어둡게 보정된다. 수학식 (4)에 따라 컬러 화상을 보정함으로써, 거리 값 d가 크고 D가 1 미만인 화소들만이 파라미터 β에 기초하여 어둡게 될 수 있다.β is a parameter for adjusting the darkness of the background. D is a function based on pixel values (distance values) d of the distance image. The larger the distance value d, the smaller the value of function D. D takes values from 0 to 1. Specifically, D takes larger values for distance values representing the foreground and smaller values for distance values representing the background. β is set to a value of 0 to 1. The closer the parameter β is to 1, the darker the background of the color image is corrected. By correcting the color image according to Equation (4), only pixels with a large distance value d and D less than 1 can be made dark based on the parameter β.

다음으로, 라이팅 처리 유닛(304)은 수학식 (5)에 따라 밝기 보정된 배경을 갖는 컬러 화상에 대해 거리 화상 데이터 및 법선 화상 데이터에 기초하여 음영들을 추가한다:Next, the lighting processing unit 304 adds shading based on the distance image data and the normal image data to the color image with the brightness-corrected background according to Equation (5):

여기서, I"는 음영 컬러 화상의 화소 값이다.Here, I" is a pixel value of a shadow color image.

α는 가상 광원의 밝기를 조정하기 위한 파라미터이다. L은 피사체로부터 가상 광원으로의 방향을 표시하는 광원 벡터이다. H는 법선 화상의 화소 값(법선 벡터) n과 광원 벡터 L에 기초한 함수이다. 법선 벡터 n과 광원 벡터 L 사이에 형성된 각도가 작을수록, 함수 H의 값이 크다. H는 0에서 1까지의 값들을 취한다. 예를 들어, H는 수학식 (6)에 의해 주어질 수 있다:α is a parameter for adjusting the brightness of the virtual light source. L is a light source vector indicating a direction from the subject to the virtual light source. H is a function based on the pixel value (normal vector) n of the normal image and the light source vector L. The smaller the angle formed between the normal vector n and the light source vector L, the larger the value of the function H. H takes values from 0 to 1. For example, H can be given by Equation (6):

단계들 S807, S808 및 S809에서, 전술한 파라미터들은 선택된 라이팅 효과에 기초하여 변경된다.In steps S807, S808 and S809, the aforementioned parameters are changed based on the selected lighting effect.

단계 S807에서, 라이팅 처리 유닛(304)은 얼굴 거리 화상의 거리 값들에 기초하여 D를 설정한다. 이것은 얼굴 영역의 강조를 가능하게 한다. 단계 S808에서, 라이팅 처리 유닛(304)은 거리 화상의 거리 값들에 기초하여 D를 설정한다. 라이팅 처리 유닛(304)은 또한 β를 1보다 작은 값으로 설정한다. 이러한 방식으로, 배경은 전경 상의 피사체를 강조하기 위해 어둡게 될 수 있다. 단계 S809에서, 라이팅 처리 유닛(304)은 거리 화상의 거리 값들에 기초하여 D를 설정한다. 라이팅 처리 유닛(304)은 또한 사용자 동작들에 기초하여 광원 벡터 L을 포함하는 파라미터들을 설정한다. 예를 들어, 광원 벡터 L은 사용자 동작들에 기초하여 피사체에 대해 설정된 수직 및 수평 회전 각도들에 기초하여 3차원 벡터를 계산함으로써 획득된다. 따라서, 사용자에 의해 지정된 광원 위치에 기초한 라이팅 효과가 컬러 화상에 적용될 수 있다.In step S807, the writing processing unit 304 sets D based on the distance values of the face distance image. This enables highlighting of the face area. In step S808, the writing processing unit 304 sets D based on the distance values of the distance image. The writing processing unit 304 also sets β to a value smaller than 1. In this way, the background can be darkened to emphasize the subject in the foreground. In step S809, the writing processing unit 304 sets D based on the distance values of the distance image. The lighting processing unit 304 also sets parameters including the light source vector L based on user actions. For example, the light source vector L is obtained by calculating a 3D vector based on vertical and horizontal rotation angles set for a subject based on user motions. Accordingly, a lighting effect based on a light source position specified by a user can be applied to a color image.

<라이팅 효과들을 표시하기 위한 처리(단계 S406)><Process for Displaying Lighting Effects (Step S406)>

단계 S406에서 라이팅 효과에 대한 후보들을 표시하기 위한 처리가 설명될 것이다. 도 10은 본 예시적인 실시예에 따른 라이팅 효과들("off", "얼굴 강조", "피사체 강조", 및 "광원 위치 지정")에 대응하는 아이콘의 예들을 도시한다. 라이팅 효과 표시 제어 유닛(306)은 라이팅 효과 리스트에 포함된 라이팅 효과들의 그룹에 기초하여 각자의 라이팅 효과들에 대응하는 아이콘들을 표시한다. 도 11a, 도 11b, 및 도 11c는 라이팅 효과들의 표시 예들을 도시한다. 라이팅 효과 표시 제어 유닛(306)은 적용가능한 라이팅 효과들에 대응하는 아이콘들을 표시한다. 거리 정밀도가 "로우"인 경우, 라이팅 효과 표시 제어 유닛(306)은 도 11a에 도시된 바와 같이 "off" 및 "얼굴 강조"에 대응하는 아이콘들을 표시한다. 거리 정밀도가 "중간"인 경우, 라이팅 효과 표시 제어 유닛(306)은 도 11b에 도시된 바와 같이, "off", "얼굴 강조", 및 "피사체 강조"에 대응하는 아이콘들을 표시한다. 거리 정밀도가 "하이"인 경우, 라이팅 효과 표시 제어 유닛(306)은 도 11c에 도시된 바와 같이, "off", "얼굴 강조", "피사체 강조", 및 "광원 위치 지정"에 대응하는 아이콘들을 표시한다. 선택된 라이팅 효과의 아이콘은 다른 미선택된 라이팅 효과들의 아이콘들로부터 구별을 위해 프레임 또는 상이한 컬러로 표시된다.Processing for displaying candidates for lighting effects in step S406 will be described. 10 shows examples of icons corresponding to lighting effects ("off", "face emphasis", "subject emphasis", and "light source positioning") according to the present exemplary embodiment. The lighting effect display control unit 306 displays icons corresponding to respective lighting effects based on the groups of lighting effects included in the lighting effect list. 11A, 11B, and 11C show display examples of lighting effects. The lighting effect display control unit 306 displays icons corresponding to applicable lighting effects. When the distance precision is "low", the lighting effect display control unit 306 displays icons corresponding to "off" and "face emphasis" as shown in Fig. 11A. When the distance precision is "Medium", the lighting effect display control unit 306 displays icons corresponding to "off", "Face Emphasis", and "Subject Emphasis", as shown in Fig. 11B. When the distance accuracy is "high", the lighting effect display control unit 306 displays icons corresponding to "off", "face emphasis", "subject emphasis", and "light source positioning", as shown in Fig. 11C. indicate them The icon of the selected lighting effect is displayed in a frame or a different color to distinguish it from icons of other non-selected lighting effects.

도 11a, 도 11b, 및 도 11c는 라이팅 효과 "off"가 선택되는 경우들의 예들을 도시한다. 도 12a, 도 12b, 및 도 12c는 상이한 라이팅 효과가 선택되는 경우들의 예들을 도시한다. 도 12a는 "얼굴 강조"가 선택되는 경우의 표시 화상의 예를 도시한다. 이러한 경우에, 얼굴 영역이 강조되는 보정된 화상이 표시된다. 도 12b는 "피사체 강조"가 선택되는 경우의 표시 화상의 예를 도시한다. 이러한 경우에, 배경이 어둡게 되어 피사체를 강조하는 보정된 화상이 표시된다. 도 12c는 "광원 위치 지정"이 선택되는 경우의 표시 화상의 예를 도시한다. 이러한 경우, 사용자에 의해 지정된 라이팅 파라미터들에 기초한 보정된 화상이 표시된다. 라이팅 파라미터들을 조정하기 위한 슬라이더들이 또한 중첩된 방식으로 보정된 화상 상에 표시된다. 본 예시적인 실시예에서, 가상 광원의 위치를 조정하기 위한 슬라이더 및 가상 광원의 밝기를 조정하기 위한 슬라이더가 표시된다. 여기서 표시된 슬라이더들은 사용자의 터치 동작들이 검출됨으로써 이동된다.11A, 11B, and 11C show examples of cases where the lighting effect "off" is selected. 12A, 12B, and 12C show examples of cases where different lighting effects are selected. Fig. 12A shows an example of a display image when "Face Emphasis" is selected. In this case, a corrected image in which the face region is emphasized is displayed. Fig. 12B shows an example of a display image when "emphasize subject" is selected. In this case, a corrected image in which the background is darkened and the subject is emphasized is displayed. Fig. 12C shows an example of a displayed image when "light source position designation" is selected. In this case, a corrected image based on lighting parameters designated by the user is displayed. Sliders for adjusting the lighting parameters are also displayed on the corrected image in an overlapping manner. In this exemplary embodiment, a slider for adjusting the position of the virtual light source and a slider for adjusting the brightness of the virtual light source are displayed. The sliders displayed here are moved as the user's touch operations are detected.

<제1 예시적인 실시예의 효과들><Effects of the first exemplary embodiment>

전술한 바와 같이, 본 예시적인 실시예에 따른 정보 처리 장치(1)는 화상을 나타내는 화상 데이터와 화상 데이터에 대응하는 거리 정보를 획득한다. 정보 처리 장치(1)는 거리 정보의 정밀도에 기초하여, 화상에 거리 정보에 기초하여 라이팅 효과를 적용할 때에 화상에 적용할 수 있는 라이팅 효과에 대한 후보들을 결정한다. 따라서, 정보 처리 장치(1)는 피사체에 관한 거리 정보에 기초하여 화상에 라이팅 효과를 적용하기 위한 라이팅 효과에 대한 적절한 후보들을 결정할 수 있다. 라이팅 효과에 대한 결정된 후보들을 사용자에게 제시하는 것은 사용자에 의해 의도되지 않은 라이팅 효과들이 사용자에 의해 의도된 라이팅 효과와 거리 정보의 정밀도에 기초하여 적용가능한 라이팅 효과들 사이의 불일치 때문에 화상에 적용되는 것을 방지할 수 있다.As described above, the information processing apparatus 1 according to this exemplary embodiment acquires image data representing an image and distance information corresponding to the image data. Based on the precision of the distance information, the information processing device 1 determines candidates for a lighting effect that can be applied to an image when applying a lighting effect to an image based on the distance information. Accordingly, the information processing device 1 can determine appropriate candidates for a lighting effect for applying the lighting effect to an image based on the distance information about the subject. Presenting the determined candidates for the lighting effect to the user prevents lighting effects not intended by the user from being applied to the image due to a discrepancy between the lighting effect intended by the user and the applicable lighting effects based on the precision of the distance information. It can be prevented.

<변형들><transformations>

본 예시적인 실시예에서, 단계 S502에서, 얼굴 영역(601) 배경을 나타내는 거리 값을 갖는 미리 결정된 수 이상의 화소를 포함하는 경우, 거리 정밀도가 로우라고 결정된다. 그러나, 거리 정밀도는 또한 컬러 화상 데이터에 대응하는 거리 화상 데이터가 없다면 로우인 것으로 결정될 수 있다.In this exemplary embodiment, in step S502, it is determined that the distance precision is low if the face area 601 includes more than a predetermined number of pixels with distance values representing the background. However, the distance precision can also be determined to be low if there is no distance image data corresponding to the color image data.

본 예시적인 실시예에 따른 정보 처리 장치(1)에서, 화상 표시 제어 유닛(305)은 화상 디스플레이를 제어하고, 라이팅 효과 표시 제어 유닛(306)은 유효 라이팅 효과들의 표시를 제어한다. 그러나, 정보 처리 장치(1)는 단일의 표시 제어 유닛을 포함할 수 있다. 이러한 경우에, 정보 처리 장치(1)에 포함되는 단일 표시 제어 유닛은 유효 라이팅 효과들의 표시 및 화상 표시를 모두 제어한다.In the information processing apparatus 1 according to this exemplary embodiment, the image display control unit 305 controls image display, and the lighting effect display control unit 306 controls the display of effective lighting effects. However, the information processing device 1 may include a single display control unit. In this case, a single display control unit included in the information processing device 1 controls both the display of effective lighting effects and the image display.

본 예시적인 실시예에서, 유효 라이팅 효과들은 사용자 프리젠테이션을 위해 입출력 유닛(309) 상에 표시된다. 그러나, 유효 라이팅 효과들을 제시하기 위한 방법은 전술한 예에 제한되지 않는다. 예를 들어, 유효 라이팅 효과들은 사운드를 사용하여 사용자에게 제시될 수 있다. 이러한 경우에, 도 10에 도시된 4개의 아이콘이 입출력 유닛(309) 상에 표시된다. 아이콘 상의 터치가 검출되고 터치된 아이콘이 라이팅 효과 리스트에 포함된 유효 라이팅 효과를 나타내지 않으면 경고 사운드가 출력될 수 있다.In this exemplary embodiment, the effective lighting effects are displayed on the input/output unit 309 for user presentation. However, the method for presenting effective lighting effects is not limited to the above example. For example, effective lighting effects can be presented to the user using sound. In this case, the four icons shown in Fig. 10 are displayed on the input/output unit 309. A warning sound may be output when a touch on an icon is detected and the touched icon does not exhibit an effective lighting effect included in the lighting effect list.

본 예시적인 실시예에서는, 라이팅 효과 리스트를 결정하기 위한 처리에서, 거리 정밀도가 3개의 레벨로 설정된다. 그러나, 거리 정밀도는 2개의 레벨 또는 4개 이상의 레벨로 설정될 수 있다.In this exemplary embodiment, in the processing for determining the lighting effect list, the distance accuracy is set to three levels. However, the distance precision can be set to 2 levels or 4 or more levels.

본 예시적인 실시예에서, 거리 정밀도는 얼굴 영역에서의 거리 값에 기초하여 결정된다. 그러나, 거리 정밀도는 얼굴 영역 이외의 거리 값에 기초하여 결정될 수 있다. 예를 들어, 거리 정밀도는 별도로 추출된 개인 영역에서의 거리 값들에 기초하여, 또는 얼굴 영역 아래의 영역에서의 거리 값들뿐만 아니라 얼굴 영역에서의 거리 값들에 기초하여 결정될 수 있다. 거리 정밀도를 결정하는데 사용되는 영역은 입출력 유닛(309)을 통해 사용자에 의해 지정될 수 있다.In this exemplary embodiment, the distance precision is determined based on the distance value in the face region. However, distance precision may be determined based on distance values other than the face area. For example, the distance precision may be determined based on distance values in the separately extracted personal region, or based on distance values in the face region as well as distance values in the region below the face region. The area used to determine the distance accuracy may be specified by the user through the input/output unit 309.

본 개시내용의 제2 예시적인 실시예가 이하에서 설명될 것이다. 제1 예시적인 실시예에서, 거리 정밀도는 거리 화상 데이터에 기초하여 설정된다. 본 예시적인 실시예에서는, 화상 데이터에 부착된 촬상 디바이스 정보에 기초하여 태그 정보로서 거리 정밀도가 설정된다. 도 1b는 본 예시적인 실시예에 따른 정보 처리 장치(1) 의 하드웨어 구성을 도시한다. 구체적으로, 본 예시적인 실시예에서, 정보 처리 장치(1)는 내장된 촬상 유닛을 포함하지 않고, 외부로부터 화상 데이터를 획득한다. 정보 처리 장치(1)는 제1 예시적인 실시예와 유사한 논리 구성을 갖는다. 따라서, 그에 대한 설명은 생략될 것이다. 본 예시적인 실시예와 제1 예시적인 실시예 사이의 차이점들에 대해서는 주로 이하에서 설명될 것이다. 이하의 설명에서, 제1 예시적인 실시예와 유사한 컴포넌트들은 동일한 참조 번호들로 지정된다.A second exemplary embodiment of the present disclosure will be described below. In the first exemplary embodiment, distance accuracy is set based on distance image data. In this exemplary embodiment, distance accuracy is set as tag information based on imaging device information attached to image data. Fig. 1B shows the hardware configuration of the information processing apparatus 1 according to this exemplary embodiment. Specifically, in this exemplary embodiment, the information processing device 1 does not include a built-in imaging unit, and acquires image data from the outside. The information processing device 1 has a logic configuration similar to that of the first exemplary embodiment. Therefore, a description thereof will be omitted. Differences between the present exemplary embodiment and the first exemplary embodiment will be mainly described below. In the following description, components similar to those of the first exemplary embodiment are designated with the same reference numerals.

본 예시적인 실시예는 단계 S402에서의 라이팅 효과 리스트를 결정하기 위한 처리에서 제1 예시적인 실시예와 상이하다. 본 예시적인 실시예에 따른 라이팅 효과 리스트 결정 유닛(302)은 화상 데이터에 부착된 촬상 디바이스 정보에 기초하여 거리 정밀도를 결정한다. 촬상 디바이스 정보는 촬상 디바이스 명칭, 촬상 디바이스가 거리 정보를 획득할 수 있는지에 관한 정보, 및 거리 정보를 획득하기 위한 방법을 포함한다. 거리 정보를 획득하기 위해 피사체 상에 광을 투영하는 촬상 디바이스들은 다른 촬상 디바이스들에 비해, 가장 높은 정밀도로 거리 정보를 획득할 수 있다. 다른 방법들에 의해 거리 정보를 획득하는 촬상 디바이스들은 다음으로 가장 높은 정밀도에서 거리 정보를 획득할 수 있다. 거리 정보를 획득할 수 없는 촬상 디바이스들은 거리 정보의 가장 낮은 정밀도를 갖는다. 라이팅 효과 리스트를 결정하기 위한 처리의 세부 사항들이 이제 설명될 것이다.This exemplary embodiment differs from the first exemplary embodiment in the processing for determining the lighting effect list in step S402. The lighting effect list determination unit 302 according to this exemplary embodiment determines the distance precision based on the imaging device information attached to the image data. The imaging device information includes an imaging device name, information about whether the imaging device can obtain distance information, and a method for acquiring distance information. Compared to other imaging devices, imaging devices that project light onto a subject to obtain distance information can acquire distance information with the highest precision. Imaging devices that obtain distance information by other methods can acquire distance information at the next highest precision. Imaging devices that cannot acquire distance information have the lowest precision of distance information. Details of the processing for determining the lighting effect list will now be described.

도 13은 라이팅 효과 리스트를 결정하기 위한 처리를 도시하는 흐름도이다. 단계 S1301에서, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상 데이터에 부착된 태그 정보로부터 촬상 디바이스 정보를 획득한다. 촬상 디바이스 정보는 컬러 화상 데이터 및 거리 화상 데이터를 생성하는데 사용되는 촬상 디바이스(117)를 식별하기 위한 정보이다. 단계 S1302에서, 라이팅 효과 리스트 결정 유닛(302)은 촬상 디바이스(117)가 촬상 디바이스 정보에 기초하여 거리 정보를 획득할 수 있는지를 결정한다. 촬상 디바이스(117)가 거리 정보를 획득할 수 있는 경우(단계 S1302에서 예), 처리는 단계 S1304로 진행한다. 촬상 디바이스(117)가 거리 정보를 획득할 수 없는 경우(단계 S1302에서 아니오), 처리는 단계 S1303으로 진행한다.Fig. 13 is a flowchart showing processing for determining a lighting effect list. In step S1301, the lighting effect list determination unit 302 obtains imaging device information from tag information attached to the color image data. The imaging device information is information for identifying the imaging device 117 used to generate color image data and distance image data. In step S1302, the lighting effect list determining unit 302 determines whether the imaging device 117 can obtain distance information based on the imaging device information. If the imaging device 117 can acquire the distance information (YES in step S1302), the process proceeds to step S1304. If the imaging device 117 cannot acquire distance information (NO in step S1302), the process proceeds to step S1303.

단계 S1303에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "로우"로 설정한다. 단계 S1304에서, 라이팅 효과 리스트 결정 유닛(302)은 촬상 디바이스(117)가 거리 정보를 획득하기 위해 피사체 상에 광을 투영할지를 결정한다. 촬상 디바이스(117)가 피사체 상에 광을 투영하지 않는 경우(단계 S1304에서 아니오), 처리는 단계 S1305로 진행한다. 촬상 디바이스(117)가 피사체 상에 광을 투영하는 경우(단계 S1304에서 예), 처리는 단계 S1306으로 진행한다. 거리 정보를 획득하기 위해 피사체 상에 광을 투영하는 촬상 디바이스의 예들은 피사체 상에 투영되는 특정 패턴의 화상을 캡처하고, 패턴의 변화량에 기초하여 거리를 측정하는 카메라, 및 피사체 상에 투영되는 광의 비행 시간에 기초하여 거리를 측정하는 카메라를 포함한다. 거리 정보를 획득하기 위해 피사체 상에 광을 투사하지 않는 촬상 디바이스의 예들은 시차에 기초하여 거리 정보를 획득하는 카메라를 포함한다.In step S1303, the lighting effect list determination unit 302 sets the distance precision to "low". In step S1304, the lighting effect list determining unit 302 determines whether the imaging device 117 projects light onto the subject to obtain distance information. If the imaging device 117 does not project light onto the subject (NO in step S1304), the process proceeds to step S1305. If the imaging device 117 projects light onto the subject (YES in step S1304), the process proceeds to step S1306. Examples of an imaging device that projects light onto an object to obtain distance information include a camera that captures an image of a specific pattern projected onto the object and measures the distance based on the amount of change in the pattern, and the amount of light projected onto the object. It includes a camera that measures distance based on time-of-flight. Examples of an imaging device that does not project light onto a subject to obtain distance information include a camera that obtains distance information based on parallax.

단계 S1305에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "중간"으로 설정한다. 단계 S1306에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "하이"로 설정한다. 단계 S1307에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도에 기초하여 라이팅 효과 리스트에 포함될 라이팅 효과들을 결정한다. 단계 S1307의 처리는 제1 예시적인 실시예에 따른 단계 S507의 처리와 유사하다. 따라서, 그에 대한 설명은 생략될 것이다.In step S1305, the lighting effect list determination unit 302 sets the distance precision to "Medium". In step S1306, the lighting effect list determining unit 302 sets the distance precision to "high". In step S1307, the lighting effect list determining unit 302 determines lighting effects to be included in the lighting effect list based on the distance accuracy. The processing of step S1307 is similar to that of step S507 according to the first exemplary embodiment. Therefore, a description thereof will be omitted.

<제2 예시적인 실시예의 효과><Effect of the second exemplary embodiment>

전술한 바와 같이, 본 예시적인 실시예에 따른 정보 처리 장치(1)는 화상 데이터에 대응하는 촬상 디바이스(117)가 거리 정보를 획득하는 기능을 가지고 있는지에 기초하여 거리 정보의 정밀도를 결정한다. 따라서, 정보 처리 장치(1)는 피사체에 관한 거리 정보에 기초하여 라이팅 효과를 화상에 적용하기 위한 라이팅 효과에 대한 적절한 후보들로 결정할 수 있다.As described above, the information processing apparatus 1 according to this exemplary embodiment determines the precision of the distance information based on whether the imaging device 117 corresponding to the image data has a function of acquiring the distance information. Accordingly, the information processing device 1 can determine suitable candidates for a lighting effect for applying the lighting effect to an image based on the distance information about the subject.

<변형들><transformations>

본 예시적인 실시예에서, 촬상 디바이스(117)가 피사체 상에 광을 투여하는지에 기초하여 거리 정밀도가 결정된다. 그러나, 거리 정밀도는 화상을 캡처하기 위해 복수의 카메라가 사용되는지에 기초하여 결정될 수 있다. 이러한 경우에, 단일 카메라가 화상을 캡처하는데 사용되는 경우보다, 복수의 카메라가 화상을 캡처하는데 사용되는 경우에 더 높은 거리 정밀도가 설정된다. 도 28은 라이팅 효과 리스트를 결정하기 위한 처리를 도시하는 흐름도이다. 도 13과의 차이점은 단계 S2804에 있다. 단계 S2801 내지 단계 S2803 및 단계 S2805 내지 단계 S2807은 각각 도 13의 단계 S1301 내지 단계 S1303 및 단계 S1305 내지 단계 S1307과 유사하므로, 설명하지 않는다. 단계 S2804에서, 라이팅 효과 리스트 결정 유닛(302)은 촬상 디바이스(117)가 피사체의 화상을 캡처하기 위해 복수의 카메라를 사용하는지를 결정한다. 단일 카메라가 화상을 캡처하는데 사용되는 경우(단계 S2804에서 아니오), 처리는 단계 S2805로 진행한다. 복수의 카메라가 화상을 캡처하는데 사용되는 경우(단계 S2804에서 예), 처리는 단계 S2806으로 진행한다. 단일 카메라가 화상을 캡처하는데 사용되는 경우, 거리 정보는 렌즈 블러(lens blur)의 크기에 기초한 방법 및 캡처된 화상에서의 피사체의 인식 결과에 기초한 방법과 같은 공지된 방법들에 의해 획득될 수 있다. 화상을 캡처하기 위해 복수의 카메라가 사용되는 경우, 블러의 크기 및 피사체의 인식 결과에 더하여, 상이한 카메라 위치들로 인한 시차 정보에 기초하여 거리 정보가 획득될 수 있다. 따라서, 복수의 카메라를 사용하여 화상을 캡처하는 것은 단일 카메라를 사용하는 것보다 더 정확한 거리 정보의 취득을 가능하게 한다.In this exemplary embodiment, the distance accuracy is determined based on whether the imaging device 117 is projecting light onto the subject. However, distance precision may be determined based on whether multiple cameras are used to capture images. In this case, a higher distance precision is set when a plurality of cameras are used to capture images than when a single camera is used to capture images. Fig. 28 is a flowchart showing processing for determining a lighting effect list. The difference from FIG. 13 lies in step S2804. Steps S2801 to S2803 and steps S2805 to S2807 are similar to steps S1301 to S1303 and steps S1305 to S1307 in FIG. 13, respectively, and will not be described. In step S2804, the lighting effect list determining unit 302 determines whether the imaging device 117 uses a plurality of cameras to capture an image of a subject. If a single camera is used to capture an image (NO in step S2804), processing proceeds to step S2805. If a plurality of cameras are used to capture images (YES in step S2804), processing proceeds to step S2806. When a single camera is used to capture an image, distance information can be obtained by known methods, such as a method based on the magnitude of lens blur and a method based on a recognition result of a subject in a captured image. . When a plurality of cameras are used to capture an image, distance information can be obtained based on parallax information due to different camera positions, in addition to the magnitude of blur and the recognition result of the subject. Accordingly, capturing images using a plurality of cameras enables acquisition of more accurate distance information than using a single camera.

본 예시적인 실시예에서는, 거리 정보가 획득될 수 있는지의 여부와 거리 정보를 획득하기 위한 방법에 기초하여 거리 정밀도를 설정한다. 그러나, 촬상 디바이스 명칭에 기초하여 거리 정밀도가 설정될 수 있다. 이러한 경우에, 촬상 디바이스 명칭과 거리 정밀도 간의 대응 관계를 저장하는 테이블이 미리 준비된다. 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상 데이터에 대응하는 촬상 디바이스 명칭과 미리 준비된 테이블에 기초하여 거리 정밀도를 설정할 수 있다.In this exemplary embodiment, distance precision is set based on whether distance information can be obtained and a method for obtaining distance information. However, the distance precision can be set based on the imaging device name. In this case, a table is prepared in advance to store the correspondence between imaging device names and distance accuracy. The lighting effect list determination unit 302 can set the distance accuracy based on the imaging device name corresponding to the color image data and a table prepared in advance.

본 예시적인 실시예에서는, 정보 처리 장치(1)가 도 1b에 도시된 하드웨어 구성을 갖는 것으로 설명되어 있다. 그러나, 본 예시적인 실시예는 정보 처리 장치(1)가 도 1a에 도시된 하드웨어 구성을 갖는 경우에도 적용될 수 있다. 특히, 일부 정보 처리 장치(1)는 촬상 유닛(106)을 사용하여 복수의 계산 방법을 사용하여 복수의 상이한 거리 정보를 획득할 수 있다. 이러한 경우에, 거리 정보를 획득하는 방법이 태그 정보로서 화상 데이터에 저장되어, 라이팅 효과 리스트 결정 유닛(302)은 본 예시적인 실시예에서 설명된 바와 같이 라이팅 효과 리스트를 결정할 수 있다.In this exemplary embodiment, the information processing apparatus 1 is described as having the hardware configuration shown in FIG. 1B. However, this exemplary embodiment can also be applied when the information processing apparatus 1 has the hardware configuration shown in FIG. 1A. In particular, some information processing devices 1 may use the imaging unit 106 to obtain a plurality of different distance information using a plurality of calculation methods. In this case, the method of acquiring distance information is stored in the image data as tag information, so that the lighting effect list determining unit 302 can determine the lighting effect list as described in this exemplary embodiment.

본 개시내용의 제3 예시적인 실시예가 후술될 것이다. 제1 예시적인 실시예에서, 거리 정밀도는 거리 화상 데이터에 기초하여 설정된다. 본 예시적인 실시예에서, 촬상 유닛(106)으로부터 촬상 동안의 포커싱된 피사체의 위치까지의 거리(이하, 피사체 거리라고 칭함)에 기초하여 거리 정밀도가 설정된다. 본 예시적인 실시예에 따른 정보 처리 장치(1)는 제1 예시적인 실시예와 유사한 하드웨어 구성 및 논리 구성을 갖는다. 따라서, 그에 대한 설명은 생략될 것이다. 본 예시적인 실시예와 제1 예시적인 실시예 사이의 차이점들에 대해서는 주로 이하에서 설명될 것이다. 이하의 설명에서, 제1 예시적인 실시예와 유사한 컴포넌트들은 동일한 참조 번호들로 지정된다.A third exemplary embodiment of the present disclosure will be described below. In the first exemplary embodiment, distance accuracy is set based on distance image data. In this exemplary embodiment, the distance precision is set based on the distance from the imaging unit 106 to the position of the focused object during imaging (hereinafter referred to as object distance). The information processing apparatus 1 according to this exemplary embodiment has a similar hardware configuration and logical configuration to that of the first exemplary embodiment. Therefore, a description thereof will be omitted. Differences between the present exemplary embodiment and the first exemplary embodiment will be mainly described below. In the following description, components similar to those of the first exemplary embodiment are designated with the same reference numerals.

본 예시적인 실시예는 단계 S402에서의 라이팅 효과 리스트를 결정하기 위한 처리에서 제1 예시적인 실시예와 다르다. 본 예시적인 실시예에 따른 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상 데이터에 대응하는 피사체 거리 정보에 기초하여 거리 정밀도를 결정한다. 피사체 거리 정보는 촬상 유닛(106)으로부터 촬상 동안의 포커싱된 피사체의 위치까지의 거리 값(피사체 거리)을 표시한다. 피사체 거리가 작을수록, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도가 더 높다고 결정한다. 구체적으로, 라이팅 효과 리스트 결정 유닛(302)은 피사체 거리를 미리 결정된 값 L1 및 L2 (L1>L2)와 비교함으로써 거리 정밀도를 결정한다. 라이팅 효과 리스트를 결정하기 위한 처리의 세부 사항들이 이하에서 설명될 것이다.This exemplary embodiment differs from the first exemplary embodiment in the processing for determining the lighting effect list in step S402. The lighting effect list determination unit 302 according to this exemplary embodiment determines the distance accuracy based on object distance information corresponding to the color image data. The subject distance information indicates a distance value (subject distance) from the imaging unit 106 to a position of a focused subject during imaging. The smaller the object distance, the lighting effect list determination unit 302 determines that the distance accuracy is higher. Specifically, the lighting effect list determination unit 302 determines the distance precision by comparing the object distance with predetermined values L1 and L2 (L1>L2). Details of the processing for determining the lighting effect list will be described below.

도 14는 라이팅 효과 리스트를 결정하기 위한 처리를 도시하는 흐름도이다. 단계 S1401에서, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상 데이터에 부착된 태그 정보로부터 피사체 거리 정보를 획득한다. 단계 S1402에서, 라이팅 효과 리스트 결정 유닛(302)은 피사체 거리가 L1 이상인지를 결정한다. 라이팅 효과 리스트 결정 유닛(302)이 피사체 거리가 L1 이상인 것으로 결정하면(단계 S1402에서 예), 처리는 단계 S1403으로 진행한다. 라이팅 효과 리스트 결정 유닛(302)이 피사체 거리가 L1보다 작다고 결정하면(단계 S1402에서 아니오), 처리는 단계 S1404로 진행한다. 단계 S1403에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "로우"로 설정한다.Fig. 14 is a flowchart showing processing for determining a lighting effect list. In step S1401, the lighting effect list determining unit 302 obtains object distance information from tag information attached to the color image data. In step S1402, the lighting effect list determination unit 302 determines whether the object distance is greater than or equal to L1. If the lighting effect list determining unit 302 determines that the object distance is greater than or equal to L1 (YES in step S1402), the processing proceeds to step S1403. If the lighting effect list determination unit 302 determines that the object distance is smaller than L1 (NO in step S1402), the processing proceeds to step S1404. In step S1403, the lighting effect list determination unit 302 sets the distance precision to "low".

단계 S1404에서, 라이팅 효과 리스트 결정 유닛(302)은 피사체 거리가 L2 이상인지를 결정한다. 라이팅 효과 리스트 결정 유닛(302)이 피사체 거리가 L2 이상인 것으로 결정하면(단계 S1404에서 예), 처리는 단계 S1405로 진행한다. 라이팅 효과 리스트 결정 유닛(302)이 피사체 거리가 L2보다 작은 것으로 결정하면(단계 S1404에서 아니오), 처리는 단계 S1406으로 진행한다. 단계 S1405에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "중간"으로 설정한다. 단계 S1406에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "하이"로 결정한다. 단계 S1407에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도에 기초하여 라이팅 효과 리스트에 포함될 라이팅 효과들을 결정한다. 단계 S1407의 처리는 제1 예시적인 실시예에 따른 단계 S507의 처리와 유사하다. 따라서, 그에 대한 설명은 생략될 것이다.In step S1404, the lighting effect list determination unit 302 determines whether the object distance is equal to or greater than L2. If the lighting effect list determining unit 302 determines that the object distance is equal to or greater than L2 (YES in step S1404), the processing proceeds to step S1405. If the lighting effect list determination unit 302 determines that the object distance is smaller than L2 (NO in step S1404), the processing proceeds to step S1406. In step S1405, the lighting effect list determination unit 302 sets the distance precision to "Medium". In step S1406, the lighting effect list determining unit 302 determines the distance precision to be "high". In step S1407, the lighting effect list determining unit 302 determines lighting effects to be included in the lighting effect list based on the distance accuracy. The processing of step S1407 is similar to that of step S507 according to the first exemplary embodiment. Therefore, a description thereof will be omitted.

<제3 예시적인 실시예의 효과><Effects of the third exemplary embodiment>

전술한 바와 같이, 본 예시적인 실시예에 따른 정보 처리 장치(1)는 화상 데이터에 대응하는 피사체 거리 정보에 기초하여 거리 정보의 정밀도를 결정한다. 따라서, 정보 처리 장치(1)는 피사체에 관한 거리 정보에 기초하여 화상에 라이팅 효과를 적용하기 위한 라이팅 효과에 대한 적절한 후보들을 결정할 수 있다.As described above, the information processing device 1 according to this exemplary embodiment determines the precision of the distance information based on the object distance information corresponding to the image data. Accordingly, the information processing device 1 can determine appropriate candidates for a lighting effect for applying the lighting effect to an image based on the distance information about the subject.

본 개시내용의 제4 예시적인 실시예가 후술될 것이다. 제1 예시적인 실시예에서, 거리 정밀도는 거리 화상 데이터에 기초하여 설정된다. 본 예시적인 실시예에서, 거리 정밀도는 캡처된 장면에 기초하여 설정된다. 본 예시적인 실시예에 따른 정보 처리 장치(1)는 제1 예시적인 실시예와 유사한 하드웨어 구성 및 논리 구성을 갖는다. 따라서, 그에 대한 설명은 생략될 것이다. 본 예시적인 실시예와 제1 예시적인 실시예 사이의 차이점들에 대해서는 주로 이하에서 설명될 것이다. 이하의 설명에서, 제1 예시적인 실시예와 유사한 컴포넌트들은 동일한 참조 번호들로 지정된다.A fourth exemplary embodiment of the present disclosure will be described below. In the first exemplary embodiment, distance accuracy is set based on distance image data. In this exemplary embodiment, the distance precision is set based on the captured scene. The information processing apparatus 1 according to this exemplary embodiment has a similar hardware configuration and logical configuration to that of the first exemplary embodiment. Therefore, a description thereof will be omitted. Differences between the present exemplary embodiment and the first exemplary embodiment will be mainly described below. In the following description, components similar to those of the first exemplary embodiment are designated with the same reference numerals.

본 예시적인 실시예는 단계 S402에서의 라이팅 효과 리스트를 결정하기 위한 처리에서 제1 예시적인 실시예와 상이하다. 본 예시적인 실시예에 따른 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상 데이터를 획득하기 위해 화상을 캡처할 때 캡처된 장면에 기초하여 거리 정밀도를 결정한다. 라이팅 효과 리스트 결정 유닛(302)은 사람의 존재 또는 부재 및 움직임의 존재 또는 부재에 기초하여 캡처된 장면을 결정한다. 본 예시적인 실시예에서는, 라이팅 효과를 적용하는 타겟이 사람이다. 따라서, 사람을 포함하지 않는 장면들은 최저 거리 정밀도가 주어진다. 사람을 포함하는 움직임없는 장면들은 가장 높은 거리 정밀도를 갖는다. 사람을 포함하는 움직임이 있는 장면들은 다음으로 가장 높은 거리 정밀도를 갖는다. 라이팅 효과 리스트를 결정하기 위한 처리의 세부 사항들이 이하에서 설명될 것이다.This exemplary embodiment differs from the first exemplary embodiment in the processing for determining the lighting effect list in step S402. The lighting effect list determination unit 302 according to this exemplary embodiment determines the distance accuracy based on the captured scene when capturing an image to obtain color image data. The lighting effect list determination unit 302 determines the captured scene based on the presence or absence of people and the presence or absence of motion. In this exemplary embodiment, the target to which the lighting effect is applied is a human. Thus, scenes that do not contain people are given the lowest distance precision. Motionless scenes containing people have the highest distance accuracy. Scenes with motion involving people have the next highest distance accuracy. Details of the processing for determining the lighting effect list will be described below.

도 15는 라이팅 효과 리스트를 결정하기 위한 처리를 도시하는 흐름도이다. 단계 S1501에서, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상 데이터에 기초하여 캡처된 장면을 결정한다. 구체적으로, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상이 사람을 포함하는지 및 컬러 화상이 움직임이 있는 장면을 포함하는지를 결정한다. 사람의 존재 또는 부재는 컬러 화상에서 검출된 얼굴 영역들의 수에 기초하여 결정된다. 얼굴 영역들의 수가 하나 이상인 경우, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상이 한 사람 또는 사람들을 포함한다고 결정한다. 얼굴 영역이 검출되지 않는 경우, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상이 어떠한 사람도 포함하지 않는다고 결정한다. 얼굴 영역들은 제1 예시적인 실시예에 따른 단계 S501의 처리에서와 동일한 방법을 사용하여 검출된다. 움직임의 존재 또는 부재는 컬러 화상 내의 피사체에 대응하는 영역 내의 높은 주파수 성분들의 강도에 기초하여 결정된다. 고주파수 성분들의 강도가 미리 결정된 값 이상이면, 라이팅 효과 리스트 결정 유닛(302)은 장면에 움직임이 없다고 결정한다. 고주파수 성분들의 강도가 미리 결정된 값보다 작으면, 라이팅 효과 리스트 결정 유닛(302)은 장면에 움직임이 포함되어 있다고 결정한다. 고주파수 성분들의 강도는 라플라시안 필터와 같은 에지 추출 필터의 적용 후의 컬러 화상에서의 화소 값들의 절대값들의 총합을 지칭한다. 고주파수 성분들의 강도는 종래의 고속 푸리에 변환(FFT)을 컬러 화상에 적용함으로써 도출된 주파수 도메인에서의 파워 스펙트럼일 수 있다. 컬러 화상은 라이팅 효과가 적용되는 타겟 컬러 화상의 캡처 직전에 또는 직후에 캡처될 수 있고, 움직임의 존재 또는 부재는 타겟 컬러 화상과 직전 또는 직후에 캡처된 컬러 화상 사이의 차이의 크기에 기초하여 결정될 수 있다. 이러한 경우에, 라이팅 효과 리스트 결정 유닛(302)은 차이가 미리 결정된 값 이하인 경우 장면에 움직임이 없다고 결정한다. 라이팅 효과 리스트 결정 유닛(302)은 차이가 미리 결정된 값보다 큰 경우, 장면에 움직임이 포함되어 있다고 결정한다.Fig. 15 is a flowchart showing processing for determining a lighting effect list. In step S1501, the lighting effect list determining unit 302 determines a captured scene based on the color image data. Specifically, the lighting effect list determining unit 302 determines whether the color image contains people and whether the color image contains a scene with motion. The presence or absence of a person is determined based on the number of face regions detected in the color image. If the number of face regions is more than one, the lighting effect list determining unit 302 determines that the color image contains one person or people. If no face area is detected, the lighting effect list determining unit 302 determines that the color image does not contain any people. Face regions are detected using the same method as in the processing of step S501 according to the first exemplary embodiment. The presence or absence of motion is determined based on the intensity of high frequency components in a region corresponding to a subject in a color image. If the intensity of the high-frequency components is equal to or greater than a predetermined value, the lighting effect list determination unit 302 determines that there is no motion in the scene. If the intensity of the high-frequency components is less than a predetermined value, the lighting effect list determining unit 302 determines that the scene contains motion. The intensity of high-frequency components refers to the sum of the absolute values of pixel values in a color image after application of an edge extraction filter such as a Laplacian filter. The intensity of the high frequency components can be a power spectrum in the frequency domain derived by applying a conventional Fast Fourier Transform (FFT) to the color image. The color image can be captured immediately before or after the capture of the target color image to which the lighting effect is applied, and the presence or absence of motion can be determined based on the size of the difference between the target color image and the color image captured immediately before or after. can In this case, the lighting effect list determination unit 302 determines that there is no motion in the scene when the difference is less than or equal to a predetermined value. The lighting effect list determination unit 302 determines that the scene contains motion when the difference is greater than a predetermined value.

단계 S1502에서, 라이팅 효과 리스트 결정 유닛(302)은 사람의 존재 또는 부재에 관한 결정 결과를 획득한다. 라이팅 효과 리스트 결정 유닛(302)이 컬러 화상이 사람을 포함하지 않는다고 결정한 경우(단계 S1502에서 아니오), 처리는 단계 S1503으로 진행한다. 라이팅 효과 리스트 결정 유닛(302)이 컬러 화상이 사람을 포함한다고 결정한 경우(단계 S1502에서 예), 처리는 단계 S1504로 진행한다. 단계 S1503에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "로우"로 설정한다. 단계 S1504에서, 라이팅 효과 리스트 결정 유닛(302)은 움직임의 존재 또는 부재에 관한 결정 결과를 획득한다. 라이팅 효과 리스트 결정 유닛(302)이 컬러 화상이 움직임이 있는 장면을 포함한다고 결정하면(단계 S1504에서 예), 처리는 단계 S1505로 진행한다. 라이팅 효과 리스트 결정 유닛(302)이 컬러 화상이 움직임이 있는 장면을 포함하지 않는 것으로 결정하면(단계 S1504에서 아니오), 처리는 단계 S1506으로 진행한다.In step S1502, the lighting effect list determination unit 302 obtains a determination result regarding the presence or absence of a person. If the lighting effect list determination unit 302 determines that the color image does not contain a person (NO in step S1502), the processing proceeds to step S1503. If the lighting effect list determination unit 302 determines that the color image contains a person (YES in step S1502), the processing proceeds to step S1504. In step S1503, the lighting effect list determining unit 302 sets the distance precision to "low". In step S1504, the lighting effect list determination unit 302 obtains a determination result regarding the presence or absence of motion. If the lighting effect list determination unit 302 determines that the color image includes a scene with motion (YES in step S1504), the processing proceeds to step S1505. If the lighting effect list determination unit 302 determines that the color image does not contain a scene with motion (NO in step S1504), the processing proceeds to step S1506.

단계 S1505에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "중간"으로 설정한다. 단계 S1506에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 "하이"로 설정한다. 단계 S1507에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도에 기초하여 라이팅 효과 리스트에 포함될 라이팅 효과들을 결정한다. 단계 S1507의 처리는 제1 예시적인 실시예에 따른 단계 S507의 처리와 유사하다. 따라서, 그에 대한 설명은 생략될 것이다.In step S1505, the lighting effect list determining unit 302 sets the distance precision to "medium". In step S1506, the lighting effect list determining unit 302 sets the distance accuracy to "high". In step S1507, the lighting effect list determining unit 302 determines lighting effects to be included in the lighting effect list based on the distance accuracy. The processing of step S1507 is similar to that of step S507 according to the first exemplary embodiment. Therefore, a description thereof will be omitted.

<제4 예시적인 실시예의 효과><Effect of the fourth exemplary embodiment>

전술한 바와 같이, 본 예시적인 실시예에 따른 정보 처리 장치(1)는 캡처된 장면에 기초하여 거리 정밀도를 설정한다. 구체적으로, 거리 정밀도는 컬러 화상이 사람을 포함하는지 및 컬러 화상이 움직이는 피사체의 일시적인 상태를 포함하는지에 기초하여 설정된다. 따라서, 정보 처리 장치(1)는 피사체에 관한 거리 정보에 기초하여 라이팅 효과를 화상에 적용하기 위한 라이팅 효과에 대한 적절한 후보들로 결정할 수 있다.As described above, the information processing device 1 according to the present exemplary embodiment sets the distance precision based on the captured scene. Specifically, the distance accuracy is set based on whether the color image includes a person and whether the color image includes a temporal state of a moving subject. Accordingly, the information processing device 1 can determine suitable candidates for a lighting effect for applying the lighting effect to an image based on the distance information about the subject.

본 개시내용의 제5 예시적인 실시예가 후술될 것이다. 제1 예시적인 실시예에서, 거리 정밀도는 거리 화상 데이터에 기초하여 설정된다. 본 예시적인 실시예에서, 미리 설정된 개인 정보에 기초하여 거리 정밀도가 설정된다. 본 예시적인 실시예에 따른 정보 처리 장치(1)는 제1 예시적인 실시예와 유사한 하드웨어 구성 및 논리 구성을 갖는다. 따라서, 그에 대한 설명은 생략될 것이다. 본 예시적인 실시예와 제1 예시적인 실시예 사이의 차이점들에 대해서는 주로 이하에서 설명될 것이다. 이하의 설명에서, 제1 예시적인 실시예와 유사한 컴포넌트들은 동일한 참조 번호들로 지정된다.A fifth exemplary embodiment of the present disclosure will be described below. In the first exemplary embodiment, distance accuracy is set based on distance image data. In this exemplary embodiment, distance accuracy is set based on preset personal information. The information processing apparatus 1 according to this exemplary embodiment has a similar hardware configuration and logical configuration to that of the first exemplary embodiment. Therefore, a description thereof will be omitted. Differences between the present exemplary embodiment and the first exemplary embodiment will be mainly described below. In the following description, components similar to those of the first exemplary embodiment are designated with the same reference numerals.

본 예시적인 실시예는 단계 S402에서의 라이팅 효과 리스트를 결정하기 위한 처리에서 제1 예시적인 실시예와 상이하다. 본 예시적인 실시예에 따른 라이팅 효과 리스트 결정 유닛(302)은 거리 화상 데이터에 기초하여 거리 정밀도를 설정한 다음, 미리 설정된 개인 정보에 기초하여 거리 정밀도를 갱신한다. 개인 정보는 개인 이름, 개인 화상 데이터, 개인 거리 화상 데이터, 및 개인 거리 정밀도를 포함한다. 도 16은 개인 정보의 예를 도시한다. 개인 화상 데이터는 적어도 사람의 얼굴을 포함하는 화상을 나타내는 화상 데이터이다. 대응하는 사람의 얼굴 영역은 개인 화상 데이터에 설정된다. 개인 거리 화상 데이터는 개인 화상 데이터에 대응하는 거리 화상 데이터이다. 개인 거리 정밀도는 개인 거리 화상 데이터에 포함된 거리 정보의 정밀도를 표시한다. 전술한 거리 정밀도와 같이, 개인 거리 정밀도는 "하이", "중간", 및 "로우" 중 어느 하나로 설정된다. 각각의 복수의 사람에 대응하는 개인 정보가 미리 설정될 수 있다. 라이팅 효과 리스트를 결정하기 위한 처리의 세부 사항들이 이하에서 설명될 것이다.This exemplary embodiment differs from the first exemplary embodiment in the processing for determining the lighting effect list in step S402. The lighting effect list determining unit 302 according to this exemplary embodiment sets the distance precision based on the distance image data and then updates the distance precision based on preset personal information. Personal information includes personal name, personal image data, personal distance image data, and personal distance precision. 16 shows an example of personal information. Personal image data is image data representing an image including at least a human face. A corresponding person's face region is set in the personal image data. The personal distance image data is distance image data corresponding to the personal image data. The personal distance precision indicates the precision of the distance information included in the personal distance image data. Like the distance precision described above, the personal distance precision is set to one of "high", "medium", and "low". Personal information corresponding to each of a plurality of persons may be set in advance. Details of the processing for determining the lighting effect list will be described below.

도 17은 라이팅 효과 리스트를 결정하기 위한 처리를 도시하는 흐름도이다. 단계 S1701에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 화상 데이터에 기초하여 거리 정밀도를 결정한다. 단계 S1701의 처리는 제1 예시적인 실시예에 따른 단계 S501 내지 단계 S506의 처리와 유사하다. 따라서, 그에 대한 설명은 생략될 것이다.Fig. 17 is a flowchart showing processing for determining a lighting effect list. In step S1701, the lighting effect list determining unit 302 determines the distance accuracy based on the distance image data. The processing of step S1701 is similar to the processing of steps S501 to S506 according to the first exemplary embodiment. Therefore, a description thereof will be omitted.

단계 S1702에서, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상에 포함된 사람을 결정한다. 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상으로부터 얼굴 영역을 초기에 추출한다. 라이팅 효과 리스트 결정 유닛(302)은 추출된 얼굴 영역에서의 사람의 얼굴과 미리 설정된 개인 정보에 의해 표시된 사람의 얼굴들 사이의 유사도를 계산하고, 최고 유사도의 얼굴을 표시하는 개인 정보를 선택한다. 유사도들은 컬러 화상으로부터 추출된 얼굴 영역과 개인 화상 데이터에 의해 나타낸 개인 화상들에서의 얼굴 영역들 사이의 차이들에 기초하여 계산된다. 선택된 개인 정보의 유사도가 미리 결정된 값 이상인 경우, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상 내의 피사체를 선택된 개인 정보와 연관시킨다. 선택된 개인 정보의 유사도가 미리 결정된 값보다 더 낮은 경우, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상에 피사체에 대응하는 개인 정보가 없다고 결정한다. 라이팅 효과 리스트 결정 유닛(302)은 또한 컬러 화상으로부터 어떠한 얼굴 영역도 추출되지 않으면 컬러 화상에 피사체에 대응하는 개인 정보가 없다고 결정한다.In step S1702, the lighting effect list determination unit 302 determines a person included in the color image. A lighting effect list determination unit 302 initially extracts a face region from a color image. The lighting effect list determining unit 302 calculates a degree of similarity between the person's face in the extracted face area and the person's faces indicated by the preset personal information, and selects the personal information displaying the face with the highest degree of similarity. Similarities are calculated based on differences between the face region extracted from the color image and face regions in the personal images represented by the personal image data. When the degree of similarity of the selected personal information is equal to or greater than a predetermined value, the lighting effect list determination unit 302 associates the subject in the color image with the selected personal information. If the degree of similarity of the selected personal information is lower than a predetermined value, the lighting effect list determination unit 302 determines that the color image has no personal information corresponding to the subject. The lighting effect list determining unit 302 also determines that the color image has no personal information corresponding to the subject if no face region is extracted from the color image.

단계 S1703에서, 라이팅 효과 리스트 결정 유닛(302)은 컬러 화상 내의 피사체가 개인 정보와 연관되는지를 결정한다. 컬러 화상 내의 피사체가 개인 정보와 연관되면(단계 S1703에서 예), 처리는 단계 S1704로 진행한다. 컬러 화상 내의 피사체가 개인 정보와 연관되지 않으면(단계 S1703에서 아니오), 처리는 단계 S1708로 진행한다. 단계 S1704에서, 라이팅 효과 리스트 결정 유닛(302)은 개인 정보에 포함된 개인 거리 정밀도를 단계 S1701에서 설정된 거리 정밀도와 비교한다. 개인 거리 정밀도가 단계 S1701에서 설정된 거리 정밀도 이하인 경우(단계 S1704에서 아니오), 처리는 단계 S1705로 진행한다. 개인 거리 정밀도가 단계 S1701에서 설정된 거리 정밀도보다 높은 경우(단계 S1704에서 예), 처리는 단계 S1706으로 진행한다.In step S1703, the lighting effect list determination unit 302 determines whether the subject in the color image is associated with personal information. If the subject in the color image is associated with personal information (YES in step S1703), processing proceeds to step S1704. If the subject in the color image is not associated with personal information (NO in step S1703), the process proceeds to step S1708. In step S1704, the lighting effect list determining unit 302 compares the personal distance precision included in the personal information with the distance precision set in step S1701. If the personal distance precision is equal to or less than the distance precision set in step S1701 (NO in step S1704), the processing proceeds to step S1705. If the personal distance precision is higher than the distance precision set in step S1701 (YES in step S1704), the process proceeds to step S1706.

단계 S1705에서, 라이팅 효과 리스트 결정 유닛(302)은 개인 정보에 포함된 개인 화상 데이터, 개인 거리 화상 데이터, 및 개인 거리 정밀도를 갱신한다. 개인 화상 데이터는 컬러 화상 데이터에 기초하여 갱신된다. 컬러 화상은 얼굴 영역에 기초하여 개인 화상으로 변형되고, 변형된 컬러 화상을 나타내는 화상 데이터는 새로운 개인 화상 데이터라고 가정된다. 개인 거리 화상 데이터는 거리 화상 데이터에 기초하여 갱신된다. 거리 화상은 컬러 화상과 유사한 방식으로 변형되고, 변형된 거리 화상을 나타내는 화상 데이터는 새로운 개인 거리 화상 데이터라고 가정된다. 개인 거리 정밀도는 단계 S1701에서 설정된 거리 정밀도로 갱신된다. 개인 정보에 포함된 거리 정밀도는 전술한 바와 같이 개인 정보를 갱신함으로써 증가될 수 있다.In step S1705, the lighting effect list determination unit 302 updates the personal image data, personal distance image data, and personal distance precision included in the personal information. Personal image data is updated based on color image data. It is assumed that the color image is transformed into a personal image based on the face region, and image data representing the transformed color image is new personal image data. Personal distance image data is updated based on the distance image data. It is assumed that the distance image is deformed in a manner similar to the color image, and image data representing the deformed distance image is new personal distance image data. The personal distance precision is updated to the distance precision set in step S1701. The distance precision included in the personal information can be increased by updating the personal information as described above.

단계 S1706에서, 라이팅 효과 리스트 결정 유닛(302)은 개인 거리 화상 데이터에 기초하여 거리 화상 데이터를 보정한다. 라이팅 효과 리스트 결정 유닛(302)은 초기에 개인 화상을 컬러 화상으로 변형시키기 위한 파라미터들을 계산한다. 라이팅 효과 리스트 결정 유닛(302)은 계산된 파라미터들에 기초하여 개인 거리 화상을 거리 화상으로 변형시킨다. 여기서 계산될 파라미터들은 개인 화상 및 컬러 화상으로부터 추출된 특징점들에 기초한 투영 변환 파라미터들이다. 변형된 개인 거리 화상을 나타내는 화상 데이터는 새로운 거리 화상 데이터라고 가정된다. 단계 S1707에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도를 개인 거리 정밀도의 값으로 갱신한다. 단계 S1708에서, 라이팅 효과 리스트 결정 유닛(302)은 거리 정밀도에 기초하여 라이팅 효과 리스트에 포함될 라이팅 효과들을 결정한다. 단계 S1708의 처리는 제1 예시적인 실시예에 따른 단계 S507의 처리와 유사하다. 따라서, 그에 대한 설명은 생략될 것이다.In step S1706, the lighting effect list determination unit 302 corrects the distance image data based on the personal distance image data. The lighting effect list determining unit 302 initially calculates parameters for transforming a personal image into a color image. The lighting effect list determining unit 302 transforms the personal distance image into a distance image based on the calculated parameters. Parameters to be calculated here are projection transformation parameters based on feature points extracted from a personal image and a color image. It is assumed that the image data representing the modified personal distance image is new distance image data. In step S1707, the lighting effect list determination unit 302 updates the distance precision to the value of the individual distance precision. In step S1708, the lighting effect list determining unit 302 determines lighting effects to be included in the lighting effect list based on the distance accuracy. The processing of step S1708 is similar to the processing of step S507 according to the first exemplary embodiment. Therefore, a description thereof will be omitted.

<제5 예시적인 실시예의 효과><Effect of the fifth exemplary embodiment>

전술한 바와 같이, 본 예시적인 실시예에 따른 정보 처리 장치(1)는 미리 설정된 개인 정보에 기초하여 거리 정밀도를 설정한다. 따라서, 정보 처리 장치(1)는 피사체에 관한 거리 정보에 기초하여 라이팅 효과를 화상에 적용하기 위한 라이팅 효과에 대한 적절한 후보들로 결정할 수 있다.As described above, the information processing device 1 according to the present exemplary embodiment sets the distance accuracy based on preset personal information. Accordingly, the information processing device 1 can determine suitable candidates for a lighting effect for applying the lighting effect to an image based on the distance information about the subject.

<변형들><transformations>

본 예시적인 실시예에서, 개인 정보는 단계 S1705에서 갱신된다. 그러나, 단계 S1705의 처리는 생략될 수 있다.In this exemplary embodiment, personal information is updated in step S1705. However, the processing of step S1705 can be omitted.

본 예시적인 실시예에서는, 단계 S1706에서 개인 거리 화상이 변형되고 변형된 개인 거리 화상은 새로운 거리 화상이라고 가정된다. 그러나, 변형된 개인 거리 화상 및 거리 화상은 새로운 거리 화상으로 결합될 수 있다.In this exemplary embodiment, it is assumed that the personal distance image is transformed in step S1706 and the transformed personal distance image is a new distance image. However, the modified personal distance image and distance image can be combined into a new distance image.

단계 S1706에서, 개인 거리 화상의 거리 값들은 개인 거리 화상의 변형 전의 거리 화상의 거리 값들에 기초하여 보정될 수 있다. 예를 들어, 개인 거리 화상의 거리 값들은 개인 거리 화상의 얼굴 영역에서의 평균 거리 값 및 거리 화상의 얼굴 영역에서의 평균 거리 값이 더 작은 차이를 갖거나 서로 일치하도록 보정될 수 있다.In step S1706, the distance values of the personal distance image can be corrected based on the distance values of the distance image before deformation of the personal distance image. For example, the distance values of the personal distance image may be corrected so that the average distance value in the face region of the personal distance image and the average distance value in the face region of the distance image have a smaller difference or match each other.

본 개시내용의 제6 예시적인 실시예가 후술될 것이다. 본 예시적인 실시예에서는, 사용자 동작들에 기초하여 촬상 방법을 설정한다. 라이팅 효과 리스트는 설정된 촬상 방법에 기초하여 결정된다. 본 예시적인 실시예에 따른 정보 처리 장치(1)는 제1 예시적인 실시예와 유사한 하드웨어 구성 및 논리 구성을 갖는다. 따라서, 그에 대한 설명은 생략될 것이다. 본 예시적인 실시예와 제1 예시적인 실시예 사이의 차이점들에 대해서는 주로 이하에서 설명될 것이다. 이하의 설명에서, 제1 예시적인 실시예와 유사한 컴포넌트들은 동일한 참조 번호들로 지정된다.A sixth exemplary embodiment of the present disclosure will be described below. In this exemplary embodiment, the imaging method is set based on user motions. The lighting effect list is determined based on the set imaging method. The information processing apparatus 1 according to this exemplary embodiment has a similar hardware configuration and logical configuration to that of the first exemplary embodiment. Therefore, a description thereof will be omitted. Differences between the present exemplary embodiment and the first exemplary embodiment will be mainly described below. In the following description, components similar to those of the first exemplary embodiment are designated with the same reference numerals.

본 예시적인 실시예에서, 컬러 화상 데이터를 획득하기 위한 화상을 캡처하는 촬상 방법에 기초하여 거리 정밀도가 설정된다. 도 18은 본 예시적인 실시예에 따른 정보 처리 장치(1)에 의해 수행되는 처리를 도시하는 흐름도이다. 단계 S1801에서, 화상 데이터 획득 유닛(301)은 입출력 유닛(309)으로부터 획득된 사용자 동작들에 기초하여 화상 데이터를 획득하기 위한 촬상 방법을 설정한다. 본 예시적인 실시예에서, 사용자는 정보 처리 장치(1)의 디스플레이 면에 위치하는 전방 카메라(201) 또는 정보 처리 장치(1) 의 후면에 위치하는 메인 카메라(202) 중 어느 카메라를 촬상에 사용할지를 선택한다. 본 예시적인 실시예에서, 전방 카메라(201)는 거리 정보를 획득할 수 없는 단일 렌즈 카메라이다. 메인 카메라(202)는 시차 정보에 기초하여 거리 화상 데이터를 획득할 수 있는 카메라이다.In this exemplary embodiment, the distance precision is set based on the imaging method of capturing an image for obtaining color image data. Fig. 18 is a flowchart showing processing performed by the information processing apparatus 1 according to the present exemplary embodiment. In step S1801, the image data acquisition unit 301 sets an imaging method for obtaining image data based on user motions obtained from the input/output unit 309. In this exemplary embodiment, the user selects which camera to use for image capture, the front camera 201 located on the display surface of the information processing device 1 or the main camera 202 located on the rear side of the information processing device 1. choose the In this exemplary embodiment, the front camera 201 is a single lens camera that cannot obtain distance information. The main camera 202 is a camera capable of acquiring distance image data based on parallax information.

단계 S1802에서, 화상 데이터 획득 유닛(301)은 설정된 카메라로부터 화상 데이터를 획득한다. 단계 S1803에서, 라이팅 효과 리스트 결정 유닛(302)은 촬상 방법에 기초하여 거리 정밀도를 설정한다. 라이팅 효과 리스트 결정 유닛(302)은 또한 거리 정밀도에 기초하여 효과적인 라이팅 효과들을 포함하는 라이팅 효과 리스트를 결정한다. 거리 정밀도는 제2 예시적인 실시예에서 설명된 것과 유사한 방법을 사용하여 설정될 수 있다. 예를 들어, 전방 카메라(201)가 촬상에 사용될 카메라로서 설정되는 경우, 전방 카메라(201)가 거리 정보를 획득할 수 없기 때문에 거리 정밀도는 "로우"로 결정된다. 메인 카메라(202)가 촬상에 사용될 카메라로서 설정되는 경우, 메인 카메라(202)가 시차에 기초하여 거리 화상 데이터를 획득하기 때문에 거리 정밀도는 "중간"으로 결정된다.In step S1802, the image data acquisition unit 301 acquires image data from the set camera. In step S1803, the lighting effect list determining unit 302 sets the distance precision based on the imaging method. The lighting effect list determination unit 302 also determines a lighting effect list including effective lighting effects based on the distance precision. Distance precision can be set using a method similar to that described in the second exemplary embodiment. For example, when the front camera 201 is set as a camera to be used for imaging, the distance precision is determined to be "low" because the front camera 201 cannot obtain distance information. When the main camera 202 is set as a camera to be used for imaging, the distance precision is determined to be "medium" because the main camera 202 acquires distance image data based on parallax.

단계 S1804에서, 라이팅 효과 선택 유닛(303)은 입출력 유닛(309)으로부터 획득된 사용자 동작들에 기초하여 라이팅 효과 리스트에 포함된 라이팅 효과들 중 하나를 선택한다. 라이팅 효과의 선택 후에, 라이팅 효과 선택 유닛(303)은 사용자 동작들에 기초하여 가상 광원의 위치와 같은 파라미터들을 설정한다. 라이팅 효과가 사용자 동작들에 의해 선택되지 않는 경우, 라이팅 효과 선택 유닛(303)은 초기 상태인 것으로 이전에 결정된 라이팅 효과를 선택한다. 단계 S1805에서, 라이팅 처리 유닛(304)은 선택된 라이팅 효과를 컬러 화상에 적용한다. 라이팅 효과를 컬러 화상에 적용하기 위한 처리는 제1 예시적인 실시예에 따른 단계 S404의 처리와 유사하다.In step S1804, the lighting effect selection unit 303 selects one of the lighting effects included in the lighting effect list based on user motions obtained from the input/output unit 309. After selection of the lighting effect, the lighting effect selecting unit 303 sets parameters such as the position of the virtual light source based on user operations. When the lighting effect is not selected by user operations, the lighting effect selection unit 303 selects the lighting effect previously determined to be the initial state. In step S1805, the lighting processing unit 304 applies the selected lighting effect to the color image. The processing for applying the lighting effect to the color image is similar to the processing in step S404 according to the first exemplary embodiment.

단계 S1806에서, 화상 표시 제어 유닛(305)은 보정된 화상을 입출력 유닛(309) 상에 표시한다. 단계 S1807에서, 라이팅 효과 표시 제어 유닛(306)은 라이팅 효과 리스트에 포함된 라이팅 효과들을 입출력 유닛(309) 상에 표시한다. 도 19a 및 도 19b는 화상 표시 제어 유닛(305)에 의해 표시되는 표시 화상의 예들을 도시한다. 도 19a는 메인 카메라(202)가 촬상에 사용될 카메라로서 선택될 때의 표시 화상의 예를 도시한다. 이러한 경우에, 거리 정밀도 "중간"에 대응하는 아이콘들이 표시된다. 도 19b는 전방 카메라(201)가 촬상에 사용될 카메라로서 선택될 때의 표시 화상의 예를 도시한다. 이러한 경우에, 거리 정밀도 "로우"에 대응하는 아이콘들이 표시된다. 사용자는 카메라 스위치 동작을 나타내는 아이콘(1901)을 선택함으로써 촬상 방법을 변경할 수 있다.In step S1806, the image display control unit 305 displays the corrected image on the input/output unit 309. In step S1807, the lighting effect display control unit 306 displays the lighting effects included in the lighting effect list on the input/output unit 309. 19A and 19B show examples of display images displayed by the image display control unit 305. Fig. 19A shows an example of a displayed image when the main camera 202 is selected as the camera to be used for imaging. In this case, icons corresponding to the distance precision "medium" are displayed. Fig. 19B shows an example of a display image when the front camera 201 is selected as the camera to be used for imaging. In this case, icons corresponding to the distance accuracy "low" are displayed. The user can change the imaging method by selecting an icon 1901 indicating a camera switch operation.

단계 S1808에서, 라이팅 처리 유닛(304)은 입출력 유닛(309)으로부터 획득된 사용자 동작들에 기초하여 저장 유닛(307)에 보정된 화상 데이터를 기록할지를 결정한다. 보정된 화상 데이터를 기록하기 위한 동작이 검출된다면(단계 S1808에서 예), 처리는 단계 S1810으로 진행한다. 보정된 화상 데이터를 기록하기 위한 동작이 검출되지 않으면(단계 S1808에서 아니오), 처리는 단계 S1809로 진행한다. 단계 S1809에서, 라이팅 처리 유닛(304)은 입출력 유닛(309)으로부터 획득된 사용자 동작들에 기초하여 촬상 방법을 변경할지를 결정한다. 촬상 방법을 변경하는 동작이 검출되면(단계 S1809에서 예), 처리는 단계 S1801로 진행한다. 촬상 방법을 변경하는 동작이 검출되지 않으면(단계 S1809에서 아니오), 처리는 단계 S1802로 진행한다. 단계 S1810에서, 라이팅 처리 유닛(304)은 보정된 화상 데이터를 저장 유닛(307)에 기록한다. 처리는 종료된다.In step S1808, the writing processing unit 304 determines whether or not to record the corrected image data in the storage unit 307 based on user motions obtained from the input/output unit 309. If an operation for writing the corrected image data is detected (YES in step S1808), the process proceeds to step S1810. If an operation for writing the corrected image data is not detected (NO in step S1808), the process proceeds to step S1809. In step S1809, the writing processing unit 304 determines whether to change the imaging method based on user motions obtained from the input/output unit 309. If an operation to change the imaging method is detected (YES in step S1809), the process proceeds to step S1801. If an operation to change the imaging method is not detected (NO in step S1809), the process proceeds to step S1802. In step S1810, the writing processing unit 304 writes the corrected image data into the storage unit 307. Processing ends.

<제6 예시적인 실시예의 효과><Effect of the sixth exemplary embodiment>

전술한 바와 같이, 본 예시적인 실시예에 따른 정보 처리 장치(1)는 컬러 화상 데이터를 획득하기 위한 화상을 촬상하는 촬상 방법에 기초하여 거리 정밀도를 설정한다. 따라서, 정보 처리 장치(1)는 피사체에 관한 거리 정보에 기초하여 라이팅 효과를 화상에 적용하기 위한 라이팅 효과에 대한 적절한 후보들로 결정할 수 있다.As described above, the information processing apparatus 1 according to the present exemplary embodiment sets the distance precision based on the imaging method of imaging an image for obtaining color image data. Accordingly, the information processing device 1 can determine suitable candidates for a lighting effect for applying the lighting effect to an image based on the distance information about the subject.

<변형들><transformations>

본 예시적인 실시예에서, 전방 카메라(201)는 거리 정보를 획득할 수 없는 카메라이고, 메인 카메라(202)는 시차 정보에 기초하여 거리 화상 데이터를 획득할 수 있는 카메라이다. 그러나, 카메라들의 조합은 이에 한정되지 않는다. 피사체 상에 광을 투영하여 거리 정보를 획득하는 카메라는 전방 카메라(201) 또는 메인 카메라(202)로서 사용될 수 있다. 대안적으로, 3개 이상의 카메라가 스위칭될 수 있다.In this exemplary embodiment, the front camera 201 is a camera that cannot obtain distance information, and the main camera 202 is a camera that can obtain distance image data based on parallax information. However, the combination of cameras is not limited to this. A camera that acquires distance information by projecting light onto a subject may be used as the front camera 201 or the main camera 202 . Alternatively, three or more cameras may be switched.

본 예시적인 실시예에서, 전방 카메라(201) 또는 메인 카메라(202) 중 어느 카메라가 촬상 방법에 사용될지에 기초하여 라이팅 효과 리스트가 결정된다. 그러나, 라이팅 효과 리스트는 메인 카메라(202)의 사용 동안의 촬상 모드에 기초하여 결정될 수 있다. 본 예시적인 실시예에서, 메인 카메라(202)는 시차 정보에 기초하여 거리 화상 데이터를 획득할 수 있는 카메라이며, 복수의 카메라를 포함한다. 본 예시적인 실시예에서, 메인 카메라(202)의 사용 동안 이용할 수 있는 촬상 모드들은 카메라들 중 하나가 화상을 캡처하고 거리 정보를 획득할 수 있는 단일 렌즈 촬상 모드, 및 복수의 카메라가 화상을 캡처하고 거리 정보를 획득할 수 있는 다중 렌즈 촬상 모드를 포함한다. 이러한 경우에, 단계 S1803에서, 라이팅 효과 리스트 결정 유닛(302)은 촬상 모드에 기초하여 거리 정밀도를 설정한다. 라이팅 효과 리스트 결정 유닛(302)은 또한 거리 정밀도에 기초하여 유효 라이팅 효과들을 포함하는 라이팅 효과 리스트를 결정한다. 거리 정밀도는 제2 예시적인 실시예에서 도 28을 참조하여 설명된 것과 유사한 방법을 사용하여 설정될 수 있다. 예를 들어, 촬상 모드가 단일 렌즈 촬상 모드인 경우, 거리 정보가 획득될 수 있지만 복수의 카메라가 촬상에 사용되지 않기 때문에 거리 정밀도가 "중간"으로 결정된다. 촬상 모드가 다중 렌즈 촬상 모드인 경우, 거리 정보가 획득될 수 있고 복수의 카메라가 촬상에 사용되기 때문에 거리 정밀도가 "하이"로 결정된다. 도 29a는 촬상 모드로서 단일 렌즈 촬상 모드가 선택될 때의 표시 화상의 예를 도시한다. 이러한 경우에, 거리 정밀도 "중간"에 대응하는 아이콘들이 표시된다. 도 29b는 촬상 모드로서 다중 렌즈 촬상 모드가 선택될 때의 표시 화상의 예를 도시한다. 이러한 경우에, 거리 정밀도 "하이"에 대응하는 아이콘들이 표시된다. 사용자는 카메라 스위치 동작을 나타내는 아이콘(2901)을 선택함으로써 촬상 방법을 변경할 수 있다. 사용자는 촬상 모드 스위치 동작을 나타내는 아이콘(2902)을 선택함으로써 촬상 모드를 변경할 수 있다. 본 예시적인 실시예에서, 전방 카메라(201)는 거리 정보를 획득할 수 없는 단일 렌즈 카메라인 것으로 설명되었다. 그러나, 메인 카메라(202)와 같이, 전방 카메라 (201)는 시차 정보에 기초하여 거리 화상 데이터를 획득할 수 있고 촬상 모드를 스위칭할 수 있는 카메라로서 구성될 수 있다. 촬상 모드들은 단일 카메라가 촬상에 사용되고 어떤 거리 정보도 획득하지 않는 것을 포함할 수 있다.In this exemplary embodiment, a lighting effect list is determined based on which camera, the front camera 201 or the main camera 202, is to be used for the imaging method. However, the lighting effect list may be determined based on the imaging mode during use of the main camera 202 . In this exemplary embodiment, the main camera 202 is a camera capable of acquiring distance image data based on parallax information, and includes a plurality of cameras. In this exemplary embodiment, the imaging modes available during use of the main camera 202 are a single lens imaging mode in which one of the cameras can capture images and obtain distance information, and a plurality of cameras capture images. and a multi-lens imaging mode capable of obtaining distance information. In this case, in step S1803, the lighting effect list determination unit 302 sets the distance precision based on the imaging mode. The lighting effect list determination unit 302 also determines a lighting effect list containing effective lighting effects based on the distance precision. The distance precision can be set using a method similar to that described with reference to FIG. 28 in the second exemplary embodiment. For example, when the imaging mode is the single-lens imaging mode, the distance precision is determined to be "medium" because distance information can be obtained but plural cameras are not used for imaging. When the imaging mode is the multi-lens imaging mode, the distance precision is determined to be "high" because distance information can be obtained and a plurality of cameras are used for imaging. Fig. 29A shows an example of a displayed image when the single lens imaging mode is selected as the imaging mode. In this case, icons corresponding to the distance precision "medium" are displayed. Fig. 29B shows an example of a displayed image when the multi-lens imaging mode is selected as the imaging mode. In this case, icons corresponding to the distance precision "high" are displayed. The user can change the imaging method by selecting an icon 2901 indicating a camera switch operation. The user can change the imaging mode by selecting an icon 2902 representing an imaging mode switch operation. In this exemplary embodiment, the front camera 201 has been described as being a single lens camera that cannot acquire distance information. However, like the main camera 202, the front camera 201 can be configured as a camera capable of obtaining distance image data based on parallax information and switching imaging modes. Imaging modes may include a single camera being used for imaging and not obtaining any distance information.

본 개시내용의 제7 예시적인 실시예가 후술될 것이다. 전술한 예시적인 실시예들에서, 라이팅 효과들은 사용자 동작들에 기초하여 선택된 라이팅 효과에 기초하여 컬러 화상에 적용된다. 본 예시적인 실시예에서, 컬러 화상에 라이팅 효과를 적용하기 위한 처리시 사용될 파라미터들(이하, 라이팅 파라미터들이라고 칭함)은 사용자 동작들에 기초하여 설정된다. 본 예시적인 실시예에 따른 정보 처리 장치(1)는 제1 예시적인 실시예와 유사한 하드웨어 구성을 갖는다. 따라서, 그에 대한 설명은 생략될 것이다. 본 예시적인 실시예와 제1 예시적인 실시예 사이의 차이점들에 대해서는 주로 이하에서 설명될 것이다. 이하의 설명에서, 제1 예시적인 실시예와 유사한 컴포넌트들은 동일한 참조 번호들로 지정된다.A seventh exemplary embodiment of the present disclosure will be described below. In the foregoing exemplary embodiments, lighting effects are applied to a color image based on a lighting effect selected based on user actions. In this exemplary embodiment, parameters to be used in processing for applying a lighting effect to a color image (hereinafter referred to as lighting parameters) are set based on user operations. The information processing apparatus 1 according to this exemplary embodiment has a hardware configuration similar to that of the first exemplary embodiment. Therefore, a description thereof will be omitted. Differences between the present exemplary embodiment and the first exemplary embodiment will be mainly described below. In the following description, components similar to those of the first exemplary embodiment are designated with the same reference numerals.

도 20은 본 예시적인 실시예에 따른 정보 처리 장치(1)의 논리 구성을 도시하는 블록도이다. 정보 처리 장치(1)는 CPU(101)가 ROM(102)에 저장된 프로그램을 RAM(103)을 작업 메모리로서 실행함으로써 도 20에 도시된 논리 구성으로서 기능한다. 후술하는 모든 처리는 반드시 CPU(101)에 의해 실행될 필요는 없다. 정보 처리 장치(1)는 CPU(101) 이외의 하나 또는 복수의 처리 회로에 의해 처리의 일부 또는 전부가 수행되도록 구성될 수 있다.Fig. 20 is a block diagram showing the logical configuration of the information processing apparatus 1 according to the present exemplary embodiment. The information processing device 1 functions as the logical configuration shown in Fig. 20 by allowing the CPU 101 to execute a program stored in the ROM 102 using the RAM 103 as a work memory. All processing described later need not necessarily be executed by the CPU 101. The information processing device 1 may be configured so that part or all of the processing is performed by one or a plurality of processing circuits other than the CPU 101 .

정보 처리 장치(1)는 화상 데이터 획득 유닛(2001), 파라미터 조정가능 범위 설정 유닛(2002), 라이팅 파라미터 설정 유닛(2003), 라이팅 처리 유닛(2004), 화상 표시 제어 유닛(2005), 및 인터페이스 표시 제어 유닛(2006)을 포함한다. 화상 데이터 획득 유닛(2001)은 입출력 유닛(2009)으로부터 획득된 사용자 동작들에 기초하여 촬상 유닛(2008) 또는 저장 유닛(2007)으로부터 컬러 화상 데이터 및 거리 화상 데이터를 획득한다. 예를 들어, 저장 유닛(2007)의 기능들은 저장 디바이스(110)에 의해 구현된다. 촬상 유닛(2008) 의 기능들은 촬상 유닛(106)에 의해 구현된다. 입출력 유닛(2009)의 기능들은 터치 패널 디스플레이(105)에 의해 구현된다. 파라미터 조정가능 범위 설정 유닛(2002)은 화상 데이터에 기초하여 결정된 거리 정밀도에 기초하여 조정가능한 라이팅 파라미터들을 설정한다.The information processing device 1 includes an image data acquisition unit 2001, a parameter adjustable range setting unit 2002, a lighting parameter setting unit 2003, a lighting processing unit 2004, an image display control unit 2005, and an interface. and a display control unit 2006. An image data acquisition unit 2001 acquires color image data and distance image data from an imaging unit 2008 or a storage unit 2007 based on user operations obtained from an input/output unit 2009 . For example, the functions of the storage unit 2007 are implemented by the storage device 110 . The functions of the imaging unit 2008 are implemented by the imaging unit 106 . Functions of the input/output unit 2009 are implemented by the touch panel display 105 . A parameter adjustable range setting unit 2002 sets adjustable lighting parameters based on the distance accuracy determined based on the image data.

라이팅 파라미터 설정 유닛(2003)은 입출력 유닛(2009)으로부터 획득된 사용자 동작들에 기초하여 라이팅 파라미터들을 설정한다. 라이팅 처리 유닛(2004)은 설정된 라이팅 파라미터들에 기초하여 컬러 화상에 라이팅 효과를 적용한다. 라이팅 처리 유닛(2004)은 또한 입출력 유닛(2009)으로부터 획득된 사용자 동작들에 기초하여 보정된 화상 데이터를 저장 유닛(2007)에 기록한다.A lighting parameter setting unit 2003 sets lighting parameters based on user motions obtained from the input/output unit 2009. A lighting processing unit 2004 applies a lighting effect to a color image based on set lighting parameters. The writing processing unit 2004 also writes corrected image data based on user motions obtained from the input/output unit 2009 into the storage unit 2007 .

화상 표시 제어 유닛(2005)은 보정된 화상을 입출력 유닛(2009) 상에 표시한다. 인터페이스 표시 제어 유닛(2006)은 입출력 유닛(2009) 상에 라이팅 파라미터들을 조정하기 위한 슬라이더들 및 버튼을 포함하는 인터페이스를 표시한다.An image display control unit 2005 displays the corrected image on an input/output unit 2009. The interface display control unit 2006 displays an interface including sliders and buttons for adjusting lighting parameters on the input/output unit 2009.

본 예시적인 실시예에서, 라이팅 파라미터들의 조정가능한 범위는 거리 화상 데이터에 기초하여 설정된다. 또한, 라이팅 효과는 사용자 동작들에 기초하여 설정된 라이팅 파라미터들에 기초하여 컬러 화상에 적용된다. 도 21은 본 예시적인 실시예에 따른 정보 처리 장치(1)에 의해 수행되는 처리를 도시하는 흐름도이다.In this exemplary embodiment, the adjustable range of lighting parameters is set based on the distance image data. In addition, lighting effects are applied to color images based on lighting parameters set based on user actions. Fig. 21 is a flowchart showing processing performed by the information processing apparatus 1 according to the present exemplary embodiment.

단계 S2101에서, 화상 데이터 획득 유닛(2001)은 입출력 유닛(2009)으로부터 획득된 사용자 동작들에 기초하여 저장 유닛(2007)으로부터 컬러 화상 데이터 및 거리 화상 데이터를 획득한다. 단계 S2102에서, 파라미터 조정가능 범위 설정 유닛(2002)은 거리 화상 데이터에 기초하여 거리 정밀도를 설정한다. 파라미터 조정가능 범위 설정 유닛(2002)은 설정된 거리 정밀도에 기초하여 라이팅 파라미터들의 조정가능한 범위를 설정한다. 라이팅 파라미터들의 조정가능한 범위를 설정하기 위한 처리에 대한 세부 사항들이 후술될 것이다.In step S2101, the image data acquisition unit 2001 acquires color image data and distance image data from the storage unit 2007 based on user operations obtained from the input/output unit 2009. In step S2102, the parameter adjustable range setting unit 2002 sets the distance accuracy based on the distance image data. A parameter adjustable range setting unit 2002 sets an adjustable range of lighting parameters based on the set distance accuracy. Details of the process for setting the adjustable range of lighting parameters will be described later.

단계 S2103에서, 라이팅 파라미터 설정 유닛(2003)은 입출력 유닛(2009)으로부터 획득된 사용자 동작들에 기초하여 라이팅 파라미터들을 설정한다. 사용자 동작이 행해지지 않으면, 라이팅 파라미터 설정 유닛(2003)은 미리 결정된 값들을 라이팅 파라미터들로서 설정한다. 단계 S2104에서, 라이팅 처리 유닛(2004)은 설정된 라이팅 파라미터들에 기초하여 컬러 화상을 보정한다. 컬러 화상을 보정하기 위한 처리의 세부 사항들이 후술될 것이다.In step S2103, the lighting parameter setting unit 2003 sets lighting parameters based on user motions obtained from the input/output unit 2009. If no user action is performed, the lighting parameter setting unit 2003 sets predetermined values as lighting parameters. In step S2104, the writing processing unit 2004 corrects the color image based on the set writing parameters. Details of processing for correcting a color image will be described later.

단계 S2105에서, 화상 표시 제어 유닛(2005)은 보정된 화상을 입출력 유닛(2009) 상에 표시한다. 단계 S2106에서, 인터페이스 표시 제어 유닛(2006)은 입출력 유닛(2009) 상에 라이팅 파라미터들을 조정하기 위한 슬라이더들 및 버튼을 포함하는 인터페이스를 표시한다. 인터페이스의 표시는 이하에서 상세히 설명될 것이다. 단계 S2107에서, 라이팅 처리 유닛(2004)은 입출력 유닛(2009)으로부터 획득된 사용자 동작들에 기초하여 보정된 화상 데이터를 저장 유닛(2007)에 기록할지를 결정한다. 보정된 화상 데이터를 기록하는 동작이 검출되면(단계 S2107에서 예), 처리는 단계 S2109로 진행한다. 보정된 화상 데이터를 기록하는 동작이 검출되지 않으면(단계 S2107에서 아니오), 처리는 단계 S2108로 진행한다.In step S2105, the image display control unit 2005 displays the corrected image on the input/output unit 2009. In step S2106, the interface display control unit 2006 displays an interface including sliders and buttons for adjusting lighting parameters on the input/output unit 2009. The display of the interface will be described in detail below. In step S2107, the writing processing unit 2004 determines whether or not to write the corrected image data to the storage unit 2007 based on user motions obtained from the input/output unit 2009. If an operation of writing the corrected image data is detected (YES in step S2107), the process proceeds to step S2109. If the operation of writing the corrected image data is not detected (NO in step S2107), the process proceeds to step S2108.

단계 S2108에서, 라이팅 처리 유닛(2004)은 입출력 유닛(2009)으로부터 획득된 사용자 동작들에 기초하여 라이팅 효과가 적용되는 컬러 화상을 변경할지를 결정한다. 컬러 화상을 변경하는 동작이 검출되면(단계 S2108에서 예), 처리는 단계 S2101로 진행한다. 컬러 화상을 변경하는 동작이 검출되지 않으면(단계 S2108에서 아니오), 처리는 단계 S2103으로 진행한다. 단계 S2109에서, 라이팅 처리 유닛(2004)은 보정된 화상 데이터를 저장 유닛(2007)에 기록한다. 처리는 종료된다.In step S2108, the lighting processing unit 2004 determines whether or not to change the color image to which the lighting effect is applied based on user motions obtained from the input/output unit 2009. If an operation to change the color image is detected (YES in step S2108), the process proceeds to step S2101. If an operation to change the color image is not detected (NO in step S2108), the process proceeds to step S2103. In step S2109, the writing processing unit 2004 writes the corrected image data into the storage unit 2007. Processing ends.

<라이팅 파라미터들의 조정가능한 범위를 설정하기 위한 처리(단계 S2102)><Process for setting the adjustable range of lighting parameters (step S2102)>

도 22는 라이팅 파라미터들의 조정가능한 범위를 설정하기 위한 처리를 도시하는 흐름도이다. 단계 S2201에서, 파라미터 조정가능 범위 설정 유닛(2002)은 거리 화상 데이터에 기초하여 거리 정밀도를 설정한다. 단계 S2201의 처리는 제1 예시적인 실시예에 따른 단계 S501 내지 단계 S506의 처리와 유사하다. 따라서, 그에 대한 설명은 생략될 것이다.22 is a flowchart showing a process for setting an adjustable range of lighting parameters. In step S2201, the parameter adjustable range setting unit 2002 sets the distance accuracy based on the distance image data. The processing of step S2201 is similar to the processing of steps S501 to S506 according to the first exemplary embodiment. Therefore, a description thereof will be omitted.

단계 S2202에서, 파라미터 조정가능 범위 설정 유닛(2002)은 거리 정밀도에 기초하여 라이팅 파라미터들의 조정가능한 범위를 설정한다. 도 23a는 거리 정밀도에 기초하여 라이팅 파라미터들의 조정가능한 범위를 설정하기 위한 방법의 예를 도시한다. 본 예시적인 실시예에서, 라이팅 파라미터들은 ON/OFF에 대응하는 파라미터들, 가상 광원의 밝기, 및 가상 광원의 위치를 포함한다. 파라미터 ON/OFF는 라이팅 효과를 적용할지를 표시한다. 파라미터 조정가능 범위 설정 유닛(2002)은 거리 정밀도에 기초하여 라이팅 파라미터들의 사용자 조정 가능성을 설정한다. 구체적으로, 거리 정밀도가 높을수록, 사용자에 의해 더 많은 파라미터들이 조정가능하게 된다. 예를 들어, 거리 정밀도가 "로우"인 경우, ON/OFF만이 조정가능하게 된다. 거리 정밀도가 "중간"인 경우, ON/OFF 및 가상 광원의 밝기가 조정가능하게 된다. 거리 정밀도가 "하이"인 경우, ON/OFF, 가상 광원의 밝기, 및 가상 광원의 위치가 조정가능하게 된다.In step S2202, the parameter adjustable range setting unit 2002 sets an adjustable range of lighting parameters based on the distance accuracy. 23A shows an example of a method for setting an adjustable range of lighting parameters based on distance precision. In this exemplary embodiment, the lighting parameters include parameters corresponding to ON/OFF, brightness of the virtual light source, and position of the virtual light source. Parameter ON/OFF indicates whether to apply lighting effects. A parameter adjustable range setting unit 2002 sets the user adjustability of the lighting parameters based on the distance accuracy. Specifically, the higher the distance precision, the more parameters are adjustable by the user. For example, when the distance precision is "low", only ON/OFF becomes adjustable. When the distance precision is "Medium", the ON/OFF and brightness of the virtual light source become adjustable. When the distance precision is "high", ON/OFF, the brightness of the virtual light source, and the position of the virtual light source become adjustable.

<컬러 화상을 보정하기 위한 처리(단계 S2104)><Process for Correcting Color Image (Step S2104)>

도 24는 컬러 화상을 보정하기 위한 처리를 도시하는 흐름도이다. 단계 S2401에서, 라이팅 처리 유닛(2004)은 단계 S2102에서 설정된 거리 정밀도를 결정한다. 거리 정밀도가 "하이"인 경우(단계 S2401에서 예), 처리는 단계 S2402로 진행한다. 거리 정밀도가 "중간" 또는 "로우"인 경우(단계 S2401에서 아니오), 처리는 단계 S2403으로 진행한다. 단계 S2402에서, 라이팅 처리 유닛(2004)은 거리 화상 데이터에 기초하여 법선 화상 데이터를 생성한다. 단계 S2402의 처리는 제1 예시적인 실시예에 따른 단계 S803의 처리와 유사하다. 따라서, 그에 대한 설명은 생략될 것이다.24 is a flowchart showing processing for correcting a color image. In step S2401, the writing processing unit 2004 determines the distance accuracy set in step S2102. If the distance precision is "high" (YES in step S2401), the process proceeds to step S2402. If the distance precision is "medium" or "low" (NO in step S2401), the process proceeds to step S2403. In step S2402, the writing processing unit 2004 generates normal image data based on the distance image data. The processing of step S2402 is similar to the processing of step S803 according to the first exemplary embodiment. Therefore, a description thereof will be omitted.

단계 S2403에서, 라이팅 처리 유닛(2004)은 간략화된 방식으로 법선 화상 데이터를 생성한다. 단계 S2403의 처리는 제1 예시적인 실시예에 따른 단계 S804의 처리와 유사하다. 따라서, 그에 대한 설명은 생략될 것이다. 단계 S2404에서, 라이팅 처리 유닛(2004)은 단계 S2103에서 설정된 라이팅 파라미터(들)에 기초하여 컬러 화상을 보정한다. 라이팅 처리 유닛(2004)은 수학식 (7)에 따라 컬러 화상에 거리 화상 데이터 및 법선 화상 데이터에 기초한 음영들을 추가한다:In step S2403, the writing processing unit 2004 generates normal image data in a simplified manner. The processing of step S2403 is similar to the processing of step S804 according to the first exemplary embodiment. Therefore, a description thereof will be omitted. In step S2404, the writing processing unit 2004 corrects the color image based on the writing parameter(s) set in step S2103. The lighting processing unit 2004 adds shades based on the distance image data and the normal image data to the color image according to Equation (7):

여기서, I는 컬러 화상의 화소 값이고, I"는 음영 컬러 화상의 화소 값이다.Here, I is a pixel value of a color image, and I" is a pixel value of a shadow color image.

w는 라이팅 효과가 ON 또는 OFF인지에 대응하는 파라미터이다. 라이팅 효과가 ON이면, w=1이다. 라이팅 효과가 OFF이면, w=0이다. α는 가상 광원의 밝기에 대응하는 파라미터이다. α의 값은 사용자 동작들에 기초하여 설정된다. L은 피사체로부터 가상 광원으로의 방향을 표시하는 광원 벡터에 대응하는 파라미터이다. L의 값은 가상 광원의 위치에 관련된 사용자 동작들에 기초하여 설정된다. D(d), H(n, L), 및 n은 제1 예시적인 실시예에서의 것들과 유사하다.w is a parameter corresponding to whether the lighting effect is ON or OFF. When the lighting effect is ON, w=1. When the lighting effect is OFF, w=0. α is a parameter corresponding to the brightness of the virtual light source. The value of α is set based on user actions. L is a parameter corresponding to a light source vector indicating a direction from a subject to a virtual light source. The value of L is set based on user actions related to the position of the virtual light source. D(d), H(n, L), and n are similar to those in the first exemplary embodiment.

<인터페이스의 표시(단계 S2106)><Display of interface (step S2106)>

이제, 단계 S2106에서의 인터페이스의 표시에 대해서 설명할 것이다. 도 25a, 도 25b, 도 25c 및 도 25d는 인터페이스의 표시 예들을 도시한다. 본 예시적인 실시예에서, 인터페이스 표시 제어 유닛(2006)은 중첩된 방식으로 보정된 화상 상에 라이팅 파라미터들을 조정하기 위한 슬라이더들 및 버튼을 표시한다. 거리 정밀도가 "로우"인 경우, 인터페이스 표시 제어 유닛(2006)은 도 25a에 도시된 바와 같이, 라이팅 효과의 ON/OFF를 스위칭하기 위한 버튼을 표시한다. 거리 정밀도가 "중간"인 경우, 인터페이스 표시 제어 유닛(2006)은 도 25b에 도시된 바와 같이, ON/OFF 스위칭을 위한 버튼 및 가상 광원의 밝기를 조정하기 위한 슬라이더를 표시한다. 거리 정밀도가 "하이"인 경우, 인터페이스 표시 제어 유닛(2006)은 도 25c에 도시된 바와 같이, ON/OFF 스위칭을 위한 버튼, 밝기 조정용 슬라이더, 및 가상 광원의 위치를 조정하기 위한 슬라이더들을 표시한다. 라이팅 파라미터들은 입출력 유닛(2009) 상에 표시되는 인터페이스에 대한 사용자 동작들에 의해 조정될 수 있다.Now, the display of the interface in step S2106 will be described. 25A, 25B, 25C and 25D show display examples of interfaces. In this exemplary embodiment, the interface display control unit 2006 displays sliders and buttons for adjusting lighting parameters on the corrected image in an overlapping manner. When the distance precision is "low", the interface display control unit 2006 displays a button for switching ON/OFF of the lighting effect, as shown in Fig. 25A. When the distance precision is "Medium", the interface display control unit 2006 displays a button for ON/OFF switching and a slider for adjusting the brightness of the virtual light source, as shown in Fig. 25B. When the distance precision is "high", the interface display control unit 2006 displays buttons for ON/OFF switching, sliders for brightness adjustment, and sliders for adjusting the position of the virtual light source, as shown in Fig. 25C. . Lighting parameters can be adjusted by user actions on the interface displayed on the input/output unit 2009 .

<제7 예시적인 실시예의 효과><Effect of the seventh exemplary embodiment>

전술한 바와 같이, 본 예시적인 실시예에 따른 정보 처리 장치(1)는 거리 정밀도에 기초하여 라이팅 파라미터들의 조정가능한 범위를 설정한다. 따라서, 거리 정밀도에 기초하여 라이팅 파라미터들의 조정가능한 범위를 제한함으로써, 정보 처리 장치(1)는 피사체에 관한 거리 정보에 기초하여 화상에 라이팅 효과를 적용하기 위해 라이팅 효과에 대한 적절한 후보들을 결정할 수 있다.As described above, the information processing device 1 according to the present exemplary embodiment sets the adjustable range of lighting parameters based on the distance accuracy. Therefore, by limiting the adjustable range of lighting parameters based on distance precision, the information processing device 1 can determine appropriate candidates for lighting effects to apply lighting effects to images based on distance information about a subject. .

<변형들><transformations>

본 예시적인 실시예에서, 조정가능한 라이팅 파라미터들의 수는 거리 정밀도에 기초하여 변경된다. 그러나, 각각의 라이팅 파라미터들의 조정가능한 범위들은 거리 정밀도에 기초하여 변경될 수 있다. 예를 들어, 가상 광원의 위치의 조정가능한 범위는 거리 정밀도에 기초하여 스위칭될 수 있다. 도 23b는 거리 정밀도에 기초하여 라이팅 파라미터들의 조정가능한 범위들을 설정하기 위한 방법의 예를 도시한다. 도 25d는 거리 정밀도가 "중간"일 때의 표시 화상의 예를 도시한다. 이 예에서, 거리 정밀도가 "중간"인 경우, 가상 광원의 위치는 더 좁은 범위 내에서 조정가능하도록 설정된다. 거리 정밀도가 "중간"인 도 25d에 도시된 표시 화상에서, 가상 광원의 위치를 조정하는 슬라이더들의 이동 범위는 거리 정밀도가 "하이"인 도 25c에 도시된 표시 화상에서보다 좁다.In this exemplary embodiment, the number of adjustable lighting parameters is changed based on distance precision. However, the adjustable ranges of each lighting parameter can be changed based on distance precision. For example, an adjustable range of positions of a virtual light source may be switched based on distance precision. 23B shows an example of a method for setting adjustable ranges of lighting parameters based on distance precision. Fig. 25D shows an example of a display image when the distance accuracy is "medium". In this example, when the distance precision is "Medium", the position of the virtual light source is set to be adjustable within a narrower range. In the display image shown in Fig. 25D where the distance precision is "medium", the movement range of the sliders for adjusting the position of the virtual light source is narrower than in the display image shown in Fig. 25C where the distance precision is "high".

본 예시적인 실시예에서, 거리 화상 데이터에 기초하여 거리 정밀도가 결정된다. 그러나, 거리 정밀도는 전술한 예시적인 실시예들에서 설명된 다른 방법들을 사용하여 결정될 수 있다.In this exemplary embodiment, distance precision is determined based on distance image data. However, distance precision may be determined using other methods described in the foregoing example embodiments.

본 개시내용의 제8 예시적인 실시예가 후술될 것이다. 제7 예시적인 실시예에서, 라이팅 파라미터들의 조정가능한 범위는 거리 정밀도에 기초하여 설정된다. 본 예시적인 실시예에서, 라이팅 파라미터들의 조정가능한 범위는 촬상 방법에 기초하여 설정된다. 본 예시적인 실시예에 따른 정보 처리 장치(1)는 제7 예시적인 실시예와 유사한 하드웨어 구성 및 논리 구성을 갖는다. 따라서, 그에 대한 설명은 생략될 것이다. 본 예시적인 실시예와 제7 예시적인 실시예 사이의 차이점들에 대해서는 주로 이하에서 설명될 것이다. 이하의 설명에서, 제7 예시적인 실시예와 유사한 컴포넌트들은 동일한 참조 번호들로 지정된다.An eighth exemplary embodiment of the present disclosure will be described below. In a seventh exemplary embodiment, the adjustable range of lighting parameters is set based on distance precision. In this exemplary embodiment, the adjustable range of lighting parameters is set based on the imaging method. The information processing apparatus 1 according to this exemplary embodiment has a similar hardware configuration and logical configuration to that of the seventh exemplary embodiment. Therefore, a description thereof will be omitted. Differences between this exemplary embodiment and the seventh exemplary embodiment will be mainly described below. In the following description, components similar to those in the seventh exemplary embodiment are designated with the same reference numerals.

도 26은 본 예시적인 실시예에 따른 정보 처리 장치(1)에 의해 수행되는 처리를 도시하는 흐름도이다. 단계 S2601에서, 화상 데이터 획득 유닛(2001)은 입출력 유닛(2009)으로부터 획득된 사용자 동작들에 기초하여 화상 데이터를 획득하기 위한 촬상 방법을 설정한다. 본 예시적인 실시예에서, 사용자는 정보 처리 장치(1)의 디스플레이 면에 위치하는 전방 카메라(201) 또는 정보 처리 장치(1) 의 후면에 위치하는 메인 카메라(202) 중 어느 카메라를 촬상에 사용할지를 선택한다. 본 예시적인 실시예에서, 전방 카메라(201)는 거리 정보를 획득할 수 없는 단일 렌즈 카메라이다. 메인 카메라(202)는 시차 정보에 기초하여 거리 화상 데이터를 획득할 수 있는 카메라이다.26 is a flowchart showing processing performed by the information processing apparatus 1 according to the present exemplary embodiment. In step S2601, the image data acquisition unit 2001 sets an imaging method for acquiring image data based on user motions obtained from the input/output unit 2009. In this exemplary embodiment, the user selects which camera to use for image capture, the front camera 201 located on the display surface of the information processing device 1 or the main camera 202 located on the rear side of the information processing device 1. choose the In this exemplary embodiment, the front camera 201 is a single lens camera that cannot obtain distance information. The main camera 202 is a camera capable of acquiring distance image data based on parallax information.

단계 S2602에서, 화상 데이터 획득 유닛(2001)은 설정된 카메라로부터 화상 데이터를 획득한다. 단계 S2603에서, 파라미터 조정가능 범위 설정 유닛(2002)은 촬상 방법에 기초하여 거리 정밀도를 설정하고, 설정된 거리 정밀도에 기초하여 라이팅 파라미터들의 조정가능한 범위를 설정한다. 촬상 방법에 기초하여 거리 정밀도를 설정하는 방법은 제6 예시적인 실시예의 것과 유사하다. 따라서, 그에 대한 설명은 생략될 것이다. 라이팅 파라미터들의 조정가능한 범위를 설정하는 방법은 제7 예시적인 실시예의 것과 유사하다. 따라서, 그에 대한 설명은 생략될 것이다. 단계 S2604에서, 라이팅 파라미터 설정 유닛(2003)은 입출력 유닛(2009)으로부터 획득된 사용자 동작들에 기초하여 라이팅 파라미터들을 설정한다. 사용자 동작이 행해지지 않으면, 라이팅 파라미터 설정 유닛(2003)은 미리 결정된 값들을 라이팅 파라미터들로서 설정한다.In step S2602, the image data acquisition unit 2001 acquires image data from the set camera. In step S2603, the parameter adjustable range setting unit 2002 sets the distance precision based on the imaging method, and sets the adjustable range of lighting parameters based on the set distance precision. The method of setting the distance precision based on the imaging method is similar to that in the sixth exemplary embodiment. Therefore, a description thereof will be omitted. A method of setting the adjustable range of lighting parameters is similar to that of the seventh exemplary embodiment. Therefore, a description thereof will be omitted. In step S2604, the lighting parameter setting unit 2003 sets lighting parameters based on user motions obtained from the input/output unit 2009. If no user action is performed, the lighting parameter setting unit 2003 sets predetermined values as lighting parameters.

단계 S2605에서, 라이팅 처리 유닛(2004)은 설정된 라이팅 파라미터들에 기초하여 컬러 화상을 보정한다. 컬러 화상을 보정하는 처리는 제7 예시적인 실시예의 것과 유사하다. 따라서, 그에 대한 설명은 생략될 것이다. 단계 S2606에서, 화상 표시 제어 유닛(2005)은 보정된 화상을 입출력 유닛(2009) 상에 표시한다.In step S2605, the writing processing unit 2004 corrects the color image based on the set writing parameters. The process of correcting the color image is similar to that of the seventh exemplary embodiment. Therefore, a description thereof will be omitted. In step S2606, the image display control unit 2005 displays the corrected image on the input/output unit 2009.

단계 S2607에서, 인터페이스 표시 제어 유닛(2006)은 라이팅 파라미터들을 조정하기 위한 인터페이스를 표시한다. 도 27a 및 도 27b는 표시 화상의 예들을 도시한다. 도 27a는 메인 카메라(202)가 촬상에 사용될 카메라로서 선택될 때의 표시 화상의 예를 도시한다. 이러한 경우, 인터페이스 표시 제어 유닛(2006)은 거리 정밀도 "중간"에 대응하는 인터페이스를 표시한다. 도 27b는 전방 카메라(201)가 촬상에 사용될 카메라로서 선택될 때의 표시 화상의 예를 도시한다. 이러한 경우, 인터페이스 표시 제어 유닛(2006)은 거리 정밀도 "로우"에 대응하는 인터페이스를 표시한다. 사용자는 카메라 스위치 동작을 나타내는 아이콘(2701)을 선택함으로써 촬상 방법을 변경한다.In step S2607, the interface display control unit 2006 displays an interface for adjusting lighting parameters. 27A and 27B show examples of display images. Fig. 27A shows an example of a display image when the main camera 202 is selected as the camera to be used for imaging. In this case, the interface display control unit 2006 displays the interface corresponding to the distance precision "medium". Fig. 27B shows an example of a display image when the front camera 201 is selected as the camera to be used for imaging. In this case, the interface display control unit 2006 displays the interface corresponding to the distance accuracy "low". The user changes the imaging method by selecting an icon 2701 representing a camera switch operation.

단계 S2608에서, 라이팅 처리 유닛(2004)은 입출력 유닛(2009)으로부터 획득된 사용자 동작들에 기초하여 저장 유닛(2007)에 보정된 화상 데이터를 기록할지를 결정한다. 보정된 화상 데이터를 기록하기 위한 동작이 검출된다면(단계 S2608에서 예), 처리는 단계 S2610으로 진행한다. 보정된 화상 데이터를 기록하는 동작이 검출되지 않으면(단계 S2608에서 아니오), 처리는 단계 S2609로 진행한다. 단계 S2609에서, 라이팅 처리 유닛(2004)은 입출력 유닛(2009)으로부터 획득된 사용자 동작들에 기초하여 촬상 방법을 변경할지를 결정한다. 촬상 방법을 변경하는 동작이 검출되면(단계 S2609에서 예), 처리는 단계 S2601로 진행한다. 촬상 방법을 변경하는 동작이 검출되지 않으면(단계 S2609에서 아니오), 처리는 단계 S2602로 진행한다. 단계 S2610에서, 라이팅 처리 유닛(2004)은 보정된 화상 데이터를 저장 유닛(2007)에 기록한다. 처리는 종료된다.In step S2608, the writing processing unit 2004 determines whether or not to record corrected image data in the storage unit 2007 based on the user actions obtained from the input/output unit 2009. If an operation for writing the corrected image data is detected (YES in step S2608), the process proceeds to step S2610. If the operation of writing the corrected image data is not detected (NO in step S2608), the process proceeds to step S2609. In step S2609, the writing processing unit 2004 determines whether to change the imaging method based on user motions obtained from the input/output unit 2009. If an operation to change the imaging method is detected (YES in step S2609), the process proceeds to step S2601. If an operation to change the imaging method is not detected (NO in step S2609), the process proceeds to step S2602. In step S2610, the writing processing unit 2004 writes the corrected image data into the storage unit 2007. Processing ends.

<제8 예시적인 실시예의 효과><Effect of the eighth exemplary embodiment>

전술한 바와 같이, 본 예시적인 실시예에 따른 정보 처리 장치(1)는 컬러 화상 데이터를 획득하기 위한 화상을 캡처하는 촬상 방법에 기초하여 라이팅 파라미터들의 조정가능한 범위를 설정한다. 따라서, 촬상 방법에 기초하여 라이팅 파라미터들의 조정가능한 범위를 제한함으로써, 정보 처리 장치(1)는 피사체에 관한 거리 정보에 기초하여 화상에 라이팅 효과를 적용하기 위해 라이팅 효과에 대한 적절한 후보들을 결정할 수 있다.As described above, the information processing apparatus 1 according to this exemplary embodiment sets adjustable ranges of lighting parameters based on the imaging method of capturing an image for obtaining color image data. Therefore, by limiting the adjustable range of lighting parameters based on the imaging method, the information processing device 1 can determine appropriate candidates for the lighting effect to apply the lighting effect to an image based on the distance information about the subject. .

<변형들><transformations>

본 예시적인 실시예에서, 전방 카메라(201)는 거리 정보를 획득할 수 없는 카메라이고, 메인 카메라(202)는 시차 정보에 기초하여 거리 화상 데이터를 획득하는 카메라이다. 그러나, 카메라들의 조합은 이에 한정되지 않는다. 피사체 상에 광을 투영하여 거리 정보를 획득하는 카메라는 전방 카메라(201) 또는 메인 카메라(202)로서 사용될 수 있다. 대안적으로, 3개 이상의 카메라가 스위칭될 수 있다.In this exemplary embodiment, the front camera 201 is a camera that cannot acquire distance information, and the main camera 202 is a camera that acquires distance image data based on parallax information. However, the combination of cameras is not limited to this. A camera that acquires distance information by projecting light onto a subject may be used as the front camera 201 or the main camera 202 . Alternatively, three or more cameras may be switched.

[다른 예시적인 실시예들][Other exemplary embodiments]

제2 예시적인 실시예를 제외한 전술한 예시적인 실시예들에서, 정보 처리 장치(1)는 도 1a에 도시된 하드웨어 구성을 갖는다. 그러나, 정보 처리 장치(1)의 하드웨어 구성은 전술한 예들로 제한되지 않는다. 예를 들어, 정보 처리 장치(1)는 도 1b에 도시된 하드웨어 구성을 가질 수 있다. 정보 처리 장치(1)는 CPU(101), ROM(102), RAM(103), 비디오 카드(VC)(111), 범용 I/F(114), 및 직렬 고급 기술 결합(직렬 ATA 또는 SATA) I/F(118)를 포함한다. CPU(101)는 RAM(103)을 작업 메모리로서 사용하여 ROM(102) 및 저장 디바이스(110)에 저장된 OS 및 다양한 프로그램들을 실행한다. CPU(101)는 시스템 버스(108)를 통해 컴포넌트들을 제어한다. 마우스 및 키보드와 같은 입력 디바이스(116) 및 촬상 디바이스(117)는 직렬 버스(115)를 통해 범용 I/F(114)에 접속된다. 저장 디바이스(110)는 직렬 버스(119)를 통해 SATA I/F(118)에 접속된다. 디스플레이(113)는 직렬 버스(112)를 통해 VC(111)에 접속된다. CPU (101)는 디스플레이(113) 상의 프로그램에 의해 제공되는 사용자 인터페이스(UI)를 표시하고, 입력 디바이스(116)를 통해 획득된 사용자 명령어들을 표시하는 입력 정보를 수신한다. 예를 들어, 도 1b에 도시된 정보 처리 장치(1)는 데스크톱 PC에 의해 구현된다. 정보 처리 장치(1)는 또한 촬상 디바이스(117)와 통합된 디지털 카메라, 또는 디스플레이(113)와 통합된 PC에 의해 구현될 수 있다.In the above exemplary embodiments except for the second exemplary embodiment, the information processing apparatus 1 has the hardware configuration shown in Fig. 1A. However, the hardware configuration of the information processing device 1 is not limited to the above examples. For example, the information processing device 1 may have the hardware configuration shown in FIG. 1B. Information processing unit 1 includes CPU 101, ROM 102, RAM 103, video card (VC) 111, general-purpose I/F 114, and serial advanced technology combination (serial ATA or SATA) It includes I/F (118). The CPU 101 uses the RAM 103 as a work memory to execute the OS and various programs stored in the ROM 102 and the storage device 110 . CPU 101 controls components via system bus 108 . An input device 116 such as a mouse and keyboard and an imaging device 117 are connected to the general-purpose I/F 114 via a serial bus 115. The storage device 110 is connected to the SATA I/F 118 through a serial bus 119. Display 113 is connected to VC 111 via serial bus 112. The CPU 101 displays a user interface (UI) provided by a program on the display 113 and receives input information indicating user instructions acquired through the input device 116 . For example, the information processing device 1 shown in FIG. 1B is implemented by a desktop PC. The information processing apparatus 1 can also be implemented by a digital camera integrated with the imaging device 117, or a PC integrated with the display 113.

제2 예시적인 실시예를 제외한 전술한 예시적인 실시예들에서, 정보 처리 장치(1)는 촬상 유닛(106)으로서, 2개의 카메라, 또는 메인 카메라(202)와 전방 카메라(201)를 포함한다. 그러나, 촬상 유닛(106)은 전술한 예들로 한정되지 않는다. 예를 들어, 정보 처리 장치(1)는 메인 카메라(202)만을 포함할 수 있다.In the above exemplary embodiments except the second exemplary embodiment, the information processing device 1 includes two cameras, or a main camera 202 and a front camera 201, as the imaging unit 106. . However, the imaging unit 106 is not limited to the examples described above. For example, the information processing device 1 may include only the main camera 202 .

전술한 예시적인 실시예에서, 라이팅 효과가 적용되는 타겟 화상은 컬러 화상이다. 그러나, 타겟 화상은 그레이스케일 화상일 수 있다.In the above exemplary embodiment, the target image to which the lighting effect is applied is a color image. However, the target image may be a grayscale image.

전술한 예시적인 실시예들에서의 저장 디바이스(110)는 HDD이지만, 저장 디바이스(110)는 전술한 예들로 제한되지 않는다. 예를 들어, 저장 디바이스(110)는 SSD(solid state drive)일 수 있다. 저장 디바이스(110)는 매체(저장 매체) 및 매체에 액세스하기 위한 외부 저장 드라이브에 의해 또한 구현될 수 있다. 매체의 예들은 플렉시블 디스크(FD), 컴팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다기능 디스크(DVD), 범용 직렬 버스(USB) 메모리, 자기 광학(MO) 디스크, 및 플래시 메모리를 포함할 수 있다.The storage device 110 in the foregoing exemplary embodiments is an HDD, but the storage device 110 is not limited to the foregoing examples. For example, the storage device 110 may be a solid state drive (SSD). The storage device 110 may also be implemented by a medium (storage medium) and an external storage drive for accessing the medium. Examples of media may include flexible disk (FD), compact disk read-only memory (CD-ROM), digital versatile disk (DVD), universal serial bus (USB) memory, magneto-optical (MO) disk, and flash memory. there is.

본 개시내용의 예시적인 실시예에 따르면, 라이팅 효과에 대한 적절한 후보들은 피사체에 관한 거리 정보에 기초하여 라이팅 효과를 화상에 적용하도록 결정될 수 있다.According to an exemplary embodiment of the present disclosure, suitable candidates for a lighting effect may be determined to apply a lighting effect to an image based on distance information about a subject.

다른 실시예들other embodiments

본 개시내용의 실시예(들)은 또한, 상술한 실시예(들) 중 하나 이상의 기능들을 수행하기 위해 저장 매체(이것은 또한 더 완전하게는 '비일시적 컴퓨터 판독가능 저장 매체로 불림')에 기록된 컴퓨터 실행가능 명령어들(예를 들어, 하나 이상의 프로그램)을 판독하고 실행하는 및/또는 상술한 실시예(들) 중 하나 이상의 기능들을 수행하기 위한 하나 이상의 회로(예를 들어, ASIC(application specific integrated circuit))를 포함하는 시스템 또는 장치의 컴퓨터에 의해, 및 예를 들어 상술한 실시예(들) 중 하나 이상의 기능들을 수행하기 위해 저장 매체로부터 컴퓨터 실행가능 명령어들을 판독하고 실행함으로써 및/또는 상술한 실시예(들) 중 하나 이상의 기능들을 수행하기 위해 하나 이상의 회로를 제어함으로써 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해 실현될 수 있다. 상기 컴퓨터는 하나 이상의 프로세서(예를 들면, CPU(central processing unit), MPU(micro processing unit))를 포함할 수 있을 것이며, 컴퓨터 실행가능 명령어를 판독하여 실행하기 위한 개별 컴퓨터 또는 개별 프로세서의 네트워크를 포함할 수도 있을 것이다. 컴퓨터 실행가능 명령어들은 예를 들어 네트워크 또는 저장 매체로부터 컴퓨터에 제공될 수 있다. 저장 매체는, 예컨대, RAM(random-access memory), ROM(read only memory), 분산된 연산 시스템들의 스토리지, (CD(compact disc), DVD(digital versatile disc) 또는 Blu-ray Disc (BD™과 같은) 광학 디스크, 플래시 메모리 디바이스, 메모리 카드 등 중 하나 이상을 포함할 수 있다.Embodiment(s) of the present disclosure may also be recorded in a storage medium (also more fully referred to as a 'non-transitory computer-readable storage medium') to perform the functions of one or more of the above-described embodiment(s). One or more circuits (eg, an application specific (ASIC)) for reading and executing computer-executable instructions (eg, one or more programs) and/or performing one or more functions of the above-described embodiment(s). integrated circuit), and/or by reading and executing computer-executable instructions from a storage medium to perform one or more functions of the foregoing embodiment(s), for example. One embodiment(s) may be realized by a method performed by a computer of a system or device by controlling one or more circuits to perform one or more functions. The computer may include one or more processors (eg, central processing unit (CPU), micro processing unit (MPU)), and a network of individual computers or individual processors for reading and executing computer-executable instructions. might include Computer executable instructions may be provided to a computer, for example from a network or storage medium. The storage medium is, for example, RAM (random-access memory), ROM (read only memory), storage of distributed computing systems (CD (compact disc), DVD (digital versatile disc) or Blu-ray Disc (BD™ and same), an optical disk, a flash memory device, a memory card, and the like.

(기타의 실시예)(Other examples)

본 발명은, 상기의 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실현가능하다.In the present invention, a program for realizing one or more functions of the above embodiments is supplied to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device read and execute the program. processing is also feasible.

또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.Also, it can be implemented by a circuit (eg ASIC) that realizes one or more functions.

본 개시내용은 예시적인 실시예들을 참조하여 설명되었지만, 본 개시내용은 개시된 예시적인 실시예에 한정되지 않는다는 것을 이해할 것이다. 이하의 청구항의 범위는 이러한 모든 변형과 동등한 구조 및 기능을 포함하도록 최광의로 해석되어야 한다.Although the present disclosure has been described with reference to exemplary embodiments, it will be understood that the present disclosure is not limited to the disclosed exemplary embodiments. The scope of the following claims is to be accorded the broadest interpretation so as to encompass all such modifications and equivalent structures and functions.

Claims

정보 처리 장치로서,
화상을 나타내는 화상 데이터를 획득하도록 구성되는 제1 획득 유닛;
상기 화상 데이터에 대응하는 거리 정보를 획득하도록 구성되는 제2 획득 유닛;
상기 거리 정보의 정밀도에 기초하여, 상기 화상에 상기 거리 정보에 기초한 라이팅 효과를 적용할 때 상기 화상에 적용가능한 라이팅 효과에 대한 후보를 결정하도록 구성되는 제1 결정 유닛; 및
상기 거리 정보의 정밀도를 결정하도록 구성되는 제2 결정 유닛을 포함하고,
상기 제1 결정 유닛은 상기 제2 결정 유닛의 결정 결과에 기초하여 상기 화상에 적용가능한 상기 라이팅 효과에 대한 후보를 결정하도록 구성되며,
상기 제2 결정 유닛은 상기 화상 내의 피사체에 대응하는 영역에 관한 상기 거리 정보의 정밀도를 결정하도록 구성되고,
상기 제2 결정 유닛은 상기 피사체의 얼굴에서의 돌출 및 함몰이 상기 화상으로부터 식별 가능한지에 기초하여 상기 거리 정보의 정밀도를 결정하도록 구성되는 정보 처리 장치.As an information processing device,
a first obtaining unit configured to acquire image data representative of an image;
a second acquiring unit configured to acquire distance information corresponding to the image data;
a first determination unit, configured to determine, based on the precision of the distance information, a candidate for a lighting effect applicable to the image when applying a lighting effect based on the distance information to the image; and
a second determining unit, configured to determine precision of the distance information;
the first determination unit is configured to determine a candidate for the lighting effect applicable to the image based on a determination result of the second determination unit;
the second determination unit is configured to determine accuracy of the distance information about an area corresponding to a subject in the image;
and the second determination unit is configured to determine accuracy of the distance information based on whether protrusions and depressions in the face of the subject are identifiable from the image.

삭제delete

제1항에 있어서,
상기 제2 결정 유닛은 상기 거리 정보를 미리 결정된 값과 비교함으로써 상기 거리 정보의 정밀도를 결정하도록 구성되는 정보 처리 장치.According to claim 1,
and the second determining unit is configured to determine precision of the distance information by comparing the distance information with a predetermined value.

삭제delete

제1항에 있어서,
상기 제2 결정 유닛은 상기 거리 정보를 획득하는데 사용되는 촬상 유닛에 관한 정보에 기초하여 상기 거리 정보의 정밀도를 결정하도록 구성되는 정보 처리 장치.According to claim 1,
and the second determining unit is configured to determine precision of the distance information based on information about an imaging unit used to obtain the distance information.

제6항에 있어서,
상기 제2 결정 유닛은 상기 거리 정보를 획득하도록 구성된 상기 촬상 유닛이 거리 정보를 획득하는 기능을 가지고 있는지에 기초하여 상기 거리 정보의 정밀도를 결정하도록 구성되는 정보 처리 장치.According to claim 6,
and the second determination unit is configured to determine accuracy of the distance information based on whether the imaging unit configured to acquire the distance information has a function of obtaining distance information.

제7항에 있어서,
상기 기능은 피사체 상에 광을 투영함으로써 상기 거리 정보를 획득하는 기능인 정보 처리 장치.According to claim 7,
wherein the function is a function of acquiring the distance information by projecting light onto a subject.

제1항에 있어서,
상기 제2 결정 유닛은 상기 화상 데이터를 획득하기 위해 화상을 캡처할 때의 초점 위치에 기초하여 상기 거리 정보의 정밀도를 결정하도록 구성되는 정보 처리 장치.According to claim 1,
wherein the second determination unit is configured to determine precision of the distance information based on a focal position when capturing an image to obtain the image data.

제1항에 있어서,
상기 제2 결정 유닛은 상기 화상 데이터를 획득하기 위해 캡처된 장면에 기초하여 상기 거리 정보의 정밀도를 결정하도록 구성되는 정보 처리 장치.According to claim 1,
and the second determination unit is configured to determine precision of the distance information based on a scene captured to obtain the image data.

제10항에 있어서,
상기 제2 결정 유닛은 상기 장면이 사람을 포함하는지에 기초하여 상기 거리 정보의 정밀도를 결정하도록 구성되는 정보 처리 장치.According to claim 10,
and the second determination unit is configured to determine precision of the distance information based on whether the scene includes a person.

제10항에 있어서,
상기 제2 결정 유닛은 상기 장면이 움직이는 피사체의 일시적인 상태를 포함하는지에 기초하여 상기 거리 정보의 정밀도를 결정하도록 구성되는 정보 처리 장치.According to claim 10,
and the second determination unit is configured to determine accuracy of the distance information based on whether the scene includes a temporal state of a moving subject.

제1항에 있어서,
상기 제2 결정 유닛은 상기 화상에 포함된 사람에 대응하는 정보에 기초하여 상기 거리 정보의 정밀도를 결정하도록 구성되는 정보 처리 장치.According to claim 1,
and the second determination unit is configured to determine accuracy of the distance information based on information corresponding to a person included in the image.

제13항에 있어서,
사람을 식별하는 개인 정보를 획득하도록 구성되는 제3 획득 유닛을 추가로 포함하고,
상기 제2 결정 유닛은 상기 화상으로부터 사람의 얼굴에 대응하는 영역을 추출하고, 추출된 영역에서의 상기 얼굴과 상기 개인 정보에 의해 식별된 사람의 얼굴 사이의 유사도에 기초하여 상기 거리 정보의 정밀도를 결정하도록 구성되는 정보 처리 장치.According to claim 13,
Further comprising a third acquiring unit configured to acquire personal information identifying a person;
The second determination unit extracts an area corresponding to a person's face from the image, and determines accuracy of the distance information based on a degree of similarity between the face in the extracted area and the person's face identified by the personal information. An information processing device configured to determine.

제1항에 있어서,
상기 화상에 적용가능한 상기 라이팅 효과에 대한 후보를 제시하는 제시 유닛을 제어하도록 구성되는 제어 유닛을 추가로 포함하고,
상기 제어 유닛은 상기 화상에 적용가능한 상기 라이팅 효과에 대한 후보를 나타내는 아이콘을 표시 유닛 상에 표시하도록 구성되는 정보 처리 장치.According to claim 1,
further comprising a control unit configured to control a presenting unit presenting a candidate for the lighting effect applicable to the image;
wherein the control unit is configured to display, on a display unit, an icon representing a candidate for the lighting effect applicable to the image.

제15항에 있어서,
상기 제어 유닛은 상기 아이콘을 상기 표시 유닛 상에 표시하도록 구성되고, 상기 아이콘은 상기 라이팅 효과가 적용된 상기 화상에 중첩되는 정보 처리 장치.According to claim 15,
wherein the control unit is configured to display the icon on the display unit, and the icon is superimposed on the image to which the lighting effect is applied.

제1항에 있어서,
상기 화상에 적용가능한 상기 라이팅 효과에 대한 후보를 제시하는 제시 유닛을 제어하도록 구성되는 제어 유닛을 추가로 포함하고,
상기 제어 유닛은 상기 라이팅 효과의 조정가능한 범위를 표시 유닛 상에 표시함으로써 상기 화상에 적용가능한 상기 라이팅 효과에 대한 후보를 제시하도록 구성되는 정보 처리 장치.According to claim 1,
further comprising a control unit configured to control a presenting unit presenting a candidate for the lighting effect applicable to the image;
and the control unit is configured to present a candidate for the lighting effect applicable to the image by displaying an adjustable range of the lighting effect on a display unit.

삭제delete

정보 처리 방법으로서,
화상을 나타내는 화상 데이터를 획득하는 단계;
상기 화상 데이터에 대응하는 거리 정보를 획득하는 단계;
상기 거리 정보의 정밀도에 기초하여, 상기 화상에 상기 거리 정보에 기초한 라이팅 효과를 적용할 때 상기 화상에 적용가능한 라이팅 효과에 대한 후보를 결정하는 단계; 및
상기 거리 정보의 정밀도를 결정하는 단계를 포함하고,
상기 후보를 결정하는 단계에서는, 상기 거리 정보의 정밀도를 결정하는 단계에서의 결정 결과에 기초하여 상기 화상에 적용가능한 상기 라이팅 효과에 대한 후보가 결정되며,
상기 거리 정보의 정밀도를 결정하는 단계에서는, 상기 화상 내의 피사체에 대응하는 영역에 관한 상기 거리 정보의 정밀도가 결정되고,
상기 거리 정보의 정밀도를 결정하는 단계에서는, 상기 피사체의 얼굴에서의 돌출 및 함몰이 상기 화상으로부터 식별 가능한지에 기초하여 상기 거리 정보의 정밀도가 결정되는 정보 처리 방법.As an information processing method,
obtaining image data representing an image;
acquiring distance information corresponding to the image data;
determining a candidate for a lighting effect applicable to the image when applying a lighting effect based on the distance information to the image, based on the accuracy of the distance information; and
Determining precision of the distance information;
In the step of determining the candidate, a candidate for the lighting effect applicable to the image is determined based on a result of the determination in the step of determining the accuracy of the distance information;
In the step of determining the precision of the distance information, the precision of the distance information for a region corresponding to the subject in the image is determined;
In the step of determining the accuracy of the distance information, the accuracy of the distance information is determined based on whether protrusions and depressions on the subject's face can be identified from the image.

명령어들을 저장하는 비일시적 컴퓨터-판독가능 저장 매체로서,
상기 명령어들은 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금:
화상을 나타내는 화상 데이터를 획득하는 단계;
상기 화상 데이터에 대응하는 거리 정보를 획득하는 단계;
상기 거리 정보의 정밀도에 기초하여, 상기 화상에 상기 거리 정보에 기초한 라이팅 효과를 적용할 때 상기 화상에 적용가능한 라이팅 효과에 대한 후보를 결정하는 단계; 및
상기 거리 정보의 정밀도를 결정하는 단계를 포함하는 방법을 수행하게 하고,
상기 후보를 결정하는 단계에서는, 상기 거리 정보의 정밀도를 결정하는 단계에서의 결정 결과에 기초하여 상기 화상에 적용가능한 상기 라이팅 효과에 대한 후보가 결정되며,
상기 거리 정보의 정밀도를 결정하는 단계에서는, 상기 화상 내의 피사체에 대응하는 영역에 관한 상기 거리 정보의 정밀도가 결정되고,
상기 거리 정보의 정밀도를 결정하는 단계에서는, 상기 피사체의 얼굴에서의 돌출 및 함몰이 상기 화상으로부터 식별 가능한지에 기초하여 상기 거리 정보의 정밀도가 결정되는 비일시적 컴퓨터-판독가능 저장 매체.A non-transitory computer-readable storage medium storing instructions,
When executed by a computer, the instructions cause the computer to:
obtaining image data representing an image;
acquiring distance information corresponding to the image data;
determining a candidate for a lighting effect applicable to the image when applying a lighting effect based on the distance information to the image, based on the accuracy of the distance information; and
perform a method comprising determining precision of the distance information;
In the step of determining the candidate, a candidate for the lighting effect applicable to the image is determined based on a result of the determination in the step of determining the accuracy of the distance information;
In the step of determining the precision of the distance information, the precision of the distance information for a region corresponding to the subject in the image is determined;
In the step of determining the precision of the distance information, the precision of the distance information is determined based on whether protrusions and depressions in the face of the subject can be identified from the image.