KR20220119494A - Virtual object control method and apparatus, apparatus, computer readable storage medium - Google Patents

Abstract

본 발명의 실시예는 가상 객체 제어 방법 및 장치, 기기, 컴퓨터 판독 가능 저장 매체를 개시한다. 상기 방법은, 실제 장면 중의 인터랙티브 객체의 다중 프레임의 인터랙티브 이미지 및 상기 실제 장면 중의 타깃 전시 객체의 전시 이미지를 각각 수집하는 단계; 상기 다중 프레임의 인터랙티브 이미지에 따라, 상기 인터랙티브 객체의 상태 정보를 결정하고, 상기 인터랙티브 객체의 상태 정보에 따라, 가상 객체의 자세 정보를 결정하는 단계; 상기 전시 이미지에 따라, 상기 타깃 전시 객체의 가상 효과 데이터를 결정하는 단계; 및 가상 효과 이미지를 획득하기 위해 상기 가상 객체의 자세 정보 및 상기 가상 효과 데이터를 사용하여 렌더링하고, 상기 가상 효과 이미지를 포함하는 증강 현실 효과를 전시하는 단계를 포함한다.An embodiment of the present invention discloses a method and apparatus for controlling a virtual object, an apparatus, and a computer-readable storage medium. The method includes: collecting multi-frame interactive images of an interactive object in a real scene and an exhibition image of a target exhibition object in the real scene, respectively; determining the state information of the interactive object according to the interactive image of the multi-frame, and determining the posture information of the virtual object according to the state information of the interactive object; determining virtual effect data of the target exhibition object according to the exhibition image; and rendering using the posture information of the virtual object and the virtual effect data to obtain a virtual effect image, and displaying an augmented reality effect including the virtual effect image.

Description

가상 객체 제어 방법 및 장치, 기기, 컴퓨터 판독 가능 저장 매체Virtual object control method and apparatus, apparatus, computer readable storage medium

본 발명은 출원번호가 202010761734.7이고, 출원일이 2020년 07월 31일인 중국 특허 출원을 기반으로 제출하였고, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본 발명에 인용된다.The present invention has been filed based on a Chinese patent application with an application number of 202010761734.7 and an application date of July 31, 2020, and claims the priority of the Chinese patent application. All contents of the Chinese patent application are incorporated herein by reference. are cited

본 발명은 이미지 처리 기술에 관한 것으로서, 특히 가상 객체 제어 방법 및 장치, 기기, 컴퓨터 판독 가능 저장 매체에 관한 것이다.The present invention relates to image processing technology, and more particularly, to a method and apparatus for controlling a virtual object, an apparatus, and a computer-readable storage medium.

현재, 역사 문화유물 전시, 자동차 전시, 건설 현장 건물 전시 또는 건축 계획 모래 테이블 전시 등 장면과 같은 대형 전시회의 경우, 전시품을 전시하고 전시품과 같은 다른 물품을 해설해야 하는 경우가 많다. 관련 기술에는 해설 녹음을 재생하는 동시에 스크린에 디지털 휴먼을 디스플레이하는 방법이 이미 존재한다. 그러나, 관련 기술에서, 전시품 해설 또는 다른 실제 장면에서 디지털 휴먼의 전시 모드는 단일하고 전시 방식은 유연하지 않아, 해설 효과에 영향을 미치며; 동시에, 관련 기술에서 전시품의 전시 방식도 비교적 단일하고 유연하지 않으며, 전시 효과가 풍부하지 않다.At present, in the case of large-scale exhibitions, such as scenes such as historical and cultural relics display, automobile display, construction site building display or architectural plan sand table display, it is often necessary to display the exhibits and explain other items such as exhibits. The related art already has a method of displaying a digital human on the screen while playing the narration recording. However, in the related art, the exhibition mode of the digital human in the exhibition commentary or other real scenes is single and the display mode is not flexible, affecting the narration effect; At the same time, the display method of the exhibits in the related art is also relatively monolithic and inflexible, and the display effect is not rich.

본 발명의 실시예는 가상 객체 및 전시 객체의 전시 유연성을 향상시킬 수 있고, 가상 객체 및 전시 객체의 전시 효과를 풍부하게 할 수 있는 가상 객체 제어 방법 및 장치, 기기, 컴퓨터 판독 가능 저장 매체를 제공한다.Embodiments of the present invention provide a virtual object control method and apparatus, apparatus, and computer-readable storage medium that can improve the display flexibility of virtual objects and exhibition objects, and enrich the display effect of virtual objects and exhibition objects do.

본 발명의 실시예의 기술적 해결수단은 하기와 같이 구현된다.The technical solutions of the embodiments of the present invention are implemented as follows.

본 발명의 실시예는 실제 장면 중의 인터랙티브 객체의 다중 프레임의 인터랙티브 이미지 및 상기 실제 장면 중의 타깃 전시 객체의 전시 이미지를 각각 수집하는 단계; 상기 다중 프레임의 인터랙티브 이미지에 따라, 상기 인터랙티브 객체의 상태 정보를 결정하고, 상기 인터랙티브 객체의 상태 정보에 따라, 가상 객체의 자세 정보를 결정하는 단계; 상기 전시 이미지에 따라, 상기 타깃 전시 객체의 가상 효과 데이터를 결정하는 단계; 및 가상 효과 이미지를 획득하기 위해 상기 가상 객체의 자세 정보 및 상기 가상 효과 데이터를 사용하여 렌더링하고, 상기 가상 효과 이미지를 포함하는 증강 현실 효과를 전시하는 단계를 포함하는 가상 객체 제어 방법을 제공한다.An embodiment of the present invention comprises the steps of: collecting, respectively, a multi-frame interactive image of an interactive object in a real scene and an exhibition image of a target exhibition object in the real scene; determining the state information of the interactive object according to the interactive image of the multi-frame, and determining the posture information of the virtual object according to the state information of the interactive object; determining virtual effect data of the target exhibition object according to the exhibition image; and rendering using the posture information of the virtual object and the virtual effect data to obtain a virtual effect image, and displaying the augmented reality effect including the virtual effect image.

본 발명의 실시예는 실제 장면 중의 인터랙티브 객체의 다중 프레임의 인터랙티브 이미지 및 상기 실제 장면 중의 타깃 전시 객체의 전시 이미지를 각각 수집하는 수집 부분; 상기 다중 프레임의 인터랙티브 이미지에 따라, 상기 실제 장면 중의 인터랙티브 객체의 상태 정보를 결정하고; 상기 인터랙티브 객체의 상태 정보에 따라, 가상 객체의 자세 정보를 제어하며; 상기 전시 이미지에 따라, 상기 타깃 전시 객체의 가상 효과 데이터를 결정하는 결정 부분; 가상 효과 이미지를 획득하기 위해 상기 가상 객체의 자세 정보 및 상기 가상 효과 데이터를 사용하여 렌더링하는 렌더링 부분; 및 상기 가상 효과 이미지를 포함하는 증강 현실 효과를 전시하는 디스플레이 부분을 포함하는 가상 객체 제어 장치를 제공한다.An embodiment of the present invention includes: a collecting part for collecting multi-frame interactive images of interactive objects in a real scene and a display image of a target exhibition object in the real scene, respectively; determine, according to the interactive image of the multi-frame, state information of the interactive object in the real scene; control posture information of the virtual object according to the state information of the interactive object; a determining part for determining virtual effect data of the target exhibition object according to the exhibition image; a rendering portion for rendering using the virtual effect data and the posture information of the virtual object to obtain a virtual effect image; and a display portion displaying an augmented reality effect including the virtual effect image.

본 발명의 실시예는 디스플레이 기기를 제공하고, 상기 디스플레이 기기는 디스플레이 스크린, 카메라, 메모리 및 프로세서를 포함하며; 상기 메모리에는 실행 가능한 컴퓨터 프로그램이 저장되고; 상기 프로세서는 상기 메모리에 저장된 실행 가능한 컴퓨터 프로그램이 실행될 경우, 상기 카메라 및 디스플레이 스크린과 결합하여, 상기 방법을 구현한다.An embodiment of the present invention provides a display device, wherein the display device includes a display screen, a camera, a memory and a processor; the memory stores an executable computer program; When the executable computer program stored in the memory is executed, the processor is combined with the camera and the display screen to implement the method.

본 발명의 실시예는 컴퓨터 프로그램이 저장되는 컴퓨터 판독 가능 저장 매체를 제공하고, 프로세서가 실행될 경우 상기 방법을 구현한다.An embodiment of the present invention provides a computer-readable storage medium in which a computer program is stored, and when a processor is executed, the method is implemented.

본 발명의 실시예는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 실행될 경우, 상기 전자 기기 중의 프로세서가 실행될 때 상기 방법을 구현한다.An embodiment of the present invention provides a computer program including computer readable code, and when the computer readable code is executed in an electronic device, the method is implemented when a processor in the electronic device is executed.

본 발명의 실시예에서, 실제 장면 중의 인터랙티브 객체의 상태 정보에 따라, 가상 객체의 자세 정보를 결정하기 때문에, 가상 객체의 자세 정보는 인터랙티브 객체의 상태 정보에 따라 변경될 수 있고, 가상 객체와 인터랙티브 객체 사이의 상호 작용을 구현할 수 있으므로, 가상 객체의 전시 유연성을 향상시키고 가상 객체의 전시 효과를 풍부하게 하며; 아울러, 타깃 전시 객체의 전시 이미지에 따라 타깃 전시 객체의 가상 효과 데이터를 획득하고, 가상 효과 데이터에 따라 렌더링하여 가상 효과 이미지를 획득하기 때문에, 실제 장면 중의 전시 객체에 대응되는 가상 효과를 전시할 수 있으므로, 전시 객체의 전시 방식을 증가하며, 전시 객체의 전시 유연성을 향상시키고, 전시 객체의 전시 효과를 풍부하게 한다.In an embodiment of the present invention, since the posture information of the virtual object is determined according to the state information of the interactive object in the real scene, the posture information of the virtual object may be changed according to the state information of the interactive object, and the virtual object and the interactive can implement the interaction between objects, so as to improve the display flexibility of the virtual object and enrich the display effect of the virtual object; In addition, since the virtual effect data of the target exhibition object is obtained according to the exhibition image of the target exhibition object, and the virtual effect image is obtained by rendering according to the virtual effect data, the virtual effect corresponding to the exhibition object in the real scene can be displayed. Therefore, the display method of the exhibition object is increased, the display flexibility of the exhibition object is improved, and the exhibition effect of the exhibition object is enriched.

이해해야 할 것은, 위의 일반적인 설명과 아래의 세부적인 설명은 단지 예시적이고 설명적인 것이며, 본 발명을 한정하지 않는다.It should be understood that the above general description and the detailed description below are merely exemplary and explanatory, and do not limit the present invention.

이 부분의 도면은 명세서에 병합되고 본 명세서의 일부분으로 구성되며, 이러한 도면은 본 발명에 부합되는 실시예를 도시하고, 명세서와 함께 본 발명의 기술적 해결수단을 설명하기 위해 사용된다.
도 1은 본 발명의 실시예에서 제공되는 전시 시스템의 하나의 선택 가능한 아키텍처 모식도이다.
도 2는 본 발명의 실시예에서 제공되는 응용 장면의 모식도이다.
도 3은 본 발명의 실시예에서 제공되는 디스플레이 기기의 모식도 1이다.
도 4는 본 발명의 실시예에서 제공되는 디스플레이 기기의 모식도 2이다.
도 5는 본 발명의 실시예에서 제공되는 가상 객체 제어 방법의 하나의 선택 가능한 흐름 모식도이다.
도 6은 본 발명의 실시예에서 제공되는 예시적인 디스플레이 기기의 디스플레이 인터페이스 모식도이다.
도 7은 본 발명의 실시예에서 제공되는 다른 예시적인 디스플레이 기기의 디스플레이 인터페이스 모식도이다.
도 8은 본 발명의 실시예에서 제공되는 가상 객체 제어 방법의 다른 하나의 선택 가능한 흐름 모식도이다.
도 9는 본 발명의 실시예에서 제공되는 가상 객체 제어 방법의 또 다른 하나의 선택 가능한 흐름 모식도이다.
도 10은 본 발명의 실시예에서 제공되는 가상 객체 제어 방법의 또 다른 하나의 선택 가능한 흐름 모식도이다.
도 11은 본 발명의 실시예에서 제공되는 가상 객체 제어 방법의 또 다른 하나의 선택 가능한 흐름 모식도이다.
도 12는 본 발명의 실시예에서 제공되는 가상 객체 제어 방법의 또 다른 하나의 선택 가능한 흐름 모식도이다.
도 13은 본 발명의 실시예에서 제공되는 가상 객체 제어 방법의 또 다른 하나의 선택 가능한 흐름 모식도이다.
도 14a는 본 발명의 실시예에서 제공되는 예시적인 디스플레이 기기에 의해 전시되는 가상 객체의 효과 모식도이다.
도 14b는 본 발명의 실시예에서 제공되는 다른 예시적인 디스플레이 기기에 의해 전시되는 가상 객체의 효과 모식도이다.
도 15는 본 발명의 실시예에서 제공되는 가상 객체 제어 방법의 또 다른 하나의 선택 가능한 흐름 모식도이다.
도 16은 본 발명의 실시예에서 제공되는 가상 객체 제어 방법의 또 다른 하나의 선택 가능한 흐름 모식도이다.
도 17a는 본 발명의 실시예에서 제공되는 예시적인 디스플레이 기기의 디스플레이 인터페이스 모식도이다.
도 17b는 본 발명의 실시예에서 제공되는 다른 예시적인 디스플레이 기기의 디스플레이 인터페이스 모식도이다.
도 18은 본 발명의 실시예에서 제공되는 가상 객체 제어 방법의 또 다른 하나의 선택 가능한 흐름 모식도이다.
도 19는 본 발명의 실시예에서 제공되는 가상 객체 제어 방법의 또 다른 하나의 선택 가능한 흐름 모식도이다.
도 20은 본 발명의 실시예에서 제공되는 가상 객체 제어 장치의 구조 모식도이다.
도 21은 본 발명의 실시예에서 제공되는 디스플레이 기기의 구조 모식도이다.The drawings in this part are incorporated in and constitute a part of this specification, and these drawings show embodiments consistent with the present invention, and together with the specification are used to explain the technical solutions of the present invention.
1 is a schematic diagram of one selectable architecture of an exhibition system provided in an embodiment of the present invention.
2 is a schematic diagram of an application scene provided in an embodiment of the present invention.
3 is a schematic diagram 1 of a display device provided in an embodiment of the present invention.
4 is a schematic diagram 2 of a display device provided in an embodiment of the present invention.
5 is a selectable flow schematic diagram of a virtual object control method provided in an embodiment of the present invention.
6 is a schematic diagram of a display interface of an exemplary display device provided in an embodiment of the present invention.
7 is a schematic diagram of a display interface of another exemplary display device provided in an embodiment of the present invention.
8 is another selectable flow diagram of a virtual object control method provided in an embodiment of the present invention.
9 is another selectable flow diagram of a virtual object control method provided in an embodiment of the present invention.
10 is another selectable flow diagram of a virtual object control method provided in an embodiment of the present invention.
11 is another selectable flow schematic diagram of a virtual object control method provided in an embodiment of the present invention.
12 is another selectable flow diagram of a virtual object control method provided in an embodiment of the present invention.
13 is another selectable flow diagram of a virtual object control method provided in an embodiment of the present invention.
14A is a schematic diagram of an effect of a virtual object displayed by an exemplary display device provided in an embodiment of the present invention.
14B is a schematic diagram of an effect of a virtual object displayed by another exemplary display device provided in an embodiment of the present invention.
15 is another selectable flow diagram of a virtual object control method provided in an embodiment of the present invention.
16 is another selectable flow diagram of a virtual object control method provided in an embodiment of the present invention.
17A is a schematic diagram of a display interface of an exemplary display device provided in an embodiment of the present invention;
17B is a schematic diagram of a display interface of another exemplary display device provided in an embodiment of the present invention.
18 is another selectable flow diagram of a virtual object control method provided in an embodiment of the present invention.
19 is another selectable flow schematic diagram of a virtual object control method provided in an embodiment of the present invention.
20 is a structural schematic diagram of a virtual object control apparatus provided in an embodiment of the present invention.
21 is a structural schematic diagram of a display device provided in an embodiment of the present invention.

이하, 본 발명의 목적, 기술적 해결수단 및 장점을 보다 명확하게 하기 위해, 도면을 결부하여 본 발명을 더 상세하게 설명할 것이고, 설명되는 실시예는 본 발명의 한정으로 간주되어서는 아니 되며, 당업자가 진보적 창출에 힘쓰지 않고 획득한 다른 실시예는 모두 본 발명의 보호범위에 속한다.Hereinafter, in order to make the objects, technical solutions and advantages of the present invention more clear, the present invention will be described in more detail with reference to the drawings, and the described embodiments should not be regarded as limitations of the present invention, and those skilled in the art All other embodiments obtained without striving for progressive creation belong to the protection scope of the present invention.

증강 현실(Augmented Reality, AR) 기술은 가상 정보를 현실 세계와 교묘하게 융합하는 기술로, 사용자는 AR 기기를 통해 실제 장면에 겹쳐진 가상 객체를 볼 수 있는 바, 예를 들어 실제 캠퍼스 운동장에 겹쳐진 가상의 나무를 볼 수 있고, 하늘에 겹쳐진 가상의 날아다니는 새를 볼 수 있으며, 이러한 가상의 나무와 가상의 날아다니는 새와 같은 가상 객체가 실제 장면에 더 잘 융합되도록 하여 증강 현실 장면에서 가상 객체에 대한 표현 효과를 구현하는 방법은 본 발명의 실시예에서 논의되는 내용이고, 아래에서는 구체적인 실시예를 결부하여 설명한다.Augmented reality (AR) technology is a technology that cleverly fuses virtual information with the real world. A user can see a virtual object superimposed on a real scene through an AR device, for example, a virtual object superimposed on a real campus playground. of trees, and virtual flying birds superimposed on the sky, allowing virtual objects such as these virtual trees and virtual flying birds to be better fused into the real scene, so that virtual objects in the augmented reality scene can be seen. The method of implementing the expression effect for the content is discussed in the embodiment of the present invention, and will be described below in conjunction with the specific embodiment.

본 발명의 실시예는 가상 객체 및 전시 객체의 전시 유연성을 향상시킬 수 있고, 가상 객체 및 전시 객체의 전시 효과를 풍부하게 할 수 있는 가상 객체 제어 방법을 제공한다. 본 발명의 실시예에서 제공되는 가상 객체 제어 방법은 가상 객체 제어 기기에 적용되고, 상기 가상 객체 제어 기기는 디스플레이 기기일 수 있다.An embodiment of the present invention provides a virtual object control method capable of improving display flexibility of virtual objects and exhibition objects and enriching display effects of virtual objects and exhibition objects. The virtual object control method provided in the embodiment of the present invention may be applied to a virtual object control device, and the virtual object control device may be a display device.

이하, 본 발명의 실시예에서 제공되는 디스플레이 기기의 예시적인 응용을 설명하며, 본 발명의 실시예에서 제공되는 디스플레이 기기는 AR 안경, 노트북, 태블릿 PC, 데스크톱, 셋톱 박스, 모바일 기기(예를 들어 모바일폰, 휴대용 뮤직 플레이어, 개인용 정보 단말기, 전용 메시징 기기, 휴대용 게임 기기)와 같은 다양한 유형의 사용자 단말기(이하, 단말기라고 함)로 구현될 수 있고, 서버로도 구현될 수 있다. 이하, 디스플레이 기기가 단말기로 구현되는 경우의 예시적인 응용을 설명한다. 디스플레이 기기가 단말기로 구현되는 경우, 실제 장면 중의 인터랙티브 객체의 다중 프레임의 인터랙티브 이미지 및 상기 실제 장면 중의 타깃 전시 객체의 전시 이미지를 각각 수집할 수 있으며, 상기 다중 프레임의 인터랙티브 이미지에 따라, 상기 인터랙티브 객체의 상태 정보를 결정할 수 있고, 상기 인터랙티브 객체의 상태 정보에 따라, 가상 객체의 자세 정보를 결정할 수 있으며, 상기 전시 이미지에 따라, 상기 타깃 전시 객체의 가상 효과 데이터를 결정할 수 있고; 단말기는 또한 클라우드 서버와 인터랙션할 수 있으며, 클라우드 서버와의 인터랙션을 통해, 상기 인터랙티브 객체의 상태 정보에 대응되는 가상 객체의 자세 정보를 획득할 수 있고, 타깃 전시 객체의 가상 효과 데이터를 획득할 수 있으며, 가상 효과 이미지를 획득하기 위해 상기 가상 객체의 자세 정보 및 상기 가상 효과 데이터를 사용하여 렌더링할 수 있고, 상기 가상 효과 이미지를 포함하는 증강 현실 효과를 전시할 수 있다.Hereinafter, exemplary applications of the display device provided in the embodiment of the present invention will be described, and the display device provided in the embodiment of the present invention is AR glasses, a notebook computer, a tablet PC, a desktop, a set-top box, a mobile device (for example, It may be implemented as various types of user terminals (hereinafter referred to as terminals) such as mobile phones, portable music players, personal information terminals, dedicated messaging devices, and portable game devices, and may also be implemented as servers. Hereinafter, an exemplary application of the case where the display device is implemented as a terminal will be described. When the display device is implemented as a terminal, the interactive image of multiple frames of the interactive object in the real scene and the exhibition image of the target exhibition object in the real scene may be collected, respectively, and according to the interactive image of the multiple frames, the interactive object may determine the state information of the object, determine the posture information of the virtual object according to the state information of the interactive object, and determine the virtual effect data of the target exhibition object according to the exhibition image; The terminal may also interact with the cloud server, and through the interaction with the cloud server, the posture information of the virtual object corresponding to the state information of the interactive object may be obtained, and the virtual effect data of the target exhibition object may be obtained. In addition, in order to obtain a virtual effect image, it is possible to render using the posture information of the virtual object and the virtual effect data, and display an augmented reality effect including the virtual effect image.

이하, 타깃 전시 객체 및 인터랙티브 객체가 포함되는 실제 장면에서, 단말기가 서버와 인터랙션하는 방식을 통해 상기 인터랙티브 객체의 상태 정보에 대응되는 가상 객체의 자세 정보를 획득하고, 타깃 전시 객체의 가상 효과 데이터를 획득하며, 가상 효과 이미지를 획득하기 위해 상기 가상 객체의 자세 정보 및 상기 가상 효과 데이터를 사용하여 렌더링하고, 상기 가상 효과 이미지를 포함하는 증강 현실 효과를 전시하는 것을 예로 들어 전시 시스템을 설명한다. 도 1을 참조하면, 도 1은 본 발명의 실시예에서 제공되는 전시 시스템의 하나의 선택 가능한 아키텍처 모식도이고, 하나의 가상 객체 제어 애플리케이션을 지원하기 위해, 전시 시스템(100)에서, 단말기(400)(디스플레이 기기, 단말기(400-1) 및 단말기(400-2)를 예시적으로 도시함)는 네트워크(300)를 통해 서버(200)에 연결되고, 네트워크(300)는 원거리 통신망 또는 근거리 통신망 또는 이들의 조합일 수 있다. 문화유물 전시, 모래 테이블 전시 및 건설 현장 건물 전시와 같은 실제 전시 장면에서, 단말기(400)는 실제 장면 중의 인터랙티브 객체의 다중 프레임의 인터랙티브 이미지 및 상기 실제 장면 중의 타깃 전시 객체의 전시 이미지를 각각 수집하며, 상기 다중 프레임의 인터랙티브 이미지에 따라, 상기 인터랙티브 객체의 상태 정보를 결정하고, 상기 인터랙티브 객체의 상태 정보에 따라, 가상 객체의 자세 정보를 결정하며, 상기 전시 이미지에 따라, 상기 타깃 전시 객체의 가상 효과 데이터를 결정하고, 가상 효과 이미지를 획득하기 위해 상기 가상 객체의 자세 정보 및 상기 가상 효과 데이터를 사용하여 렌더링하며, 그래픽 인터페이스(401)(도면에서 그래픽 인터페이스(401-1) 및 그래픽 인터페이스(401-2)를 예시적으로 도시함)에서 상기 가상 효과 이미지를 포함하는 증강 현실 효과를 전시한다.Hereinafter, in a real scene including a target exhibition object and an interactive object, the terminal acquires posture information of a virtual object corresponding to the state information of the interactive object through a method in which the terminal interacts with the server, and obtains the virtual effect data of the target exhibition object The display system will be described as an example of obtaining, rendering using the posture information of the virtual object and the virtual effect data to obtain a virtual effect image, and displaying the augmented reality effect including the virtual effect image. Referring to FIG. 1 , FIG. 1 is a selectable architectural schematic diagram of an exhibition system provided in an embodiment of the present invention, and in the exhibition system 100 to support one virtual object control application, a terminal 400 (The display device, the terminal 400-1, and the terminal 400-2 are exemplarily shown) are connected to the server 200 through a network 300, and the network 300 is a telecommunication network or a local area network or It may be a combination of these. In actual exhibition scenes such as cultural relics exhibition, sand table exhibition, and construction site building exhibition, the terminal 400 collects multi-frame interactive images of interactive objects in the actual scenes and display images of target exhibition objects in the actual scenes, respectively, , determine the state information of the interactive object according to the interactive image of the multi-frame, determine the posture information of the virtual object according to the state information of the interactive object, and determine the virtual object of the target exhibition object according to the exhibition image Determining the effect data, and rendering using the virtual effect data and the posture information of the virtual object to obtain a virtual effect image, a graphic interface 401 (a graphic interface 401-1 and a graphic interface 401 in the drawing) In -2), an augmented reality effect including the virtual effect image is displayed.

예시적으로, 단말기(400)가 휴대폰으로 구현되는 경우, 휴대폰의 기설정 전시 애플리케이션을 가동할 수 있고, 기설정 전시 애플리케이션을 통해 카메라를 호출하여 실제 장면 중의 인터랙티브 객체의 다중 프레임의 인터랙티브 이미지 및 상기 실제 장면 중의 타깃 전시 객체의 전시 이미지를 각각 수집하며, 상기 다중 프레임의 인터랙티브 이미지에 따라, 상기 인터랙티브 객체의 상태 정보를 결정하고, 상기 전시 이미지에 따라, 상기 타깃 전시 객체를 결정하며, 서버(200)에 데이터 요청을 개시하고, 서버(200)가 데이터 요청을 수신한 후, 데이터베이스(500)에 사전 저장된 가상 객체의 자세 데이터로부터 인터랙티브 객체의 상태 정보에 대응되는 가상 객체의 자세 정보를 결정하며, 데이터베이스(500)에 사전 저장된 가상 효과 데이터로부터 타깃 전시 객체에 대응되는 가상 효과 데이터를 결정하고; 결정된 가상 객체의 자세 정보와 가상 효과 데이터를 단말기(400)에 송신한다. 단말기(400)는 서버에 의해 피드백된 가상 객체의 자세 정보와 가상 효과 데이터를 획득한 후, 가상 효과 이미지를 획득하기 위해 가상 객체의 자세 데이터와 가상 효과 데이터를 이용하여 렌더링하고, 단말기(400)의 그래픽 인터페이스(401)에 상기 가상 효과 이미지를 포함하는 증강 현실 효과를 전시한다.Illustratively, when the terminal 400 is implemented as a mobile phone, the preset exhibition application of the mobile phone may be activated, and the camera is called through the preset display application to display multi-frame interactive images of interactive objects in the actual scene and the Each of the exhibition images of the target exhibition object in the actual scene is collected, the state information of the interactive object is determined according to the multi-frame interactive image, the target exhibition object is determined according to the exhibition image, and the server 200 ), and after the server 200 receives the data request, the posture information of the virtual object corresponding to the state information of the interactive object is determined from the posture data of the virtual object pre-stored in the database 500, determine virtual effect data corresponding to the target exhibition object from the virtual effect data previously stored in the database 500; The determined posture information and virtual effect data of the virtual object are transmitted to the terminal 400 . After obtaining the posture information and virtual effect data of the virtual object fed back by the server, the terminal 400 renders it using the posture data and the virtual effect data of the virtual object to obtain a virtual effect image, and the terminal 400 Display the augmented reality effect including the virtual effect image on the graphic interface 401 of the

일부 실시예에서, 서버(200)는 독립적인 물리적 서버일 수 있고, 다수의 물리적 서버로 구성된 서버 클러스터 또는 분산형 시스템일 수도 있으며, 클라우드 서비스, 클라우드 데이터베이스, 클라우드 컴퓨팅, 클라우드 함수, 클라우드 스토리지, 네트워크 서비스, 클라우드 통신, 미들웨어 서비스, 도메인 이름 서비스, 보안 서비스, CDN 및 빅데이터와 인공 지능 플랫폼과 같은 기본 클라우드 컴퓨팅 서비스를 제공하는 클라우드 서버일 수도 있다. 단말기(400)는 스마트폰, 태블릿 컴퓨터, 노트북, 데스크톱, 스마트 스피커, 스마트 워치 등일 수 있지만, 이에 한정되지 않는다. 단말기와 서버는 유선 또는 무선 통신 방식을 통해 직접적 또는 간접적으로 연결될 수 있으며, 본 발명의 실시예는 이에 대해 한정하지 않는다.In some embodiments, the server 200 may be an independent physical server, a server cluster consisting of multiple physical servers, or a distributed system, cloud service, cloud database, cloud computing, cloud function, cloud storage, network It can also be a cloud server that provides basic cloud computing services such as services, cloud communications, middleware services, domain name services, security services, CDNs, and big data and artificial intelligence platforms. The terminal 400 may be a smartphone, a tablet computer, a notebook computer, a desktop, a smart speaker, a smart watch, or the like, but is not limited thereto. The terminal and the server may be directly or indirectly connected through a wired or wireless communication method, but the embodiment of the present invention is not limited thereto.

예시적으로, 아래에서는 본 발명의 실시예가 적용할 수 있는 응용 장면에 대해 예시적으로 설명한다.Illustratively, an application scene to which an embodiment of the present invention can be applied will be exemplarily described below.

도 2는 본 발명의 실시예에서 제공되는 응용 장면의 모식도이고, 도 2에 도시된 바와 같이, 디스플레이 기기에는 이동 가능한 디스플레이 스크린(101)이 포함될 수 있으며, 상기 이동 가능한 디스플레이 스크린(101)은 전시회의 다수의 전시품 주변에 설치될 수 있고, 이동 가능한 디스플레이 스크린(101)에는 전시품을 촬영할 수 있는 후방 카메라가 설치되어 있으며, 이동 가능한 디스플레이 스크린(101)에서는 전시품, 전시품에 관한 가상 효과 및 가상 객체 등이 디스플레이될 수 있다. 전시품의 가상 효과는 전시품의 소개 정보, 전시품의 내부 세부사항 전시 정보, 전시품의 윤곽선, 전시품의 가상 모델, 전시품의 역할과 관련된 물체 및 전시품에 원래 존재하는 정보 또는 부재 중 적어도 하나일 수 있다. 예를 들어, 전시품이 하나의 문화유물인 술잔일 경우, 상기 전시품에 대응되는 가상 효과는 술잔의 역할과 관련된 물체, 예를 들어 술잔 속의 술일 수 있고; 전시품이 하나의 문화유물인 솥정일 경우, 상기 전시품에 대응되는 가상 효과는 전시품에 원래 존재하는 정보, 예를 들어 솥정의 외벽의 고유의 텍스트 정보일 수 있다. 이동 가능한 디스플레이 스크린(101)에는 또한 이동 가능한 디스플레이 스크린(101) 앞에 위치하는 인터랙티브 객체(예를 들어, 참가자)를 촬영하는 전방 카메라가 설치되어 있으며, 나아가 이동 가능한 디스플레이 스크린(101)은 촬영 이미지 중 인터랙티브 객체에 의해 송신된 명령어(예를 들어, 인터랙티브 객체의 시선의 주시 방향, 인터랙티브 객체의 이동 방향 및 인터랙티브 객체의 제스처 동작 등)을 인식하여, 전시품의 가상 효과에 대한 디스플레이 및 조정을 구현할 수 있다.2 is a schematic diagram of an application scene provided in an embodiment of the present invention, and as shown in FIG. 2 , the display device may include a movable display screen 101, and the movable display screen 101 is an exhibition It can be installed around a number of exhibits in the movable display screen 101, a rear camera capable of photographing the exhibits is installed, and in the movable display screen 101, virtual effects and virtual objects related to exhibits, exhibits, etc. can be displayed. The virtual effect of the exhibit may be at least one of introductory information of the exhibit, internal detail display information of the exhibit, the outline of the exhibit, a virtual model of the exhibit, an object related to the role of the exhibit, and information or absence originally present in the exhibit. For example, when the exhibited product is a wine glass that is a cultural relic, the virtual effect corresponding to the displayed product may be an object related to the role of the wine glass, for example, alcohol in the wine glass; When the exhibit is a cauldron that is a cultural relic, the virtual effect corresponding to the exhibit may be information originally existing in the exhibit, for example, text information unique to the outer wall of the cauldron. The movable display screen 101 is also provided with a front camera for photographing an interactive object (eg, a participant) located in front of the movable display screen 101 , and furthermore, the movable display screen 101 is installed in the photographed image. By recognizing commands sent by the interactive object (for example, the gaze direction of the interactive object, the movement direction of the interactive object, the gesture action of the interactive object, etc.), display and adjustment of the virtual effect of the exhibit can be implemented. .

본 발명의 일부 실시예에서, 디스플레이 기기의 디스플레이 스크린은 이동 가능한 디스플레이 스크린이다. 여기서, 디스플레이 기기의 디스플레이 스크린은 도 3에 도시된 바와 같이 기설정 슬라이딩 레일에서 이동할 수 있고, 또한 도 4에 도시된 바와 같이 이동 가능한 슬라이딩 지지대에 고정되어 슬라이딩을 구현할 수 있다. 디스플레이 스크린의 이동 과정에서, 디스플레이 스크린은 사용자가 열람 및 클릭 중 적어도 하나의 동작을 하도록 상이한 내용을 디스플레이할 수 있고; 디스플레이 스크린은 터치 스크린 또는 비터치 스크린일 수 있다.In some embodiments of the present invention, the display screen of the display device is a movable display screen. Here, the display screen of the display device may move on a preset sliding rail as shown in FIG. 3 , and may be fixed to a movable sliding support as shown in FIG. 4 to implement sliding. In the process of moving the display screen, the display screen may display different contents for the user to perform at least one of viewing and clicking; The display screen may be a touch screen or a non-touch screen.

상술한 전시 시스템 및 응용 장면에 기반하여, 아래에서는 본 발명의 실시예에서 제공되는 가상 객체 제어 방법을 설명한다.Based on the above-described exhibition system and application scene, a virtual object control method provided in an embodiment of the present invention will be described below.

도 5는 본 발명의 실시예에서 제공되는 가상 객체 제어 방법의 하나의 선택 가능한 흐름 모식도이고, 도 5에 도시된 단계를 결부하여 설명한다.5 is a selectable flow schematic diagram of a virtual object control method provided in an embodiment of the present invention, and the steps shown in FIG. 5 will be described in conjunction.

단계 S101에서, 실제 장면 중의 인터랙티브 객체의 다중 프레임의 인터랙티브 이미지 및 실제 장면 중의 타깃 전시 객체의 전시 이미지를 각각 수집한다.In step S101, the multi-frame interactive image of the interactive object in the real scene and the display image of the target exhibition object in the real scene are respectively collected.

본 발명의 실시예에서, 디스플레이 기기는 제1 이미지 수집 장치를 사용하여 실제 장면 중의 인터랙티브 객체의 다중 프레임의 인터랙티브 이미지를 수집할 수 있고, 제2 이미지 수집 장치를 사용하여 실제 장면 중의 전시 객체의 전시 이미지를 수집할 수 있다. 인터랙티브 객체는 실제 장면 중의 물체 또는 실제 장면의 다른 정보 등일 수 있다. 실제 장면에는 다수의 전시 객체가 포함될 수 있으며, 타깃 전시 객체는 다수의 전시 객체 중 어느 하나의 전시 객체일 수 있고, 다수의 전시 객체 중 특정 종류 또는 특정 속성에 속하는 하나의 전시 객체일 수도 있으며, 조건 매칭 등 다른 방법을 통해 선택된 하나의 전시 객체일 수도 있고, 본 발명의 실시예는 이에 대해 한정하지 않는다.In an embodiment of the present invention, the display device may use the first image collecting device to collect multi-frame interactive images of the interactive object in the real scene, and use the second image collecting device to display the exhibition object in the real scene. Images can be collected. The interactive object may be an object in the real scene or other information in the real scene. The actual scene may include a plurality of exhibition objects, and the target exhibition object may be any one of the plurality of exhibition objects, or may be one exhibition object belonging to a specific type or specific property among the plurality of exhibition objects, It may be one exhibition object selected through other methods such as condition matching, and the embodiment of the present invention is not limited thereto.

본 발명의 일부 실시예에서, 제1 이미지 수집 장치와 제2 이미지 수집 장치는 디스플레이 기기의 동일한 측면에 위치하거나; 제1 이미지 수집 장치와 제2 이미지 수집 장치는 각각 디스플레이 기기의 대향되거나 인접한 2개의 측면에 위치한다. 예시적으로, 제1 이미지 수집 장치는 디스플레이 기기의 전방 카메라일 수 있고, 제2 이미지 수집 장치는 디스플레이 기기의 후방 카메라일 수 있다.In some embodiments of the present invention, the first image collection device and the second image collection device are located on the same side of the display device; The first image collection device and the second image collection device are respectively located on two opposite or adjacent sides of the display device. For example, the first image collection device may be a front camera of the display device, and the second image collection device may be a rear camera of the display device.

본 발명의 일부 실시예에서, 인터랙티브 객체는 실제 장면 중의 실제 인물이고; 전시 객체는 박물관에서 전시된 문화유물, 과학기술관에서 전시된 하이테크 제품과 같은 전시회 중의 전시품 등일 수 있다.In some embodiments of the present invention, the interactive object is a real person in a real scene; The exhibition object may be a cultural relic displayed in a museum, a display item in an exhibition, such as a high-tech product displayed in a science and technology hall.

단계 S102에서, 다중 프레임의 인터랙티브 이미지에 따라, 인터랙티브 객체의 상태 정보를 결정하고, 인터랙티브 객체의 상태 정보에 따라, 가상 객체의 자세 정보를 결정한다.In step S102, state information of the interactive object is determined according to the interactive image of multiple frames, and posture information of the virtual object is determined according to the state information of the interactive object.

본 발명의 실시예에서, 디스플레이 기기는 수집된 인터랙티브 객체의 다중 프레임의 인터랙티브 이미지에 대해 이미지 인식과 분석을 수행하여, 실제 장면 중의 인터랙티브 객체의 상태 정보를 획득할 수 있다. 본 발명의 일부 실시예에서, 인터랙티브 객체의 상태 정보는 실제 인물의 움직임 상태 정보, 신체 동작 정보 및 시선 정보 중 적어도 하나를 포함한다.In an embodiment of the present invention, the display device may perform image recognition and analysis on the multi-frame interactive image of the collected interactive object to obtain state information of the interactive object in the actual scene. In some embodiments of the present invention, the state information of the interactive object includes at least one of movement state information, body motion information, and gaze information of a real person.

예시적으로, 본 발명의 일부 실시예에서, 가상 객체는 가상 인물일 수 있고; 본 발명의 일부 실시예에서, 가상 객체는 또한 다른 유형의 객체일 수 있으며, 본 발명의 실시예는 이에 대해 한정하지 않는다.Illustratively, in some embodiments of the present invention, the virtual object may be a virtual person; In some embodiments of the present invention, the virtual object may also be another type of object, and the embodiment of the present invention is not limited thereto.

본 발명의 실시예에서, 디스플레이 기기는 인터랙티브 이미지에 따라 인터랙티브 객체의 상태 정보를 결정한 후, 인터랙티브 객체의 상태 정보에 따라 가상 객체의 자세 정보를 결정할 수 있다. 본 발명의 일부 실시예에서, 가상 객체의 자세 정보는 가상 객체의 신체 동작 및 시선 방향 중 적어도 하나를 포함하고; 이와 같이, 가상 객체와 실제 인물 사이의 인터랙션을 구현할 수 있다. 본 발명의 실시예에서, 가상 객체는 디스플레이 기기에 디스플레이되는 가상 해설 객체, 예를 들어 가상 해설원, 가상 로봇 등일 수 있다. 예를 들어, 도 6은 본 발명의 실시예에서 제공되는 예시적인 디스플레이 기기의 디스플레이 인터페이스 모식도이고; 도 6에 도시된 바와 같이, 가상 객체(402)는 디스플레이 기기(400)에 디스플레이되는 가상 해설원일 수 있다.In an embodiment of the present invention, after determining the state information of the interactive object according to the interactive image, the display device may determine the posture information of the virtual object according to the state information of the interactive object. In some embodiments of the present invention, the posture information of the virtual object includes at least one of a body motion and a gaze direction of the virtual object; In this way, an interaction between a virtual object and a real person may be implemented. In an embodiment of the present invention, the virtual object may be a virtual commentary object displayed on a display device, for example, a virtual commentator, a virtual robot, and the like. For example, Fig. 6 is a schematic diagram of a display interface of an exemplary display device provided in an embodiment of the present invention; As shown in FIG. 6 , the virtual object 402 may be a virtual commentator displayed on the display device 400 .

단계 S103에서, 전시 이미지에 따라, 타깃 전시 객체의 가상 효과 데이터를 결정한다.In step S103, virtual effect data of the target exhibition object is determined according to the exhibition image.

본 발명의 실시예에서, 디스플레이 기기는 타깃 전시 객체의 전시 이미지를 수집한 후, 획득된 전시 객체에 따라 타깃 전시 객체의 가상 효과 데이터를 결정할 수 있다. 가상 효과 데이터는 타깃 전시 객체의 가상 모델 데이터일 수 있고, 전시 객체에 대응되는 가상 전시 내용 데이터일 수도 있으며, 본 발명의 실시예는 이에 대해 한정하지 않는다. 예시적으로, 가상 모델은 가상 세부사항 모델, 가상 전시 객체 모델, 전시 객체의 역할과 관련된 물체 모델 및 전시품의 고유의 부재 모델 중 적어도 하나일 수 있다. 예시적으로, 가상 전시 내용은 상기 전시 객체의 가상 소개 내용 및 상기 전시 객체의 가상 윤곽선(예를 들어, 도 6에 도시된 전시 객체(403) 주변에 위치한 가상 윤곽선(404)) 중 적어도 하나일 수 있다. 예를 들어, 전시 객체가 하나의 "솥정"인 경우, 가상 전시 내용은 "솥정"의 표면에 새겨진 텍스트를 확대한 효과일 수 있고, 솥정의 구경 사이즈 및 솥정 벽의 두께 등 내용일 수도 있다.In an embodiment of the present invention, after collecting an exhibition image of the target exhibition object, the display device may determine virtual effect data of the target exhibition object according to the acquired exhibition object. The virtual effect data may be virtual model data of the target exhibition object or virtual exhibition content data corresponding to the exhibition object, but embodiments of the present invention are not limited thereto. Exemplarily, the virtual model may be at least one of a virtual detail model, a virtual exhibition object model, an object model related to the role of the exhibition object, and a unique member model of the exhibit. Exemplarily, the virtual exhibition content may be at least one of a virtual introduction of the exhibition object and a virtual outline of the exhibition object (eg, a virtual outline 404 located around the exhibition object 403 shown in FIG. 6 ). can For example, when the display object is a single "potjeong", the virtual display content may be an effect of magnifying the text engraved on the surface of the "potjeong", or the contents such as the caliber size of the cauldron and the thickness of the wall of the cauldron.

단계 S104에서, 가상 효과 이미지를 획득하기 위해 가상 객체의 자세 정보 및 가상 효과 데이터를 사용하여 렌더링하고, 가상 효과 이미지를 포함하는 증강 현실 효과를 전시한다.In step S104, the virtual effect image is rendered using the posture information and virtual effect data of the virtual object to obtain a virtual effect image, and the augmented reality effect including the virtual effect image is displayed.

본 발명의 실시예에서, 디스플레이 기기는 가상 객체의 자세 정보 및 타깃 전시 객체의 가상 효과 데이터를 획득한 후, 가상 객체 및 타깃 전시 객체의 가상 전시 효과를 포함하는 가상 효과 이미지를 렌더링할 수 있다. 예를 들어, 가상 효과 데이터가 타깃 전시 객체의 가상 모델 데이터인 경우, 디스플레이 기기는 가상 객체 및 타깃 전시 객체의 가상 모델을 포함하는 가상 효과 이미지를 렌더링할 수 있고; 가상 효과 데이터가 타깃 전시 객체에 대응되는 가상 전시 내용 데이터인 경우, 디스플레이 기기는 가상 객체 및 타깃 전시 객체의 가상 전시 내용을 포함하는 가상 효과 이미지를 렌더링할 수 있다.In an embodiment of the present invention, after obtaining the posture information of the virtual object and the virtual effect data of the target exhibition object, the display device may render a virtual effect image including the virtual object and the virtual display effect of the target exhibition object. For example, when the virtual effect data is the virtual model data of the target exhibition object, the display device may render a virtual effect image including the virtual object and the virtual model of the target exhibition object; When the virtual effect data is virtual exhibition content data corresponding to the target exhibition object, the display device may render a virtual effect image including the virtual object and the virtual exhibition content of the target exhibition object.

예시적으로, 도 7은 본 발명의 실시예에서 제공되는 다른 예시적인 디스플레이 기기의 디스플레이 인터페이스 모식도이고; 도 7에 도시된 바와 같이, 가상 효과 이미지는 디스플레이 기기(400)에 디스플레이되는 가상 객체(402) 및 타깃 전시 객체(403)의 가상 전시 내용(404) 및 가상 모델(405)을 포함하는 이미지이며, 여기서, 가상 전시 내용은 “구경 75.6 cm”일 수 있고, 가상 모델은 전시 객체의 가상 내부 세부사항 모델일 수 있다.Illustratively, Fig. 7 is a schematic diagram of a display interface of another exemplary display device provided in an embodiment of the present invention; As shown in FIG. 7 , the virtual effect image is an image including the virtual display contents 404 and the virtual model 405 of the virtual object 402 and the target exhibition object 403 displayed on the display device 400 . , where the virtual exhibition content may be “diameter 75.6 cm”, and the virtual model may be a virtual interior detail model of the exhibition object.

본 발명의 실시예에서, 디스플레이 기기의 디스플레이 스크린은 투명 디스플레이 스크린 또는 불투명 디스플레이 스크린이다. 투명 디스플레이 스크린의 재질은 OLED 스크린 또는 AMOLED 스크린일 수 있고, 불투명 디스플레이 스크린의 재질은 STN 스크린 또는 IPS 하드 스크린 등일 수 있다. 디스플레이 기기는 가상 효과 이미지를 획득한 후, 가상 효과 이미지를 포함하는 AR 효과를 전시할 수 있으며; 예를 들어, 디스플레이 기기의 디스플레이 스크린이 투명 디스플레이 스크린이고, 상기 투명 디스플레이 스크린을 투과하여 타깃 전시 객체를 볼 수 있는 경우, 디스플레이 기기는 디스플레이 스크린에 가상 효과 이미지와 타깃 전시 객체가 겹쳐진 AR 효과를 디스플레이할 수 있으며; 디스플레이 기기가 불투명 디스플레이 스크린이거나, 상기 투명 디스플레이 스크린을 투과하여 상기 타깃 전시 객체를 볼 수 없는 경우, 디스플레이 기기는 디스플레이 스크린에 가상 효과 이미지와 상기 타깃 전시 객체의 전시 이미지가 겹쳐진 AR 효과를 디스플레이할 수 있다.In an embodiment of the present invention, the display screen of the display device is a transparent display screen or an opaque display screen. The material of the transparent display screen may be an OLED screen or an AMOLED screen, and the material of the opaque display screen may be an STN screen or an IPS hard screen. After acquiring the virtual effect image, the display device may display the AR effect including the virtual effect image; For example, when the display screen of the display device is a transparent display screen and the target exhibition object can be viewed through the transparent display screen, the display device displays an AR effect in which a virtual effect image and the target exhibition object are superimposed on the display screen. can; When the display device is an opaque display screen or the target exhibition object cannot be seen through the transparent display screen, the display device may display an AR effect in which a virtual effect image and an exhibition image of the target exhibition object are superimposed on the display screen. have.

본 발명의 실시예에서, 디스플레이 기기는 실제 장면 중의 인터랙티브 객체의 상태 정보에 따라 가상 객체의 자세 정보를 결정하기 때문에, 가상 객체의 자세 정보는 인터랙티브 객체의 상태 정보에 따라 변경될 수 있고, 가상 객체와 인터랙티브 객체 사이의 인터랙션을 구현할 수 있으므로, 가상 객체의 전시 유연성을 향상시키고, 가상 객체의 전시 효과를 풍부하게 하며; 아울러, 타깃 전시 객체의 전시 이미지에 따라 타깃 전시 객체의 가상 효과 데이터를 획득하고, 가상 효과 데이터에 따라 렌더링하여 가상 효과 이미지를 획득하기 때문에, 실제 장면 중의 전시 객체에 대응되는 가상 효과를 전시할 수 있으므로, 전시 객체의 전시 방식을 증가하며, 전시 객체의 전시 유연성을 향상시키고, 전시 객체의 전시 효과를 풍부하게 한다.In an embodiment of the present invention, since the display device determines the posture information of the virtual object according to the state information of the interactive object in the real scene, the posture information of the virtual object may be changed according to the state information of the interactive object, and the virtual object and the interaction between the interactive object can be implemented, so that the display flexibility of the virtual object is improved, and the display effect of the virtual object is enriched; In addition, since the virtual effect data of the target exhibition object is obtained according to the exhibition image of the target exhibition object, and the virtual effect image is obtained by rendering according to the virtual effect data, the virtual effect corresponding to the exhibition object in the real scene can be displayed. Therefore, the display method of the exhibition object is increased, the display flexibility of the exhibition object is improved, and the exhibition effect of the exhibition object is enriched.

본 발명의 일부 실시예에서, 인터랙티브 객체는 실제 인물을 포함하고; 인터랙티브 객체의 상태 정보는 실제 인물의 움직임 상태 정보를 포함하며; 도 8은 본 발명의 실시예에서 제공되는 가상 객체 제어 방법의 다른 하나의 선택 가능한 흐름 모식도이고, 상기 단계 S102 중의 다중 프레임의 인터랙티브 이미지에 따라, 인터랙티브 객체의 상태 정보를 결정하는 단계는 단계 S1021 내지 단계 S1022를 통해 구현될 수 있으며, 도 8에 도시된 단계를 결부하여 설명한다.In some embodiments of the present invention, the interactive object comprises a real person; The state information of the interactive object includes information on the movement state of a real person; 8 is another selectable flow schematic diagram of a virtual object control method provided in an embodiment of the present invention, and the step of determining the state information of the interactive object according to the interactive image of multiple frames in step S102 is steps S1021 to It can be implemented through step S1022, and will be described in conjunction with the step shown in FIG. 8 .

단계 S1021에서, 다중 프레임의 인터랙티브 이미지 중 실제 인물의 화면 내용을 인식하여, 실제 인물의 이동 방향 및 이동 거리를 결정한다.In step S1021, the screen content of the real person among the multi-frame interactive images is recognized, and the moving direction and the moving distance of the real person are determined.

본 발명의 실시예에서, 디스플레이 기기는 제1 이미지 수집 장치를 통해 인터랙티브 객체의 연속적인 다중 프레임의 인터랙티브 이미지를 수집하고, 각 프레임의 인터랙티브 이미지로부터 실제 인물을 인식해내며, 연속 프레임의 이미지 중 실제 인물의 위치를 비교하여, 이미지에서의 실제 인물의 이동 방향 및 이동 거리를 결정한 다음, 이미지에서의 실제 인물의 이동 방향 및 이동 거리를 실제 장면에서의 이동 방향 및 이동 거리로 환산하고, 환산된 이동 방향 및 이동 거리를 실제 인물의 이동 방향 및 이동 거리로 사용한다.In an embodiment of the present invention, the display device collects an interactive image of multiple consecutive frames of an interactive object through the first image collection device, recognizes a real person from the interactive image of each frame, and By comparing the position of the person, the movement direction and movement distance of the real person in the image are determined, and then the movement direction and movement distance of the real person in the image are converted into the movement direction and movement distance in the real scene, and the converted movement The direction and movement distance are used as the movement direction and movement distance of the real person.

본 발명의 다른 일부 실시예에서, 디스플레이 기기는 또한 좌표계를 사전 설정할 수 있고, 수집된 인터랙티브 객체의 다중 프레임의 인터랙티브 이미지를 분석하여, 인터랙티브 객체가 좌표계에서의 위치 좌표를 결정함으로써, 좌표계에서의 인터랙티브 객체의 위치 좌표에 따라, 인터랙티브 객체의 이동 방향 및 이동 거리를 결정한다. 설명해야 할 것은, 좌표계는 3차원 좌표계 또는 세계 좌표계일 수 있으며, 본 발명의 실시예는 이에 대해 한정하지 않는다.In some other embodiments of the present invention, the display device may also preset a coordinate system, analyze the interactive image of multiple frames of the collected interactive object, and determine the position coordinate of the interactive object in the coordinate system, so that the interactive object in the coordinate system The moving direction and moving distance of the interactive object are determined according to the position coordinates of the object. It should be noted that the coordinate system may be a three-dimensional coordinate system or a world coordinate system, and embodiments of the present invention are not limited thereto.

단계 S1022에서, 이동 방향 및 이동 거리를 실제 인물의 움직임 상태 정보로 결정한다.In step S1022, the moving direction and the moving distance are determined as the movement state information of the actual person.

본 발명의 실시예에서, 디스플레이 기기는 실제 인물의 이동 거리 및 이동 방향을 결정한 후, 실제 인물의 이동 거리 및 이동 방향을 실제 인물의 움직임 상태 정보로 사용할 수 있다.In an embodiment of the present invention, after determining the moving distance and moving direction of the real person, the display device may use the moving distance and moving direction of the real person as movement state information of the real person.

본 발명의 실시예에서, 디스플레이 기기는 실제 인물의 이동 거리 및 이동 방향을 결정하여, 실제 인물의 이동 거리 및 이동 방향을 실제 인물의 움직임 상태 정보로 사용함으로써, 실제 인물의 이동 거리 및 이동 방향에 따라, 전시될 가상 객체의 자세 제어 및 전시 객체의 가상 효과 전시를 구현할 수 있고, 가상 객체 및 전시 객체와 실제 인물 사이의 인터랙션을 구현할 수 있다.In an embodiment of the present invention, the display device determines the moving distance and the moving direction of the real person, and uses the moving distance and the moving direction of the real person as the movement state information of the real person, so that the moving distance and the moving direction of the real person Accordingly, it is possible to implement the posture control of the virtual object to be displayed and the virtual effect display of the exhibition object, and realize the interaction between the virtual object and the exhibition object and a real person.

본 발명의 일부 실시예에서, 인터랙티브 객체는 실제 인물을 포함하고; 인터랙티브 객체의 상태 정보는 실제 인물의 움직임 상태 정보를 포함하며; 도 9는 본 발명의 실시예에서 제공되는 가상 객체 제어 방법의 또 다른 하나의 선택 가능한 흐름 모식도이고, 상기 단계 S102는 또한 단계 S1023 또는 S1024를 통해 구현될 수 있으며, 도 9에 도시된 단계를 결부하여 설명한다.In some embodiments of the present invention, the interactive object comprises a real person; The state information of the interactive object includes information on the movement state of a real person; 9 is another selectable flow schematic diagram of a virtual object control method provided in an embodiment of the present invention, the step S102 may also be implemented through steps S1023 or S1024, and the steps shown in FIG. 9 are combined. to explain

단계 S1023에서, 실제 장면에 다수의 실제 인물이 존재하는 것으로 검출될 경우, 다중 프레임의 인터랙티브 이미지 중 실제 인물의 화면 내용을 인식하여, 다수의 실제 인물 중 각각의 실제 인물의 이동 방향을 결정하고, 기설정 개수의 실제 인물의 이동 방향이 동일한 방향에 속하는 경우, 기설정 개수의 실제 인물의 이동 방향을 실제 인물의 움직임 상태 정보로 결정하며, 인터랙티브 객체의 상태 정보에 따라, 가상 객체의 자세 정보를 결정한다.In step S1023, when it is detected that a plurality of real people exist in the real scene, the screen content of the real person among the multi-frame interactive images is recognized, and the moving direction of each real person among the plurality of real people is determined, When the movement directions of the preset number of real people belong to the same direction, the movement directions of the preset number of real people are determined as the movement state information of the real person, and the posture information of the virtual object is determined according to the state information of the interactive object. decide

본 발명의 실시예에서, 디스플레이 기기는 수집된 다중 프레임의 인터랙티브 이미지 중의 실제 인물을 인식하여, 실제 장면에 존재하는 실제 인물의 개수를 검출하고, 실제 장면에 다수의 실제 인물이 존재하는 것으로 결정하는 경우, 각 프레임의 인터랙티브 이미지 중의 각각의 실제 인물을 인식해내며, 연속 프레임의 인터랙티브 이미지 중 각각의 실제 인물의 위치를 비교하여, 각각의 실제 인물의 이동 방향을 획득할 수 있다. 여기서, 디스플레이 기기는 또한 다른 방식으로 각각의 실제 인물의 이동 방향을 결정할 수 있으며, 본 발명의 실시예는 이에 대해 한정하지 않는다. 설명해야 할 것은, 본 발명에 따른 "다수"는 2개 이상을 의미한다.In an embodiment of the present invention, the display device recognizes real people in the collected multi-frame interactive images, detects the number of real people in the real scene, and determines that there are multiple real people in the real scene. In this case, each real person is recognized in the interactive image of each frame, and the movement direction of each real person can be obtained by comparing the position of each real person in the interactive images of successive frames. Here, the display device may also determine the moving direction of each actual person in a different way, and the embodiment of the present invention is not limited thereto. It should be noted that "many" according to the present invention means two or more.

본 발명의 실시예에서, 디스플레이 기기는 각각의 실제 인물의 이동 방향을 비교할 수 있고, 기설정 개수의 실제 인물의 이동 방향이 동일한 방향에 속하는 것으로 결정하는 경우, 상기 기설정 개수의 실제 인물의 이동 방향을 결정된 이동 방향으로 사용하며, 상기 이동 방향을 실제 인물의 움직임 상태 정보로 결정한다. 기설정 개수는 디스플레이 기기가 검출된 실제 인물의 개수 및 기설정 분수값에 따라 획득한 것일 수 있고, 예를 들어, 기설정 분수값은 90% 또는 3/4 등일 수 있다. 예를 들어, 디스플레이 기기가 실제 장면에 10명의 실제 인물이 존재함을 검출하고, 기설정 분수값이 90%인 경우, 디스플레이 기기는 기설정 개수가 9인 것으로 결정할 수 있으므로, 9명의 실제 인물의 이동 방향이 동일한 방향에 속하는 것으로 결정하는 경우, 상기 9명의 실제 인물의 이동 방향을 결정된 이동 방향으로 사용할 수 있다.In an embodiment of the present invention, the display device may compare the movement directions of each real person, and when it is determined that the movement directions of a preset number of real people belong to the same direction, the movement of the preset number of real people The direction is used as the determined moving direction, and the moving direction is determined as the movement state information of the actual person. The preset number may be obtained by the display device according to the number of detected real people and a preset fractional value, for example, the preset fractional value may be 90% or 3/4. For example, when the display device detects that there are 10 real people in the real scene, and the preset fractional value is 90%, the display device may determine that the preset number is 9, so that the number of 9 real people is When it is determined that the moving directions belong to the same direction, the moving directions of the nine real persons may be used as the determined moving directions.

본 발명의 실시예에서, 디스플레이 기기는 실제 장면에 다수의 실제 인물이 존재하는 것으로 검출하는 경우, 기설정 개수의 실제 인물의 이동 방향을 실제 인물의 움직임 상태 정보로 사용함으로써, 사람들의 이동 방향에 따라 가상 객체의 자세 제어 및 전시 객체의 전시를 구현할 수 있다.In an embodiment of the present invention, when the display device detects that a plurality of real people exist in a real scene, by using the movement directions of a preset number of real people as movement state information of the real people, Accordingly, it is possible to implement the posture control of the virtual object and the display of the display object.

단계 S1024에서, 실제 장면에 다수의 실제 인물이 존재하는 것으로 검출될 경우, 다중 프레임의 인터랙티브 이미지 중 실제 인물의 화면 내용을 인식하여, 다수의 실제 인물로부터 기설정 조건에 부합되는 타깃 인물을 결정하고, 타깃 인물에 따라 상기 실제 인물의 움직임 상태 정보를 결정하며, 인터랙티브 객체의 상태 정보에 따라, 가상 객체의 자세 정보를 결정한다.In step S1024, when it is detected that a plurality of real people exist in the real scene, screen contents of the real person among the multi-frame interactive images are recognized, and a target person that meets a preset condition is determined from the plurality of real people, , determines the movement state information of the real person according to the target person, and determines the posture information of the virtual object according to the state information of the interactive object.

본 발명의 다른 일부 실시예에서, 디스플레이 기기는 수집된 다중 프레임의 인터랙티브 이미지 중의 실제 인물을 인식하여, 실제 장면에 존재하는 실제 인물의 개수를 검출할 수 있고, 실제 장면에 다수의 실제 인물이 존재하는 것으로 검출되는 경우, 각 프레임의 인터랙티브 이미지 중의 각각의 실제 인물을 인식해내며, 각각의 실제 인물이 기설정 조건을 충족시키는지 여부를 판단하고, 기설정 조건에 부합되는 타깃 인물을 결정한 경우, 상기 타깃 인물의 이동 방향을 실제 인물의 움직임 상태 정보로 결정할 수 있다.In some other embodiments of the present invention, the display device may recognize real people in the collected multi-frame interactive images, and detect the number of real people present in the real scene, and a plurality of real people exist in the real scene. In the case of detecting that , each real person in the interactive image of each frame is recognized, it is determined whether each real person meets a preset condition, and when a target person that meets the preset condition is determined, The moving direction of the target person may be determined based on the movement state information of the actual person.

예시적으로, 타깃 인물은 가이드, 선생님 또는 지도자 등일 수 있고; 상응하게, 기설정 조건은 마이크 착용 여부 또는 다수의 실제 인물의 눈초점 방향에 위치하는지 여부 등일 수 있다. 예를 들어, 기설정 조건이 마이크 착용 여부이고, 디스플레이 기기가 다수의 실제 인물 중 어느 하나의 실제 인물이 마이크를 착용한 것으로 결정하는 경우, 상기 마이크를 착용한 실제 인물을 타깃 인물로 결정할 수 있다.Illustratively, the target person may be a guide, a teacher, or a leader; Correspondingly, the preset condition may be whether the microphone is worn or whether the plurality of real people are located in the eye focus direction. For example, if the preset condition is whether the microphone is worn and the display device determines that one of the plurality of real people is wearing the microphone, the real person wearing the microphone may be determined as the target person .

본 발명의 일부 실시예에서, 인터랙티브 객체는 실제 인물을 포함하고, 인터랙티브 객체의 상태 정보는 실제 인물의 시선 정보를 포함하며; 도 10은 본 발명의 실시예에서 제공되는 가상 객체 제어 방법의 또 다른 하나의 선택 가능한 흐름 모식도이고, 상기 단계 S102 중의 다중 프레임의 인터랙티브 이미지에 따라, 인터랙티브 객체의 상태 정보를 결정하는 단계는 단계 S201 내지 단계 S202를 통해 구현될 수 있으며, 도 10에 도시된 단계를 결부하여 설명한다.In some embodiments of the present invention, the interactive object includes a real person, and the state information of the interactive object includes gaze information of the real person; 10 is another selectable flow schematic diagram of a virtual object control method provided in an embodiment of the present invention, and the step of determining the state information of the interactive object according to the interactive image of multiple frames in step S102 is step S201 to step S202, which will be described in conjunction with the steps shown in FIG. 10 .

단계 S201에서, 다중 프레임의 인터랙티브 이미지 중 실제 인물에 대한 안면 인식을 통해, 실제 인물의 눈의 시선 방향을 결정한다.In step S201, the gaze direction of the eyes of the real person is determined through the facial recognition of the real person among the interactive images of the multiple frames.

본 발명의 실시예에서, 디스플레이 기기는 다중 프레임의 인터랙티브 이미지 중 각 프레임의 인터랙티브 이미지에 대해 눈 시선 인식을 수행하고, 연속 프레임의 인터랙티브 이미지 중의 실제 인물의 눈 시선을 비교하여, 실제 인물의 눈 시선 방향을 결정할 수 있다. 예를 들어, 수집된 다중 프레임의 인터랙티브 이미지가 동일한 실제 인물의 다중 프레임의 인터랙티브 이미지인 경우, 디스플레이 기기는 다중 프레임의 인터랙티브 이미지 중의 각 프레임의 인터랙티브 이미지에 대해 눈 시선 인식을 수행하고, 연속 프레임의 인터랙티브 이미지 중의 실제 인물의 눈 시선 영역을 비교하여, 최종적으로 상기 실제 인물의 눈 시선 방향을 획득할 수 있으며, 예를 들어 실제 인물의 눈 시선 방향은 디스플레이 기기의 좌측 방향을 보거나 디스플레이 기기의 디스플레이 스크린의 왼쪽 아래를 보는 것 등일 수 있고, 본 발명의 실시예는 이에 대해 한정하지 않는다.In an embodiment of the present invention, the display device performs eye gaze recognition on the interactive image of each frame among the interactive images of multiple frames, compares the eye gaze of a real person in the interactive image of consecutive frames, and the eye gaze of the real person direction can be determined. For example, when the collected multi-frame interactive image is a multi-frame interactive image of the same real person, the display device performs eye gaze recognition on the interactive image of each frame among the multi-frame interactive images, and By comparing the eye gaze area of the real person in the interactive image, the eye gaze direction of the real person may be finally obtained. It may be looking at the lower left of the , and the embodiment of the present invention is not limited thereto.

단계 S202에서, 시선 방향을 실제 인물의 시선 정보로 결정한다.In step S202, a gaze direction is determined as gaze information of a real person.

본 발명의 실시예에서, 디스플레이 기기는 실제 인물의 눈의 시선 방향을 결정한 후, 실제 인물의 눈의 시선 방향을 실제 인물의 시선 정보로 결정할 수 있다.In an embodiment of the present invention, after determining the gaze direction of the real person's eyes, the display device may determine the gaze direction of the real person's eyes as gaze information of the real person.

본 발명의 실시예에서, 디스플레이 기기는 실제 인물의 시선 방향을 결정하고, 실제 인물의 시선 방향을 실제 인물의 상태 정보로 결정함으로써, 실제 인물의 시선 방향에 따라 가상 객체의 자세 제어 및 전시 객체의 가상 효과 전시를 구현할 수 있으므로, 가상 객체 및 전시 객체와 실제 인물 사이의 인터랙션을 구현할 수 있다.In an embodiment of the present invention, the display device determines the gaze direction of the real person and determines the gaze direction of the real person as the state information of the real person, thereby controlling the posture of the virtual object and displaying the posture of the display object according to the gaze direction of the real person. Since the virtual effect display can be implemented, it is possible to implement a virtual object and an interaction between the exhibition object and a real person.

본 발명의 일부 실시예에서, 도 11은 본 발명의 실시예에서 제공되는 가상 객체 제어 방법의 또 다른 하나의 선택 가능한 흐름 모식도이고, 도 11에 도시된 바와 같이, 상기 단계 S201은 단계 S2011 내지 단계 S2014를 통해 구현될 수 있으며, 도 11에 도시된 단계를 결부하여 설명한다.In some embodiments of the present invention, Fig. 11 is another selectable flow schematic diagram of a virtual object control method provided in an embodiment of the present invention, and as shown in Fig. 11 , the step S201 is the step S2011 to the step S2011. It can be implemented through S2014, and will be described in conjunction with the steps shown in FIG. 11 .

단계 S2011에서, 실제 장면에 다수의 실제 인물이 존재하는 것으로 검출될 경우, 다중 프레임의 인터랙티브 이미지 중의 각 프레임의 인터랙티브 이미지에 대해 안면 인식을 수행하여, 핵심 인물을 인식해낸다.In step S2011, when it is detected that a plurality of real people exist in the real scene, facial recognition is performed on the interactive image of each frame among the interactive images of multiple frames to recognize a key person.

본 발명의 실시예에서, 디스플레이 기기는 수집된 다중 프레임의 인터랙티브 이미지 중의 실제 인물을 인식하여 실제 장면에 존재하는 실제 인물의 개수를 검출할 수 있고, 실제 장면에 다수의 실제 인물이 존재하는 것으로 검출되는 경우, 안면 인식을 통해 다수의 실제 인물 중의 핵심 인물을 인식해낼 수 있다.In an embodiment of the present invention, the display device can detect the number of real people present in the real scene by recognizing real people in the collected multi-frame interactive images, and detect that a plurality of real people exist in the real scene In this case, it is possible to recognize a key person among a plurality of real people through facial recognition.

본 발명의 일부 실시예에서, 핵심 인물은 VIP 고객, 가이드 및 선생님 등일 수 있으며, 본 발명의 실시예는 이에 대해 한정하지 않는다. 예를 들어, 핵심 인물이 VIP 고객인 경우, 디스플레이 기기에 다수의 VIP 고객의 안면 이미지를 사전 저장할 수 있고, 디스플레이 기기는 각각의 VIP 고객의 안면 이미지를 다중 프레임의 인터랙티브 이미지로부터 인식해낸 각각의 실제 인물의 안면 이미지와 비교하여, 다수의 실제 인물에 VIP 고객이 존재하는지 여부를 결정할 수 있으며; 여기서, 본 발명은 핵심 인물을 VIP 고객으로 결정하는 방법에 대해 한정하지 않는다. 예를 들어, 핵심 인물이 선생님인 경우, 디스플레이 기기는 다중 프레임의 인터랙티브 이미지로부터 인식해낸 각각의 실제 인물의 위치 관계 및 시선 방향 중 적어도 하나를 분석할 수 있고, 하나의 실제 인물이 다수의 실제 인물 중간에 위치하는 장면 및 다수의 실제 인물의 시선이 상기 실제 인물을 주시하는 장면 중 적어도 하나의 장면이 나타나는 경우, 상기 실제 인물이 선생님임을 결정할 수 있으며; 여기서, 본 발명은 핵심 인물을 선생님으로 결정하는 방법에 대해 한정하지 않는다. 예를 들어, 핵심 인물이 가이드인 경우, 가이드는 통상적으로 마이크와 같은 기기를 휴대하기 때문에, 디스플레이 기기는 다수의 실제 인물로부터 가이드를 인식해내기 위해 실제 인물이 마이크를 휴대하고 있는지 여부를 인식하여, 실제 인물이 가이드인지 여부를 결정할 수 있으며; 여기서, 본 발명은 핵심 인물을 가이드로 결정하는 방법에 대해서도 한정하지 않는다.In some embodiments of the present invention, the key person may be a VIP customer, a guide, a teacher, and the like, and the embodiment of the present invention is not limited thereto. For example, if the key person is a VIP customer, the display device may pre-store facial images of a plurality of VIP customers, and the display device recognizes the facial images of each VIP customer from the multi-frame interactive images. comparing with the facial image of the person, determine whether there are VIP customers in the plurality of real persons; Here, the present invention does not limit the method of determining the key person as the VIP customer. For example, when the core person is a teacher, the display device may analyze at least one of a positional relationship and a gaze direction of each real person recognized from the multi-frame interactive image, and one real person is a plurality of real people when at least one of a scene located in the middle and a scene in which the eyes of a plurality of real people gaze at the real person appears, it may be determined that the real person is a teacher; Here, the present invention does not limit the method of determining the key person as the teacher. For example, if the key person is a guide, the guide usually carries a device such as a microphone, so the display device recognizes whether a real person is carrying a microphone in order to recognize the guide from a plurality of real people. , can determine whether a real person is a guide; Here, the present invention is not limited to a method of determining a key person as a guide.

단계 S2012에서, 다중 프레임의 인터랙티브 이미지에서 연속 프레임의 인터랙티브 이미지 중의 핵심 인물의 눈 이미지 영역을 비교하여, 비교 결과를 획득한다.In step S2012, a comparison result is obtained by comparing the eye image region of the key person in the interactive image of successive frames in the interactive image of multiple frames.

본 발명의 실시예에서, 디스플레이 기기는 핵심 인물을 결정한 후, 다중 프레임의 인터랙티브 이미지 중의 연속 프레임의 인터랙티브 이미지 중 핵심 인물의 눈 이미지 영역을 비교하여, 적어도 하나의 비교 결과를 획득할 수 있고; 예를 들어, 상기 비교 결과는 핵심 인물의 안와에서 안구의 위치 변화 과정 및 인터랙티브 이미지에서 실제 인물의 눈의 위치 변화 과정 중 적어도 하나일 수 있으며, 본 발명의 실시예는 이에 대해 한정하지 않는다. 설명해야 할 것은, 비교 결과가 실제 인물의 안와에서 안구의 위치 변화 과정 및 인터랙티브 이미지에서 실제 인물의 눈의 위치 변화 과정 중 적어도 하나인 경우, 디스플레이 기기는 먼저 다중 프레임의 인터랙티브 이미지에서 연속 프레임의 인터랙티브 이미지 중의 핵심 인물의 머리 영역을 비교하여, 핵심 인물의 머리 위치가 변경되었는지 여부를 결정할 수 있고, 핵심 인물의 머리 위치가 변경되지 않은 경우, 다중 프레임의 인터랙티브 이미지에서 연속 프레임의 인터랙티브 이미지 중의 핵심 인물의 눈 이미지 영역을 비교하여, 핵심 인물의 안와에서 안구의 위치 변화 과정 및 인터랙티브 이미지에서 실제 인물의 눈의 위치 변화 과정 중 적어도 하나를 획득함으로써, 사용자의 머리가 약간 회전하거나 사용자의 시선이 약간 변경된 경우 가상 객체의 자세가 불필요하게 변경되는 것을 피할 수 있다.In an embodiment of the present invention, after determining the key person, the display device may compare the eye image area of the key person among the interactive images of consecutive frames among the interactive images of multiple frames to obtain at least one comparison result; For example, the comparison result may be at least one of a process of changing the position of an eyeball in the orbit of a key person and a process of changing the position of an actual person's eyes in the interactive image, but the embodiment of the present invention is not limited thereto. It should be explained that when the comparison result is at least one of the process of changing the position of the eyeball in the orbit of the real person and the process of changing the position of the eyes of the real person in the interactive image, the display device first displays the interactive image of successive frames in the multi-frame interactive image. By comparing the head area of the key person in the image, it can be determined whether the head position of the key person has changed, and if the head position of the key person is not changed, the key person in the interactive image of consecutive frames in the multi-frame interactive image By comparing the area of the eye image of , obtaining at least one of the process of changing the position of the eyeball in the orbit of the key person and the process of changing the position of the real person's eye in the interactive image, the user's head is slightly rotated or the user's gaze is slightly changed. In this case, it is possible to avoid unnecessary changes in the posture of the virtual object.

단계 S2013에서, 비교 결과에 따라, 핵심 인물의 눈의 시선 방향을 결정한다.In step S2013, according to the comparison result, the gaze direction of the eyes of the key person is determined.

본 발명의 실시예에서, 디스플레이 기기는 비교 결과를 획득한 후, 비교 결과에 따라 핵심 인물의 눈의 시선 방향을 결정할 수 있다. 비교 결과가 핵심 인물의 안와에서 안구의 위치 변화 과정인 경우, 디스플레이 기기는 핵심 인물의 안와에서 안구의 위치 변화 과정에 따라, 핵심 인물의 눈의 시선 방향을 결정할 수 있으며; 예를 들어, 핵심 인물의 안와에서 안구의 초기 위치가 안와의 중간이고, 최종 위치가 안와의 좌측인 경우, 핵심 인물의 시선 방향이 좌측 방향인 것으로 결정할 수 있다.In an embodiment of the present invention, after obtaining the comparison result, the display device may determine the gaze direction of the eyes of the key person according to the comparison result. When the comparison result is the process of changing the position of the eye in the orbit of the key person, the display device may determine the gaze direction of the eyes of the key person according to the process of changing the position of the eye in the orbit of the key person; For example, when the initial position of the eyeball in the orbit of the key person is the middle of the orbit and the final position is the left side of the orbit, it may be determined that the gaze direction of the key person is the left direction.

단계 S2014에서, 핵심 인물의 눈의 시선 방향을 실제 인물의 눈의 시선 방향으로 결정한다.In step S2014, the gaze direction of the eyes of the key person is determined as the gaze direction of the eyes of the real person.

본 발명의 실시예에서, 디스플레이 기기는 핵심 인물의 눈의 시선 방향을 결정한 후, 핵심 인물의 눈의 시선 방향을 다수의 실제 인물의 시선 방향으로 결정할 수 있다.In an embodiment of the present invention, after determining the gaze direction of the eyes of the key person, the display device may determine the gaze direction of the eyes of the key person as the gaze direction of a plurality of real people.

본 발명의 실시예에서, 디스플레이 기기는 실제 장면에 다수의 실제 인물이 존재하는 것으로 검출하는 경우, 다수의 실제 인물 중의 핵심 인물의 시선 방향을 이러한 다수의 실제 인물의 시선 방향으로 결정하고, 상응한 가상 객체의 자세 및 전시 객체의 가상 효과의 전시를 수행함으로써, 가상 객체의 인터랙션 효과 및 전시 객체의 가상 효과의 전시가 더욱 타겟성이 있도록 하여, 가상 객체의 인터랙션 효과 및 전시 객체의 가상 효과의 전시 효과를 향상시킬 수 있다.In an embodiment of the present invention, when the display device detects that there are a plurality of real people in the real scene, the display device determines the gaze direction of a key person among the plurality of real people as the gaze direction of the plurality of real people, and corresponds to the By performing the display of the posture of the virtual object and the virtual effect of the exhibition object, the display of the interaction effect of the virtual object and the virtual effect of the exhibition object is more targeted, so that the display of the interaction effect of the virtual object and the virtual effect of the exhibition object effect can be improved.

본 발명의 일부 실시예에서, 도 12는 본 발명의 실시예에서 제공되는 가상 객체 제어 방법의 또 다른 하나의 선택 가능한 흐름 모식도이고, 상기 단계 S201은 또한 단계 S2001 내지 단계 S2003을 통해 구현될 수 있으며, 도 12에 도시된 단계를 결부하여 설명한다.In some embodiments of the present invention, Fig. 12 is another selectable flow schematic diagram of a virtual object control method provided in an embodiment of the present invention, wherein step S201 may also be implemented through steps S2001 to S2003, , will be described in conjunction with the steps shown in FIG. 12 .

단계 S2001에서, 실제 장면에 다수의 실제 인물이 존재하는 것으로 검출될 경우, 다중 프레임의 인터랙티브 이미지 중의 각 프레임의 인터랙티브 이미지에 대해 안면 인식을 수행하여, 각각의 실제 인물을 결정한다.In step S2001, when it is detected that a plurality of real people exist in the real scene, face recognition is performed on the interactive image of each frame among the interactive images of multiple frames to determine each real person.

본 발명의 실시예에서, 디스플레이 기기는 수집된 다중 프레임의 인터랙티브 이미지 중의 실제 인물을 인식하여, 실제 장면에 존재하는 실제 인물의 개수를 검출할 수 있고, 실제 장면에 다수의 실제 인물이 존재하는 것으로 검출하는 경우, 각 프레임의 인터랙티브 이미지 중의 각각의 실제 인물을 인식해내어, 다중 프레임의 이미지 중의 각각의 실제 인물을 결정할 수 있다.In an embodiment of the present invention, the display device may recognize real people in the collected multi-frame interactive images, detect the number of real people present in the real scene, and assume that a plurality of real people exist in the real scene. In the case of detection, it is possible to recognize each real person in the interactive image of each frame, and determine each real person in the image of the multiple frames.

단계 S2002에서, 다중 프레임의 인터랙티브 이미지에서 연속 프레임의 인터랙티브 이미지 중의 각각의 실제 인물의 눈 이미지 영역을 각각 비교하여, 각각의 실제 인물의 눈의 시선 방향을 획득한다.In step S2002, the eye image area of each real person in the interactive image of successive frames in the multi-frame interactive image is compared, respectively, to obtain the gaze direction of the eyes of each real person.

본 발명의 실시예에서, 각각의 실제 인물에 대해, 디스플레이 기기는 다중 프레임의 인터랙티브 이미지에서 연속 프레임의 인터랙티브 이미지 중 상기 실제 인물의 눈 이미지 영역을 비교할 수 있고, 비교 결과에 따라 상기 실제 인물의 눈의 시선 방향을 획득할 수 있으며; 예를 들어, 상기 비교 결과는 상기 실제 인물의 안와에서 안구의 위치 변화 과정 및 인터랙티브 이미지에서 상기 실제 인물의 눈의 위치 변화 과정 중 적어도 하나일 수 있고, 이로써 각각의 실제 인물의 눈의 시선 방향을 획득할 수 있다.In an embodiment of the present invention, for each real person, the display device may compare the eye image area of the real person among the interactive images of consecutive frames in the interactive image of multiple frames, and according to the comparison result, the eyes of the real person can obtain the gaze direction of ; For example, the comparison result may be at least one of a process of changing the position of an eyeball in the orbit of the real person and a process of changing the position of the eyes of the real person in the interactive image, thereby determining the gaze direction of the eyes of each real person. can be obtained

단계 S2003에서, 기설정 개수의 실제 인물의 눈의 시선 방향이 동일한 방향에 속하는 경우, 기설정 개수의 실제 인물의 눈의 시선 방향을 실제 인물의 눈의 시선 방향으로 결정한다.In step S2003, when the gaze directions of the eyes of the preset number of real people belong to the same direction, the gaze directions of the eyes of the preset number of real people are determined as the gaze directions of the eyes of the real person.

본 발명의 실시예에서, 디스플레이 기기는 각각의 실제 인물의 눈의 시선 방향을 획득한 후, 각각의 실제 인물의 눈의 시선 방향을 비교할 수 있고, 기설정 개수의 실제 인물의 눈의 시선 방향이 동일한 방향에 속하는 경우, 기설정 개수의 실제 인물의 눈의 시선 방향을 결정된 실제 인물의 눈의 시선 방향으로 사용할 수 있다. 기설정 개수는 디스플레이 기기가 검출된 실제 인물의 개수 및 기설정 점수값(상술한 기설정 점수값과 같거나 상이할 수 있음)에 따라 획득한 것일 수 있고, 예를 들어 기설정 점수값은 80% 또는 3/5 등일 수 있다. 예를 들어, 디스플레이 기기가 실제 장면에 10명의 실제 인물이 존재함을 검출하고, 기설정 점수값이 80%인 경우, 디스플레이 기기는 기설정 개수가 8인 것으로 결정할 수 있으므로, 8명의 실제 인물의 눈의 시선이 동일한 방향에 속한 것으로 결정하는 경우, 상기 8명의 실제 인물의 시선 방향을 결정된 시선 방향으로 사용할 수 있다.In an embodiment of the present invention, the display device may compare the gaze directions of the eyes of each real person after obtaining the gaze directions of the eyes of each real person, When belonging to the same direction, a predetermined number of eye gaze directions of the real person's eyes may be used as the determined eye gaze directions of the real person's eyes. The preset number may be obtained according to the number of real people detected by the display device and a preset score value (which may be the same as or different from the preset score value described above), for example, the preset score value is 80 % or 3/5 or the like. For example, if the display device detects that there are 10 real people in the real scene, and the preset score value is 80%, the display device may determine that the preset number is 8, so that the number of 8 real people is When it is determined that the gazes of the eyes belong to the same direction, the gaze directions of the eight real people may be used as the determined gaze directions.

본 발명의 일부 실시예에서, 디스플레이 기기에 의해 결정된 실제 인물의 눈의 시선 방향은 디스플레이 기기의 좌측, 디스플레이 기기의 우측, 디스플레이 기기의 디스플레이 스크린의 왼쪽 위, 디스플레이 기기의 디스플레이 스크린의 왼쪽 아래, 디스플레이 기기의 디스플레이 스크린의 오른쪽 위, 디스플레이 기기의 디스플레이 스크린의 오르쪽 아래 등을 포함할 수 있으며, 본 발명의 실시예는 이에 대해 한정하지 않는다.In some embodiments of the present invention, the eye gaze direction of the real person determined by the display device is the left side of the display device, the right side of the display device, the upper left side of the display screen of the display device, the lower left side of the display screen of the display device, and the display device. It may include an upper right corner of the display screen of the device, a lower right corner of the display screen of the display device, and the like, but embodiments of the present invention are not limited thereto.

본 발명의 일부 실시예에서, 인터랙티브 객체의 상태 정보는 실제 인물의 움직임 상태 정보를 포함하고, 가상 객체의 자세 정보는 가상 객체의 신체 동작 및 시선 방향을 포함하며, 가상 객체의 신체 동작은 가상 객체의 머리 동작을 포함하고; 도 13은 본 발명의 실시예에서 제공되는 가상 객체 제어 방법의 또 다른 하나의 선택 가능한 흐름 모식도이며; 상기 도 8에서 단계 S102 중의 인터랙티브 객체의 상태 정보에 따라, 가상 객체의 자세 정보를 결정하는 단계는 단계 S301 내지 단계 S302를 통해 구현될 수 있고, 도 13에 도시된 단계를 결부하여 설명한다.In some embodiments of the present invention, the state information of the interactive object includes movement state information of a real person, the posture information of the virtual object includes a body motion and a gaze direction of the virtual object, and the body motion of the virtual object includes the virtual object including head movements; 13 is another selectable flow diagram of a virtual object control method provided in an embodiment of the present invention; In FIG. 8 , the step of determining the posture information of the virtual object according to the state information of the interactive object in step S102 may be implemented through steps S301 to S302 , and will be described in conjunction with the steps shown in FIG. 13 .

단계 S301에서, 실제 인물의 이동 거리가 기설정 거리보다 작거나 같은 것으로 결정될 경우, 가상 객체의 머리가 타깃 각도로 회전된 것으로 결정하여, 가상 객체의 머리 동작을 획득한다.In step S301, when it is determined that the moving distance of the real person is less than or equal to the preset distance, it is determined that the head of the virtual object is rotated to the target angle, and thus the head motion of the virtual object is obtained.

본 발명의 실시예에서, 디스플레이 기기는 실제 인물의 이동 거리를 획득한 후, 먼저 실제 인물의 이동 거리가 기설정 거리보다 작거나 같은지 여부를 판단할 수 있고, 실제 인물의 이동 거리가 기설정 거리보다 작거나 같은 것으로 결정하는 경우, 가상 객체의 머리가 타깃 각도로 회전된 것으로 결정할 수 있으며, 가상 객체의 머리를 타깃 각도로 회전시키는 것을 통해 가상 객체가 상응한 머리 동작을 전시할 수 있도록 한다.In an embodiment of the present invention, after obtaining the movement distance of the real person, the display device may first determine whether the movement distance of the real person is less than or equal to a preset distance, and the movement distance of the real person is the preset distance If it is determined to be smaller than or equal to, it may be determined that the head of the virtual object is rotated to a target angle, and the virtual object may exhibit a corresponding head motion by rotating the head of the virtual object to the target angle.

단계 S302에서, 가상 객체의 시선 방향을 타깃 시선 방향으로 조정하되; 타깃 각도 및 타깃 시선 방향은 가상 객체의 현재 신체 방향, 실제 인물의 이동 거리와 이동 방향 및 실제 인물의 현재 위치에 따라 결정된다.In step S302, the gaze direction of the virtual object is adjusted to the target gaze direction; The target angle and the target gaze direction are determined according to the current body direction of the virtual object, the moving distance and moving direction of the real person, and the current position of the real person.

본 발명의 실시예에서, 디스플레이 기기는 실제 인물의 이동 거리가 기설정 거리보다 작거나 같은 것으로 결정하는 경우, 획득된 실제 인물의 이동 거리에 따라 실제 인물의 현재 위치를 결정하고, 가상 객체의 현재 몸 방향을 획득할 수 있으며, 획득된 가상 객체의 몸 방향, 결정된 실제 인물의 현재 위치 및 실제 인물의 이동 거리 및 이동 방향에 따라, 가상 객체의 머리가 회전해야 하는 각도를 결정하고, 결정된 각도를 타깃 각도로 사용할 수 있으며; 획득된 가상 객체의 몸 방향, 결정된 실제 인물의 현재 위치 및 실제 인물의 이동 방향에 따라, 가상 객체의 눈이 주시해야 하는 방향을 결정하고, 결정된 방향을 타깃 시선 방향으로 사용할 수 있다. 예를 들어, 실제 인물이 디스플레이 기기의 좌측으로 1 m 이동하여 정지한 경우, 디스플레이 기기는 먼저 실제 인물의 이동 방향이 좌측이고, 이동 거리가 1 m인 것으로 결정한 다음, 1 m가 기설정 거리보다 작거나 같은지 여부를 판단하며, 1 m가 기설정 거리보다 작거나 같고, 가상 객체의 현재 몸 방향이 디스플레이 기기의 바로 앞인 것으로 결정하며, 실제 인물이 현재 디스플레이 기기의 왼쪽 앞 35°에 위치하는 경우, 가상 객체의 머리는 왼쪽으로 35° 회전해야 하는 것으로 결정하고, 가상 객체의 눈의 시선 방향은 디스플레이 기기의 왼쪽 앞 35° 방향인 것으로 결정하여, 가상 객체의 시선이 상기 실제 인물을 주시하도록 할 수 있다. 본 발명의 실시예에서, 가상 객체의 머리가 회전함에 따라 가상 객체의 시선이 자연스럽게 실제 인물을 따라가는 효과를 구현하기 위해, 상기 단계 S301 및 단계 S302는 동시에 수행될 수 있다.In an embodiment of the present invention, when the display device determines that the movement distance of the real person is less than or equal to the preset distance, the display device determines the current location of the real person according to the obtained movement distance of the real person, and determines the current location of the virtual object. The body direction may be obtained, and according to the obtained body direction of the virtual object, the determined current position of the real person, and the moving distance and moving direction of the real person, the angle at which the head of the virtual object should rotate is determined, and the determined angle is determined. Can be used as a target angle; According to the obtained body direction of the virtual object, the determined current position of the real person, and the movement direction of the real person, a direction in which the eyes of the virtual object should gaze may be determined, and the determined direction may be used as the target gaze direction. For example, when a real person moves 1 m to the left of the display device and stops, the display device first determines that the moving direction of the real person is to the left and the moving distance is 1 m, and then 1 m is greater than the preset distance It is determined whether it is less than or equal to, 1 m is less than or equal to the preset distance, the current body orientation of the virtual object is determined to be directly in front of the display device, and when the real person is currently located 35° in front of the left front of the display device , it is determined that the head of the virtual object should be rotated 35° to the left, and the gaze direction of the eyes of the virtual object is determined to be 35° in front of the left side of the display device, so that the gaze of the virtual object gazes at the real person. can In an embodiment of the present invention, in order to realize the effect that the gaze of the virtual object naturally follows the real person as the head of the virtual object rotates, the steps S301 and S302 may be simultaneously performed.

예시적으로, 도 14a는 본 발명의 실시예에서 제공되는 예시적인 디스플레이 기기에 의해 전시되는 가상 객체의 효과 모식도이고; 도 14b는 본 발명의 실시예에서 제공되는 다른 예시적인 디스플레이 기기에 의해 전시되는 가상 객체의 효과 모식도이다. 디스플레이 기기가 실제 인물이 좌측으로 이동한 거리가 1 m보다 작고, 실제 인물이 현재 디스플레이 기기의 왼쪽 앞 35°에 위치하는 것으로 결정한 경우, 디스플레이 기기는 도 14a 중의 가상 객체의 머리를 왼쪽으로 35° 회전하도록 제어하고, 가상 객체의 눈의 시선 방향이 디스플레이 기기의 왼쪽 앞 35° 방향인 것으로 결정하여, 가상 객체가 도 14b에 도시된 자세를 전시할 수 있도록 하며, 가상 객체와 실제 인물 사이의 인터랙션을 구현할 수 있다.Illustratively, Fig. 14A is a schematic diagram of an effect of a virtual object displayed by an exemplary display device provided in an embodiment of the present invention; 14B is a schematic diagram of an effect of a virtual object displayed by another exemplary display device provided in an embodiment of the present invention. If the display device determines that the distance that the real person moves to the left is less than 1 m and that the real person is currently located 35° in front of the left side of the display device, the display device turns the head of the virtual object in FIG. 14A to the left by 35° control to rotate, and determine that the eye gaze direction of the virtual object is 35° in front of the left side of the display device, so that the virtual object can exhibit the posture shown in FIG. 14B, and the interaction between the virtual object and the real person can be implemented.

본 발명의 일부 실시예에서, 설정된 기설정 거리가 비교적 큰 경우, 상기 기설정 거리를 실제 인물이 스크린과의 거리가 비교적 먼 경우에 대응되도록 할 수 있고; 설정된 기설정 거리가 비교적 작은 경우, 상기 기설정 거리를 실제 인물이 스크린과의 거리가 비교적 가까운 경우에 대응되도록 할 수 있으며; 기설정 거리의 값은 실제 요구에 따라 자체로 설정될 수 있고, 본 발명의 실시예는 이에 대해 한정하지 않는다.In some embodiments of the present invention, when the set preset distance is relatively large, the preset distance may correspond to a case in which the actual person is relatively far from the screen; when the set preset distance is relatively small, the preset distance may correspond to a case in which the distance between the real person and the screen is relatively close; The value of the preset distance may be set by itself according to actual needs, and the embodiment of the present invention is not limited thereto.

본 발명의 실시예에서, 디스플레이 기기는 실제 장면 중의 실제 인물의 이동 방향 및 이동 거리에 따라, 가상 객체의 머리 동작과 눈의 시선 방향을 제어함으로써, 디스플레이 기기에 전시되는 가상 객체와 실제 장면 중의 실제 인물 사이의 인터랙션을 구현할 수 있다.In an embodiment of the present invention, the display device controls the head motion and the eye gaze direction of the virtual object according to the moving direction and the moving distance of the real person in the real scene, so that the virtual object displayed on the display device and the real in the real scene are controlled. Interaction between characters can be implemented.

본 발명의 일부 실시예에서, 인터랙티브 객체의 상태 정보는 실제 인물의 신체 동작 정보를 포함하고, 가상 객체의 자세 정보는 가상 객체의 신체 동작을 포함하며; 도 15는 본 발명의 실시예에서 제공되는 가상 객체 제어 방법의 또 다른 하나의 선택 가능한 흐름 모식도이고, 도 15에 도시된 바와 같이, 상기 단계 S102는 단계 S401을 통해 구현될 수 있으며, 구체적으로 하기와 같다.In some embodiments of the present invention, the state information of the interactive object includes body motion information of a real person, and the posture information of the virtual object includes body motion of the virtual object; 15 is another selectable flow schematic diagram of a virtual object control method provided in an embodiment of the present invention, and as shown in FIG. 15 , the step S102 may be implemented through the step S401, and specifically, same as

단계 S401에서, 다중 프레임의 인터랙티브 이미지에 따라, 인터랙티브 객체의 상태 정보를 결정하고, 실제 인물의 신체 동작 정보가 실제 인물이 기설정 동작을 수행했음을 나타내는 것으로 검출될 경우, 가상 객체가 기설정 동작에 대응되는 신체 동작을 전시하도록 결정한다.In step S401, according to the multi-frame interactive image, the state information of the interactive object is determined, and when it is detected that the body motion information of the real person indicates that the real person has performed the preset operation, the virtual object is set to the preset operation. Decide to display the corresponding body motion.

본 발명의 실시예에서, 디스플레이 기기는 수집된 다중 프레임의 인터랙티브 이미지를 분석하여, 실제 인물의 신체 동작을 획득하고, 실제 인물의 신체 동작이 기설정 동작인지 여부를 판단하며, 실제 인물의 신체 동작이 어느 하나의 기설정 동작인 것으로 결정하는 경우, 실제 인물의 신체 동작과 가상 객체의 신체 동작 사이의 기설정 대응 관계에 따라, 상기 기설정 동작에 대응되는 가상 객체의 신체 동작을 결정하고, 결정된 상기 가상 객체의 신체 동작을 가상 객체가 전시하고자 하는 동작으로 사용할 수 있다. 예를 들어, 디스플레이 기기가 실제 인물의 신체 동작이 서있기에서 쪼그려 앉기로 변경됨을 결정하는 경우, 디스플레이 기기는 쪼그려 앉기 동작에 대응되는 가상 객체의 신체 동작이 머리 숙이기임을 결정할 수 있고, 이때, 디스플레이 기기는 가상 객체가 머리를 숙여 해설하도록 제어하기 위해 머리 숙이기를 가상 객체가 전시하고자 하는 신체 동작으로 결정할 수 있다.In an embodiment of the present invention, the display device analyzes the collected interactive images of multiple frames to obtain the body motion of the real person, determine whether the body motion of the real person is a preset motion, and the body motion of the real person When it is determined that this is any one of the preset motions, the body motion of the virtual object corresponding to the preset motion is determined according to a preset correspondence relationship between the body motion of the real person and the body motion of the virtual object, and the determined The physical motion of the virtual object may be used as a motion desired to be displayed by the virtual object. For example, when the display device determines that the physical motion of the real person is changed from standing to squatting, the display device may determine that the body motion of the virtual object corresponding to the squatting motion is to bow down, in this case, the display device In order to control the virtual object to bow its head and comment, it may be determined that the head bow is a body motion that the virtual object wants to display.

본 발명의 실시예에서, 디스플레이 기기는 실제 장면 중의 실제 인물의 신체 동작에 따라, 가상 객체의 신체 동작을 제어함으로써, 디스플레이 기기에 전시되는 가상 객체와 실제 장면 중의 실제 인물 사이의 인터랙션을 구현할 수 있다.In an embodiment of the present invention, the display device may implement an interaction between the virtual object displayed on the display device and the real person in the real scene by controlling the body motion of the virtual object according to the body motion of the real person in the real scene. .

본 발명의 일부 실시예에서, 인터랙티브 객체의 상태 정보는 실제 인물의 시선 정보를 포함하고, 가상 객체의 자세 정보는 가상 객체의 신체 동작을 포함하며; 도 16은 본 발명의 실시예에서 제공되는 가상 객체 제어 방법의 또 다른 하나의 선택 가능한 흐름 모식도이고; 상기 단계 S102 중의 인터랙티브 객체의 상태 정보에 따라 가상 객체의 자세 정보를 결정하는 단계는 단계 S501 내지 단계 S502를 통해 구현될 수 있으며, 도 10에서 단계 S102 중의 인터랙티브 객체의 상태 정보에 따라 가상 객체의 자세 정보를 결정하는 단계는 단계 S501 내지 단계 S502를 통해 구현될 수 있는 것을 예로 들어, 도 16에 도시된 단계를 결부하여 설명한다.In some embodiments of the present invention, the state information of the interactive object includes gaze information of a real person, and the posture information of the virtual object includes a body motion of the virtual object; 16 is another selectable flow diagram of a virtual object control method provided in an embodiment of the present invention; The step of determining the posture information of the virtual object according to the state information of the interactive object in step S102 may be implemented through steps S501 to S502, and in FIG. 10 , the posture of the virtual object according to the state information of the interactive object in step S102 in FIG. The step of determining the information will be described in conjunction with the steps shown in FIG. 16 for example that can be implemented through steps S501 to S502.

단계 S501에서, 시선 방향에 따라, 디스플레이 기기에서의 실제 인물의 주시 위치를 결정한다.In step S501, a gaze position of a real person on the display device is determined according to the gaze direction.

본 발명의 실시예에서, 디스플레이 기기는 실제 인물의 시선 방향을 결정한 후, 실제 인물의 시선 방향이 디스플레이 기기의 디스플레이 스크린이 위치하는 위치에 대응되는지 여부를 결정할 수 있고, 실제 인물의 시선 방향이 디스플레이 기기의 디스플레이 스크린이 위치하는 위치에 대응되는 경우, 디스플레이 기기에서의 실제 인물의 주시 위치를 결정할 수 있으며, 예를 들어, 실제 인물이 주시하는 디스플레이 스크린의 영역 등을 결정할 수 있다.In an embodiment of the present invention, after determining the gaze direction of the real person, the display device may determine whether the gaze direction of the real person corresponds to a position where the display screen of the display device is located, and the gaze direction of the real person is displayed When it corresponds to the position where the display screen of the device is located, the gaze position of the real person on the display device may be determined, for example, an area of the display screen that the real person looks at may be determined.

단계 S502에서, 가상 객체가 주시 위치에 대응되는 신체 동작을 전시하도록 결정한다.In step S502, it is determined that the virtual object displays a body motion corresponding to the gaze position.

본 발명의 실시예에서, 디스플레이 기기는 실제 인물의 주시 위치를 결정한 후, 상기 주시 위치를 투과하여 볼 수 있는 내용 또는 상기 주시 위치에 전시된 내용에 따라, 가상 객체가 주시 위치에 대응되는 신체 동작을 전시하도록 제어할 수 있으며, 예를 들어, 디스플레이 기기가 실제 인물이 디스플레이 스크린의 왼쪽 아래를 주시하고, 디스플레이 스크린의 왼쪽 아래는 "솥정"의 솥정 발을 디스플레이하는 것으로 결정하는 경우, 디스플레이 기기는 가상 객체의 신체 동작이 상기 솥정 발을 가리키는 것임을 결정하여, 가상 객체의 손가락이 상기 솥정 발이 위치하는 위치를 가리키도록 제어함으로써, 상기 솥정 발에 대해 해설할 수 있다. 다른 예를 들면, 디스플레이 기기가 실제 인물이 디스플레이 스크린의 영역 1을 주시하고, 디스플레이 스크린의 영역 1을 투과하여 "솥정"의 하나의 솥정 발을 본 것으로 결정하는 경우, 디스플레이 기기는 가상 객체의 신체 동작이 상기 솥정 발이 위치하는 위치를 가리키는 것임을 결정하여, 가상 객체의 손가락이 상기 솥정 발이 위치하는 위치를 가리키도록 제어함으로써, 상기 솥정 발에 대해 해설할 수 있다.In an embodiment of the present invention, after the display device determines the gaze position of the real person, the virtual object moves the body corresponding to the gaze position according to the content that can be seen through the gaze position or the content displayed at the gaze position can be controlled to display, for example, when the display device determines that a real person is looking at the lower left of the display screen, and the lower left of the display screen displays the feet of the cauldron, the display device is By determining that the physical motion of the virtual object points to the foot of the virtual object, and controlling the finger of the virtual object to point to the position where the foot of the foot of the virtual object is located, the foot can be explained. For another example, when the display device determines that the real person gazes at area 1 of the display screen, and sees one cauldron's foot of the "cauldron" through area 1 of the display screen, the display device may display the body of the virtual object. By determining that the operation indicates the position of the cauldron's foot, and controlling the finger of the virtual object to point to the position of the cauldron's foot, it is possible to explain the cauldron's foot.

예시적으로, 도 17a는 본 발명의 실시예에서 제공되는 예시적인 디스플레이 기기의 디스플레이 인터페이스 모식도이고; 도 17b는 본 발명의 실시예에서 제공되는 다른 예시적인 디스플레이 기기의 디스플레이 인터페이스 모식도이다. 디스플레이 기기가 실제 인물의 주시 위치에 "솥정"의 하나의 솥정 귀를 디스플레이하는 것으로 결정하는 경우, 디스플레이 기기는 가상 객체의 신체 동작이 손가락이 상기 솥정 귀가 위치하는 위치를 가리키는 것임을 결정하고, 상기 솥정 귀에 대해 해설함으로써, 디스플레이 기기는 디스플레이 인터페이스의 가상 객체의 자세가 도 17a에 도시된 자세에서 17b에 도시된 자세로 변경되도록 제어할 수 있다.Illustratively, Fig. 17A is a schematic diagram of a display interface of an exemplary display device provided in an embodiment of the present invention; 17B is a schematic diagram of a display interface of another exemplary display device provided in an embodiment of the present invention. When the display device determines to display one cauldron ear of the "cauldron" at the gaze position of the real person, the display device determines that the physical motion of the virtual object is a finger pointing to the position where the cauldron ear is located, and the cauldron ear By explaining the ear, the display device may control the posture of the virtual object of the display interface to change from the posture shown in FIG. 17A to the posture shown in FIG. 17B .

본 발명의 실시예에서, 디스플레이 기기는 디스플레이 기기에서의 실제 인물의 주시 위치에 따라, 가상 객체가 전시하는 신체 동작을 결정함으로써, 디스플레이 기기에 전시되는 가상 객체와 실제 장면 중의 실제 인물 사이의 인터랙션을 구현할 수 있다.In an embodiment of the present invention, the display device determines an interaction between the virtual object displayed on the display device and a real person in the real scene by determining the body motion displayed by the virtual object according to the gaze position of the real person on the display device. can be implemented

본 발명의 일부 실시예에서, 상기 방법은 단계 S105를 더 포함하고, 도 18은 본 발명의 실시예에서 제공되는 가상 객체 제어 방법의 또 다른 하나의 선택 가능한 흐름 모식도이며, 도 18에 도시된 바와 같이, 예시적으로 단계 S102 이후 단계 S105를 수행할 수 있고, 단계 S105는 상기 단계 S103 내지 단계 S104와 동시에 수행될 수 있으며, 아래에서는 도 18에 도시된 단계를 결부하여 설명한다.In some embodiments of the present invention, the method further includes step S105, and FIG. 18 is another selectable flow diagram of the virtual object control method provided in the embodiment of the present invention, as shown in FIG. Similarly, exemplarily, step S105 may be performed after step S102, and step S105 may be performed simultaneously with steps S103 to S104, and will be described below in conjunction with the steps shown in FIG. 18 .

단계 S105에서, 인터랙티브 객체의 상태 정보에 따라, 디스플레이 기기의 이동을 제어한다.In step S105, the movement of the display device is controlled according to the state information of the interactive object.

본 발명의 실시예에서, 디스플레이 기기는 인터랙티브 객체의 움직임 상태 정보, 시선 정보 및 신체 정보 중 적어도 하나에 따라, 디스플레이 기기의 이동을 제어할 수 있다. 예를 들어, 디스플레이 기기가 실제 인물이 좌측으로 이동하는 것을 검출하는 경우, 디스플레이 기기는 디스플레이 스크린이 좌측으로 이동하도록 제어할 수 있고; 디스플레이 기기가 실제 인물의 시선 방향이 하나의 전시 객체에 집중되는 것을 검출하는 경우, 디스플레이 기기는 디스플레이 스크린이 상기 전시 객체가 위치하는 위치로 이동하도록 제어할 수 있으며; 디스플레이 기기가 실제 인물이 하나의 전시 객체를 가리키는 것을 검출하는 경우, 디스플레이 기기는 디스플레이 스크린이 상기 전시 객체가 위치하는 위치로 이동되도록 제어할 수 있는 것 등이다. In an embodiment of the present invention, the display device may control the movement of the display device according to at least one of motion state information, gaze information, and body information of the interactive object. For example, when the display device detects that the real person moves to the left, the display device may control the display screen to move to the left; When the display device detects that the gaze direction of the real person is focused on one exhibition object, the display device may control the display screen to move to a position where the exhibition object is located; When the display device detects that a real person points to one exhibition object, the display device may control the display screen to move to a position where the exhibition object is located.

본 발명의 일부 실시예에서, 실제 장면에는 적어도 하나의 전시 객체가 포함되고; 인터랙티브 객체의 상태 정보는 실제 인물의 시선 정보를 포함하며, 가상 객체의 자세 정보는 가상 객체의 신체 동작을 포함하고; 도 19는 본 발명의 실시예에서 제공되는 가상 객체 제어 방법의 또 다른 하나의 선택 가능한 흐름 모식도이며, 도 19에 도시된 바와 같이, 상기 단계 S105는 단계 S1051을 통해 구현될 수 있고, 단계 S1051 이후 단계 S106을 더 포함할 수 있으며, 아래에서는 도 19에 도시된 단계를 결부하여 설명한다.In some embodiments of the present invention, the actual scene includes at least one exhibition object; the state information of the interactive object includes gaze information of a real person, and the posture information of the virtual object includes body motions of the virtual object; 19 is another selectable flow schematic diagram of a virtual object control method provided in an embodiment of the present invention, and as shown in FIG. 19, the step S105 may be implemented through step S1051, and after step S1051 Step S106 may be further included, and the following will be described in conjunction with the step shown in FIG. 19 .

단계 S1051에서, 시선 정보가 적어도 하나의 전시 객체 중 어느 하나의 전시 객체의 위치 방향인 경우, 디스플레이 기기의 디스플레이 스크린이 상기 전시 객체의 위치로 이동되도록 제어한다.In step S1051, when the gaze information is the direction of the position of any one of the at least one exhibition object, the display screen of the display device is controlled to move to the position of the exhibition object.

본 발명의 실시예에서, 디스플레이 기기는 실제 인물의 시선 정보를 획득한 후, 상기 시선 정보에 따라 실제 인물이 주시하는 위치를 결정할 수 있고, 실제 인물이 주시하는 위치가 실제 장면 중의 다수의 전시 객체 중 어느 하나의 전시 객체인 것으로 결정하는 경우, 상기 전시 객체가 존재하는 위치를 타깃 위치로 결정하고, 디스플레이 기기가 상기 타깃 위치로 이동되도록 제어할 수 있다. 본 발명의 실시예에서, 실제 인물의 시선 정보는 실제 인물의 시선 방향일 수 있다.In an embodiment of the present invention, after the display device obtains the gaze information of the real person, the display device may determine a location where the real person looks at the location according to the gaze information, and the location where the real person looks at the location is a plurality of display objects in the real scene. When it is determined that any one of the exhibition objects is an exhibition object, a position in which the exhibition object exists may be determined as a target position, and the display device may be controlled to move to the target position. In an embodiment of the present invention, the gaze information of the real person may be the gaze direction of the real person.

단계 S106에서, 가상 객체가 전시 객체에 대응되는 신체 동작을 전시하도록 제어한다.In step S106, the virtual object is controlled to display a body motion corresponding to the display object.

본 발명의 실시예에서, 디스플레이 기기는 상기 전시 객체가 위치하는 위치에 도달한 것으로 결정한 후, 가상 객체가 전시 객체에 대응되는 신체 동작을 전시하도록 제어할 수 있다. 가상 객체가 전시하는 신체 동작은 사전 설정되고 상기 전시 객체와 기설정 대응 관계를 갖는 신체 동작일 수 있다. 예를 들어, 전시 객체가 하나의 웨어러블 물품인 경우, 가상 객체가 전시하는 신체 동작은 상기 전시 객체(상기 전시 객체의 가상 모델)를 착용하여 상기 물품을 해설하는 것일 수 있다.In an embodiment of the present invention, after determining that the location where the exhibition object is located, the display device may control the virtual object to display a body motion corresponding to the exhibition object. The body motion displayed by the virtual object may be a body motion that is preset and has a preset correspondence relationship with the display object. For example, when the exhibition object is a wearable article, the physical motion displayed by the virtual object may be to describe the article by wearing the exhibition object (a virtual model of the exhibition object).

본 발명의 실시예에서, 디스플레이 기기는 실제 장면 중의 실제 인물의 시선 정보에 따라 디스플레이 기기의 디스플레이 스크린의 이동 및 가상 객체의 상응한 신체 동작 전시를 제어함으로써, 디스플레이 기기에 전시되는 가상 객체와 실제 장면 중의 실제 인물 사이의 인터랙션을 구현할 수 있다.In an embodiment of the present invention, the display device controls the movement of the display screen of the display device and the display of corresponding body motions of the virtual object according to the gaze information of the real person in the real scene, so that the virtual object and the real scene displayed on the display device are controlled. It is possible to implement an interaction between real people in the game.

본 발명의 실시예는 또한 가상 객체 제어 장치를 제공하고, 도 20은 본 발명의 실시예에서 제공되는 가상 객체 제어 장치의 구조 모식도이며, 도 20에 도시된 바와 같이, 가상 객체 제어 장치(1)는 실제 장면 중의 인터랙티브 객체의 다중 프레임의 인터랙티브 이미지 및 상기 실제 장면 중의 타깃 전시 객체의 전시 이미지를 각각 수집하는 수집 부분(11); 상기 다중 프레임의 인터랙티브 이미지에 따라, 상기 실제 장면 중의 인터랙티브 객체의 상태 정보를 결정하고; 상기 인터랙티브 객체의 상태 정보에 따라, 가상 객체의 자세 정보를 제어하며; 상기 전시 이미지에 따라, 상기 타깃 전시 객체의 가상 효과 데이터를 결정하는 결정 부분(12); 가상 효과 이미지를 획득하기 위해 상기 가상 객체의 자세 정보 및 상기 가상 효과 데이터를 사용하여 렌더링하는 렌더링 부분(13); 및 상기 가상 효과 이미지를 포함하는 증강 현실 효과를 전시하는 디스플레이 부분(14)을 포함한다.An embodiment of the present invention also provides a virtual object control device, and FIG. 20 is a structural schematic diagram of the virtual object control device provided in the embodiment of the present invention, and as shown in FIG. 20 , the virtual object control device 1 is a collecting part 11 for collecting multi-frame interactive images of an interactive object in a real scene and an exhibition image of a target exhibition object in the real scene, respectively; determine, according to the interactive image of the multi-frame, state information of the interactive object in the real scene; control posture information of the virtual object according to the state information of the interactive object; a determining part (12) for determining, according to the exhibition image, virtual effect data of the target exhibition object; a rendering part (13) for rendering using the virtual effect data and the posture information of the virtual object to obtain a virtual effect image; and a display portion 14 for displaying an augmented reality effect comprising the virtual effect image.

본 발명의 일부 실시예에서, 상기 인터랙티브 객체는 실제 인물을 포함하고; 상기 인터랙티브 객체의 상태 정보는 상기 실제 인물의 움직임 상태 정보, 신체 동작 정보 및 시선 정보 중 적어도 하나를 포함한다.In some embodiments of the present invention, the interactive object includes a real person; The state information of the interactive object includes at least one of movement state information, body motion information, and gaze information of the real person.

본 발명의 일부 실시예에서, 상기 가상 객체의 자세 정보는 상기 가상 객체의 신체 동작 및 시선 방향 중 적어도 하나를 포함한다.In some embodiments of the present disclosure, the posture information of the virtual object includes at least one of a body motion and a gaze direction of the virtual object.

본 발명의 일부 실시예에서, 상기 인터랙티브 객체의 상태 정보는 상기 실제 인물의 움직임 상태 정보를 포함하며; 결정 부분(12)은 또한 상기 다중 프레임의 인터랙티브 이미지 중 실제 인물의 화면 내용을 인식하여, 상기 실제 인물의 이동 방향 및 이동 거리를 결정하고; 상기 이동 방향 및 이동 거리를 상기 실제 인물의 움직임 상태 정보로 결정한다.In some embodiments of the present invention, the state information of the interactive object includes movement state information of the real person; The determining part 12 also recognizes the screen content of the real person in the multi-frame interactive image, and determines the moving direction and the moving distance of the real person; The movement direction and movement distance are determined as movement state information of the real person.

본 발명의 일부 실시예에서, 상기 인터랙티브 객체의 상태 정보는 상기 실제 인물의 움직임 상태 정보를 포함하며; 결정 부분(12)은 또한 상기 실제 장면에 다수의 실제 인물이 존재하는 것으로 검출될 경우, 상기 다중 프레임의 인터랙티브 이미지 중 실제 인물의 화면 내용을 인식하여, 상기 다수의 실제 인물 중 각각의 실제 인물의 이동 방향을 결정하고; 기설정 개수의 실제 인물의 이동 방향이 동일한 방향에 속하는 경우, 상기 기설정 개수의 실제 인물의 이동 방향을 상기 실제 인물의 움직임 상태 정보로 결정하거나; 상기 실제 장면에 다수의 실제 인물이 존재하는 것으로 검출될 경우, 상기 다중 프레임의 인터랙티브 이미지 중 실제 인물의 화면 내용을 인식하여, 상기 다수의 실제 인물로부터 기설정 조건에 부합되는 타깃 인물을 결정하고, 상기 타깃 인물에 따라 상기 실제 인물의 움직임 상태 정보를 결정한다.In some embodiments of the present invention, the state information of the interactive object includes movement state information of the real person; The determining part 12 is also configured to recognize the screen content of a real person among the multi-frame interactive images when it is detected that a plurality of real people exist in the real scene, so that each of the real people among the plurality of real people determine the direction of movement; when the movement directions of the preset number of real people belong to the same direction, determining the movement directions of the preset number of real people as the movement state information of the real people; When it is detected that a plurality of real people exist in the real scene, the screen content of the real person among the interactive images of the multi-frame is recognized, and a target person satisfying a preset condition is determined from the plurality of real people, The movement state information of the real person is determined according to the target person.

본 발명의 일부 실시예에서, 상기 인터랙티브 객체의 상태 정보는 상기 실제 인물의 시선 정보를 포함하며; 결정 부분(12)은 또한 상기 다중 프레임의 인터랙티브 이미지 중 실제 인물에 대한 안면 인식을 통해, 상기 실제 인물의 눈의 시선 방향을 결정하고; 상기 시선 방향을 상기 실제 인물의 시선 정보로 결정한다.In some embodiments of the present invention, the state information of the interactive object includes gaze information of the real person; The determining part 12 is further configured to determine the gaze direction of the eyes of the real person through facial recognition of the real person in the multi-frame interactive image; The gaze direction is determined as gaze information of the real person.

본 발명의 일부 실시예에서, 결정 부분(12)은 또한 상기 실제 장면에 다수의 실제 인물이 존재하는 것으로 검출될 경우, 상기 다중 프레임의 인터랙티브 이미지 중의 각 프레임의 인터랙티브 이미지에 대해 안면 인식을 수행하여, 핵심 인물을 인식해내고; 상기 다중 프레임의 인터랙티브 이미지에서 연속 프레임의 인터랙티브 이미지 중의 상기 핵심 인물의 눈 이미지 영역을 비교하여, 비교 결과를 획득하며; 상기 비교 결과에 따라, 상기 핵심 인물의 눈의 시선 방향을 결정하고; 상기 핵심 인물의 눈의 시선 방향을 상기 실제 인물의 눈의 시선 방향으로 결정한다.In some embodiments of the present invention, the determining part 12 also performs facial recognition on the interactive image of each frame among the multi-frame interactive images when it is detected that a plurality of real people are present in the real scene, , to identify key figures; comparing the eye image area of the key person in the interactive image of successive frames in the interactive image of the multi-frame, to obtain a comparison result; determine a gaze direction of the eyes of the key person according to the comparison result; The gaze direction of the eyes of the key person is determined as the gaze direction of the eyes of the real person.

본 발명의 일부 실시예에서, 결정 부분(12)은 또한 상기 실제 장면에 다수의 실제 인물이 존재하는 것으로 검출될 경우, 상기 다중 프레임의 인터랙티브 이미지 중의 각 프레임의 인터랙티브 이미지에 대해 안면 인식을 수행하여, 각각의 실제 인물을 결정하고; 상기 다중 프레임의 인터랙티브 이미지에서 연속 프레임의 인터랙티브 이미지 중의 각각의 실제 인물의 눈 이미지 영역을 각각 비교하여, 각각의 실제 인물의 눈의 시선 방향을 획득하며; 기설정 개수의 실제 인물의 눈의 시선 방향이 동일한 방향에 속하는 경우, 상기 기설정 개수의 실제 인물의 눈의 시선 방향을 상기 실제 인물의 눈의 시선 방향으로 결정한다.In some embodiments of the present invention, the determining part 12 also performs facial recognition on the interactive image of each frame among the multi-frame interactive images when it is detected that a plurality of real people are present in the real scene, , determine each real person; comparing each real person's eye image area in the continuous frame's interactive image in the multi-frame interactive image to obtain a gaze direction of each real person's eye; When the gaze directions of the eyes of the preset number of real people belong to the same direction, the gaze directions of the preset number of real people's eyes are determined as the gaze directions of the real people's eyes.

본 발명의 일부 실시예에서, 상기 인터랙티브 객체의 상태 정보는 상기 실제 인물의 움직임 상태 정보를 포함하고, 상기 가상 객체의 자세 정보는 상기 가상 객체의 신체 동작 및 시선 방향을 포함하며, 상기 가상 객체의 신체 동작은 상기 가상 객체의 머리 동작을 포함하고; 결정 부분(12)은 또한 상기 실제 인물의 이동 거리가 기설정 거리보다 작거나 같은 것으로 결정될 경우, 상기 가상 객체의 머리가 타깃 각도로 회전된 것으로 결정하여, 상기 가상 객체의 머리 동작을 획득하며; 상기 가상 객체의 시선 방향을 타깃 시선 방향으로 조정하되; 상기 타깃 각도 및 상기 타깃 시선 방향은 상기 가상 객체의 현재 몸 방향, 상기 실제 인물의 이동 거리와 이동 방향 및 상기 실제 인물의 현재 위치에 따라 결정된다.In some embodiments of the present invention, the state information of the interactive object includes movement state information of the real person, and the posture information of the virtual object includes a body motion and a gaze direction of the virtual object, and body motion includes head motion of the virtual object; The determining part 12 is further configured to determine that the head of the virtual object is rotated to a target angle when it is determined that the moving distance of the real person is less than or equal to the preset distance, so as to obtain a head motion of the virtual object; adjusting a gaze direction of the virtual object to a target gaze direction; The target angle and the target gaze direction are determined according to a current body direction of the virtual object, a moving distance and moving direction of the real person, and a current position of the real person.

본 발명의 일부 실시예에서, 상기 인터랙티브 객체의 상태 정보는 상기 실제 인물의 신체 동작 정보를 포함하고, 상기 가상 객체의 자세 정보는 상기 가상 객체의 신체 동작을 포함하며; 결정 부분(12)은 또한 상기 실제 인물의 신체 동작 정보가 상기 실제 인물이 기설정 동작을 수행했음을 나타내는 것으로 검출될 경우, 상기 가상 객체가 상기 기설정 동작에 대응되는 신체 동작을 전시하도록 결정한다.In some embodiments of the present invention, the state information of the interactive object includes body motion information of the real person, and the posture information of the virtual object includes body motion of the virtual object; The determining part 12 also determines that the virtual object displays a body motion corresponding to the preset motion when it is detected that the body motion information of the real person indicates that the real person has performed a preset motion.

본 발명의 일부 실시예에서, 상기 인터랙티브 객체의 상태 정보는 상기 실제 인물의 시선 정보를 포함하고, 상기 가상 객체의 자세 정보는 상기 가상 객체의 신체 동작을 포함하며; 결정 부분(12)은 또한 상기 시선 방향에 따라, 상기 디스플레이 기기에서의 상기 실제 인물의 주시 위치를 결정하고; 상기 가상 객체가 상기 주시 위치에 대응되는 신체 동작을 전시하도록 결정한다.In some embodiments of the present invention, the state information of the interactive object includes gaze information of the real person, and the posture information of the virtual object includes a body motion of the virtual object; the determining part 12 also determines, according to the gaze direction, a gaze position of the real person on the display device; It is determined that the virtual object displays a body motion corresponding to the gaze position.

본 발명의 일부 실시예에서, 상기 장치는 상기 인터랙티브 객체의 상태 정보에 따라, 상기 디스플레이 기기의 이동을 제어하는 제어 부분(15)(도 20에 도시되지 않음)을 더 포함한다.In some embodiments of the present invention, the apparatus further includes a control part 15 (not shown in FIG. 20 ) for controlling the movement of the display device according to the state information of the interactive object.

본 발명의 일부 실시예에서, 상기 실제 장면에는 적어도 하나의 전시 객체가 포함되고; 상기 인터랙티브 객체의 상태 정보는 상기 실제 인물의 시선 정보를 포함하며, 상기 가상 객체의 자세 정보는 상기 가상 객체의 신체 동작을 포함하고; 제어 부분(15)은 또한 상기 시선 정보가 상기 적어도 하나의 전시 객체 중 어느 하나의 전시 객체의 위치 방향인 경우, 상기 디스플레이 기기의 디스플레이 스크린이 상기 전시 객체의 위치로 이동하도록 제어하며; 상기 가상 객체가 상기 전시 객체에 대응되는 신체 동작을 전시하도록 제어한다.In some embodiments of the present invention, the real scene includes at least one exhibition object; the state information of the interactive object includes gaze information of the real person, and the posture information of the virtual object includes a body motion of the virtual object; The control part 15 is further configured to control the display screen of the display device to move to the position of the exhibition object when the gaze information is the position direction of any one of the at least one exhibition object; The virtual object is controlled to display a body motion corresponding to the display object.

본 발명의 일부 실시예에서, 수집 부분(11)은 또한 상기 디스플레이 기기의 제1 이미지 수집 장치를 사용하여, 실제 장면 중의 인터랙티브 객체의 상기 다중 프레임의 인터랙티브 이미지를 수집하고; 상기 디스플레이 기기의 제2 이미지 수집 장치를 사용하여, 상기 실제 장면 중의 전시 객체의 상기 전시 이미지를 수집하되, 여기서, 상기 제1 이미지 수집 장치와 상기 제2 이미지 수집 장치는 상기 디스플레이 기기의 동일한 측면에 위치하거나; 상기 제1 이미지 수집 장치와 상기 제2 이미지 수집 장치는 각각 상기 디스플레이 기기의 대향되거나 인접한 2개의 측면에 위치한다.In some embodiments of the present invention, the collecting part 11 also uses the first image collecting device of the display device to collect the interactive images of the multiple frames of the interactive objects in the real scene; using a second image collection device of the display device to collect the exhibition image of an exhibition object in the real scene, wherein the first image collection device and the second image collection device are located on the same side of the display device located; The first image collection device and the second image collection device are respectively located on two opposite or adjacent sides of the display device.

본 발명의 일부 실시예에서, 상기 디스플레이 기기의 디스플레이 스크린은 기설정 슬라이딩 레일에서 이동한다.In some embodiments of the present invention, the display screen of the display device moves on a preset sliding rail.

본 발명의 일부 실시예에서, 상기 디스플레이 기기의 디스플레이 스크린은 투명 디스플레이 스크린 또는 불투명 디스플레이 스크린이다.In some embodiments of the present invention, the display screen of the display device is a transparent display screen or an opaque display screen.

본 발명의 실시예 및 다른 실시예에서, "부분"은 부분적 회로, 부분적 프로세서, 부분적 프로그램 또는 소프트웨어 등일 수 있고, 물론 유닛일 수도 있으며, 모듈이거나 비모듈화된 것일 수도 있다.In embodiments and other embodiments of the present invention, a “part” may be a partial circuit, a partial processor, a partial program or software, etc., of course, may be a unit, and may be modular or non-modular.

본 발명의 실시예는 또한 디스플레이 기기를 제공하고, 도 21은 본 발명의 실시예에서 제공되는 디스플레이 기기의 구조 모식도이며, 도 21에 도시된 바와 같이, 디스플레이 기기(2)는 디스플레이 스크린(21), 카메라(22), 메모리(23) 및 프로세서(24)를 포함하고, 여기서 디스플레이 스크린(21), 카메라(22), 메모리(23) 및 프로세서(24)는 통신 버스(25)를 통해 연결되며; 메모리(23)는 실행 가능한 컴퓨터 프로그램을 저장하고; 프로세서(24)는 메모리(23)에 저장된 실행 가능한 컴퓨터 프로그램이 실행될 경우, 상기 디스플레이 스크린(21) 및 카메라(22)와 결합하여, 본 발명의 실시예에서 제공되는 방법, 예를 들어 본 발명의 실시예에서 제공되는 가상 객체 제어 방법을 구현한다.The embodiment of the present invention also provides a display device, and Fig. 21 is a structural schematic diagram of the display device provided in the embodiment of the present invention, as shown in Fig. 21 , the display device 2 includes a display screen 21 , a camera 22 , a memory 23 and a processor 24 , wherein the display screen 21 , the camera 22 , the memory 23 and the processor 24 are connected via a communication bus 25 , ; the memory 23 stores an executable computer program; When the executable computer program stored in the memory 23 is executed, the processor 24 is combined with the display screen 21 and the camera 22, and the method provided in the embodiment of the present invention, for example, the method of the present invention. Implement the virtual object control method provided in the embodiment.

본 발명의 실시예는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체를 제공하고, 프로세서(24)가 실행될 경우, 본 발명의 실시예에서 제공되는 방법, 예를 들어 본 발명의 실시예에서 제공되는 가상 객체 제어 방법을 구현한다.An embodiment of the present invention provides a computer-readable storage medium in which a computer program is stored, and when the processor 24 is executed, the method provided in the embodiment of the present invention, for example, a virtual object provided in the embodiment of the present invention Implement the control method.

컴퓨터 판독 가능 저장 매체는 명령 실행 기기에 의해 사용되는 명령을 유지 및 저장하는 유형의 기기일 수 있고, 휘발성 저장 매체 또는 비휘발성 저장 매체일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어 전기 저장 기기, 자기 저장 기기, 광 저장 기기, 전자기 저장 기기, 반도체 저장 기기 또는 이들의 임의의 적절한 조합일 수 있지만, 이에 한정되지 않는다. 컴퓨터 판독 가능 저장 매체의 더 구체적인 예(비제한적 리스트)로는 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 및 프로그램 가능 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리 판독기(ROM), 휴대용 콤팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다기능 디스크(DVD), 메모리 스틱, 플로피 디스크, 메모리 코딩 기기, 예를 들어 명령이 저장되는 펀치 카드 또는 홈의 오목한 구조 및 이들의 임의의 적절한 조합을 포함한다. 여기에서 사용되는 컴퓨터 판독 가능 저장 매체는 전파 또는 자유롭게 전파되는 다른 배터리파, 도파관 또는 다른 미디어 매체에 의해 전파되는 배터리파(예를 들어, 광섬유 케이블을 통한 광 펄스)와 같은 일시적 신호 자체 또는 전선을 통해 전송된 전기적 신호로 해석되지 않는다.A computer-readable storage medium may be a tangible device that holds and stores instructions used by an instruction execution device, and may be a volatile storage medium or a non-volatile storage medium. The computer-readable storage medium may be, for example, but not limited to, an electrical storage device, a magnetic storage device, an optical storage device, an electromagnetic storage device, a semiconductor storage device, or any suitable combination thereof. More specific examples (non-limiting list) of computer-readable storage media include portable computer disks, hard disks, random access memory (RAM), read-only memory (ROM), erasable and programmable read-only memory (EPROM or flash memory), Static random access memory reader (ROM), portable compact disk read-only memory (CD-ROM), digital versatile disk (DVD), memory stick, floppy disk, memory coding device, e.g. punch card or slot on which instructions are stored. concave structures and any suitable combination thereof. Computer-readable storage media, as used herein, are transient signals themselves, such as radio waves or other freely propagating battery waves, battery waves propagated by waveguides or other media media (eg, light pulses through fiber optic cables) or wires It is not interpreted as an electrical signal transmitted through

본 발명의 일부 실시예에서, 컴퓨터 판독 가능 저장 매체는 또한 FRAM, PROM, EEPROM, 플래시 메모리, 자기 표면 메모리 또는 광 디스크 등 메모리일 수 있고; 상기 메모리 중 하나 또는 임의의 조합을 포함하는 다양한 기기일 수 있다.In some embodiments of the present invention, the computer readable storage medium may also be a memory such as FRAM, PROM, EEPROM, flash memory, magnetic surface memory or optical disk; It can be a variety of devices that include one or any combination of the above memories.

본 발명의 실시예는 또한 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 프로그램이 프로세서(24)에 의해 실행될 경우, 본 발명의 실시예에서 제공되는 방법, 예를 들어 본 발명의 실시예에서 제공되는 가상 객체 제어 방법을 구현한다.An embodiment of the present invention also provides a computer program, when the computer program is executed by the processor 24, the method provided in the embodiment of the present invention, for example, virtual object control provided in the embodiment of the present invention implement the method

본 발명의 일부 실시예에서, 실행 가능한 컴퓨터 프로그램은 프로그램, 소프트웨어, 소프트웨어 모듈, 스크립트 또는 코드의 형태를 사용할 수 있고, 임의의 형태의 프로그래밍 언어(컴파일러 또는 인터프리터 언어를 포함하거나 선언 언어 또는 절차 언어를 포함함)로 작성될 수 있으며, 이는 임의의 형태로 배포될 수 있는 바, 독립적인 프로그램으로 배포되거나 모듈, 소자, 서브루틴 또는 컴퓨팅 환경에서 사용하기에 적합한 다른 유닛으로 배포되는 것을 포함한다.In some embodiments of the present invention, the executable computer program may use the form of a program, software, software module, script or code, and may use any form of programming language (including compiler or interpreter language, or declarative language or procedural language). included), which may be distributed in any form, including distribution as an independent program or as a module, device, subroutine, or other unit suitable for use in a computing environment.

예시로서, 실행 가능한 컴퓨터 프로그램은 파일 시스템 중의 파일에 대응될 수 있지만 아닐 수 있고, 다른 프로그램 또는 데이터를 포함하는 저장하는 파일의 일부분에 저장될 수 있으며, 예를 들어 하이퍼텍스트 마크업 언어(Hyper Text Markup Language, HTML) 파일 중의 하나 이상의 스크립트에 저장될 수 있고, 논의되는 프로그램 전용 단일 파일 또는 다수의 협업 파일(예를 들어, 하나 이상의 모듈, 서브 프로그램 또는 코드 부분 파일을 포함함)에 저장될 수 있다.By way of example, an executable computer program may or may not correspond to a file in the file system, and may be stored in another program or part of a file that stores it including data, for example, Hyper Text Markup Language (Hyper Text). Markup Language (HTML) files may be stored in one or more scripts, may be stored in a single file dedicated to the program being discussed, or may be stored in multiple collaborative files (including, for example, one or more modules, subprograms, or code portion files). have.

예시로서, 실행 가능한 컴퓨터 프로그램은 하나의 컴퓨팅 기기 또는 하나의 위치의 다수의 컴퓨팅 기기 또는 다수의 위치에 분산되고 통신 네트워크를 통해 상호 연결된 다수의 컴퓨팅 기기에서 실행되도록 배포될 수 있다.As an example, the executable computer program may be distributed to be executed on one computing device or multiple computing devices at one location or multiple computing devices distributed over multiple locations and interconnected via a communication network.

상술한 바를 종합하면, 본 기술적 해결수단을 사용하면, 실제 장면 중의 인터랙티브 객체의 상태 정보에 따라 가상 객체의 자세 정보를 결정하기 때문에, 가상 객체의 자세 정보는 인터랙티브 객체의 상태 정보의 변화에 따라 변경될 수 있고, 가상 객체와 인터랙티브 객체 사이의 인터랙션을 구현할 수 있으므로, 가상 객체의 전시 유연성을 향상시키고 가상 객체의 전시 효과를 풍부하게 하며; 아울러, 타깃 전시 객체의 전시 이미지에 따라 타깃 전시 객체의 가상 효과 데이터를 획득하고, 가상 효과 데이터에 따라 렌더링하여 가상 효과 이미지를 획득하기 때문에, 실제 장면 중의 전시 객체에 대응되는 가상 효과를 전시할 수 있으므로, 전시 객체의 전시 방식을 증가하며, 전시 객체의 전시 유연성을 향상시키고, 전시 객체의 전시 효과를 풍부하게 한다.Summarizing the above, when the present technical solution is used, since the posture information of the virtual object is determined according to the state information of the interactive object in the real scene, the posture information of the virtual object is changed according to the change of the state information of the interactive object can be, and can implement the interaction between the virtual object and the interactive object, so as to improve the display flexibility of the virtual object and enrich the display effect of the virtual object; In addition, since the virtual effect data of the target exhibition object is obtained according to the exhibition image of the target exhibition object, and the virtual effect image is obtained by rendering according to the virtual effect data, the virtual effect corresponding to the exhibition object in the real scene can be displayed. Therefore, the display method of the exhibition object is increased, the display flexibility of the exhibition object is improved, and the exhibition effect of the exhibition object is enriched.

상술한 내용은 본 발명의 실시예에 불과하며, 본 발명의 보호 범위를 한정하기 위한 것이 아니다. 본 발명의 사상과 범위 내에서 이루어진 모든 수정, 균등한 교체 및 개선은 모두 본 발명의 보호 범위에 포함된다.The above description is only an embodiment of the present invention, and is not intended to limit the protection scope of the present invention. All modifications, equivalent replacements and improvements made within the spirit and scope of the present invention are included in the protection scope of the present invention.

본 발명의 실시예는 가상 객체 제어 방법 및 장치, 기기, 컴퓨터 판독 가능 저장 매체를 공개한다. 상기 방법은, 실제 장면 중의 인터랙티브 객체의 다중 프레임의 인터랙티브 이미지 및 상기 실제 장면 중의 타깃 전시 객체의 전시 이미지를 각각 수집하는 단계; 상기 다중 프레임의 인터랙티브 이미지에 따라, 상기 인터랙티브 객체의 상태 정보를 결정하고, 상기 인터랙티브 객체의 상태 정보에 따라, 가상 객체의 자세 정보를 결정하는 단계; 상기 전시 이미지에 따라, 상기 타깃 전시 객체의 가상 효과 데이터를 결정하는 단계; 및 가상 효과 이미지를 획득하기 위해 상기 가상 객체의 자세 정보 및 상기 가상 효과 데이터를 사용하여 렌더링하고, 상기 가상 효과 이미지를 포함하는 증강 현실 효과를 전시하는 단계를 포함한다. 본 발명을 통해, 가상 객체 및 전시 객체의 전시 유연성을 향상시킬 수 있고, 가상 객체 및 전시 객체의 전시 효과를 풍부하게 할 수 있다.Embodiments of the present invention disclose a virtual object control method and apparatus, an apparatus, and a computer-readable storage medium. The method includes: collecting multi-frame interactive images of an interactive object in a real scene and an exhibition image of a target exhibition object in the real scene, respectively; determining the state information of the interactive object according to the interactive image of the multi-frame, and determining the posture information of the virtual object according to the state information of the interactive object; determining virtual effect data of the target exhibition object according to the exhibition image; and rendering using the posture information of the virtual object and the virtual effect data to obtain a virtual effect image, and displaying an augmented reality effect including the virtual effect image. Through the present invention, it is possible to improve the display flexibility of the virtual object and the exhibition object, and to enrich the display effect of the virtual object and the exhibition object.

Claims (20)

가상 객체 제어 방법으로서,
실제 장면 중의 인터랙티브 객체의 다중 프레임의 인터랙티브 이미지 및 상기 실제 장면 중의 타깃 전시 객체의 전시 이미지를 각각 수집하는 단계;
상기 다중 프레임의 인터랙티브 이미지에 따라, 상기 인터랙티브 객체의 상태 정보를 결정하고, 상기 인터랙티브 객체의 상태 정보에 따라, 가상 객체의 자세 정보를 결정하는 단계;
상기 전시 이미지에 따라, 상기 타깃 전시 객체의 가상 효과 데이터를 결정하는 단계; 및
가상 효과 이미지를 획득하기 위해 상기 가상 객체의 자세 정보 및 상기 가상 효과 데이터를 사용하여 렌더링하고, 상기 가상 효과 이미지를 포함하는 증강 현실 효과를 전시하는 단계를 포함하는 가상 객체 제어 방법.A virtual object control method comprising:
collecting an interactive image of multiple frames of an interactive object in a real scene and an exhibition image of a target exhibition object in the real scene, respectively;
determining the state information of the interactive object according to the interactive image of the multi-frame, and determining the posture information of the virtual object according to the state information of the interactive object;
determining virtual effect data of the target exhibition object according to the exhibition image; and
and rendering an augmented reality effect including the virtual effect image by rendering using the virtual effect data and the posture information of the virtual object to obtain a virtual effect image. 제1항에 있어서,
상기 인터랙티브 객체는 실제 인물을 포함하고; 상기 인터랙티브 객체의 상태 정보는 상기 실제 인물의 움직임 상태 정보, 신체 동작 정보 및 시선 정보 중 적어도 하나를 포함하는 가상 객체 제어 방법.According to claim 1,
the interactive object includes a real person; The state information of the interactive object includes at least one of movement state information, body motion information, and gaze information of the real person. 제2항에 있어서,
상기 가상 객체의 자세 정보는 상기 가상 객체의 신체 동작 및 시선 방향 중 적어도 하나를 포함하는 가상 객체 제어 방법.3. The method of claim 2,
The virtual object control method, wherein the posture information of the virtual object includes at least one of a body motion and a gaze direction of the virtual object. 제2항 또는 제3항에 있어서,
상기 인터랙티브 객체의 상태 정보는 상기 실제 인물의 움직임 상태 정보를 포함하고, 상기 다중 프레임의 인터랙티브 이미지에 따라, 상기 인터랙티브 객체의 상태 정보를 결정하는 단계는,
상기 다중 프레임의 인터랙티브 이미지 중 실제 인물의 화면 내용을 인식하여, 상기 실제 인물의 이동 방향 및 이동 거리를 결정하는 단계; 및
상기 이동 방향 및 이동 거리를 상기 실제 인물의 움직임 상태 정보로 결정하는 단계를 포함하는 가상 객체 제어 방법.4. The method of claim 2 or 3,
The state information of the interactive object includes the movement state information of the real person, and the determining of the state information of the interactive object according to the interactive image of the multi-frame comprises:
determining the moving direction and moving distance of the real person by recognizing the screen contents of the real person among the interactive images of the multi-frame; and
and determining the movement direction and movement distance as movement state information of the real person. 제2항 내지 제4항 중 어느 한 항에 있어서,
상기 인터랙티브 객체의 상태 정보는 상기 실제 인물의 움직임 상태 정보를 포함하고, 상기 다중 프레임의 인터랙티브 이미지에 따라, 상기 인터랙티브 객체의 상태 정보를 결정하는 단계는,
상기 실제 장면에 다수의 실제 인물이 존재하는 것으로 검출될 경우, 상기 다중 프레임의 인터랙티브 이미지 중 실제 인물의 화면 내용을 인식하여, 상기 다수의 실제 인물 중 각각의 실제 인물의 이동 방향을 결정하는 단계; 및 기설정 개수의 실제 인물의 이동 방향이 동일한 방향에 속하는 경우, 상기 기설정 개수의 실제 인물의 이동 방향을 상기 실제 인물의 움직임 상태 정보로 결정하는 단계를 포함하거나;
상기 실제 장면에 다수의 실제 인물이 존재하는 것으로 검출될 경우, 상기 다중 프레임의 인터랙티브 이미지 중 실제 인물의 화면 내용을 인식하여, 상기 다수의 실제 인물로부터 기설정 조건에 부합되는 타깃 인물을 결정하고, 상기 타깃 인물에 따라 상기 실제 인물의 움직임 상태 정보를 결정하는 단계를 포함하는 가상 객체 제어 방법.5. The method according to any one of claims 2 to 4,
The state information of the interactive object includes the movement state information of the real person, and the determining of the state information of the interactive object according to the interactive image of the multi-frame comprises:
determining a moving direction of each real person among the plurality of real people by recognizing screen contents of the real person among the interactive images of the multi-frame when it is detected that a plurality of real people exist in the real scene; and when the movement directions of a preset number of real people belong to the same direction, determining the movement directions of the preset number of real people as movement state information of the real people;
When it is detected that a plurality of real people exist in the real scene, the screen content of the real person among the interactive images of the multi-frame is recognized, and a target person satisfying a preset condition is determined from the plurality of real people, and determining motion state information of the real person according to the target person. 제2항 내지 제5항 중 어느 한 항에 있어서,
상기 인터랙티브 객체의 상태 정보는 상기 실제 인물의 시선 정보를 포함하고, 상기 다중 프레임의 인터랙티브 이미지에 따라, 상기 인터랙티브 객체의 상태 정보를 결정하는 단계는,
상기 다중 프레임의 인터랙티브 이미지 중 실제 인물에 대한 안면 인식을 통해, 상기 실제 인물의 눈의 시선 방향을 결정하는 단계; 및
상기 시선 방향을 상기 실제 인물의 시선 정보로 결정하는 단계를 포함하는 가상 객체 제어 방법.6. The method according to any one of claims 2 to 5,
The state information of the interactive object includes the gaze information of the real person, and the determining of the state information of the interactive object according to the interactive image of the multi-frame comprises:
determining the gaze direction of the eyes of the real person through face recognition of the real person among the interactive images of the multi-frame; and
and determining the gaze direction as gaze information of the real person. 제6항에 있어서,
상기 다중 프레임의 인터랙티브 이미지 중 실제 인물에 대한 안면 인식을 통해, 상기 실제 인물의 눈의 시선 방향을 결정하는 단계는,
상기 실제 장면에 다수의 실제 인물이 존재하는 것으로 검출될 경우, 상기 다중 프레임의 인터랙티브 이미지 중의 각 프레임의 인터랙티브 이미지에 대해 안면 인식을 수행하여, 핵심 인물을 인식해내는 단계;
상기 다중 프레임의 인터랙티브 이미지에서 연속 프레임의 인터랙티브 이미지 중의 상기 핵심 인물의 눈 이미지 영역을 비교하여, 비교 결과를 획득하는 단계;
상기 비교 결과에 따라, 상기 핵심 인물의 눈의 시선 방향을 결정하는 단계; 및
상기 핵심 인물의 눈의 시선 방향을 상기 실제 인물의 눈의 시선 방향으로 결정하는 단계를 포함하는 가상 객체 제어 방법.7. The method of claim 6,
The step of determining the gaze direction of the eyes of the real person through the face recognition of the real person among the interactive images of the multi-frame,
recognizing a key person by performing face recognition on the interactive image of each frame among the interactive images of the multi-frame when it is detected that a plurality of real people exist in the real scene;
comparing the eye image region of the key person in the interactive image of successive frames in the interactive image of the multi-frame, and obtaining a comparison result;
determining a gaze direction of the eyes of the key person according to the comparison result; and
and determining the gaze direction of the eyes of the key person as the gaze direction of the eyes of the real person. 제6항에 있어서,
상기 다중 프레임의 인터랙티브 이미지 중 실제 인물에 대한 안면 인식을 통해, 상기 실제 인물의 눈의 시선 방향을 결정하는 단계는,
상기 실제 장면에 다수의 실제 인물이 존재하는 것으로 검출될 경우, 상기 다중 프레임의 인터랙티브 이미지 중의 각 프레임의 인터랙티브 이미지에 대해 안면 인식을 수행하여, 각각의 실제 인물을 결정하는 단계;
상기 다중 프레임의 인터랙티브 이미지에서 연속 프레임의 인터랙티브 이미지 중의 각각의 실제 인물의 눈 이미지 영역을 각각 비교하여, 각각의 실제 인물의 눈의 시선 방향을 획득하는 단계; 및
기설정 개수의 실제 인물의 눈의 시선 방향이 동일한 방향에 속하는 경우, 상기 기설정 개수의 실제 인물의 눈의 시선 방향을 상기 실제 인물의 눈의 시선 방향으로 결정하는 단계를 포함하는 가상 객체 제어 방법.7. The method of claim 6,
The step of determining the gaze direction of the eyes of the real person through the face recognition of the real person among the interactive images of the multi-frame,
when it is detected that a plurality of real people exist in the real scene, performing face recognition on the interactive image of each frame among the interactive images of the multiple frames to determine each real person;
obtaining a gaze direction of each real person's eyes by comparing each real person's eye image area in the continuous frame's interactive image in the multi-frame interactive image; and
When the gaze directions of the eyes of a preset number of real people belong to the same direction, determining the gaze directions of the preset number of real people's eyes as the gaze directions of the real people's eyes . 제4항에 있어서,
상기 인터랙티브 객체의 상태 정보는 상기 실제 인물의 움직임 상태 정보를 포함하고, 상기 가상 객체의 자세 정보는 상기 가상 객체의 신체 동작 및 시선 방향을 포함하며, 상기 가상 객체의 신체 동작은 상기 가상 객체의 머리 동작을 포함하고; 상기 인터랙티브 객체의 상태 정보에 따라, 가상 객체의 자세 정보를 결정하는 단계는,
상기 실제 인물의 이동 거리가 기설정 거리보다 작거나 같은 것으로 결정될 경우, 상기 가상 객체의 머리가 타깃 각도로 회전된 것으로 결정하여, 상기 가상 객체의 머리 동작을 획득하는 단계; 및
상기 가상 객체의 시선 방향을 타깃 시선 방향으로 조정하는 단계를 포함하되; 상기 타깃 각도 및 상기 타깃 시선 방향은 상기 가상 객체의 현재 몸 방향, 상기 실제 인물의 이동 거리와 이동 방향 및 상기 실제 인물의 현재 위치에 따라 결정되는 가상 객체 제어 방법.5. The method of claim 4,
The state information of the interactive object includes movement state information of the real person, the posture information of the virtual object includes a body motion and a gaze direction of the virtual object, and the body motion of the virtual object includes the head of the virtual object. including action; Determining posture information of the virtual object according to the state information of the interactive object includes:
obtaining a head motion of the virtual object by determining that the head of the virtual object is rotated to a target angle when it is determined that the moving distance of the real person is less than or equal to a preset distance; and
adjusting a gaze direction of the virtual object to a target gaze direction; The target angle and the target gaze direction are determined according to a current body direction of the virtual object, a moving distance and moving direction of the real person, and a current position of the real person. 제2항 내지 제8항 중 어느 한 항에 있어서,
상기 인터랙티브 객체의 상태 정보는 상기 실제 인물의 신체 동작 정보를 포함하고, 상기 가상 객체의 자세 정보는 상기 가상 객체의 신체 동작을 포함하며; 상기 인터랙티브 객체의 상태 정보에 따라, 가상 객체의 자세 정보를 결정하는 단계는,
상기 실제 인물의 신체 동작 정보가 상기 실제 인물이 기설정 동작을 수행했음을 나타내는 것으로 검출될 경우, 상기 가상 객체가 상기 기설정 동작에 대응되는 신체 동작을 전시하도록 결정하는 단계를 포함하는 가상 객체 제어 방법.9. The method according to any one of claims 2 to 8,
the state information of the interactive object includes body motion information of the real person, and the posture information of the virtual object includes body motion information of the virtual object; Determining posture information of the virtual object according to the state information of the interactive object includes:
and determining, when it is detected that the body motion information of the real person indicates that the real person has performed a preset motion, determining that the virtual object displays a body motion corresponding to the preset motion. . 제6항 내지 제8항 중 어느 한 항에 있어서,
상기 인터랙티브 객체의 상태 정보는 상기 실제 인물의 시선 정보를 포함하고, 상기 가상 객체의 자세 정보는 상기 가상 객체의 신체 동작을 포함하며; 상기 인터랙티브 객체의 상태 정보에 따라, 가상 객체의 자세 정보를 결정하는 단계는,
상기 시선 방향에 따라, 상기 디스플레이 기기에서의 상기 실제 인물의 주시 위치를 결정하는 단계; 및
상기 가상 객체가 상기 주시 위치에 대응되는 신체 동작을 전시하도록 결정하는 단계를 포함하는 가상 객체 제어 방법.9. The method according to any one of claims 6 to 8,
the state information of the interactive object includes gaze information of the real person, and the posture information of the virtual object includes a body motion of the virtual object; Determining posture information of the virtual object according to the state information of the interactive object includes:
determining a gaze position of the real person on the display device according to the gaze direction; and
and determining that the virtual object displays a body motion corresponding to the gaze position. 제1항 내지 제11항 중 어느 한 항에 있어서,
상기 가상 객체 제어 방법은,
상기 인터랙티브 객체의 상태 정보에 따라, 상기 디스플레이 기기의 이동을 제어하는 단계를 더 포함하는 가상 객체 제어 방법.12. The method according to any one of claims 1 to 11,
The virtual object control method comprises:
The method of controlling a virtual object further comprising the step of controlling the movement of the display device according to the state information of the interactive object. 제12항에 있어서,
상기 실제 장면에는 적어도 하나의 전시 객체가 포함되고; 상기 인터랙티브 객체의 상태 정보는 상기 실제 인물의 시선 정보를 포함하며, 상기 가상 객체의 자세 정보는 상기 가상 객체의 신체 동작을 포함하고; 상기 인터랙티브 객체의 상태 정보에 따라, 상기 디스플레이 기기의 이동을 제어하는 단계는,
상기 시선 정보가 상기 적어도 하나의 전시 객체 중 어느 하나의 전시 객체의 위치 방향인 경우, 상기 디스플레이 기기의 디스플레이 스크린이 상기 전시 객체의 위치로 이동하도록 제어하는 단계를 포함하며;
상기 가상 객체 제어 방법은,
상기 가상 객체가 상기 전시 객체에 대응되는 신체 동작을 전시하도록 제어하는 단계를 더 포함하는 가상 객체 제어 방법.13. The method of claim 12,
the real scene includes at least one exhibition object; the state information of the interactive object includes gaze information of the real person, and the posture information of the virtual object includes a body motion of the virtual object; The step of controlling the movement of the display device according to the state information of the interactive object,
controlling the display screen of the display device to move to the position of the exhibition object when the gaze information is the position direction of any one exhibition object among the at least one exhibition object;
The virtual object control method comprises:
and controlling the virtual object to display a body motion corresponding to the display object. 제1항 내지 제13항 중 어느 한 항에 있어서,
상기 실제 장면 중의 인터랙티브 객체의 다중 프레임의 인터랙티브 이미지 및 실제 장면 중의 타깃 전시 객체의 전시 이미지를 각각 수집하는 단계는,
상기 디스플레이 기기의 제1 이미지 수집 장치를 사용하여, 실제 장면 중의 인터랙티브 객체의 상기 다중 프레임의 인터랙티브 이미지를 수집하는 단계; 및
상기 디스플레이 기기의 제2 이미지 수집 장치를 사용하여, 상기 실제 장면 중의 전시 객체의 상기 전시 이미지를 수집하는 단계를 포함하되;
상기 제1 이미지 수집 장치와 상기 제2 이미지 수집 장치는 상기 디스플레이 기기의 동일한 측면에 위치하거나; 상기 제1 이미지 수집 장치와 상기 제2 이미지 수집 장치는 각각 상기 디스플레이 기기의 대향되거나 인접한 2 개의 측면에 위치하는 가상 객체 제어 방법.14. The method according to any one of claims 1 to 13,
The step of collecting the interactive image of multiple frames of the interactive object in the real scene and the exhibition image of the target exhibition object in the real scene, respectively, includes:
collecting interactive images of the multi-frames of an interactive object in a real scene by using the first image collecting device of the display device; and
collecting the exhibition image of the exhibition object in the real scene by using a second image collection device of the display device;
the first image collection device and the second image collection device are located on the same side of the display device; The first image collecting device and the second image collecting device are respectively located on opposite or adjacent two sides of the display device. 제1항 내지 제14항 중 어느 한 항에 있어서,
상기 디스플레이 기기의 디스플레이 스크린은 기설정 슬라이딩 레일에서 이동하는 가상 객체 제어 방법.15. The method according to any one of claims 1 to 14,
A virtual object control method in which the display screen of the display device moves on a preset sliding rail. 제1항 내지 제15항 중 어느 한 항에 있어서,
상기 디스플레이 기기의 디스플레이 스크린은 투명 디스플레이 스크린 또는 불투명 디스플레이 스크린인 가상 객체 제어 방법.16. The method according to any one of claims 1 to 15,
The display screen of the display device is a transparent display screen or an opaque display screen. 가상 객체 제어 장치로서,
실제 장면 중의 인터랙티브 객체의 다중 프레임의 인터랙티브 이미지 및 상기 실제 장면 중의 타깃 전시 객체의 전시 이미지를 각각 수집하는 수집 부분;
상기 다중 프레임의 인터랙티브 이미지에 따라, 상기 실제 장면 중의 인터랙티브 객체의 상태 정보를 결정하고; 상기 인터랙티브 객체의 상태 정보에 따라, 가상 객체의 자세 정보를 제어하며; 상기 전시 이미지에 따라, 상기 타깃 전시 객체의 가상 효과 데이터를 결정하는 결정 부분;
가상 효과 이미지를 획득하기 위해 상기 가상 객체의 자세 정보 및 상기 가상 효과 데이터를 사용하여 렌더링하는 렌더링 부분; 및
상기 가상 효과 이미지를 포함하는 증강 현실 효과를 전시하는 디스플레이 부분을 포함하는 가상 객체 제어 장치.A virtual object control device comprising:
a collecting part for collecting multi-frame interactive images of interactive objects in the real scene and display images of target exhibition objects in the real scene, respectively;
determine, according to the interactive image of the multi-frame, state information of the interactive object in the real scene; control posture information of the virtual object according to the state information of the interactive object; a determining part for determining virtual effect data of the target exhibition object according to the exhibition image;
a rendering portion for rendering using the virtual effect data and the posture information of the virtual object to obtain a virtual effect image; and
and a display portion displaying an augmented reality effect including the virtual effect image. 디스플레이 기기로서,
상기 디스플레이 기기는 디스플레이 스크린, 카메라, 메모리 및 프로세서를 포함하고; 상기 메모리에는 실행 가능한 컴퓨터 프로그램이 저장되며; 상기 프로세서는 상기 메모리에 저장된 실행 가능한 컴퓨터 프로그램이 실행될 경우, 상기 카메라 및 디스플레이 스크린과 결합하여, 제1항 내지 제16항 중 어느 한 항에 따른 가상 객체 제어 방법을 구현하는 디스플레이 기기.A display device comprising:
the display device includes a display screen, a camera, a memory and a processor; the memory stores an executable computer program; When the executable computer program stored in the memory is executed, the processor is combined with the camera and the display screen to implement the virtual object control method according to any one of claims 1 to 16. 컴퓨터 판독 가능 저장 매체로서,
컴퓨터 프로그램이 저장되고, 프로세서가 실행될 경우 제1항 내지 제16항 중 어느 한 항에 따른 가상 객체 제어 방법을 구현하는 컴퓨터 판독 가능 저장 매체.A computer readable storage medium comprising:
A computer-readable storage medium storing a computer program and implementing the virtual object control method according to any one of claims 1 to 16 when the processor is executed. 컴퓨터 프로그램으로서,
컴퓨터 판독 가능 코드를 포함하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 실행될 경우, 상기 전자 기기 중의 프로세서가 실행될 때 제1항 내지 제16항 중 어느 한 항에 따른 가상 객체 제어 방법을 구현하는 컴퓨터 프로그램.A computer program comprising:
A computer program comprising computer readable code, wherein when the computer readable code is executed in an electronic device, when a processor of the electronic device is executed, a computer program that implements the virtual object control method according to any one of claims 1 to 16 .

Images