KR20230077560A - Appartus of providing service customized on exhibit hall and controlling method of the same - Google Patents

Appartus of providing service customized on exhibit hall and controlling method of the same Download PDF

Info

Publication number
KR20230077560A
KR20230077560A KR1020210164958A KR20210164958A KR20230077560A KR 20230077560 A KR20230077560 A KR 20230077560A KR 1020210164958 A KR1020210164958 A KR 1020210164958A KR 20210164958 A KR20210164958 A KR 20210164958A KR 20230077560 A KR20230077560 A KR 20230077560A
Authority
KR
South Korea
Prior art keywords
interest
image
user
region
exhibit
Prior art date
Application number
KR1020210164958A
Other languages
Korean (ko)
Inventor
노정민
김민규
김주현
손동섭
김경호
김다영
서갑호
Original Assignee
한국로봇융합연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국로봇융합연구원 filed Critical 한국로봇융합연구원
Priority to KR1020210164958A priority Critical patent/KR20230077560A/en
Publication of KR20230077560A publication Critical patent/KR20230077560A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

전시관 맞춤형 서비스 제공 장치 및 이의 제어 방법이 개시된다. 이에 의하면, 전시물에 인접한 사용자에 대한 제1영상을 획득하고, 상기 제1영상에 대해 객체 검출 알고리즘을 적용하여 얼굴 영역에 대한 제2영상을 검출하는 영상 처리부; 와, 상기 제2영상에 대해 시선 추적 알고리즘을 적용하여 상기 사용자가 상기 전시물을 바라보고 있는 상태라고 판단되면, 상기 제2영상으로부터 얼굴의 특징점을 검출하고 상기 특징점에 기초하여 상기 전시물에 대한 상기 사용자의 감정을 추정하는 관심도 추정부; 및, 상기 사용자의 감정과 상기 전시물에 대한 관심도와의 상관 관계를 분석하고, 상기 상관 관계에 기초하여 상기 관심도를 수치데이터로 생성하여 수치화하는 제어부; 를 포함할 수 있다.An apparatus for providing customized exhibition hall services and a method for controlling the same are disclosed. According to this, an image processing unit for obtaining a first image of a user adjacent to an exhibition object and detecting a second image for a face region by applying an object detection algorithm to the first image; When it is determined that the user is looking at the exhibition object by applying an eye tracking algorithm to the second image, feature points of the face are detected from the second image, and based on the feature points, the user for the exhibition object An interest estimating unit for estimating the emotion of; and a control unit that analyzes a correlation between the user's emotion and the level of interest in the exhibit, and generates and converts the level of interest into numerical data based on the correlation. can include

Description

전시관 맞춤형 서비스 제공 장치 및 이의 제어 방법{APPARTUS OF PROVIDING SERVICE CUSTOMIZED ON EXHIBIT HALL AND CONTROLLING METHOD OF THE SAME}Exhibition hall customized service providing device and control method thereof

본 발명은 전시관 맞춤형 서비스 제공 장치 및 이의 제어 방법에 관한 것으로서, 보다 상세하게는 전시품에 대한 관람객의 관심도를 객관적 지표로 제공할 수 있는 전시관 맞춤형 서비스 제공 장치 및 이의 제어 방법에 관한 것이다. The present invention relates to an exhibition hall customized service providing apparatus and a control method thereof, and more particularly, to an exhibition hall customized service providing apparatus capable of providing a visitor's interest in an exhibition product as an objective indicator and a control method thereof.

최근 다양한 서비스 분야에서 사용자의 개별적 요구를 파악하여 맞춤형 서비스를 제공함으로써 서비스의 경쟁력을 높이기 위한 다양한 기술 및 방법들이 제안되고 있다. 이를 위해서는 사용자의 개별적 요구를 정확하고 효과적으로 파악해야 한다.In recent years, various technologies and methods have been proposed to increase the competitiveness of services by identifying individual needs of users in various service fields and providing customized services. To do this, it is necessary to accurately and effectively identify the individual needs of users.

사용자의 개별적 요구를 파악하기 위해 가장 일반적으로 사용되는 방법은 성별이나 연령대와 같은 신체적 정보를 분석하거나, 직업이나 교육 수준과 같은 사회적 정보에 기반하는 것이다. 그러나, 이러한 정보들은 분류 기준이 적은 개수로 한정되어 있어, 점점 복잡해지는 사용자의 개별적 요구를 충족시킬 수 없다.The most commonly used methods for identifying a user's individual needs are based either on physical information such as gender or age group, or on social information such as occupation or education level. However, since such information is limited to a small number of classification criteria, it cannot satisfy the increasingly complex individual needs of users.

이에 따라, 영상 처리 기반으로 사용자의 감정 상태를 분석하는 방법도 제시되었다. 그러나, 현재의 감정 상태 분석 방법들은 사용자의 개인적 상태에 따라 실시간으로 변화하는 감정을 인식하는 것에 불과하다.Accordingly, a method of analyzing a user's emotional state based on image processing has also been proposed. However, current emotional state analysis methods only recognize emotions that change in real time according to a user's personal state.

전시관에서 서비스를 제공함에 있어서, 관람객의 만족도 및 호응을 높이려면 관람객이 전시물에 대해 가지는 관심도가 분석되어야 한다. 그러나, 현재 관람객의 전시물에 대한 관심도를 분석하는 객관적 방법은 존재하지 않는다. In providing services in the exhibition hall, the degree of interest that visitors have in exhibits should be analyzed in order to increase satisfaction and response of visitors. However, there is currently no objective method for analyzing the degree of interest in exhibits of visitors.

한국등록특허공보 제10-2295807호(2021.08.25.)Korean Registered Patent Publication No. 10-2295807 (2021.08.25.)

본 발명이 해결하고자 하는 과제는, 전시물에 대한 관심도를 분석하여 객관적 데이터로 제공할 수 있는 전시관 맞춤형 서비스 제공 장치 및 이의 제어 방법을 제공하는 것이다.The problem to be solved by the present invention is to provide an exhibition hall customized service providing apparatus and control method capable of analyzing interest in exhibits and providing objective data.

또한, 본 발명이 해결하고자 하는 과제는, 다양한 파라미터와 분석 방법을 적용하여 전시물에 대한 관심도를 보다 정확하고 신뢰성 있게 분석할 수 있는 전시관 맞춤형 서비스 제공 장치 및 이의 제어 방법을 제공하는 것이다.In addition, an object to be solved by the present invention is to provide an exhibition hall customized service providing apparatus and a control method capable of more accurately and reliably analyzing interest in exhibits by applying various parameters and analysis methods.

본 발명의 일 실시예에 의한 전시관 맞춤형 서비스 제공 장치는, 전시물에 인접한 사용자에 대한 제1영상을 획득하고, 상기 제1영상에 대해 객체 검출 알고리즘을 적용하여 얼굴 영역에 대한 제2영상을 검출하는 영상 처리부; 와, 상기 제2영상에 대해 시선 추적 알고리즘을 적용하여 상기 사용자가 상기 전시물을 바라보고 있는 상태라고 판단되면, 상기 제2영상으로부터 얼굴의 특징점을 검출하고 상기 특징점에 기초하여 상기 전시물에 대한 상기 사용자의 감정을 추정하는 관심도 추정부; 및, 상기 사용자의 감정과 상기 전시물에 대한 관심도와의 상관 관계를 분석하고, 상기 상관 관계에 기초하여 상기 관심도를 수치데이터로 생성하여 수치화하는 제어부; 를 포함한다.An apparatus for providing a customized exhibition hall service according to an embodiment of the present invention acquires a first image of a user adjacent to an exhibition object, and detects a second image for a face region by applying an object detection algorithm to the first image. image processing unit; When it is determined that the user is looking at the exhibition object by applying an eye tracking algorithm to the second image, feature points of the face are detected from the second image, and based on the feature points, the user for the exhibition object An interest estimating unit for estimating the emotion of; and a control unit that analyzes a correlation between the user's emotion and the level of interest in the exhibit, and generates and converts the level of interest into numerical data based on the correlation. includes

상기 전시관 맞춤형 서비스 제공 장치에 있어서, 상기 관심도 추정부는, 상기 제2영상으로부터 상기 얼굴의 방향을 추정하여 상기 얼굴의 방향이 상기 전시물을 향하는지 여부를 판단하고, 상기 사용자의 시선의 시야각을 계산하고 상기 시야각 내에 상기 전시물이 포함되는지 여부를 판단한 후, 이에 기초하여 상기 사용자가 상기 전시물을 바라보고 있는 상태인지 여부를 판단할 수 있다.In the exhibition hall customized service providing device, the interest estimation unit estimates the direction of the face from the second image, determines whether the direction of the face is toward the exhibition object, calculates a viewing angle of the user's gaze, After determining whether the exhibition object is included within the viewing angle, it may be determined based on this whether the user is in a state of looking at the exhibition object.

상기 전시관 맞춤형 서비스 제공 장치에 있어서, 상기 제어부는, 상기 제2영상을 얼굴 인식과 관련된 합성곱 신경망에 입력하고, 상기 합성곱 신경망을 구성하는 복수개의 계층으로부터 복수개의 특징 벡터를 추출하여 성별과 연령 정보를 추출하되, 상기 복수개의 계층을 소정 계층을 기준으로 상기 소정 계층보다 낮은 계층들로 구성되는 제1계층 그룹과 상기 소정 계층 및 상기 소정 계층보다 높은 계층들로 구성되는 제2계층 그룹으로 구분하고, 상기 제1계층 그룹에 의해 추출되는 특징 벡터에 기초하여 성별을 인식하고, 상기 제1계층 그룹 및 상기 제2계층 그룹에 의해 추출되는 특징 벡터에 기초하여 연령을 인식할 수 있다. In the exhibition hall customized service providing device, the control unit inputs the second image to a convolutional neural network related to face recognition, and extracts a plurality of feature vectors from a plurality of layers constituting the convolutional neural network to determine gender and age. Information is extracted, but the plurality of layers are divided into a first layer group composed of layers lower than the predetermined layer and a second layer group composed of the predetermined layer and layers higher than the predetermined layer based on the predetermined layer. In addition, the gender may be recognized based on the feature vector extracted by the first layer group, and the age may be recognized based on the feature vector extracted by the first layer group and the second layer group.

상기 전시관 맞춤형 서비스 제공 장치에 있어서, 상기 제어부는, 상기 제2영상에 대해 영상 추적 알고리즘을 적용하여 추적 아이디를 설정하고, 상기 추적 아이디에 기초하여 검출관심영역을 생성하고, 상기 검출관심영역으로부터 칼만 필터를 통해 추측한 예측관심영역을 생성하며, 상기 검출관심영역과 상기 예측관심영역의 교차 영역의 크기에 기초하여 상기 검출관심영역과 상기 예측관심영역을 일대일로 매칭시킬 수 있다.In the exhibition hall customized service providing apparatus, the control unit sets a tracking ID by applying an image tracking algorithm to the second image, generates a detection region of interest based on the tracking ID, and determines a Kalman region from the detection region of interest. A predicted ROI estimated through a filter may be generated, and the detection ROI and the predicted ROI may be matched one-to-one based on the size of an intersection area between the detection ROI and the predicted ROI.

본 발명의 다른 실시예에 의한 전시관 맞춤형 서비스 제공 장치의 제어 방법은, 전시물에 인접한 사용자에 대한 제1영상을 획득하고, 상기 제1영상에 대해 객체 검출 알고리즘을 적용하여 얼굴 영역에 대한 제2영상을 검출하는 단계; 와, 상기 제2영상에 대해 시선 추적 알고리즘을 적용하여 상기 사용자가 상기 전시물을 바라보고 있는 상태라고 판단되면, 상기 제2영상으로부터 얼굴의 특징점을 검출하고 상기 특징점에 기초하여 상기 전시물에 대한 상기 사용자의 감정을 추정하는 단계; 와, 상기 사용자의 감정과 상기 전시물에 대한 관심도와의 상관 관계를 분석하는 단계; 및, 상기 상관 관계에 기초하여 상기 관심도를 수치데이터로 생성하여 수치화하는 단계; 를 포함할 수 있다.A method for controlling an apparatus for providing a customized exhibition hall service according to another embodiment of the present invention obtains a first image of a user adjacent to an exhibition object, and applies an object detection algorithm to the first image to obtain a second image of a face region. detecting; When it is determined that the user is looking at the exhibition object by applying an eye tracking algorithm to the second image, feature points of the face are detected from the second image, and based on the feature points, the user for the exhibition object estimating the emotion of; And, analyzing the correlation between the user's emotion and the degree of interest in the exhibit; and generating and digitizing the level of interest as numerical data based on the correlation; can include

상기 전시관 맞춤형 서비스 제공 장치의 제어 방법에 있어서, 상기 제2영상으로부터 상기 얼굴의 방향을 추정하여 상기 얼굴의 방향이 상기 전시물을 향하는지 여부를 판단하고, 상기 사용자의 시선의 시야각을 계산하고 상기 시야각 내에 상기 전시물이 포함되는지 여부를 판단한 후, 이에 기초하여 상기 사용자가 상기 전시물을 바라보고 있는 상태인지 여부를 판단할 수 있다.In the control method of the apparatus for providing customized exhibition hall service, the direction of the face is estimated from the second image to determine whether the direction of the face is toward the exhibition object, the angle of view of the user's line of sight is calculated, and the angle of view is calculated. After determining whether or not the exhibition object is included within, it may be determined based on this whether the user is in a state of looking at the exhibition object.

상기 전시관 맞춤형 서비스 제공 장치의 제어 방법에 있어서, 상기 제2영상을 얼굴 인식과 관련된 합성곱 신경망에 입력하고, 상기 합성곱 신경망을 구성하는 복수개의 계층으로부터 복수개의 특징 벡터를 추출하여 성별과 연령 정보를 추출하되, 상기 복수개의 계층을 소정 계층을 기준으로 상기 소정 계층보다 낮은 계층들로 구성되는 제1계층 그룹과 상기 소정 계층 및 상기 소정 계층보다 높은 계층들로 구성되는 제2계층 그룹으로 구분하고, 상기 제1계층 그룹에 의해 추출되는 특징 벡터에 기초하여 성별을 인식하고, 상기 제1계층 그룹 및 상기 제2계층 그룹에 의해 추출되는 특징 벡터에 기초하여 연령을 인식할 수 있다.In the control method of the exhibition hall customized service providing device, the second image is input to a convolutional neural network related to face recognition, and a plurality of feature vectors are extracted from a plurality of layers constituting the convolutional neural network to obtain gender and age information. Extracting, dividing the plurality of layers into a first layer group composed of layers lower than the predetermined layer and a second layer group composed of layers higher than the predetermined layer and the predetermined layer based on the predetermined layer, , Gender may be recognized based on the feature vector extracted by the first layer group, and age may be recognized based on feature vectors extracted by the first layer group and the second layer group.

상기 전시관 맞춤형 서비스 제공 장치의 제어 방법에 있어서, 상기 제2영상에 대해 영상 추적 알고리즘을 적용하여 추적 아이디를 설정하고, 상기 추적 아이디에 기초하여 검출관심영역을 생성하고, 상기 검출관심영역으로부터 칼만 필터를 통해 추측한 예측관심영역을 생성하며, 상기 검출관심영역과 상기 예측관심영역의 교차 영역의 크기에 기초하여 상기 검출관심영역과 상기 예측관심영역을 일대일로 매칭시킬 수 있다.In the control method of the exhibition hall customized service providing device, a tracking ID is set by applying an image tracking algorithm to the second image, a region of interest is generated based on the tracking ID, and a Kalman filter is applied from the region of interest. An estimated region of interest may be generated, and the detection region of interest may be matched with the predicted region of interest on a one-to-one basis based on the size of an intersection region of the detection region of interest and the predicted region of interest.

본 발명의 실시예에 따르면, 전시물에 대한 관심도를 분석하여 객관적 데이터로 제공할 수 있고, 객관적 데이터에 기초하여 관람객에게 맞춤형 서비스를 제공할 수 있다. According to an embodiment of the present invention, it is possible to analyze the degree of interest in an exhibit and provide it as objective data, and to provide a customized service to visitors based on the objective data.

또한, 본 발명의 실시예에 따르면, 다양한 파라미터와 분석 방법을 적용하여 전시물에 대한 관심도를 보다 정확하고 신뢰성 있게 분석할 수 있다. In addition, according to an embodiment of the present invention, interest in exhibits can be more accurately and reliably analyzed by applying various parameters and analysis methods.

나아가, 본 발명의 실시예에 따르면, 획득한 객관적 데이터에 기초하여 전시관의 차기 전시품 또는 콘텐츠를 결정할 수 있고 각 계층에 최적화된 맞춤형 서비스를 제공할 수 있다.Furthermore, according to an embodiment of the present invention, it is possible to determine the next exhibition product or contents of the exhibition hall based on the acquired objective data, and to provide a customized service optimized for each class.

도 1은 본 발명에 따른 전시관 맞춤형 서비스 제공 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 전시관 맞춤형 서비스 제공 장치가 관심도에 대한 통계자료를 생성하는 과정을 설명하기 위한 도면이다.
도 3은 본 발명에 따른 전시관 맞춤형 서비스 제공 장치가 관람객의 시선을 검출하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 전시관 맞춤형 서비스 제공 장치가 학습된 신경망 모델을 사용하는 경우를 설명하기 위한 도면이다.
도 5는 본 발명에 따른 전시관 맞춤형 서비스 제공 장치가 관람객 별로 관심도가 중복되는 경우를 방지하기 위한 알고리즘을 설명하기 위한 도면이다.
도 6은 본 발명에서 관심도가 중복되는 경우를 방지하기 위한 알고리즘을 적용한 일 예를 도시한다.
도 7은 본 발명에 따른 전시관 맞춤형 서비스 제공 장치가 관람객의 감정을 인식하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명에 따른 전시관 맞춤형 서비스 제공 장치의 제어 과정을 도시한 도면이다.
도 9는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.1 is a block diagram showing the configuration of an exhibition hall customized service providing apparatus according to the present invention.
FIG. 2 is a diagram for explaining a process of generating statistical data on the level of interest by an apparatus for providing a customized service for an exhibition hall according to an embodiment of the present invention.
3 is a diagram for explaining a method of detecting a gaze of a viewer by an apparatus for providing a customized service for an exhibition hall according to the present invention.
4 is a diagram for explaining a case in which the apparatus for providing customized exhibition hall services according to the present invention uses a learned neural network model.
FIG. 5 is a diagram for explaining an algorithm for preventing a case in which an exhibition hall customized service providing apparatus according to the present invention overlaps in the degree of interest for each visitor.
6 shows an example of applying an algorithm for preventing overlapping levels of interest in the present invention.
7 is a diagram for explaining how the apparatus for providing a customized service for an exhibition hall according to the present invention recognizes a visitor's emotions.
8 is a diagram illustrating a control process of the apparatus for providing customized exhibition hall services according to the present invention.
9 is a diagram illustrating a computing device according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily carry out the present invention. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.In this specification, redundant descriptions of the same components are omitted.

또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.In addition, in this specification, when a component is referred to as being 'connected' or 'connected' to another component, it may be directly connected or connected to the other component, but another component in the middle It should be understood that may exist. On the other hand, in this specification, when a component is referred to as 'directly connected' or 'directly connected' to another component, it should be understood that no other component exists in the middle.

또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.In addition, terms used in this specification are only used to describe specific embodiments and are not intended to limit the present invention.

또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.Also, in this specification, a singular expression may include a plurality of expressions unless the context clearly indicates otherwise.

또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.In addition, in this specification, terms such as 'include' or 'having' are only intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more It should be understood that the presence or addition of other features, numbers, steps, operations, components, parts, or combinations thereof is not precluded.

또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.Also in this specification, the term 'and/or' includes a combination of a plurality of listed items or any item among a plurality of listed items. In this specification, 'A or B' may include 'A', 'B', or 'both A and B'.

또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.Also, in this specification, detailed descriptions of well-known functions and configurations that may obscure the subject matter of the present invention will be omitted.

도 1은 본 발명에 따른 전시관 맞춤형 서비스 제공 장치의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of an exhibition hall customized service providing apparatus according to the present invention.

본 발명에 따른 전시관 맞춤형 서비스 제공 장치(100)는 전시관을 방문하는 관람객의 다양한 선호도와 관심을 분석할 수 있으며, 이를 위해 전시관 로봇, 서버 장치, 키오스크 단말 등의 형태로 구현될 수 있다. The exhibition hall customized service providing apparatus 100 according to the present invention can analyze various preferences and interests of visitors visiting the exhibition hall, and for this purpose, it can be implemented in the form of an exhibition hall robot, a server device, a kiosk terminal, and the like.

본 발명에 따른 전시관 맞춤형 서비스 제공 장치(100)는 영상 처리부(110), 관심도 추정부(120) 및 제어부(130)를 포함하여 구성될 수 있다.The apparatus 100 for providing customized exhibition hall services according to the present invention may include an image processing unit 110, an interest estimation unit 120, and a control unit 130.

영상 처리부(110)는 전시관 맞춤형 서비스 제공을 위해 요구되는 영상을 획득하고 처리할 수 있다. 이를 위해, 영상 처리부(110)는 일반 카메라, 스테레오 카메라, 깊이 카메라 및 스캐너 등으로 구현될 수 있다.The image processing unit 110 may acquire and process images required to provide customized services for the exhibition hall. To this end, the image processing unit 110 may be implemented as a general camera, a stereo camera, a depth camera, and a scanner.

일 예에 의하면, 영상 처리부(110)는 카메라(미도시)를 포함할 수 있다. 여기서, 카메라(미도시)는 제어부(130)로부터 수신되는 제어 신호, 기 설정된 조건의 만족 및 기 설정된 이벤트 중 어느 하나에 따라 턴 온 되어 촬영을 수행할 수 있다.According to an example, the image processor 110 may include a camera (not shown). Here, the camera (not shown) may be turned on according to any one of a control signal received from the controller 130, satisfaction of a preset condition, and a preset event to perform photographing.

카메라(미도시)는 촬상된 영상을 전기적인 신호로 변환하고, 변환된 신호에 기초하여 영상데이터를 생성할 수 있다. 예를 들어, 피사체는 반도체 광학소자(CCD; Charge Coupled Device)를 통해 전기적인 영상 신호로 변환되고, 이와 같이 변환된 영상 신호는 증폭 및 디지털 신호로 변환된 후 신호 처리될 수 있다.A camera (not shown) may convert a captured image into an electrical signal and generate image data based on the converted signal. For example, an object may be converted into an electrical image signal through a charge coupled device (CCD), and the image signal thus converted may be amplified and converted into a digital signal and then signal processed.

구체적으로, 영상 처리부(110)는 전시물에 인접한 사용자에 대한 제1영상을 획득하고, 제1영상에 대해 객체 검출 알고리즘을 적용하여 얼굴 영역에 대한 제2영상을 검출할 수 있다.Specifically, the image processing unit 110 may obtain a first image of a user adjacent to an exhibition object, and apply an object detection algorithm to the first image to detect a second image of the face region.

일 예에 따라, 제1영상은 전시물로부터 소정 거리 내로 접근하거나 전시물과 인접하여 정지 상태에 있는 사용자에 대한 영상이다. 바람직하게는, 제1영상은 사용자의 안면의 대부분을 포함하도록 촬영될 수 있다. 제2영상은 제1영상으로부터 얼굴 영역만을 검출한 영상이다. 바람직하게는, 제2영상은 시선의 방향, 시선의 시야각, 얼굴 방향 등을 판단할 수 있도록, 사용자의 전 측면에서 복수개로 촬영될 수 있다. According to an example, the first image is an image of a user approaching within a predetermined distance from an exhibition object or in a stationary state adjacent to an exhibition object. Preferably, the first image may be captured to include most of the user's face. The second image is an image obtained by detecting only the face area from the first image. Preferably, a plurality of second images may be captured from all sides of the user so that the direction of the gaze, the viewing angle of the gaze, and the direction of the face may be determined.

관심도 추정부(120)는 전시물에 대한 사용자의 관심을 추정할 수 있다.The interest estimator 120 may estimate the user's interest in the exhibits.

구체적으로, 관심도 추정부(120)는 제2영상에 대해 시선 추적 알고리즘을 적용하여 사용자가 전시물을 바라보고 있는 상태라고 판단되면, 제2영상으로부터 얼굴의 특징점을 검출하고 상기 특징점에 기초하여 전시물에 대한 사용자의 감정을 추정할 수 있다. Specifically, the interest estimator 120 applies an eye-tracking algorithm to the second image, and when it is determined that the user is looking at an exhibit, detects facial feature points from the second image and determines the display object based on the feature points. It is possible to estimate the user's feelings about

일 실시예에 의하면, 관심도 추정부(120)는, 제2영상으로부터 얼굴의 방향을 추정하여 얼굴의 방향이 전시물을 향하는지 여부를 판단하고, 사용자의 시선의 시야각을 계산하여 시야각 내에 상기 전시물이 포함되는지 여부를 판단한 후, 이에 기초하여 사용자가 전시물을 바라보고 있는 상태인지 여부를 판단할 수 있다. 예를 들어, 사용자의 얼굴 방향이 전시물을 향하는 경우라도, 전시물이 사용자의 시선에 대한 시야각을 벗어나게 되면, 관심도 추정부(120)는 이를 유효하지 않은 데이터로 분류하고 분석대상에서 제외할 수 있다. According to an embodiment, the interest estimator 120 estimates the direction of the face from the second image to determine whether the direction of the face is toward the exhibit object, calculates the viewing angle of the user's line of sight, and determines whether the exhibit object is within the viewing angle. After determining whether or not the object is included, it may be determined based on this whether the user is in a state of looking at the exhibition object. For example, even when the user's face is directed toward an exhibit object, if the exhibit object deviates from the viewing angle of the user's gaze, the interest estimator 120 may classify it as invalid data and exclude it from analysis.

제어부(130)는 사용자의 감정과 전시물에 대한 관심도와의 상관 관계를 분석하고, 상관 관계에 기초하여 관심도를 수치데이터로 생성하여 수치화할 수 있다. The controller 130 may analyze the correlation between the user's emotion and the level of interest in the exhibits, and generate the level of interest as numerical data based on the correlation to digitize the level of interest.

사용자의 감정은 일시적이므로, 현재 서비스 제공 시 참고가 될 수는 있어도 향후의 서비스 방향을 계획하거나 사용자에게 최적화된 서비스를 제공하는데 있어서는 도움이 될 수 없다. 따라서, 본 발명에서는 다양한 인공지능 학습에 의해 사용자의 감정에 기초하여, 감정과 관심도의 상관관계 및 관심도를 추출한다.Since the user's emotions are temporary, they may serve as a reference when providing current services, but they cannot be helpful in planning future service directions or providing optimized services to users. Therefore, in the present invention, based on the user's emotion through various artificial intelligence learning, the correlation between the emotion and the degree of interest and the degree of interest are extracted.

여기서 관심도는 객관적 데이터로 수치화될 수 있다. 관심도를 수치화하는 경우, 전시품에 대한 관심도를 통계 자료로 작성할 수 있고 이러한 통계 자료는 전시관 맞춤형 서비스를 제공하는데 있어서 객관적 참고자료로 사용할 수 있다.Here, the degree of interest may be quantified as objective data. In the case of quantifying the level of interest, the level of interest in the exhibits can be written as statistical data, and these statistical data can be used as objective reference data in providing customized services for the exhibition hall.

나아가, 관심도는 성별 및 연령대 등과 연관되어 분석될 수 있다. 이 경우, 관심도와 성별 및 연령대와의 상관관계를 도출하고, 이에 기초하여 전시물이나 전시 방향 등을 설정할 수 있다. Furthermore, the degree of interest may be analyzed in association with gender and age. In this case, a correlation between the degree of interest, gender, and age may be derived, and based on this, an exhibit or an exhibition direction may be set.

구체적으로, 제어부(130)는 인공지능에 의한 학습을 수행하여 제2영상으로부터 필요한 정보를 추출할 수 있다. Specifically, the controller 130 may perform learning by artificial intelligence to extract necessary information from the second image.

일 실시예에 의하면, 제어부(130)는 제2영상을 얼굴 인식과 관련된 합성곱 신경망에 입력하고, 합성곱 신경망을 구성하는 복수개의 계층으로부터 복수개의 특징 벡터를 추출하여 성별과 연령 정보를 추출할 수 있다. 이 경우, 복수개의 계층을 소정 계층을 기준으로, 소정 계층보다 낮은 계층들로 구성되는 제1계층 그룹과 소정 계층 및 소정 계층보다 높은 계층들로 구성되는 제2계층 그룹으로 구분하고, 제1계층 그룹에 의해 추출되는 특징 벡터에 기초하여 성별을 인식하고, 제1계층 그룹 및 상기 제2계층 그룹에 의해 추출되는 특징 벡터에 기초하여 연령을 인식할 수 있다. 즉, 성별과 같이 대략적인 특징으로부터 추출할 수 있는 정보는 낮은 계층들에 의해 학습을 수행하고, 연령대와 같이 세부적인 특징으로부터 추출할 수 있는 정보는 낮은 계층뿐 아니라 높은 계층에 의한 학습을 수행한다.According to an embodiment, the controller 130 inputs the second image to a convolutional neural network related to face recognition, extracts a plurality of feature vectors from a plurality of layers constituting the convolutional neural network, and extracts gender and age information. can In this case, the plurality of layers are divided into a first layer group composed of layers lower than the predetermined layer and a second layer group composed of the predetermined layer and layers higher than the predetermined layer, based on the predetermined layer, and the first layer Gender may be recognized based on feature vectors extracted by groups, and ages may be recognized based on feature vectors extracted by the first-level group and the second-level group. That is, information that can be extracted from rough features, such as gender, is learned by lower layers, and information that can be extracted from detailed features, such as age, is learned by higher layers as well as lower layers. .

제어부(130)는 관심도를 추출하는 경우 동일 사용자에 대한 중복이 발생하지 않게 할 수 있다. 예를 들어, 동일 사용자의 관심도가 중복되게 추출되면, 정보가 왜곡된다. 따라서, 본 발명에서는 사용자에 대한 검출관심영역과 예측관심영역을 일대일로 매칭하고, 이에 기초하여 동일 사용자에 대한 중복이 발생하지 않게 관심도를 추출한다. The control unit 130 may prevent duplication of the same user when extracting the degree of interest. For example, if the level of interest of the same user is repeatedly extracted, information is distorted. Therefore, in the present invention, the detection region of interest and the predicted region of interest of the user are matched one-to-one, and based on this, the degree of interest is extracted so that the same user does not overlap.

이를 위해, 제어부(130)는 제2영상에 대해 영상 추적 알고리즘을 적용하여 추적 아이디를 설정하고, 추적 아이디에 기초하여 검출관심영역을 생성하고, 상기 검출관심영역으로부터 칼만 필터를 통해 추측한 예측관심영역을 생성하며, 상기 검출관심영역과 상기 예측관심영역의 교차 영역의 크기에 기초하여 상기 검출관심영역과 상기 예측관심영역을 일대일로 매칭시킬 수 있다.To this end, the controller 130 sets a tracking ID by applying an image tracking algorithm to the second image, generates a detection region of interest based on the tracking ID, and predicts interest estimated from the detection region of interest through a Kalman filter. A region may be generated, and the detection region of interest and the prediction region of interest may be matched one-to-one based on a size of an intersection region of the detection region of interest and the prediction region of interest.

일 실시예에 의하면, 제어부(130)는 인공 신경망 모델을 실행하기 위하여, CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공 지능 전용 프로세서과 소프트웨어의 조합을 통해 구현될 수 있다. 제어부(130)는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공 신경망 모델에 따라, 입력 데이터를 처리하도록 제어할 수 있다. 또는, 제어부(130)가 전용 프로세서(또는 인공 지능 전용 프로세서)인 경우, 특정 인공 신경망 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다. 예를 들어, 특정 인공 신경망 모델의 처리에 특화된 하드웨어는 ASIC, FPGA 등의 하드웨어 칩으로 설계될 수 있다. 제어부(130)가 전용 프로세서로 구현되는 경우, 본 개시의 실시 예를 구현하기 위한 메모리를 포함하도록 구현되거나, 외부 메모리를 이용하기 위한 메모리 처리 기능을 포함하도록 구현될 수 있다.According to an embodiment, the control unit 130 may use a general-purpose processor such as a CPU, AP, or digital signal processor (DSP), a graphics-only processor such as a GPU, a vision processing unit (VPU), or an NPU to execute an artificial neural network model. It can be implemented through a combination of the same artificial intelligence dedicated processor and software. The controller 130 may control input data to be processed according to a predefined operation rule or an artificial neural network model stored in a memory. Alternatively, if the controller 130 is a dedicated processor (or artificial intelligence dedicated processor), it may be designed as a hardware structure specialized for processing a specific artificial neural network model. For example, hardware specialized for processing a specific artificial neural network model may be designed as a hardware chip such as an ASIC or FPGA. When the controller 130 is implemented as a dedicated processor, it may be implemented to include a memory for implementing an embodiment of the present disclosure or to include a memory processing function for using an external memory.

일 실시예에 따라 제어부(130)는 학습된 인공 신경망 모델을 이용하여 관람자의 시선 데이터를 획득할 수 있다. 일 예에 따라 인공 신경망 모델은 CNN (Convolutional Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크(Deep Q-Networks) 등으로 구현될 수 있으나, 본 발명은 이에 한정되지 않는다.According to an embodiment, the controller 130 may obtain gaze data of the viewer using the learned artificial neural network model. According to an example, the artificial neural network model is a convolutional neural network (CNN), a recurrent neural network (RNN), a restricted boltzmann machine (RBM), a deep belief network (DBN), a bidirectional recurrent deep neural network (BRDNN), or a deep Q-network ( Deep Q-Networks), etc., but the present invention is not limited thereto.

이와 같이 본 발명에 따른 의한 전시관 맞춤형 서비스 제공 장치(100)는 전시관에서의 서비스 제공에 필요한 관심도에 대한 통계자료 추출을 위하여, 전시물에 설치된 카메라로부터 영상을 획득하거나 직접 영상을 획득하고, 획득한 영상으로부터 얼굴 검출, 식별, 시선 및 표정 인식 기술을 적용하여 관심도를 추출하며, 관심도를 성별 및 연령대 등과 연관 분석하여 성별 및 연령대별 관심도 추정을 수행할 수 있다.As described above, the apparatus 100 for providing customized exhibition hall services according to the present invention obtains images from cameras installed in exhibition halls or directly acquires images in order to extract statistical data on the level of interest required for service provision in exhibition halls, and obtains the acquired images. It is possible to extract the degree of interest by applying face detection, identification, and gaze and expression recognition technology, and to estimate the degree of interest by gender and age group by analyzing the degree of interest in association with gender and age group.

도 2는 본 발명의 일 실시예에 따른 전시관 맞춤형 서비스 제공 장치가 관심도에 대한 통계자료를 생성하는 과정을 설명하기 위한 도면이다. FIG. 2 is a diagram for explaining a process of generating statistical data on the level of interest by an apparatus for providing a customized service for an exhibition hall according to an embodiment of the present invention.

관심도를 통계자료로 생성하기 위하여, 전시관 맞춤형 서비스 제공 장치(100)는 복수개의 연산 모듈을 포함할 수 있다. 이 경우, 복수개의 연산 모듈은 앞서 도 1에서 설명한 어느 하나의 구성요소에 포함되거나 또는 둘 이상의 구성 요소에 포함될 수 있고, 실시예에 따라 도 1에 도시된 구성요소와 독립적으로 존재하는 별도의 구성요소에 포함될 수도 있다.In order to generate the degree of interest as statistical data, the exhibition hall customized service providing apparatus 100 may include a plurality of calculation modules. In this case, the plurality of calculation modules may be included in any one component described above in FIG. 1 or included in two or more components, and may be a separate component that exists independently of the component shown in FIG. 1 according to an embodiment. may be included in the element.

스테레오 영상 인식 모듈(210)은 관람자에 대한 영상을 획득한다.The stereo image recognition module 210 acquires an image of a viewer.

이 경우, 스테레오 카메라를 사용하거나 단일 카메라로 회전하며 촬영하는 방식으로, 관람자의 모든 측면에 대하여 복수개의 영상을 획득할 수 있다. In this case, a plurality of images of all sides of the viewer may be obtained by using a stereo camera or by rotating and photographing with a single camera.

일 예에 따라, 스테레오 영상 인식 모듈(210)이 촬영하는 영상은 적어도 정면 영상과 측면 영상을 포함할 수 있다. 이 경우, 정면 영상과 측면 영상을 비교함으로써, 관람자의 시선 위치와 시야각 등을 판단할 수 있게 된다.According to an example, an image captured by the stereo image recognition module 210 may include at least a front image and a side image. In this case, by comparing the front image and the side image, it is possible to determine the viewer's gaze position and viewing angle.

분석 모듈(200)은 성별 및 연령대를 분석하며, 이를 위해 얼굴 검출 및 추적 모듈(222), 얼굴 포즈 및 반응 추정 모듈(224), 성별 및 연령대 인식 모듈(226)로 구성될 수 있다. The analysis module 200 analyzes gender and age, and for this purpose, may include a face detection and tracking module 222, a face pose and reaction estimation module 224, and a gender and age recognition module 226.

얼굴 검출 및 추적 모듈(222)은 스테레오 영상 인식 모듈(210)에 의해 획득된 관람자에 대한 영상에서, 얼굴을 검출 및 추적할 수 있다. 얼굴 검출을 위해, 관람자에 대한 영상에 객체 검출 알고리즘을 적용하여 얼굴 영역에 대한 영상을 획득할 수 있다. 얼굴 추적의 경우, 관람자에 대해 추적 아이디를 부여하고, 추적 아이디에 기초하여 관심도를 모니터링 할 수 있다. The face detection and tracking module 222 may detect and track a face in the viewer image obtained by the stereo image recognition module 210 . For face detection, an image of a face region may be obtained by applying an object detection algorithm to an image of a viewer. In the case of face tracking, a tracking ID can be given to a viewer, and interest can be monitored based on the tracking ID.

얼굴 포즈 및 반응 추정 모듈(224)은 관람객이 전시물을 접하는 경우에 있어서, 얼굴 포즈와 사용자의 반응을 추정할 수 있다. 구체적으로, 얼굴 포즈에 기초하여 관람객의 얼굴이 전시물을 향하는지 시선 방향이 전시물을 향하는지 등을 판단하고 이에 기초하여 사용자의 반응을 추정할 수 있다. 일 실시예에 의하면, 본 발명에서는 사용자의 감정과 이에 대응하는 관심도, 사용자의 반응 및 관심도에 대한 상관 관계 등을 분석할 수 있다. 이 경우, 일시적인 사용자의 감정이 반응 및 관심도와 같은 객관적 특성을 갖는 인자와 연관되게 되어, 관람객 맞춤형 서비스를 제공하는데 있어서 이러한 객관적 특성을 갖는 인자 및 분석결과를 활용할 수 있게 된다.The facial pose and reaction estimating module 224 may estimate a facial pose and a user's reaction when a visitor encounters an exhibition object. Specifically, based on the face pose, it is determined whether the viewer's face faces the exhibit or the direction of the gaze toward the exhibit, and based on this, the user's reaction may be estimated. According to an embodiment, in the present invention, the user's emotion and the corresponding level of interest, and the correlation between the user's reaction and level of interest may be analyzed. In this case, the temporary user's emotions are associated with factors having objective characteristics such as reaction and level of interest, so that factors having objective characteristics and analysis results can be utilized in providing a customized service for visitors.

성별 및 연령대 인식 모듈(226)는 관람객의 성별 및 연령대를 인식할 수 있다. 관람객의 성별 및 연령대는 사용자의 얼굴에 대한 영상을 분석하고, 이에 대해 인공지능에 의한 학습을 수행함으로써 획득할 수 있다. 본 발명에 의하면, 성별 및 연령대에 대한 정보를 추출하는 경우, 성별 및 연령대의 특성을 고려하여 최적화된 인공지능에 의한 학습을 수행할 수 있다. 일 실시예에 의하면, 합성곱 신경망을 이용하여 성별과 연령 정보를 추출하되, 합성곱 신경망을 구성하는 낮은 계층들에 의해서 성별 정보를 추출하고, 복수개의 계층의 전 계층에 의해서 연령 정보를 추출할 수 있다. 즉, 성별과 같이 대략적인 특징으로부터 추출할 수 있는 정보는 낮은 계층들에 의해 학습을 수행하고, 연령대와 같이 세부적인 특징으로부터 추출할 수 있는 정보는 낮은 계층뿐 아니라 높은 계층에 의한 학습을 수행한다.The gender and age recognition module 226 may recognize the gender and age of the viewer. The gender and age group of the audience can be obtained by analyzing the image of the user's face and performing learning based on artificial intelligence. According to the present invention, when extracting information on gender and age, it is possible to perform learning by artificial intelligence optimized in consideration of characteristics of gender and age. According to an embodiment, gender and age information are extracted using a convolutional neural network, gender information is extracted by lower layers constituting the convolutional neural network, and age information is extracted by all layers of a plurality of layers. can That is, information that can be extracted from rough features, such as gender, is learned by lower layers, and information that can be extracted from detailed features, such as age, is learned by higher layers as well as lower layers. .

통계 자료(230)가 생성된다. 전시물에 대한 감정, 관심도 및 반응 등을 연관 분석하여 객관적 데이터인 통계자료가 생성된다. Statistical data 230 is generated. Statistical data, which is objective data, is created by linking analysis of emotion, interest, and reaction to the exhibit.

이에 의하면, 전시물의 성별/연령별 알고리즘 및 관람객의 시선 분석 알고리즘을 통해, 각 계층(성별/연령별)의 해당 전시물에 대한 관심도를 추출할 수 있다.According to this, it is possible to extract the degree of interest in the corresponding exhibition object of each layer (by gender/age) through the algorithm for each gender/age of the exhibit object and the viewer's gaze analysis algorithm.

도 3은 본 발명에 따른 전시관 맞춤형 서비스 제공 장치가 관람객의 시선을 검출하는 방법을 설명하기 위한 도면이다.3 is a diagram for explaining a method of detecting a gaze of a viewer by an apparatus for providing a customized service for an exhibition hall according to the present invention.

전시물에 설치된 카메라로부터, 또는 전시관 맞춤형 서비스 제공 장치(100)에 의해, 전방에 존재하는 관람객에 대한 영상을 획득한다. 획득한 영상은 객체 검출 알고리즘을 적용하여, 전체 영상으로부터 관람객의 얼굴 영역만을 검출한다. 일 예에 의하면, 얼굴 검출은 딥러닝 기반 검출 알고리즘을 적용할 수 있다.An image of a viewer existing in front is obtained from a camera installed in an exhibition object or by the apparatus 100 for providing a customized service for an exhibition hall. An object detection algorithm is applied to the obtained image to detect only the viewer's face area from the entire image. According to an example, face detection may apply a deep learning-based detection algorithm.

일 실시예에 의하면, 전시물을 응시하고 있는 상태임을 판별하기 위하여, 검출된 관람객의 얼굴 영역에 대해 시선 추적 알고리즘을 적용할 수 있다. 시선 추적 알고리즘은 먼저 얼굴의 각 특징점을 추출한 후 얼굴 방향을 추정한다. 만일, 전시물을 바라보고 있는 상태임이 판별되면, 이후 추출된 특징점에 기초하여 감정을 추론할 수 있다.According to an embodiment, in order to determine that the viewer is in a state of gazing at the exhibit, a gaze tracking algorithm may be applied to the detected face region of the viewer. The gaze tracking algorithm first extracts each feature point of the face and then estimates the direction of the face. If it is determined that the user is in a state of looking at an exhibit, emotions may be inferred based on the feature points extracted thereafter.

즉, 시선 추적 알고리즘을 통해 관람객이 전시물을 바라보고 있는 상태임이 확정되면, 사전에 추출된 얼굴의 특징점 정보에 기초하여 감정 인식이 가능하며, 이에 기초하여 해당 전시물에 대한 관심도를 결정하게 되는 긍정 및 부정 여부에 대한 판단을 내릴 수 있다.That is, when it is confirmed through the gaze tracking algorithm that the viewer is looking at the exhibit, emotion recognition is possible based on information on facial feature points extracted in advance, and based on this, positive and A judgment can be made as to whether or not

또한, 실시예에 따라, 얼굴 방향과 시선 방향을 함께 고려하고, 이를 반영하여 관심도를 결정할 수 있다. 도 3에 도시된 바와 같이, 관람객의 얼굴 방향(Df)은 전시물(300)을 향해 있지만, 시선 방향(De)은 전시물(300)을 벗어난다. 이 경우, 관람객의 전시물(300)에 대한 관람도가 높지 않은 것으로 판단할 수 있다. Also, depending on the embodiment, the degree of interest may be determined by considering both the face direction and the gaze direction and reflecting them. As shown in FIG. 3 , the direction of the viewer's face (D f ) faces the exhibition object 300 , but the gaze direction D e is out of the exhibition object 300 . In this case, it may be determined that the viewer's degree of viewing the exhibit 300 is not high.

다른 실시예에 의하면, 시선이 전시물(300)로부터 벗어나는 편차 각도에 대응하여 관심도를 다르게 설정할 수 있다. 예를 들어, 편차 각도가 커질수록 전시물(300)에 대한 관심도는 낮아지는 것으로 판단할 수 있다.According to another embodiment, the degree of interest may be set differently according to the deviation angle at which the line of sight deviates from the exhibit 300 . For example, it may be determined that the degree of interest in the exhibit 300 decreases as the deviation angle increases.

도 4는 본 발명에 따른 전시관 맞춤형 서비스 제공 장치가 학습된 신경망 모델을 사용하는 경우를 설명하기 위한 도면이다.4 is a diagram for explaining a case in which the apparatus for providing customized exhibition hall services according to the present invention uses a learned neural network model.

합성곱 신경망은 특징 벡터의 분류가 가능한 복수개의 계층들로 구성될 수 있다. 하나의 계층은 정사각형 형태의 필터들로 구성되는데, 각 필터들은 컨볼루션 연산을 통해 입력 정보로부터 특징값을 추출할 수 있다.A convolutional neural network may be composed of a plurality of layers capable of classifying feature vectors. One layer is composed of square-shaped filters, and each filter can extract a feature value from input information through a convolution operation.

복수개의 계층 구조는 추출한 특징값들을 다음 컨볼루션 계층을 통과시켜 계속하여 특징을 추출하게 된다. 이와 같은 방식으로 계속해서 특징을 추출한 후, 전연결(Fully connected, FC) 계층을 통과시켜 성별과 연령 정보를 추출할 수 있다. 예를 들어, 이미지 -> 합성곱 계층 -> 특징 -> 합성곱 계층 -> 특징 -> 합성곱 계층 -> 특징 -> 전연결 계층 -> 성별, 연령 정보 추론 식으로 진행될 수 있다.The plurality of hierarchical structures continue to extract features by passing the extracted feature values through the next convolution layer. After continuously extracting features in this way, gender and age information can be extracted by passing through a fully connected (FC) layer. For example, image -> convolutional layer -> feature -> convolutional layer -> feature -> convolutional layer -> feature -> pre-connected layer -> gender and age information inference formula.

본 발명에서 학습된 신경망 모델을 사용하는 경우, 이미지와 정답지에 해당하는 레이블 데이터셋을 사용하여 학습시킨 신경망에 얼굴 영상을 입력한다. 이 경우, 이미지의 특징 벡터를 추출할 수 있는 커널들로 구성된 레이어 층들을 통과하면서, 세밀한 특징들을 추출하게 되고, 이에 기초하여 FC(Fully connected) 레이어에서 입력 이미지에 대한 추론이 가능하다.In the case of using the trained neural network model in the present invention, a face image is input to the trained neural network using a label dataset corresponding to an image and an answer sheet. In this case, detailed features are extracted while passing through layers composed of kernels capable of extracting a feature vector of an image, and based on this, inference about an input image is possible in a fully connected (FC) layer.

감정 추론이 끝난 후, 검출된 소비자의 얼굴 정보는 얼굴 인식 합성곱 신경망에 검출된 얼굴 영역을 입력하여 성별과 연령대 정보를 추론할 수 있다. 추론한 정보는 사용자가 할당 받은 추적 ID 값에 갱신될 수 있다.After the emotion inference is finished, the detected consumer's face information can infer gender and age information by inputting the detected face area to the face recognition convolutional neural network. The inferred information can be updated to the tracking ID value assigned to the user.

도 4에 도시된 바와 같이, 학습된 신경망 모델을 구성하는 복수개의 계층(400)의 경우, 계층이 낮을수록 대략적인 특징 벡터를 추출하고, 계층이 높아질수록 세밀한 특징 벡터를 추출한다.As shown in FIG. 4 , in the case of the plurality of layers 400 constituting the learned neural network model, rough feature vectors are extracted as the layer is lower, and detailed feature vectors are extracted as the layer is higher.

한편, 성별 및 연령대 정보의 경우, 성별 정보는 대략적인 특징으로부터 추출할 수 있고, 연령대나 연령은 정보 추출을 위해 세밀한 특징이 요구된다. 특히, 연령은 연령대에 비하여 보다 세밀한 특징들이 필요하다. 예를 들어, 성별의 경우 머리 길이, 얼굴 골격, 신장, 체격 등의 대략적인 특징만으로도 구별 가능하지만, 연령대의 경우 주름이나 피부 상태와 같은 세밀한 특징이 필요하다.Meanwhile, in the case of gender and age information, gender information can be extracted from approximate features, and detailed features are required for age or age to extract information. In particular, age requires more detailed features than age. For example, in the case of gender, it is possible to distinguish only with approximate characteristics such as hair length, facial skeleton, height, and physique, but in the case of age, detailed characteristics such as wrinkles and skin condition are required.

이러한 점을 고려하여, 본 발명에서는 합성곱 신경망을 이용하여 성별 및 연령대 정보를 추출하는 경우, 다음과 같이 학습과정을 설계할 수 있다.Considering this point, in the present invention, when gender and age information is extracted using a convolutional neural network, a learning process can be designed as follows.

구체적으로, 합성곱 신경망을 이용하여 성별과 연령 정보를 추출하되, 합성곱 신경망을 구성하는 낮은 계층들에 의해서 성별 정보를 추출하고, 복수개의 계층의 전 계층에 의해서 연령 정보를 추출할 수 있다.Specifically, gender and age information may be extracted using a convolutional neural network, gender information may be extracted by lower layers constituting the convolutional neural network, and age information may be extracted by all layers of a plurality of layers.

도 5는 본 발명에 따른 전시관 맞춤형 서비스 제공 장치가 관람객 별로 관심도가 중복되는 경우를 방지하기 위한 알고리즘을 설명하기 위한 도면이다.FIG. 5 is a diagram for explaining an algorithm for preventing a case in which an exhibition hall customized service providing apparatus according to the present invention overlaps in interest for each visitor.

먼저, 검출된 관람객의 얼굴 영역에 추적 아이디를 설정한다. First, a tracking ID is set in the detected face area of the viewer.

정확한 통계 자료를 획득하기 위해서는 한 사람당 하나의 관심도 정보만 필요하다. 따라서, 중복 집계를 방지하기 위해, 검출한 얼굴에 대해 트랙킹 아이디를 부여하고, 칼만 필터 계열의 영상 추적 알고리즘을 적용한다.In order to obtain accurate statistical data, only one level of interest information per person is required. Therefore, in order to prevent redundant counting, a tracking ID is assigned to the detected face, and a Kalman filter based image tracking algorithm is applied.

영상 추적은 이전 검출된 관심 영역 정보로부터 칼만 필터를 통해 추측한 예측 관심 영역들과 현재 검출 관심 영역들 간의 교차 영역의 크기 값을 구한 후에, 헝가리안 알고리즘을 적용하여 가장 적절하게 이전 검출 관심 영역과 현재 검출 관심 영역을 일대일 매칭시킬 수 있다.Image tracking obtains the size value of the intersection between the predicted ROI estimated through the Kalman filter from the previously detected ROI information and the current detection ROI, and then applies the Hungarian algorithm to most appropriately match the previous detection ROI and the previous detection ROI. The currently detected region of interest may be matched one-to-one.

도 5에 도시된 바와 같이, i 시점에서의 검출 관심영역(512)을 검출하고, 이에 칼만 필터를 적용하여 i 시점에서의 예측 관심영역(520)을 획득한다.As shown in FIG. 5 , a detection region of interest 512 at time point i is detected, and a Kalman filter is applied thereto to obtain a predicted region of interest 520 at time point i.

또한, i+1 시점에서의 검출 관심영역(514)을 검출한다. In addition, the detection region of interest 514 at the time point i+1 is detected.

이 경우, i 시점에서의 예측 관심영역(520)과 i+1 시점에서의 검출 관심영역(514)을 비교하고, 교차 영역(530)의 크기를 구한다. In this case, the predicted region of interest 520 at time point i is compared with the detected region of interest 514 at time point i+1, and the size of the intersection region 530 is obtained.

교차 영역(530)에 대해 헝가리인 알고리즘(540) 등을 적용하여, 관심 영역들을 정렬 및 일대일로 대응시킨다. A Hungarian algorithm 540 or the like is applied to the intersection area 530 to align and correspond one-to-one to the areas of interest.

도 6은 본 발명에서 관심도가 중복되는 경우를 방지하기 위한 알고리즘을 적용한 일 예를 도시한다.6 shows an example of applying an algorithm for preventing overlapping levels of interest in the present invention.

제1 검출 ROI(610)는 i 시점에서의 검출 관심영역이다. 이에 칼만 필터 알고리즘을 적용하면, i 시점에서의 예측 ROI(620)가 얻어진다. The first detection ROI 610 is a detection region of interest at time point i. If the Kalman filter algorithm is applied to this, a predicted ROI 620 at point i is obtained.

제2 검출 ROI(620)는 i+1 시점에서의 검출 관심영역이다.The second detection ROI 620 is a detection region of interest at time point i+1.

이 경우, i 시점에서의 예측 ROI(620)와 i+1 시점에서의 제2 검출 ROI(620)를 비교하여 교차 영역(630)의 크기를 비교하고, 교차 영역(630)의 크기에 대응하여 일대일 대응 쌍을 검색한다.In this case, the predicted ROI 620 at time point i is compared with the second detection ROI 620 at time point i+1 to compare the size of the intersection area 630, and corresponding to the size of the intersection area 630. Search for one-to-one correspondence pairs.

도 7은 본 발명에 따른 전시관 맞춤형 서비스 제공 장치가 관람객의 감정을 인식하는 방법을 설명하기 위한 도면이다.7 is a diagram for explaining how the apparatus for providing a customized service for an exhibition hall according to the present invention recognizes a visitor's emotions.

시선 추적 알고리즘을 통해 관람객이 전시물을 바라보고 있는 상태가 확정되면, 사전에 추출된 얼굴의 특징점 정보에 기반하여 감정 인식을 수행한다. 감정이 인식되면, 이를 기반으로 해당 전시물에 대한 관심도를 결정하는 긍정/부정 판단을 내릴 수 있다.When the state in which the viewer is looking at the exhibit is confirmed through the gaze tracking algorithm, emotion recognition is performed based on information on facial feature points extracted in advance. If the emotion is recognized, it is possible to make a positive/negative judgment for determining the degree of interest in the exhibit based on this.

이를 위해, 도 7에 도시된 바와 같이 감정을 대분류 및 소분류로 구분하고, 각 분류에 속한 감정들과 긍정 및 부정 판단을 연관시킨다. 긍정 및 부정 판단은 관심도와 연관되게 대응시킬 수 있다.To this end, as shown in FIG. 7, emotions are divided into major and minor categories, and positive and negative judgments are associated with emotions belonging to each category. Positive and negative judgments can be matched in relation to the degree of interest.

도 8은 본 발명에 따른 전시관 맞춤형 서비스 제공 장치의 제어 과정을 도시한 도면이다.8 is a diagram illustrating a control process of the apparatus for providing customized exhibition hall services according to the present invention.

전시물에 인접한 사용자에 대한 제1영상을 획득한다(S801). A first image of a user adjacent to the exhibit is acquired (S801).

제1영상에 대해 객체 검출 알고리즘을 적용하여 얼굴 영역에 대한 제2영상을 검출한다(S802). A second image of the face area is detected by applying an object detection algorithm to the first image (S802).

이 경우, 제1영상에 대해 객체 검출 알고리즘을 적용하여 제2영상을 획득할 수 있다.In this case, a second image may be obtained by applying an object detection algorithm to the first image.

제2영상에 대해 시선 추적 알고리즘을 적용하여 사용자가 전시물을 바라보고 있는 상태인지 판단한다(S803).An eye tracking algorithm is applied to the second image to determine whether the user is looking at the exhibit (S803).

일 실시예에 의하면, 얼굴 영역에 대한 제2영상으로부터 얼굴의 방향을 추정하여 얼굴의 방향이 전시물을 향하는지 여부를 판단하여, 사용자가 상기 전시물을 바라보고 있는 상태인지 여부를 판단할 수 있다.According to an embodiment, it is possible to determine whether the user is looking at the exhibit by determining whether the direction of the face is toward the exhibit by estimating the direction of the face from the second image of the face area.

다른 실시예에 의하면, 얼굴 영역에 대한 영상으로부터 얼굴의 방향을 추정하여 얼굴의 방향이 전시물을 향하는지 여부를 판단하고, 사용자의 시선의 시야각을 계산하고 시야각 내에 전시물이 포함되는지 여부를 판단한 후, 이에 기초하여 사용자가 상기 전시물을 바라보고 있는 상태인지 여부를 판단할 수 있다. According to another embodiment, the direction of the face is estimated from the image of the face area to determine whether the direction of the face is toward the exhibit, the viewing angle of the user's gaze is calculated, and whether the exhibit is included within the viewing angle is determined. Based on this, it may be determined whether the user is in a state of looking at the exhibition object.

사용자가 전시물을 바라보고 있는 상태라고 판단되면, 제2영상으로부터 얼굴의 특징점을 검출하고 특징점에 기초하여 전시물에 대한 사용자의 감정을 추정한다(S804).If it is determined that the user is in a state of looking at the exhibit, facial feature points are detected from the second image, and the user's emotion toward the exhibit is estimated based on the feature points (S804).

사용자의 감정과 상기 전시물에 대한 관심도와의 상관 관계를 분석한다(S805).A correlation between the user's emotion and the degree of interest in the exhibit is analyzed (S805).

상관 관계에 기초하여 상기 관심도를 수치데이터로 생성하여 수치화한다(S806).Based on the correlation, the level of interest is generated as numerical data and digitized (S806).

도 9는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 9의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 전시관 맞춤형 서비스 제공 장치(100)일 수 있다. 9 is a diagram illustrating a computing device according to an embodiment of the present invention. The computing device TN100 of FIG. 9 may be the exhibition hall customized service providing device 100 described in this specification.

도 9의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.In the embodiment of FIG. 9 , the computing device TN100 may include at least one processor TN110, a transceiver TN120, and a memory TN130. In addition, the computing device TN100 may further include a storage device TN140, an input interface device TN150, and an output interface device TN160. Elements included in the computing device TN100 may communicate with each other by being connected by a bus TN170.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.The processor TN110 may execute program commands stored in at least one of the memory TN130 and the storage device TN140. The processor TN110 may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to embodiments of the present invention are performed. Processor TN110 may be configured to implement procedures, functions, methods, and the like described in relation to embodiments of the present invention. The processor TN110 may control each component of the computing device TN100.

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다. Each of the memory TN130 and the storage device TN140 may store various information related to the operation of the processor TN110. Each of the memory TN130 and the storage device TN140 may include at least one of a volatile storage medium and a non-volatile storage medium. For example, the memory TN130 may include at least one of read only memory (ROM) and random access memory (RAM).

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다. The transmitting/receiving device TN120 may transmit or receive a wired signal or a wireless signal. The transmitting/receiving device TN120 may perform communication by being connected to a network.

한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다. Meanwhile, the embodiments of the present invention are not implemented only through the devices and/or methods described so far, and may be implemented through a program that realizes functions corresponding to the configuration of the embodiments of the present invention or a recording medium in which the program is recorded. And, such implementation can be easily implemented by those skilled in the art from the description of the above-described embodiment.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concept of the present invention defined in the following claims are also provided. belong to the scope of the invention.

100: 전시관 맞춤형 서비스 제공 장치
110: 영상 처리부 120: 관심도 추정부
130: 제어부 200: 분석 모듈
210: 스테레오 영상 인식 모듈 222: 얼굴 검출 및 추적 모듈
224: 얼굴 포즈 및 반응 추정 모듈 226: 성별 및 연령대 인식 모듈100: exhibition hall customized service providing device
110: image processing unit 120: interest estimation unit
130: control unit 200: analysis module
210: stereo image recognition module 222: face detection and tracking module
224: Face pose and reaction estimation module 226: Gender and age group recognition module

Claims (8)

전시관 맞춤형 서비스 제공 장치에 있어서,
전시물에 인접한 사용자에 대한 제1영상을 획득하고, 상기 제1영상에 대해 객체 검출 알고리즘을 적용하여 얼굴 영역에 대한 제2영상을 검출하는 영상 처리부;
상기 제2영상에 대해 시선 추적 알고리즘을 적용하여 상기 사용자가 상기 전시물을 바라보고 있는 상태라고 판단되면, 상기 제2영상으로부터 얼굴의 특징점을 검출하고 상기 특징점에 기초하여 상기 전시물에 대한 상기 사용자의 감정을 추정하는 관심도 추정부; 및
상기 사용자의 감정과 상기 전시물에 대한 관심도와의 상관 관계를 분석하고, 상기 상관 관계에 기초하여 상기 관심도를 수치데이터로 생성하여 수치화하는 제어부; 를 포함하는,
전시관 맞춤형 서비스 제공 장치. In the exhibition hall customized service providing device,
an image processing unit that acquires a first image of a user adjacent to an exhibition object and detects a second image of a face region by applying an object detection algorithm to the first image;
When it is determined that the user is looking at the exhibition object by applying an eye-tracking algorithm to the second image, facial feature points are detected from the second image, and the user's emotion toward the exhibit object is detected based on the feature points. a degree of interest estimator for estimating; and
a control unit that analyzes a correlation between the user's emotion and interest in the exhibit, and generates and digitizes the interest as numerical data based on the correlation; including,
Exhibition hall customized service provision device. 제1항에 있어서,
상기 관심도 추정부는,
상기 제2영상으로부터 상기 얼굴의 방향을 추정하여 상기 얼굴의 방향이 상기 전시물을 향하는지 여부를 판단하고,
상기 사용자의 시선의 시야각을 계산하고 상기 시야각 내에 상기 전시물이 포함되는지 여부를 판단한 후,
이에 기초하여 상기 사용자가 상기 전시물을 바라보고 있는 상태인지 여부를 판단하는,
전시관 맞춤형 서비스 제공 장치.According to claim 1,
The interest estimator,
Estimating the direction of the face from the second image to determine whether the direction of the face is toward the exhibit;
After calculating the viewing angle of the user's line of sight and determining whether the exhibit is included within the viewing angle,
Based on this, determining whether the user is in a state of looking at the exhibit,
Exhibition hall customized service provision device. 제1항에 있어서,
상기 제어부는,
상기 제2영상을 얼굴 인식과 관련된 합성곱 신경망에 입력하고, 상기 합성곱 신경망을 구성하는 복수개의 계층으로부터 복수개의 특징 벡터를 추출하여 성별과 연령 정보를 추출하되,
상기 복수개의 계층을 소정 계층을 기준으로 상기 소정 계층보다 낮은 계층들로 구성되는 제1계층 그룹과 상기 소정 계층 및 상기 소정 계층보다 높은 계층들로 구성되는 제2계층 그룹으로 구분하고,
상기 제1계층 그룹에 의해 추출되는 특징 벡터에 기초하여 성별을 인식하고, 상기 제1계층 그룹 및 상기 제2계층 그룹에 의해 추출되는 특징 벡터에 기초하여 연령을 인식하는,
전시관 맞춤형 서비스 제공 장치.According to claim 1,
The control unit,
Inputting the second image to a convolutional neural network related to face recognition, and extracting gender and age information by extracting a plurality of feature vectors from a plurality of layers constituting the convolutional neural network,
Dividing the plurality of layers into a first layer group composed of layers lower than the predetermined layer and a second layer group composed of layers higher than the predetermined layer and the predetermined layer based on the predetermined layer,
Recognizing the gender based on the feature vector extracted by the first layer group, and recognizing the age based on the feature vector extracted by the first layer group and the second layer group.
Exhibition hall customized service provision device. 제1항에 있어서,
상기 제어부는,
상기 제2영상에 대해 영상 추적 알고리즘을 적용하여 추적 아이디를 설정하고,
상기 추적 아이디에 기초하여 검출관심영역을 생성하고, 상기 검출관심영역으로부터 칼만 필터를 통해 추측한 예측관심영역을 생성하며, 상기 검출관심영역과 상기 예측관심영역의 교차 영역의 크기에 기초하여 상기 검출관심영역과 상기 예측관심영역을 일대일로 매칭시키는,
전시관 맞춤형 서비스 제공 장치.According to claim 1,
The control unit,
Setting a tracking ID by applying an image tracking algorithm to the second video;
A detection region of interest is generated based on the tracking ID, a predicted region of interest estimated from the detection region of interest through a Kalman filter is generated, and the detection region is based on the size of an intersection region between the detection region of interest and the predicted region of interest. Matching the region of interest and the predicted region of interest on a one-to-one basis,
Exhibition hall customized service provision device. 전시관 맞춤형 서비스 제공 장치의 제어 방법에 있어서,
전시물에 인접한 사용자에 대한 제1영상을 획득하고, 상기 제1영상에 대해 객체 검출 알고리즘을 적용하여 얼굴 영역에 대한 제2영상을 검출하는 단계;
상기 제2영상에 대해 시선 추적 알고리즘을 적용하여 상기 사용자가 상기 전시물을 바라보고 있는 상태라고 판단되면, 상기 제2영상으로부터 얼굴의 특징점을 검출하고 상기 특징점에 기초하여 상기 전시물에 대한 상기 사용자의 감정을 추정하는 단계;
상기 사용자의 감정과 상기 전시물에 대한 관심도와의 상관 관계를 분석하는 단계; 및
상기 상관 관계에 기초하여 상기 관심도를 수치데이터로 생성하여 수치화하는 단계; 를 포함하는,
전시관 맞춤형 서비스 제공 장치의 제어 방법.In the control method of the exhibition hall customized service providing device,
obtaining a first image of a user adjacent to an exhibition object and detecting a second image of a face region by applying an object detection algorithm to the first image;
When it is determined that the user is looking at the exhibition object by applying an eye-tracking algorithm to the second image, facial feature points are detected from the second image, and the user's emotion toward the exhibit object is detected based on the feature points. estimating;
Analyzing a correlation between the user's emotion and interest in the exhibit; and
generating and digitizing the level of interest as numerical data based on the correlation; including,
Control method of exhibition hall customized service providing device. 제5항에 있어서,
상기 제2영상으로부터 상기 얼굴의 방향을 추정하여 상기 얼굴의 방향이 상기 전시물을 향하는지 여부를 판단하고,
상기 사용자의 시선의 시야각을 계산하고 상기 시야각 내에 상기 전시물이 포함되는지 여부를 판단한 후,
이에 기초하여 상기 사용자가 상기 전시물을 바라보고 있는 상태인지 여부를 판단하는,
전시관 맞춤형 서비스 제공 장치의 제어 방법.According to claim 5,
Estimating the direction of the face from the second image to determine whether the direction of the face is toward the exhibit;
After calculating the viewing angle of the user's line of sight and determining whether the exhibit is included within the viewing angle,
Based on this, determining whether the user is in a state of looking at the exhibit,
Control method of exhibition hall customized service providing device. 제5항에 있어서,
상기 제2영상을 얼굴 인식과 관련된 합성곱 신경망에 입력하고, 상기 합성곱 신경망을 구성하는 복수개의 계층으로부터 복수개의 특징 벡터를 추출하여 성별과 연령 정보를 추출하되,
상기 복수개의 계층을 소정 계층을 기준으로 상기 소정 계층보다 낮은 계층들로 구성되는 제1계층 그룹과 상기 소정 계층 및 상기 소정 계층보다 높은 계층들로 구성되는 제2계층 그룹으로 구분하고,
상기 제1계층 그룹에 의해 추출되는 특징 벡터에 기초하여 성별을 인식하고, 상기 제1계층 그룹 및 상기 제2계층 그룹에 의해 추출되는 특징 벡터에 기초하여 연령을 인식하는,
전시관 맞춤형 서비스 제공 장치의 제어 방법.According to claim 5,
Inputting the second image to a convolutional neural network related to face recognition, and extracting gender and age information by extracting a plurality of feature vectors from a plurality of layers constituting the convolutional neural network,
Dividing the plurality of layers into a first layer group composed of layers lower than the predetermined layer and a second layer group composed of layers higher than the predetermined layer and the predetermined layer based on the predetermined layer,
Recognizing the gender based on the feature vector extracted by the first layer group, and recognizing the age based on the feature vector extracted by the first layer group and the second layer group.
Control method of exhibition hall customized service providing device. 제5항에 있어서,
상기 제2영상에 대해 영상 추적 알고리즘을 적용하여 추적 아이디를 설정하고,
상기 추적 아이디에 기초하여 검출관심영역을 생성하고, 상기 검출관심영역으로부터 칼만 필터를 통해 추측한 예측관심영역을 생성하며, 상기 검출관심영역과 상기 예측관심영역의 교차 영역의 크기에 기초하여 상기 검출관심영역과 상기 예측관심영역을 일대일로 매칭시키는,
전시관 맞춤형 서비스 제공 장치의 제어 방법.According to claim 5,
Setting a tracking ID by applying an image tracking algorithm to the second video;
A detection region of interest is generated based on the tracking ID, a predicted region of interest estimated from the detection region of interest through a Kalman filter is generated, and the detection region is based on the size of an intersection region between the detection region of interest and the predicted region of interest. Matching the region of interest and the predicted region of interest on a one-to-one basis,
Control method of exhibition hall customized service providing device.
KR1020210164958A 2021-11-25 2021-11-25 Appartus of providing service customized on exhibit hall and controlling method of the same KR20230077560A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210164958A KR20230077560A (en) 2021-11-25 2021-11-25 Appartus of providing service customized on exhibit hall and controlling method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210164958A KR20230077560A (en) 2021-11-25 2021-11-25 Appartus of providing service customized on exhibit hall and controlling method of the same

Publications (1)

Publication Number Publication Date
KR20230077560A true KR20230077560A (en) 2023-06-01

Family

ID=86771148

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210164958A KR20230077560A (en) 2021-11-25 2021-11-25 Appartus of providing service customized on exhibit hall and controlling method of the same

Country Status (1)

Country Link
KR (1) KR20230077560A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117668372A (en) * 2024-01-31 2024-03-08 江苏惊蛰云动科技有限公司 Virtual exhibition system on digital wisdom exhibition line

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102295807B1 (en) 2020-02-24 2021-08-31 연세대학교 산학협력단 Concierge robot and method of providing personalized service using the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102295807B1 (en) 2020-02-24 2021-08-31 연세대학교 산학협력단 Concierge robot and method of providing personalized service using the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117668372A (en) * 2024-01-31 2024-03-08 江苏惊蛰云动科技有限公司 Virtual exhibition system on digital wisdom exhibition line
CN117668372B (en) * 2024-01-31 2024-04-19 江苏惊蛰云动科技有限公司 Virtual exhibition system on digital wisdom exhibition line

Similar Documents

Publication Publication Date Title
US11669979B2 (en) Method of searching data to identify images of an object captured by a camera system
US20210271860A1 (en) Facial verification method and apparatus
JP5008269B2 (en) Information processing apparatus and information processing method
JP6018674B2 (en) System and method for subject re-identification
US8462996B2 (en) Method and system for measuring human response to visual stimulus based on changes in facial expression
US9378421B2 (en) System and method for seat occupancy detection from ceiling mounted camera using robust adaptive threshold criteria
US11749023B2 (en) Apparatus and method for monitoring user based on multi-view face image
Arigbabu et al. Integration of multiple soft biometrics for human identification
EP2309454B1 (en) Apparatus and method for detecting motion
JP2007156541A (en) Person recognition apparatus and method and entry/exit management system
Li et al. Robust multiperson detection and tracking for mobile service and social robots
Coppola et al. Social activity recognition on continuous RGB-D video sequences
KR20230077560A (en) Appartus of providing service customized on exhibit hall and controlling method of the same
Zhang et al. A virtual proctor with biometric authentication for facilitating distance education
Abedi et al. Modification of deep learning technique for face expressions and body postures recognitions
Akhdan et al. Face recognition with anti spoofing eye blink detection
Campomanes-Álvarez et al. Automatic facial expression recognition for the interaction of individuals with multiple disabilities
Siriteerakul Advance in head pose estimation from low resolution images: A review
JP7120590B2 (en) Information processing device, information processing method, and program
KR20230117945A (en) System and method for analyzing customer object
Gharghabi et al. Person recognition based on face and body information for domestic service robots
Afroze et al. Detection of human’s focus of attention using head pose
Lin et al. Face detection based on the use of eyes tracking
Tapu et al. Face recognition in video streams for mobile assistive devices dedicated to visually impaired
WO2021157133A1 (en) Re-identification device, re-identification program, and re-identification method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal