KR20200071850A - Method and system for recognizing gender based on image deep learning - Google Patents

Method and system for recognizing gender based on image deep learning Download PDF

Info

Publication number
KR20200071850A
KR20200071850A KR1020180154560A KR20180154560A KR20200071850A KR 20200071850 A KR20200071850 A KR 20200071850A KR 1020180154560 A KR1020180154560 A KR 1020180154560A KR 20180154560 A KR20180154560 A KR 20180154560A KR 20200071850 A KR20200071850 A KR 20200071850A
Authority
KR
South Korea
Prior art keywords
image
deep learning
neural network
gender recognition
convolutional neural
Prior art date
Application number
KR1020180154560A
Other languages
Korean (ko)
Other versions
KR102181144B1 (en
Inventor
박지혁
이록규
Original Assignee
엔에이치엔 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔에이치엔 주식회사 filed Critical 엔에이치엔 주식회사
Priority to KR1020180154560A priority Critical patent/KR102181144B1/en
Publication of KR20200071850A publication Critical patent/KR20200071850A/en
Application granted granted Critical
Publication of KR102181144B1 publication Critical patent/KR102181144B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G06K9/00362—
    • G06K9/4652—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Molecular Biology (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Resources & Organizations (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

According to an embodiment, provided is a method for recognizing a gender based on image deep learning, which is a method for performing human gender recognition through image deep learning by a deep learning server including a deep learning neural network. The method comprises the steps of: obtaining a color image which photographed a person; extracting a bounding box including an entire area of a person in the color image by performing object detection on the obtained color image; segmenting the color image in the bounding box to obtain a specific black-and-white mask using the pixel for the person as an effective pixel; and inputting the color image and the black-and-white mask in the bounding box to a gender recognition convolutional neural network, and outputting gender recognition information as a label.

Description

이미지 딥러닝 기반 성별 인식 방법 {METHOD AND SYSTEM FOR RECOGNIZING GENDER BASED ON IMAGE DEEP LEARNING}Gender recognition method based on image deep learning {METHOD AND SYSTEM FOR RECOGNIZING GENDER BASED ON IMAGE DEEP LEARNING}

본 발명은 이미지 딥러닝 기반 성별 인식 방법에 관한 것이다. 보다 상세하게는 이미지 내의 사람의 전체 영역을 딥러닝하여 성별을 인식하는 방법에 관한 것이다. The present invention relates to an image deep learning based gender recognition method. More specifically, it relates to a method of recognizing gender by deep learning the entire area of a person in an image.

최근 영상 인식 기술을 통하여 방문객수, 성별, 체류시간 등을 측정하고, 이를 저장 및 분석하여 마케팅 데이터 및 얼굴 인식 포토앨범, 출입통제, 범죄자 추적, 비디오 해석으로 활용하기 위한 연구가 활발히 진행되고 있다.Recently, research has been actively conducted to measure the number of visitors, gender, residence time, etc. through image recognition technology, store and analyze it, and use it as marketing data and face recognition photo albums, access control, criminal tracking, and video analysis.

특히, 성별 인식 기술은 영상기기로부터 입력되는 사람의 영상 또는 미리 촬영된 영상 중 존재하는 사람의 영상으로부터 해당 사람이 남성인지 여성인지 여부를 인식하는 기술을 의미한다.In particular, the gender recognition technology refers to a technology for recognizing whether a corresponding person is a male or a female from an image of a person input from an image device or an image of a pre-existing image.

이러한 성별 인식을 위해 종래에는 사람의 영상으로부터 얼굴 영역을 추출하여 얼굴의 특징 정보를 분석하거나 또는 영상분석 정보와 함께 음성 정보를 분석하여 식별 대상 사람의 성별을 인식하고 있다.In order to recognize the gender, a face region is extracted from a person's image to analyze facial feature information or voice information along with image analysis information to recognize the gender of the person to be identified.

이러한 기존의 성별 인식 기술은 입력된 얼굴 영상에서 얼굴 영역을 검출하여 인식에 사용한다. 하지만 성별을 구분 짓는 특징은 얼굴뿐만 아니라 메이크업, 헤어스타일, 액세서리와 같은 얼굴 관련 부수적인 요소도 포함될 수 있다. 그러나 기존의 성별 인식 기술에 의하면 이러한 다양한 요소들을 고려하지 않아 성별 인식의 정확도가 좋지 못한 문제점이 있었다.The existing gender recognition technology detects a face region from the input face image and uses it for recognition. However, gender-specific features may include not only the face, but also ancillary elements related to the face, such as makeup, hairstyle, and accessories. However, according to the existing gender recognition technology, there is a problem in that the accuracy of gender recognition is not good because these various factors are not considered.

이러한 문제를 해결하기 위하여, 선행기술은 얼굴영역 뿐만 아니라 눈 영역, 머리카락 영역 등 얼굴 주변 추가 부수적인 요소를 성별을 인식하는데 사용하여 성별 인식의 정확도를 높였으나, 사람의 뒷모습이나 옆모습 등 얼굴이 노출되지 않게 촬영한 이미지에 대해서는 성별인식이 불가하고, 해상도가 낮을 경우에도 성별인식 정확도가 감소되는 문제가 있다. In order to solve this problem, the prior art uses not only the facial area but also the additional areas around the face, such as the eye area and the hair area, to recognize gender, but increases the accuracy of gender recognition, but the face such as the back or side of a person is exposed. Gender recognition is not possible for images that are not taken, and there is a problem in that the accuracy of gender recognition is reduced even when the resolution is low.

KR 10-2016-0118502 AKR 10-2016-0118502 A KR 10-2014-0138486 AKR 10-2014-0138486 A

본 발명은, 사람의 얼굴뿐만 아니라 그밖에 사람의 전체 영역을 분석하여 성별을 인식할 수 있는 딥러닝 기반 성별 인식방법을 제공하는 것을 목적으로 한다. An object of the present invention is to provide a deep learning-based gender recognition method capable of recognizing gender by analyzing not only the human face but also the entire area of the person.

다른 측면에서, 본 발명은, 사람의 뒷모습이나 옆모습을 촬영한 이미지를 기반으로도 딥러닝 기반 성별 인식을 수행하는 방법을 제공하는 것을 목적으로 한다. In another aspect, an object of the present invention is to provide a method of performing deep learning-based gender recognition even based on an image of a person's back or side view.

또한, 본 발명은, 저해상도의 이미지를 기초로 딥러닝 기반 성별 인식을 수행하는 방법을 제공하는 것을 목적으로 한다. In addition, an object of the present invention is to provide a method of performing deep learning based gender recognition based on a low-resolution image.

실시예에 따른 이미지 딥러닝 기반 성별 인식 방법은, 딥러닝 뉴럴 네트워크를 포함하는 딥러닝 서버가 이미지 딥러닝을 통해 사람의 성별 인식을 수행하는 방법으로서, 상기 사람을 촬영한 컬러 이미지를 획득하는 단계; 상기 획득된 컬러 이미지를 오브젝트 디텍션(object detection)하여 상기 컬러 이미지 내에서 사람의 전체 영역을 포함하는 바운딩 박스(bounding box)를 추출하는 단계; 상기 바운딩 박스 내 컬러 이미지를 세그멘테이션(segmentation)하여 상기 사람에 대한 픽셀을 유효픽셀로 특정한 흑백 마스크(mask)를 획득하는 단계; 및 상기 바운딩 박스 내 컬러 이미지와 흑백 마스크를 성별인식 컨볼루션 뉴럴 네트워크(convolutional neural network)에 입력하여 성별 인식 정보를 레이블(label)로 출력하는 단계를 포함한다. An image deep learning-based gender recognition method according to an embodiment is a method of a deep learning server including a deep learning neural network performing gender recognition of a person through image deep learning, obtaining a color image of the person ; Extracting a bounding box including an entire area of a person in the color image by object detection of the obtained color image; Segmenting a color image in the bounding box to obtain a black-and-white mask that specifies a pixel for the person as an effective pixel; And outputting gender recognition information as a label by inputting a color image and a black and white mask in the bounding box into a gender-recognized convolutional neural network.

이때, 상기 오브젝트 디텍션과 세그멘테이션은 복수의 컨볼루션 뉴럴 네트워크로 구성된 하나의 뉴럴 네트워크에서 수행될 수 있다. In this case, the object detection and segmentation may be performed in one neural network composed of a plurality of convolutional neural networks.

또한, 상기 하나의 뉴럴 네트워크는, 입력 이미지를 적어도 1회 컨볼루션 레이어(Convolution layer)를 통과시키는 제 1 컨볼루션 뉴럴 네트워크와, 롤 풀링 레이어와 풀리 커넥티드 레이어와 소프트 맥스와 바운딩 박스 리그레서로 구성된 제 2 컨볼루션 뉴럴 네트워크와, 상기 추출된 바운딩 박스 내 컬러 이미지에서 상기 흑백 마스크를 추출하는 제 3 컨볼루션 뉴럴 네트워크를 포함할 수 있다. In addition, the one neural network includes a first convolutional neural network that passes an input image at least once through a convolution layer, a roll pooling layer, a pulley connected layer, a soft max, and a bounding box regressor. The second convolutional neural network may include a third convolutional neural network configured to extract the black and white mask from the color image in the extracted bounding box.

또한, 상기 성별인식 컨볼루션 뉴럴 네트워크는, Resnet-101, Resnet-152, VGG16 또는 VGG19의 구조로 구출된 컨볼루션 뉴럴 네트워크일 수 있다. In addition, the gender recognition convolutional neural network may be a convolutional neural network rescued with the structure of Resnet-101, Resnet-152, VGG16 or VGG19.

또한, 상기 컬러 이미지는, 상기 사람의 측면을 촬영한 이미지 또는 상기 사람의 후면을 촬영한 이미지일 수 있다. Further, the color image may be an image of the side of the person or an image of the back of the person.

또한, 상기 성별인식 컨볼루션 뉴럴 네트워크는, 상기 흑백 마스크를 통해 신체비율 차이 정보를 특징 벡터로 출력하여 성별인식을 수행할 수 있다. In addition, the gender recognition convolutional neural network may perform gender recognition by outputting body ratio difference information as a feature vector through the black and white mask.

또한, 상기 성별인식 컨볼루션 뉴럴 네트워크는, 상기 흑백 마스크의 크기를 조절하여 제 1 특징 맵을 출력하는 제 4 컨벌루션 뉴럴 네트워크와, 상기 바운딩 박스의 컬러 이미지의 크기를 조절하여 제 2 특징 맵을 출력하는 제 5 컨볼루션 뉴럴 네트워크와, 상기 제 1 특징 맵과 제 2 특징 맵을 결합하여 특징 백터를 출력하는 제 6 컨볼루션 뉴럴 네트워크와, 상기 특징 백터를 입력하면 성별 인식 정보를 레이블로 출력하는 풀리 커넥티드 레이어로 구성될 수 있다. In addition, the gender recognition convolutional neural network outputs a second feature map by adjusting the size of the color image of the bounding box and a fourth convolutional neural network that outputs a first feature map by adjusting the size of the black and white mask. A fifth convolutional neural network, and a sixth convolutional neural network that combines the first feature map and the second feature map to output a feature vector, and a pulley that outputs gender recognition information as a label when the feature vector is input. It can be composed of a connected layer.

실시예에 따른 이미지 딥러닝 기반 성별 인식 방법은, 사람의 전체 영역을 분석하여 성별을 인식하므로, 성별 인식 정확도가 향상될 수 있다. In the image deep learning-based gender recognition method according to the embodiment, since the entire area of the person is analyzed to recognize the gender, gender recognition accuracy may be improved.

또한, 실시예에 따른 이미지 딥러닝 기반 성별 인식 방법은, 사람의 뒷모습이나 옆모습을 촬영한 이미지를 기반으로도 딥러닝 기반 성별 인식을 수행할 수 있다. In addition, in the image deep learning-based gender recognition method according to the embodiment, deep learning-based gender recognition may be performed based on an image of a person's back or side view.

또한, 실시예에 따른 이미지 딥러닝 기반 성별 인식 방법은, 저해상도의 이미지를 기초로도 딥러닝 기반 성별 인식을 수행하여 높은 정확도의 성별 인식 정보를 출력할 수 있다. In addition, in the image deep learning-based gender recognition method according to the embodiment, deep learning-based gender recognition may be performed based on a low-resolution image to output high-accuracy gender recognition information.

도 1은 본 발명의 실시예에 따른 이미지 딥러닝 기반 성별 인식 시스템에 개념도이다.
도 2는 본 발명의 실시예에 따른 관리자 단말기의 내부 블록도이다.
도 3은 본 발명의 실시예에 따른 이미지를 분석하여 이미지 내 사람의 성별을 인식하는 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 이미지 내 사람
의 바운딩 박스와, 사람의 전체 영역에 대한 마스크를 획득하는 방법을 나타낸다.
도 5는 본 발명의 실시예에 따른 바운딩 박스와, 마스크를 통해 성별 인식 레이블을 획득하는 방법을 나타낸다.
도 6은 본 발명의 실시예에 따른 성별 인식방법을 이용한 매장 관리 서비스를 운영하는 방법을 설명하기 위한 흐름도이다. 1 is a conceptual diagram of an image deep learning-based gender recognition system according to an embodiment of the present invention.
2 is an internal block diagram of an administrator terminal according to an embodiment of the present invention.
3 is a flowchart illustrating a method of recognizing the gender of a person in an image by analyzing an image according to an embodiment of the present invention.
4 is a person in the image according to an embodiment of the present invention
Shows how to obtain a bounding box and a mask for the entire area of a person.
5 illustrates a method for obtaining a gender recognition label through a bounding box and a mask according to an embodiment of the present invention.
6 is a flowchart illustrating a method of operating a store management service using a gender recognition method according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.The present invention can be applied to various transformations and may have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail in the detailed description. Effects and features of the present invention and methods for achieving them will be clarified with reference to embodiments described below in detail with reference to the drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various forms. In the following examples, terms such as first and second are not used in a limited sense, but for the purpose of distinguishing one component from other components. In addition, a singular expression includes a plural expression unless the context clearly indicates otherwise. In addition, terms such as include or have means that a feature or component described in the specification exists, and does not preclude the possibility of adding one or more other features or components in advance. In addition, in the drawings, the size of components may be exaggerated or reduced for convenience of description. For example, since the size and thickness of each component shown in the drawings are arbitrarily shown for convenience of description, the present invention is not necessarily limited to what is illustrated.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, and the same or corresponding components will be denoted by the same reference numerals, and redundant description thereof will be omitted. .

도 1은 본 발명의 실시예에 따른 이미지 딥러닝 기반 성별 인식 시스템에 개념도이다. 1 is a conceptual diagram of an image deep learning-based gender recognition system according to an embodiment of the present invention.

도 1을 참조하면, 실시예에 따른 딥러닝 기반 성별 인식 시스템은, 관리자 단말기(100), 카메라(500) 및 딥러닝 서버(200)를 포함한다. Referring to FIG. 1, a deep learning-based gender recognition system according to an embodiment includes an administrator terminal 100, a camera 500, and a deep learning server 200.

<관리자 단말기(100)><Administrator terminal 100>

먼저, 관리자 단말기(100)는, 딥러닝 기반 성별 인식 서비스를 제공받고자 하는 유저의 관리자 단말기(100)로, 유선 또는 무선 통신을 통해 딥러닝 서버(200)에 접속하여 분석하고자 하는 이미지를 송신한 후 송신된 이미지 내 사람의 성별 인식 정보를 수신할 수 있다. First, the manager terminal 100 is a manager terminal 100 of a user who wants to receive a deep learning-based gender recognition service, and accesses the deep learning server 200 through wired or wireless communication to transmit an image to be analyzed. After that, the gender recognition information of the person in the transmitted image may be received.

그리고 관리자 단말기(100)는, 수신한 성별 인식 정보를 기초로 매장의 방문객의 성별 분포를 실시간으로 파악할 수 있고, 실시간 파악된 성별 분포에 따라 출력장치들을 제어하여 매장 내외부의 분위기를 변화시킬 수 있다. In addition, the manager terminal 100 may grasp the gender distribution of the visitor of the store in real time based on the received gender recognition information, and control the output devices according to the identified gender distribution in real time to change the atmosphere inside and outside the store. .

또한, 관리자 단말기(100)는, 파악된 성별 분포에 따라 선택적으로 남자 회원 또는 여자 회원에게 홍보 메시지를 전송하여, 매장 내 방문객을 원하고자하는 성별 분포가 되도록 유도할 수 있다. In addition, the manager terminal 100 may selectively transmit a promotional message to a male member or a female member according to the identified gender distribution, thereby inducing that the gender distribution is desired for visitors in the store.

이러한 관리자 단말기(100)는, 통신이 가능하고 관리자와 입출력 인터페이스를 제공할 수 있는 관리자 단말기(100)이면 특정 관리자 단말기(100)에 제한을 두지 않는다. 예를들어, 관리자 단말기(100)에는, 데스크 탑 컵퓨터, 스마트 폰(smart phone), 휴대폰, 노트북 컴퓨터(laptop computer), 디지털방송용 관리자 단말기(100), PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device), 글래스형 관리자 단말기(100) (smart glass) 또는 키오스크(kiosk) 등이 포함될 수 있다. The manager terminal 100 is not limited to a specific manager terminal 100 as long as it is a manager terminal 100 capable of communication and providing an input/output interface with the manager. For example, the manager terminal 100 includes a desk top cup computer, a smart phone, a mobile phone, a laptop computer, a digital broadcasting manager terminal 100, personal digital assistants (PDAs), and portable media players (PMPs). multimedia player), navigation, tablet PC (tablet PC), ultrabook (ultrabook), wearable device (wearable device), glass-type manager terminal 100 (smart glass) or kiosk (kiosk) may be included.

이러한 관리자 단말기(100)는, 데이터를 처리하는 프로세서와 성별 인식 및 매장 제어 프로그램이 설치된 메모리를 포함할 수 있으며, 프로세서는 상기 성별 인식 및 매장 제어 프로그램을 독출하여 사용자에게 성별 분포를 파악하고 성별 분포에 따라 매장 내외 출력장치를 제어하는 기능을 제공할 수 있다. The manager terminal 100 may include a processor that processes data and a memory in which the gender recognition and store control program is installed, and the processor reads the gender recognition and store control program to grasp the gender distribution to the user and gender distribution. According to this, it is possible to provide a function of controlling the output device inside and outside the store.

자세히, 관리자 단말기(100)는, 매장 출입구 측에 배치된 카메라(500)에서 실시간으로 입력되는 이미지를 획득하고, 획득된 이미지에서 신규 사람이 추출되면 상기 이미지를 딥러닝 서버(200)에 전송하여 상기 사람에 대한 성별 인식 정보를 획득하고, 성별 인식 정보에 기초하여 방문객의 남녀 비율의 분포를 파악할 수 있다. 다른 실시예에서, 관리자 단말기(100)가 직접 딥러닝 서버(200)가 수행하는 성별 인식 방법을 수행할수도 있으나, 이하 설명에서는 딥러닝 서버(200)가 이를 수행하는 것으로 설명한다. In detail, the manager terminal 100 acquires an image input in real time from the camera 500 disposed on the side of the store entrance, and when a new person is extracted from the acquired image, transmits the image to the deep learning server 200 Gender recognition information on the person may be obtained, and distribution of male and female ratios of visitors may be grasped based on the gender recognition information. In another embodiment, the administrator terminal 100 may directly perform the gender recognition method performed by the deep learning server 200, but the following description will be described as being performed by the deep learning server 200.

-- 관리자 단말기(100)의 내부 유닛Internal unit of the manager terminal 100

도 2는 본 발명의 실시예에 따른 관리자 단말기(100)의 내부 블록도이다. 2 is an internal block diagram of an administrator terminal 100 according to an embodiment of the present invention.

이하, 관리자 단말기(100)의 구체적인 구성에 대해 도 2를 참조하여 상세히 설명한다. Hereinafter, a specific configuration of the manager terminal 100 will be described in detail with reference to FIG. 2.

실시예에 따른 관리자 단말기(100)는, 입력부(110), 디스플레이(150), 통신부(120), 메모리(140), 인터페이스부 및 프로세서(160)를 포함할 수 있다. The manager terminal 100 according to the embodiment may include an input unit 110, a display 150, a communication unit 120, a memory 140, an interface unit, and a processor 160.

먼저, 관리자 단말기(100)는, 사용자의 입력을 감지하는 입력부(110)를 포함할 수 있다. First, the manager terminal 100 may include an input unit 110 that detects a user's input.

예를 들어, 입력부(110)는, 관리자 단말기(100)의 전원을 온(on)/오프(off)시키는 실행 입력이나, 관리자 단말기(100)의 각종 기능에 대한 설정, 실행 입력 등을 감지할 수 있다. For example, the input unit 110 may detect an execution input for turning on/off the power of the manager terminal 100, settings for various functions of the manager terminal 100, and an execution input. Can be.

이러한 입력부(110)는 사용자 터치를 감지하는 터치 입력부(예를 들어, 터치 센서(touch sensor), 터치키(touch key), 푸시키(mechanical key) 등) 및 음성 입력을 감지하는 마이크로폰(microphone) 중 적어도 하나 이상을 포함하여, 사용자 입력을 감지할 수 있다. The input unit 110 includes a touch input unit (eg, a touch sensor, a touch key, a mechanical key, etc.) that detects a user's touch, and a microphone that senses a voice input. The user input may be detected, including at least one of them.

또한, 관리자 단말기(100)는, 성별 인식 분포를 확인하고, 성별 분포에 따라 매장 내외 분위기를 제어하는 기능의 진행화면을 표시하는 디스플레이(150)를 포함할 수 있다. In addition, the manager terminal 100 may include a display 150 that displays a progress screen of a function for checking the gender recognition distribution and controlling the atmosphere inside and outside the store according to the gender distribution.

이러한 디스플레이(150)는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.The display 150 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display ( flexible display), a three-dimensional display (3D display), an electronic ink display (e-ink display).

또한, 관리자 단말기(100)는, 딥러닝 서버(200)와 무선 통신하는 통신부(120)를 포함할 수 있다. In addition, the manager terminal 100 may include a communication unit 120 in wireless communication with the deep learning server 200.

자세히, 관리자 단말기(100)는 통신부(120)를 통해 딥러닝 서버(200)에 이미지를 송신할 수 있고, 딥러닝 서버(200)로부터 상기 이미지 내 사람에 대한 성별 인식 정보를 수신할 수 있다. In detail, the manager terminal 100 may transmit an image to the deep learning server 200 through the communication unit 120 and receive gender recognition information about a person in the image from the deep learning server 200.

또한, 관리자 단말기(100)는, 통신부를 통해 카메라(500)로부터 이미지를 획득할 수 있고, 출력장치로 제어신호를 송신하여 출력장치들을 제어할 수 있다. 이하에서는, 인터페이스부를 통해 카메라(500)와 출력장치가 연결된 것으로 설명한다. In addition, the manager terminal 100 may acquire an image from the camera 500 through a communication unit, and may control output devices by transmitting a control signal to the output device. Hereinafter, it will be described that the camera 500 and the output device are connected through the interface unit.

자세히, 통신부(120)는, 하기 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등), WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access)에 따라 구축된 네트워크망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신할 수 있다. In detail, the communication unit 120 includes the following communication methods (for example, Global System for Mobile Communication (GSM), Code Division Multi Access (CDMA), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA)) , LTE (Long Term Evolution), LTE-A (Long Term Evolution-Advanced), WLAN (Wireless LAN), Wi-Fi (Wireless-Fidelity), Wi-Fi (Wireless Fidelity) Direct, DLNA (Digital Living Network) Alliance, WiBro (Wireless Broadband), WiMAX (World Interoperability for Microwave Access) can be transmitted and received wireless signals with at least one of a base station, an external terminal and a server on a network network.

또한, 관리자 단말기(100)는, 외부를 촬영하여 이미지를 획득하는 카메라(500)와 데이터 통신하는 인터페이스부를 포함할 수 있다. In addition, the manager terminal 100 may include an interface unit for data communication with the camera 500 that acquires an image by photographing the outside.

이러한 인터페이스부는, 출력장치와 연결되어, 출력장치로 데이터 신호를 송신하여, 출력장치를 제어할 수도 있다. The interface unit may be connected to an output device and transmit a data signal to the output device, thereby controlling the output device.

자세히, 인터페이스부는 단말기에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 이러한 인터페이스부는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 단말기에서는, 상기 인터페이스부에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.In detail, the interface unit may serve as a passage with various types of external devices connected to the terminal. The interface unit includes a wired/wireless headset port, an external charger port, a wired/wireless data port, a memory card port, and a port for connecting a device equipped with an identification module. , An audio input/output (I/O) port, a video input/output (I/O) port, and an earphone port. In the terminal, in response to an external device being connected to the interface unit, appropriate control related to the connected external device may be performed.

-- 카메라(500)Camera(500)

실시예에서 카메라(500)는, 이미지 센서를 포함하여 외부에서 피사체를 통해 반사되는 빛을 센싱하여 피사체에 대한 이미지를 획득할 수 있다. In an embodiment, the camera 500 may acquire an image of the subject by sensing light reflected through the subject from the outside, including an image sensor.

자세히, 카메라(500)는, 매장 출입구 측에 설치되어, 매장 출입구 내로 진입하는 사람을 촬영한 이미지를 실시간으로 획득하고, 관리자 단말기(100) 또는 딥러닝 서버(200)로 송신되어, 사람의 성별을 인식하기 위한 이미지로 사용될 수 있다. In detail, the camera 500 is installed on the side of the store entrance, acquires an image of a person entering the store entrance in real time, is transmitted to the manager terminal 100 or the deep learning server 200, the gender of the person It can be used as an image to recognize.

그리고 이러한 카메라(500)는 이미지 센서와 영상 처리 모듈을 포함할 수 있다. 카메라(500)는 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공하여, 필요한 정보를 추출하고, 추출된 정보를 프로세서에 전달할 수 있다. In addition, the camera 500 may include an image sensor and an image processing module. The camera 500 can process a still image or a moving image obtained by an image sensor (for example, CMOS or CCD). The image processing module may process the still image or video acquired through the image sensor, extract necessary information, and transmit the extracted information to the processor.

그리고 메모리(140)는 관리자 단말기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 관리자 단말기(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. In addition, the memory 140 may store a number of application programs or applications that are driven in the manager terminal 100 and data and commands for the operation of the manager terminal 100.

자세히, 성별 인식 프로그램 및 매장 관리 프로그램은, 메모리(140)에 저장되고, 관리자 단말기(100) 상에 설치되어, 프로세서(160)에 의하여 상기 관리자 단말기(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.In detail, the gender recognition program and the store management program are stored in the memory 140 and installed on the manager terminal 100 to perform an operation (or function) of the manager terminal 100 by the processor 160. Can be driven.

또한, 메모리(140)는 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있고, 메모리(140)는 인터넷(internet)상에서 상기 메모리(140)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다. In addition, the memory 140 may be various storage devices such as ROM, RAM, EPROM, flash drive, hard drive, etc. in hardware, and the memory 140 stores the storage function of the memory 140 on the Internet. It may be a web storage to be performed.

마지막으로, 각 유닛의 전반적인 동작을 제어하여 건강관리 서비스를 제공하기 위한 데이터 처리를 수행하는 프로세서(160)를 포함할 수 있다. Finally, it may include a processor 160 that controls the overall operation of each unit to perform data processing to provide a health care service.

이러한 프로세서(160)는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한These processors 160 include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), controllers, micros For performing micro-controllers, microprocessors, and other functions

<딥러닝 서버(200)><Deep Learning Server (200)>

딥러닝 서버(200)는, 별도의 클라우드 서버나 컴퓨팅 장치를 포함하여 딥러닝 뉴럴 네트워크와, 기타 알고리즘을 통해 이미지 딥러닝(image deed learning)을 수행하여, 사용자가 입력한 이미지 내 사람의 성별을 인식하여 성별 인식 정보를 생성할 수 있다. The deep learning server 200 includes a separate cloud server or computing device to perform image deep learning (image deed learning) through a deep learning neural network and other algorithms to determine the gender of a person in the image input by the user. Recognition can generate gender recognition information.

여기서, 성별 인식 정보는, 남자 또는 여자일 확률을 의미할 수 있고, 기 설정된 문턱 값(threshold)과 비교하여 이상은 남자, 미만은 여자로 구분한 정보일 수 있다. Here, the gender recognition information may mean a probability of being a man or a woman, and may be information classified as a man and a woman as less than as compared with a preset threshold.

실시예에 따라서 딥러닝 서버(200)는, 성별 인식 기반 서비스를 제공하는 서버에 직접 설치되거나, 관리자 단말기(100) 내에 장착되어 실행하는 시스템일 수 있다. Depending on the embodiment, the deep learning server 200 may be installed directly on a server that provides a gender-awareness-based service, or may be a system installed and executed in the manager terminal 100.

이하에서 딥러닝 서버(200)는, 서비스 제공서버와 별도의 장치로 관리자 단말기(100)로부터 이미지를 수신하여 수신된 이미지를 이미지 딥러닝하는 실시예를 기준으로 설명한다. Hereinafter, the deep learning server 200 will be described based on an embodiment of receiving an image from the manager terminal 100 as a separate device from the service providing server and deep-learning the received image.

이러한 딥러닝 서버(200)는, 데이터를 처리하는 데이터 처리부(210)와, 이미지 딥러닝을 수행하기 위해 구축된 이미지 딥러닝 네트워크로 구성된 구동 프로그램을 포함하는 메모리(220)를 포함할 수 있으며, 데이터 처리부(210)가 상기 이미니 딥러닝 구동 프로그램을 독출하여, 구축된 뉴럴 네트워크 시스템에 따라서 하기 기술하는 이미지 딥러닝을 수행하게 된다.The deep learning server 200 may include a data processing unit 210 for processing data and a memory 220 including a driving program composed of an image deep learning network built to perform image deep learning, The data processing unit 210 reads the imagey deep learning driving program and performs image deep learning described below according to the built neural network system.

실시예에 따라서 딥러닝 서버(200)는, 전체 유닛들을 제어하는 메인 프로세서와, 이미지 딥러닝에 따라 뉴럴 네트워크 구동시 필요한 대용량의 연산을 처리하는 복수의 그래픽 프로세서(Graphics Processing Unit, GPU)를 포함하도록 구성될 수 있다. According to an embodiment, the deep learning server 200 includes a main processor that controls all units, and a plurality of graphics processors (Graphics Processing Units, GPUs) that process a large amount of computation required when driving a neural network according to image deep learning. It can be configured to.

역할 측면에서 보면 딥러닝 서버(200)는, 이미지를 딥러닝 하여 사람을 디텍션하고 사람에 대한 바운딩 박스(bounding box, BBOX)를 생성하는 오브젝트 디텍션부(object detection)와, 바운딩 박스 내 이미지를 딥러닝하여 사람 영역에 대한 마스크(MASK)를 생성하는 세그맨테이션부(segmentation)와, 바운딩 박스 내 이미지와 마스크를 입력받아 성별 인식 정보를 출력하는 컨볼루션 뉴럴 네트워크부(convolutional neural network, CNN)를 포함할 수 있다.In terms of roles, the deep learning server 200 deeply images the object and an object detection unit that detects a person and generates a bounding box (BBOX) for the person, and an image in the bounding box. A segmentation unit that generates a mask for a human area by running, and a convolutional neural network (CNN) that receives images and masks in a bounding box and outputs gender recognition information. It can contain.

상기 오브젝트 디텍션 부와, 세그맨테이션부 및 컨볼루션 뉴럴 네트워크부는, 모두 적어도 하나의 딥러닝 레이러를 포함할 수 있다. 상기 딥러닝 레이어는, 컨볼루션 레이어(convolutional layer), 배치 정규화 (batch normalization), 정류된 선형 유닛 (ReLU) 함수 또는 맥스 풀링(max pooling layer) 중 적어도 하나를 포함할 수 있다.The object detection unit, the segmentation unit, and the convolutional neural network unit may all include at least one deep learning laser. The deep learning layer may include at least one of a convolutional layer, a batch normalization, a rectified linear unit (ReLU) function, or a max pooling layer.

<이미지 딥러닝 기반 성별 인식 방법><Image deep learning based gender recognition method>

도 3은 본 발명의 실시예에 따른 이미지를 분석하여 이미지 내 사람의 성별을 인식하는 방법을 설명하기 위한 흐름도이다. 도 4는 본 발명의 실시예에 따른 이미지 내 사람의 바운딩 박스와, 사람의 전체 영역에 대한 마스크를 획득하는 방법을 나타낸다. 도 5는 본 발명의 실시예에 따른 바운딩 박스와, 마스크를 통해 성별 인식 레이블을 획득하는 방법을 나타낸다. 3 is a flowchart illustrating a method of recognizing the gender of a person in an image by analyzing an image according to an embodiment of the present invention. 4 illustrates a method of obtaining a mask for a person's bounding box and an entire area of a person in an image according to an embodiment of the present invention. 5 illustrates a method for obtaining a gender recognition label through a bounding box and a mask according to an embodiment of the present invention.

이하, 도 3 내지 도 5를 참조하여, 딥러닝 서버(200)가 이미지를 분석하여 이미지 내 사람의 성별을 파악하는 과정을 상세히 설명한다. Hereinafter, with reference to FIGS. 3 to 5, the process of the deep learning server 200 analyzing the image and grasping the gender of the person in the image will be described in detail.

먼저, 딥러닝 서버(200)는, 관리자 단말기(100) 또는 카메라(500)로부터 직접 이미지를 수신할 수 있다. (S101)First, the deep learning server 200 may directly receive an image from the manager terminal 100 or the camera 500. (S101)

여기서, 딥러닝 서버(200)가 획득한 이미지는 해상도에는 제한이 없으나, 컬러 정보가 포함된 이미지일 수 있다. 예컨대, 실시예에서 분석 대상이 되는 이미지는, 각 픽셀에 RGB 정보가 포함된 이미지 일 수 있다. Here, the image acquired by the deep learning server 200 is not limited in resolution, but may be an image including color information. For example, in an embodiment, an image to be analyzed may be an image in which RGB information is included in each pixel.

또한, 딥러닝 서버(200)가 분석하는 이미지는, 사람의 얼굴 영역 촬영 여부에 제한이 없는 이미지일 수 있다. 즉, 실시예에서 분석 대상이 되는 이미지는, 사람의 측면 이미지 또는/및 후면 이미지를 포함할 수 있다. In addition, the image analyzed by the deep learning server 200 may be an image that is not limited to whether or not a person's face region is photographed. That is, in the embodiment, the image to be analyzed may include a side image of a person and/or a back image.

또한, 딥러닝 서버(200)는, 신체 비율, 옷 스타일, 얼굴 형상 등 사람의 전체영역에 기초하여 성별을 인식하기 때문에, 사람의 신체 부위가 최대한 많이 노출된 이미지일수록 성별인식 정확도가 향상될 수 있다. In addition, since the deep learning server 200 recognizes gender based on the entire area of the person, such as body proportions, clothes style, face shape, etc., the accuracy of gender recognition may be improved as the image of a person's body part is exposed as much as possible. have.

이를 위해, 딥러닝 서버(200)는, 공통된 사람에 대한 복수의 이미지 또는 동영상을 획득하였을 때, 사람의 신체부위가 최대로 노출된 이미지를 성별 인식 분석 이미지로 선택할 수 있다. To this end, the deep learning server 200 may select, as a gender recognition analysis image, an image in which a person's body part is exposed to the maximum when a plurality of images or videos of a common person are acquired.

예를 들어, 딥러닝 서버(200)는, 사람이 이동하여 카메라(500)의 촬영 영역에 들어왔다 나가는 동영상을 획득하였을 ?, 사람의 특정 부위가 가려지기 이전 시점의 이미지를 추출하여, 성별 인식 분석에 이미지로 이용할 수 있다. For example, the deep learning server 200 extracts an image at a point in time before a specific part of a person is obscured by analyzing a gender recognition, when a person moves to obtain an outgoing video that enters and exits a photographing area of the camera 500. Can be used as an image.

사람의 일부가 가려지기 이전 시점의 이미지는, 가장 카메라(500)와 가까워 해상도가 높으면서도, 사람의 전체 신체를 촬영하여 성별인식을 수행하기 위한 가장 많은 요소를 포함한 이미지일 수 있다. The image at a point in time before a part of the person is obscured may be an image including the most elements for performing gender recognition by photographing the entire body of the person while having a high resolution because it is closest to the camera 500.

또한, 딥러닝 서버(200)는, 카메라(500)의 설치높이 및 촬영 각도를 촬영 정보로 추가 수신할 수 있다. Further, the deep learning server 200 may additionally receive the installation height and the shooting angle of the camera 500 as shooting information.

그리고 딥러닝 서버(200)는, 촬영 정보를 기초로 수신한 이미지를 성별 인식 딥러닝 수행 전 사전 이미지 처리할 수 있다. 자세히, 딥러닝 서버(200)는, 카메라(500) 별로 서로 다른 촬영각도 및 높이 등에 의해 사람의 신체비율이 왜곡되는 것을 최소화하기 위해, 사람을 촬영한 뷰 포인트를 지면과 수평이 되도록 하고, 지면으로부터 일정 높이에서 촬영한 것으로 보정할 수 있다. In addition, the deep learning server 200 may preprocess the received image based on the shooting information before performing gender recognition deep learning. In detail, the deep learning server 200, to minimize the distortion of the human body proportions due to different shooting angles and heights for each camera 500, make the view point of the person level with the ground, and From, it can be corrected to be taken at a certain height.

다음으로, 딥러닝 서버(200)는, 이미지를 오브젝트 디텍션(object detection)하여 이미지 내에서 사람 및 사람의 바운딩 박스를 검출할 수 있다. (S102)Next, the deep learning server 200 may detect a person and a person's bounding box in the image by object detection of the image. (S102)

자세히, 딥러닝 서버(200)는, 이미지에서 사람이 있는 영역을 인식하고, 사람이 있는 대략적인 영역을 사각 박스 형상을 가지는 바운딩 박스로 추출(crop)할 수 있다.In detail, the deep learning server 200 may recognize an area with a person in an image, and extract an approximate area with a person into a bounding box having a square box shape.

다음으로, 딥러닝 서버(200)는, 획득된 바운딩 박스 내 이미지를 이미지 세그맨테이션(image segmentaion)하여 이미지 내 사람을 나타내는 픽셀들의 경계를 추출하여 마스크를 생성할 수 있다. (S103)Next, the deep learning server 200 may generate a mask by extracting a boundary of pixels representing a person in the image by image segmentation of the image in the obtained bounding box. (S103)

자세히, 딥러닝 서버(200)는, 바운딩 박스 내 이미지에서 사람에 관련된 모든 픽셀을 유효 픽셀(예컨대, 픽셀 값 1)로 나타내고, 나머지 배경에 관련된 모든 픽셀들을 비유효 픽셀(예컨대, 픽셀 값 0)으로 나타낸 마스크를 생성할 수 있다.In detail, the deep learning server 200 represents all pixels related to a person in the image in the bounding box as effective pixels (eg, pixel value 1), and all pixels related to the rest of the background are invalid pixels (eg, pixel value 0). A mask represented by can be generated.

딥러닝 서버(200)는, 바운딩 박스 내에서 사람에 해당되는 전경 영역 및 사람 외의 배경 영역 내의 픽셀들을 각각 분석하여, 전경 영역 내 픽셀들의 특징 정보(예컨대, 컬러(RGB), 좌표 등)를 획득할 수 있고, 배경 영역 내 픽셀들의 특징 정보(예컨대, 컬러(RGB), 좌표 등)을 획득할 수 있다. The deep learning server 200 analyzes pixels in a foreground area corresponding to a person and a background area other than a person in a bounding box to obtain characteristic information (eg, color (RGB), coordinates, etc.) of pixels in the foreground area. It is possible to obtain characteristic information (eg, color (RGB), coordinates, etc.) of pixels in the background area.

그리고 딥러닝 서버(200)는, 전경 영역에 속하는 픽셀의 특징 정보와 배경 영역의 픽셀들의 특징 정보를 각각 가지는 픽셀들의 경계를 추출하여, 경계를 기준으로 일측은 전경 픽셀들로, 타측은 배경 픽셀들로 구분할 수 있다. In addition, the deep learning server 200 extracts a boundary of pixels each having characteristic information of pixels belonging to the foreground area and characteristic information of pixels of the background area, and one side is foreground pixels and the other side is background pixels based on the boundary. Can be divided into

그리고 전경 픽셀을 유효 픽셀로, 배경 픽셀을 비유효 픽셀로 변환한 마스크를 생성할 수 있다. 여기서, 생성된 마스크는, 컬러 정보가 제거될 수 있다. In addition, a mask can be generated by converting the foreground pixel to an effective pixel and the background pixel to an invalid pixel. Here, the generated mask, color information may be removed.

즉, 마스크는 사람의 외형을 나타내는 정보를 포함하고, 컬러 정보는 제외될 수 있다. That is, the mask includes information indicating the appearance of the person, and color information can be excluded.

도 4를 참조하면, 실시예에 따른 딥러닝 서버(200)는, 오브젝트 디텍션과 세그맨테이션을 한번에 수행하는 딥러닝 뉴럴 네트워크를 사용하여, 바운딩 박스와 마스크를 추출할 수 있다. Referring to FIG. 4, the deep learning server 200 according to an embodiment may extract a bounding box and a mask using a deep learning neural network that performs object detection and segmentation at once.

자세히, 딥러닝 서버(200)는, 입력 이미지를 적어도 1회 컨볼루션 레이어(Convolution layer)를 통과시키는 제 1 컨볼루션 뉴럴 네트워크(Conv 1)와, 롤 풀링 레이어와 소프트 맥스, 바운딩 박스 리그레서로 구성된 제 2 컨볼루션 뉴럴 네트워크(Conv 2)와, 추출된 바운딩 박스 내 이미지에서 마스크를 추출하는 제 3 컨볼루션 뉴럴 네트워크(Conv 3)로 구성될 수 있다. In detail, the deep learning server 200 includes a first convolutional neural network (Conv 1) passing an input image at least once through a convolution layer, a roll pooling layer, soft max, and bounding box regressor. It may be composed of a second convolutional neural network (Conv 2) and a third convolutional neural network (Conv 3) that extracts a mask from the image in the extracted bounding box.

자세히, 제 1 컨볼루션 뉴럴 네트워크(Conv 1)는, 전체 이미지 및 객체 후보 영역을 동시에 입력으로 받아들일 수 있다. In detail, the first convolutional neural network Conv 1 may simultaneously accept the entire image and object candidate regions as inputs.

그리고 제 1 컨볼루션 네트워크는, 컨볼루션 레이어(Convolution layer)와 맥스 풀링 레이어(max-pooling layer)을 통해 이미지 전체를 한번에 처리하여, 유의미한 객체들을 각각 묶어 특징 영역들로 나타낸 특징 맵(feature map)을 생성할 수 있다. In addition, the first convolutional network processes the entire image at a time through a convolution layer and a max-pooling layer, and bundles meaningful objects, respectively, and features a feature map. Can generate

다음으로, 제 2 컨볼루션 네트워크는, 각 객체 후보 영역에 대하여 롤 풀링 레이어(RoI Pooling layer)를 통과시켜, 특징 맵(feature map)으로부터 특징 벡터(fixed-length feature vector)를 추출할 수 있다. Next, the second convolutional network may extract a fixed-length feature vector from the feature map by passing a roll pooling layer for each object candidate region.

그리고 제 2 컨볼루션 네트워크는, 추출한 특징 벡터를 풀리 커넥티드 레이어(Fully-Connected Layer, FCs)에 인가를 한 뒤, 풀리 커넥티드 레이어의 출력 데이터를 최종 단에 배치된 소프트 맥스(softmax)에 인가하여 각 객체의 종류를 특정할 수 있다. 또한, 제 2 컨볼루션 네트워크는, 풀리 커넥티드 레이어의 출력 데이터를 바운딩 박스 리그레서(bbox regressor)에 인가하여 오브젝트가 차지하는 영역을 개략적으로 나타내는 바운딩 박스를 추출할 수 있다. Then, the second convolutional network applies the extracted feature vector to the Fully-Connected Layer (FCs), and then applies the output data of the Fully Connected layer to the softmax placed in the final stage. You can specify the type of each object. In addition, the second convolutional network may apply the output data of the fully connected layer to the bounding box regressor to extract a bounding box that schematically represents an area occupied by the object.

여기서, 제 2 컨볼루션 네트워크는, 각 객체의 후보 영역에 대해 소프트맥스에서 객체가 사람이 아니라고 판단되면, 나머지 바운딩 박스 리그레서와 마스크를 생성하는 세그맨테이션부의 동작을 멈출 수 있다. Here, if the second convolutional network determines that the object is not a human in Softmax for a candidate region of each object, the segmentation unit operation that generates the remaining bounding box regressor and mask may be stopped.

이러한 제 1 컨볼루션 네트워크와 제 2 컨볼루션 네트워크로 구성된 오브젝트 디텍션부는, 객체의 종류가 사람임을 특정하고 사람이 차지하는 특징 영역을 바운딩 박스로 추출할 수 있다. The object detection unit including the first convolutional network and the second convolutional network may identify the type of the object as a person and extract a feature area occupied by the person into a bounding box.

그리고 상기 사람으로 특정된 특징 벡터들은 제 3 컨볼루션 네트워크에 입력되어 바운딩 박스 내 사람의 전체영역에 대한 마스크를 생성할 수 있다. Also, the feature vectors specified as the person may be input to the third convolutional network to generate a mask for the entire area of the person in the bounding box.

이러한 제 3 컨볼루션 네트워크는, 적어도 하나 이상의 컨볼루션 레이어(Convolution layer)를 포함하며, 추가로 맥스 풀링 레이어(max-pooling layer)들을 더 포함할 수도 있다. The third convolutional network includes at least one convolutional layer, and may further include max-pooling layers.

이와 같은, 제 1 내지 제 3 컨볼루션 네트워크로 구성된 오브젝트 디텐션부와 세그멘테이션부는, 전체 이미지에 대해 컨볼루션 연산을 1번만 수행을 하고 그 결과를 공유하며, 롤 풀링 레이어(RoI Pooling layer)에서 다양한 후보 영역들에 대하여 풀리 커넥티드 레이어(FC layer)로 들어갈 수 있도록 크기를 조정해주는 과정을 거친다. 이후 단계는 소프트맥스(Softmax classifier)와 바운딩 박스 리그레서(BBox regressor)를 동시에 수행하기 때문에 빠른 연산 처리가 가능한 장점이 있다. As described above, the object detention unit and the segmentation unit composed of the first to third convolution networks perform convolution operations only once for the entire image and share the results, and are various in the roll pooling layer. The process of resizing the candidate regions to fit into the fully connected layer (FC layer) is performed. Since the subsequent steps perform the Softmax classifier and the BBox regressor at the same time, there is an advantage that a fast computation process is possible.

이러한 실시예와 달리, 오브젝트 디텐션부는, 세그멘테이션부와는 별도의 네트워크로 구축될 수 있으며, 컨볼루션 뉴럴 네트워크 중 오브젝트 디텍션에 특화된 다양한 이미지 딥러닝 네트워크로 구성될 수 있다. Unlike this embodiment, the object detention unit may be constructed as a separate network from the segmentation unit, and may be composed of various image deep learning networks specialized in object detection among convolutional neural networks.

이때, 세그멘테이션부는, Mask R-CNN 또는 DeepLab v3, Segnet 등과 같은 세그멘테이션(Segmentation) 기반 이미지 딥러닝 네트워크를 이용하여 마스크를 추출할 수도 있다. At this time, the segmentation unit may extract a mask using a segmentation-based image deep learning network such as Mask R-CNN or DeepLab v3, Segnet.

이와 같이, 바운딩 박스와 마스크 생성이 완료되면, 바운딩 박스 내 이미지와 마스크를 성별인식 CNN (Convolutional Neural Network)에 입력하여 CNN 기반 성별 인식을 수행할 수 있다. (S104)As described above, when generation of the bounding box and the mask is completed, CNN-based gender recognition may be performed by inputting an image and a mask in the bounding box into a gender-recognition convolutional neural network (CNN). (S104)

자세히, 도 5를 참조하면, 바운딩 박스 이미지(BBOX IMAGE)는 컬러 이미지로 제 4 컨볼루션 뉴럴 네트워크(Conv 4)에 입력되고, 마스크(MASK)는 흑백 이미지로 제 5 컨볼루션 네트워크(Conv 5)에 각각 입력되어, 크기가 조절될 수 있다. In detail, referring to FIG. 5, the bounding box image (BBOX IMAGE) is input to the fourth convolutional neural network (Conv 4) as a color image, and the mask (MASK) is a black and white image as the fifth convolutional network (Conv 5). Each is input to, the size can be adjusted.

그리고 제 6 컨볼루션 네트워크(Conv 6)는, 각각 제 4 컨볼루션 네트워크(Conv 4)에서 출력된 특징 맵과 제 5 컨볼루션 네트워크(Conv 5)에서 출력된 특징 맵을 합쳐 하나의 특징 벡터로 출력할 수 있으며, 출력된 특징 벡터는 풀리 커넥티드 레이어(FCs)에 입력될 수 있다. In addition, the sixth convolution network Conv 6 combines the feature map output from the fourth convolution network Conv 4 and the feature map output from the fifth convolution network Conv 5 and outputs them as one feature vector. The outputted feature vector may be input to pulley connected layers (FCs).

마지막으로 풀리 커넥티드 레이어는, 입력된 특징 벡터에 대한 성별 인식 정보를 출력할 수 있다. 자세히, 풀리 커넥티드 레이어는, 출력 값으로 해당 사람이 남자일 확률(또는, 여자일 확률)을 레이블(label)로 출력할 수 있다. Finally, the pulley connected layer may output gender recognition information for the input feature vector. In detail, the fully connected layer may output a probability that the corresponding person is a male (or a female) as a label as an output value.

이러한 성별인식 CNN은, Resnet-101, Resnet-152, VGG16 또는 VGG19 등의 일반적인 CNN (Convolutional Neural Network)의 구조를 활용하여 구축될 수 있다. The gender-aware CNN can be constructed by utilizing a structure of a general convolutional neural network (CNN) such as Resnet-101, Resnet-152, VGG16 or VGG19.

이와 같이 사람의 전체 영역에 대한 마스크를 이용하여 CNN이 좀더 정확히 인물이 있는 영역을 판단할 수 있도록 유도할 수 있고, 인물의 전체적인 실루엣을 담고 있는 마스크는 남녀 간의 신체비율 차이 정보를 바운딩 박스 내 컬러 이미지에 비해 좀더 명확히 나타낼 수 있기 때문에, 좀더 정확한 성별 인식 정보를 구할 수 있다. In this way, the mask for the entire area of the person can be used to induce CNN to more accurately determine the area where the person is located, and the mask containing the overall silhouette of the person is colored in the bounding box for information on differences in body proportions between men and women. Since it can be displayed more clearly than the image, more accurate gender recognition information can be obtained.

또한, 바운딩 박스 내 컬러 이미지만 활용하여 데이터 처리부하를 최소화할 수 있으며, 컬러 정보를 컬러 이미지로 보충하여 성별 인식 정확도를 더욱 향상시킬 수 있다. In addition, the data processing load can be minimized by using only the color image in the bounding box, and color recognition can be supplemented with the color image to further improve gender recognition accuracy.

<성별인식 기반 매장관리방법><Store management method based on gender recognition>

이하, 이러한 딥러닝 기반 성별 인식 방법에 기초하여 매장을 관리하는 서비스를 운영하는 방법을 상세히 설명한다.Hereinafter, a method of operating a service for managing a store based on the deep learning-based gender recognition method will be described in detail.

도 6은 본 발명의 실시예에 따른 성별 인식방법을 이용하여 관리자 단말기(100)가 매장 관리 서비스를 운영하는 방법을 설명하기 위한 흐름도이다. 6 is a flowchart illustrating a method of operating a store management service by the manager terminal 100 using a gender recognition method according to an embodiment of the present invention.

먼저, 관리자 단말기(100)는, 카메라(500)로부터 실시간으로 매장에 진입하는 사람에 대한 이미지를 획득할 수 있다. (S201)First, the manager terminal 100 may acquire an image of a person entering the store in real time from the camera 500. (S201)

관리자 단말기(100)는, 사람이 없는 이미지를 딥러닝 서버(200)로 전송하여 불필요한 딥러닝이 이루어지는 것을 막기 위해, 간단한 이미지 딥러닝을 통해 사람이 있는지 여부를 사전에 판별할 수 있다. (S202)The manager terminal 100 may determine whether there is a person through simple image deep learning in order to prevent unnecessary deep learning by transmitting an image without a person to the deep learning server 200. (S202)

자세히, 관리자 단말기(100)는, 오브젝트 디텍션을 통해 이미지 내 사람이 있는지 여부와, 사람이 있다면 사람에 대한 바운딩 박스를 획득할 수 있다.In detail, the manager terminal 100 may acquire whether there is a person in the image and if there is a person, a bounding box for the person through object detection.

그리고 관리자 단말기(100)는, 획득된 바운딩 박스 내 이미지를 딥러닝 서버(200)로 송신하여, 해당 사람에 대한 성별 인식을 요청할 수 있다. In addition, the manager terminal 100 may transmit the acquired image in the bounding box to the deep learning server 200 to request gender recognition for the person.

그리고 관리자 단말기(100)는, 딥러닝 서버(200)로부터 사람의 성별을 인식한 정보를 수신할 수 있다 (S203)In addition, the manager terminal 100 may receive information recognizing the gender of the person from the deep learning server 200 (S203).

자세히, 관리자 단말기(100)는, 사람의 성별이 남자일 확률(또는, 여자일 확률)을 수신하거나, 사람의 성별을 남자 또는 여자로 특정한 정보를 수신할 수 있다. In detail, the manager terminal 100 may receive a probability that a person's gender is a man (or a probability that it is a woman), or receive information specific to a person's gender as a man or woman.

실시예에서, 관리자 단말기(100)는, 사람이 특정 성별일 확률을 수신하는 것으로 설명한다. In an embodiment, the manager terminal 100 is described as receiving a probability that a person is a specific gender.

이후 관리자 단말기(100)는, 성별 인식 정보에 기초하여 매장 내 전체 사람의 남성과 여성의 비율을 산출할 수 있다. (S204)Thereafter, the manager terminal 100 may calculate the ratio of men and women to all persons in the store based on the gender recognition information. (S204)

자세히, 관리자 단말기(100)는, 매장 내 입구에서 카운팅한 매장 내 사람수별로 성별 인식 정보를 각각 곱하여, 매장 내 사람의 남자수와 여자수를 산출하여, 남성과 여성 비율을 산출할 수 있다. In detail, the manager terminal 100 may calculate male and female ratios by multiplying gender recognition information for each person in the store counted at the entrance of the store, to calculate the number of men and women in the store.

그리고 관리자 단말기(100)는, 여성과 남성의 비율에 따라 출력장치를 제어하여 매장 내 분위기를 변화시킬 수 있다. (S205)In addition, the manager terminal 100 may change the atmosphere in the store by controlling the output device according to the ratio of women and men. (S205)

자세히, 관리자 단말기(100)는, 매장 내 여성과 남성의 비율을 동등하게 유지시키기 위해, 특정 성별이 소정의 비율 이상으로 많은 경우, 매장의 내외부를 서로 다른 성별 취향의 분위기를 가지도록 내부 출력장치와 외부 출력장치를 제어할 수 있다. In detail, the manager terminal 100, in order to keep the ratio of women and men in the store equal, in the case where a specific gender is more than a predetermined ratio, the internal output device so that the inside and outside of the store have different gender preference atmosphere. And an external output device can be controlled.

예를 들어, 관리자 단말기(100)는, 매장 내 여성의 비율이 소정의 비율 이상인 경우, 내부에는 여성이 선호하는 취향의 음악을 출력하도록 출력장치를 제어하고, 외부에는 남성이 선호하는 취향의 음악을 출력하도록 출력장치를 제어할 수 있다. For example, the manager terminal 100, if the proportion of women in the store is greater than or equal to a predetermined ratio, controls the output device so as to output music having a preference of women inside, and music of a preference of men preference outside. The output device can be controlled to output.

즉, 관리자 단말기(100)는, 외부에는 남성이 선호하는 음악을 출력하여 남성의 매장 내 진입을 유도하고, 내부에는 여성이 많으므로 여성이 선호하는 음악을 출력하여 여성의 매장 만족도를 향상시킬 수 있다. That is, the manager terminal 100 can increase the store satisfaction of the women by outputting the music preferred by the women because there are many women inside, by inducing the men's entry into the store by outputting music preferred by the man outside. have.

그리고 관리자 단말기(100)는, 특정 성별의 비율이 소정의 비율 이하인 경우, 해당 특정 성별의 매장 회원들에게만 홍보 메시지를 송신할 수 있다. (S206)In addition, when the ratio of a specific gender is equal to or less than a predetermined ratio, the manager terminal 100 may transmit a promotional message only to store members of the specific gender. (S206)

자세히, 관리자 단말기(100)는, 매장 내 여성의 비율이 소정의 비율 이하인 경우, 여성을 증가시키기 위해 여성회원들에게만 매장에서 사용할 수 있는 당일 할인 쿠폰을 포함하는 홍보 메시지를 송신하여 여성회원들의 매장 방문을 유도할 수 있다. In detail, when the proportion of women in the store is less than or equal to a predetermined percentage, the manager terminal 100 sends a promotional message including a discount coupon that can be used at the store only to female members in order to increase the number of women to store female members. You can induce a visit.

이와 같이, 관리자 단말기(100)는, 딥러닝 서버(200)를 통해 정확하게 분석된 성별 인식 정보를 기초로 매장 내 남성과 여성 비율을 산출하고, 이에 따라 매장 내 분위기를 변화시켜 매장 내 고객들의 만족도를 향상시킴과 동시에, 외부 출력장치 제어와 홍보 메시지를 통해 비율이 적은 성별에 매장 방문을 유도하여, 매장 내 고객 성별 비율을 유사하게 유지할 수 있다. As described above, the manager terminal 100 calculates the ratio of men and women in the store based on the gender recognition information accurately analyzed through the deep learning server 200, thereby changing the atmosphere in the store, thereby satisfying customers in the store. At the same time, by inducing a store visit to a gender with a small percentage through external output device control and a promotional message, it is possible to keep the percentage of the customer gender in the store similar.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.The embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and can be recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, or the like alone or in combination. The program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention or may be known and usable by those skilled in the computer software field. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. medium), and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes produced by a compiler, but also high-level language codes executable by a computer using an interpreter or the like. The hardware device can be changed into one or more software modules to perform the processing according to the present invention, and vice versa.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific implementations described in the present invention are exemplary embodiments, and do not limit the scope of the present invention in any way. For brevity of the specification, descriptions of conventional electronic configurations, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connection or connection members of the lines between the components shown in the drawings are illustrative examples of functional connections and/or physical or circuit connections. In the actual device, alternative or additional various functional connections, physical It can be represented as a connection, or circuit connections. In addition, unless specifically mentioned, such as “essential”, “importantly”, etc., it may not be a necessary component for application of the present invention.

또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.In addition, the detailed description of the present invention has been described with reference to preferred embodiments of the present invention, but those skilled in the art or those of ordinary skill in the art will appreciate the spirit of the present invention as set forth in the claims below. And it will be understood that various modifications and changes may be made to the present invention without departing from the technical field. Therefore, the technical scope of the present invention should not be limited to the contents described in the detailed description of the specification, but should be defined by the claims.

Claims (15)

딥러닝 뉴럴 네트워크를 포함하는 딥러닝 서버가 이미지 딥러닝을 통해 사람의 성별 인식을 수행하는 방법으로서,
상기 사람을 촬영한 컬러 이미지를 획득하는 단계;
상기 획득된 컬러 이미지를 오브젝트 디텍션(object detection)하여 상기 컬러 이미지 내에서 사람의 전체 영역을 포함하는 바운딩 박스(bounding box)를 추출하는 단계;
상기 바운딩 박스 내 컬러 이미지를 세그멘테이션(segmentation)하여 상기 사람에 대한 픽셀을 유효픽셀로 특정한 흑백 마스크(mask)를 획득하는 단계; 및
상기 바운딩 박스 내 컬러 이미지와 흑백 마스크를 성별인식 컨볼루션 뉴럴 네트워크(convolutional neural network)에 입력하여 성별 인식 정보를 레이블(label)로 출력하는 단계를 포함하는
이미지 딥러닝 기반 성별 인식 방법.As a method for deep learning server including deep learning neural network to perform human gender recognition through image deep learning,
Obtaining a color image of the person;
Extracting a bounding box including an entire area of a person in the color image by object detection of the obtained color image;
Segmenting a color image in the bounding box to obtain a black-and-white mask that specifies a pixel for the person as an effective pixel; And
And outputting gender recognition information as a label by inputting a color image and a black and white mask in the bounding box into a gender-recognition convolutional neural network.
Gender recognition method based on image deep learning. 제 1 항에 있어서,
상기 오브젝트 디텍션과 세그멘테이션은 복수의 컨볼루션 뉴럴 네트워크로 구성된 하나의 뉴럴 네트워크에서 수행되는
이미지 딥러닝 기반 성별 인식 방법.According to claim 1,
The object detection and segmentation are performed in one neural network composed of a plurality of convolutional neural networks.
Gender recognition method based on image deep learning. 제 2 항에 있어서,
상기 하나의 뉴럴 네트워크는,
입력 이미지를 적어도 1회 컨볼루션 레이어(Convolution layer)를 통과시키는 제 1 컨볼루션 뉴럴 네트워크와, 롤 풀링 레이어와 풀리 커넥티드 레이어와 소프트 맥스와 바운딩 박스 리그레서로 구성된 제 2 컨볼루션 뉴럴 네트워크와, 상기 추출된 바운딩 박스 내 컬러 이미지에서 상기 흑백 마스크를 추출하는 제 3 컨볼루션 뉴럴 네트워크를 포함하는
이미지 딥러닝 기반 성별 인식 방법.According to claim 2,
The one neural network,
A first convolutional neural network that passes the input image at least once through a convolutional layer, a second convolutional neural network consisting of a roll pooling layer and a fully connected layer, a soft max and a bounding box regressor, And a third convolutional neural network for extracting the black and white mask from the color image in the extracted bounding box.
Gender recognition method based on image deep learning. 제 1 항에 있어서,
상기 성별인식 컨볼루션 뉴럴 네트워크는,
Resnet-101, Resnet-152, VGG16 또는 VGG19의 구조로 구출된 컨볼루션 뉴럴 네트워크인
이미지 딥러닝 기반 성별 인식 방법.According to claim 1,
The gender recognition convolutional neural network,
A convolutional neural network rescued with the structure of Resnet-101, Resnet-152, VGG16 or VGG19
Gender recognition method based on image deep learning. 제 1 항에 있어서,
상기 컬러 이미지는,
상기 사람의 측면을 촬영한 이미지 또는 상기 사람의 후면을 촬영한 이미지인
이미지 딥러닝 기반 성별 인식 방법.According to claim 1,
The color image,
Which is an image of the person's side or an image of the person's back
Gender recognition method based on image deep learning. 제 5 항에 있어서,
상기 성별인식 컨볼루션 뉴럴 네트워크는,
상기 흑백 마스크를 통해 신체비율 차이 정보를 특징 벡터로 출력하여 성별인식을 수행하는
이미지 딥러닝 기반 성별 인식 방법.The method of claim 5,
The gender recognition convolutional neural network,
Gender recognition is performed by outputting body ratio difference information as a feature vector through the black and white mask.
Gender recognition method based on image deep learning. 제 6 항에 있어서,
상기 성별인식 컨볼루션 뉴럴 네트워크는,
상기 흑백 마스크의 크기를 조절하여 제 1 특징 맵을 출력하는 제 4 컨벌루션 뉴럴 네트워크와, 상기 바운딩 박스의 컬러 이미지의 크기를 조절하여 제 2 특징 맵을 출력하는 제 5 컨볼루션 뉴럴 네트워크와, 상기 제 1 특징 맵과 제 2 특징 맵을 결합하여 특징 백터를 출력하는 제 6 컨볼루션 뉴럴 네트워크와, 상기 특징 백터를 입력하면 성별 인식 정보를 레이블로 출력하는 풀리 커넥티드 레이어로 구성된
이미지 딥러닝 기반 성별 인식 방법.The method of claim 6,
The gender recognition convolutional neural network,
A fourth convolutional neural network that outputs a first feature map by adjusting the size of the black and white mask; and a fifth convolutional neural network that outputs a second feature map by adjusting the size of the color image of the bounding box. Composed of a sixth convolutional neural network that outputs a feature vector by combining the first feature map and the second feature map, and a pulley connected layer that outputs gender recognition information as a label when the feature vector is input.
Gender recognition method based on image deep learning. 성별인식을 수행하기 위한 딥러닝 뉴럴 네트워크 데이터를 저장하는 메모리; 및
상기 메모리의 데이터를 독출하여 이미지 딥러닝 기반 성별 인식을 수행하는 데이터 처리부를 포함하고,
상기 데이터 처리부는,
상기 사람을 촬영한 컬러 이미지를 획득하고,
상기 획득된 컬러 이미지를 오브젝트 디텍션(object detection)하여 상기 컬러 이미지 내에서 사람의 전체 영역을 포함하는 바운딩 박스(bounding box)를 추출하며,
상기 바운딩 박스 내 컬러 이미지를 세그멘테이션(segmentation)하여 상기 사람에 대한 픽셀을 유효픽셀로 특정한 흑백 마스크(mask)를 획득하고,
상기 바운딩 박스 내 컬러 이미지와 흑백 마스크를 성별인식 컨볼루션 뉴럴 네트워크(convolutional neural network)에 입력하여 성별 인식 정보를 레이블(label)로 출력하는 데이터 처리를 수행하는
이미지 딥러닝 기반 성별 인식 시스템.A memory for storing deep learning neural network data for performing gender recognition; And
And a data processor that reads data from the memory and performs gender recognition based on image deep learning,
The data processing unit,
To obtain a color image of the person,
Object detection is performed on the obtained color image to extract a bounding box including the entire area of a person within the color image,
Segmentation of the color image in the bounding box acquires a specific black and white mask using pixels for the person as effective pixels,
Entering a color image and a black and white mask in the bounding box into a gender recognition convolutional neural network to perform data processing to output gender recognition information as a label.
Gender recognition system based on image deep learning. 제 8 항에 있어서,
상기 데이터 처리부는,
상기 오브젝트 디텍션과, 상기 세그멘테이션을 복수의 컨볼루션 뉴럴 네트워크로 구축된 하나의 뉴럴 네트워크를 통해 수행하는
이미지 딥러닝 기반 성별 인식 시스템.The method of claim 8,
The data processing unit,
Performing the object detection and the segmentation through a single neural network constructed with a plurality of convolutional neural networks
Gender recognition system based on image deep learning. 제 9 항에 있어서,
상기 하나의 뉴럴 네트워크는,
입력 이미지를 적어도 1회 컨볼루션 레이어(Convolution layer)를 통과시키는 제 1 컨볼루션 뉴럴 네트워크와, 롤 풀링 레이어와 풀리 커넥티드 레이어와 소프트 맥스와 바운딩 박스 리그레서로 구성된 제 2 컨볼루션 뉴럴 네트워크와, 상기 추출된 바운딩 박스 내 컬러 이미지에서 상기 흑백 마스크를 추출하는 제 3 컨볼루션 뉴럴 네트워크를 포함하는
이미지 딥러닝 기반 성별 인식 시스템.The method of claim 9,
The one neural network,
A first convolutional neural network that passes the input image at least once through a convolutional layer, a second convolutional neural network consisting of a roll pooling layer and a fully connected layer, a soft max and a bounding box regressor, And a third convolutional neural network for extracting the black and white mask from the color image in the extracted bounding box.
Gender recognition system based on image deep learning. 제 8 항에 있어서,
상기 성별인식 컨볼루션 뉴럴 네트워크는,
Resnet-101, Resnet-152, VGG16 또는 VGG19의 구조로 구출된 컨볼루션 뉴럴 네트워크인
이미지 딥러닝 기반 성별 인식 시스템.The method of claim 8,
The gender recognition convolutional neural network,
A convolutional neural network rescued with the structure of Resnet-101, Resnet-152, VGG16 or VGG19
Gender recognition system based on image deep learning. 제 8 항에 있어서,
상기 컬러 이미지는,
상기 사람의 측면을 촬영한 이미지 또는 상기 사람의 후면을 촬영한 이미지인
이미지 딥러닝 기반 성별 인식 시스템.The method of claim 8,
The color image,
Which is an image of the person's side or an image of the person's back
Gender recognition system based on image deep learning. 제 12 항에 있어서,
상기 성별인식 컨볼루션 뉴럴 네트워크는,
상기 흑백 마스크를 통해 신체비율 차이 정보를 특징 벡터로 출력하여 성별인식을 수행하는
이미지 딥러닝 기반 성별 인식 시스템.The method of claim 12,
The gender recognition convolutional neural network,
Gender recognition is performed by outputting body ratio difference information as a feature vector through the black and white mask.
Gender recognition system based on image deep learning. 제 13 항에 있어서,
상기 성별인식 컨볼루션 뉴럴 네트워크는,
상기 흑백 마스크의 크기를 조절하여 제 1 특징 맵을 출력하는 제 4 컨벌루션 뉴럴 네트워크와, 상기 바운딩 박스의 컬러 이미지의 크기를 조절하여 제 2 특징 맵을 출력하는 제 5 컨볼루션 뉴럴 네트워크와, 상기 제 1 특징 맵과 제 2 특징 맵을 결합하여 특징 백터를 출력하는 제 6 컨볼루션 뉴럴 네트워크와, 상기 특징 백터를 입력하면 성별 인식 정보를 레이블로 출력하는 풀리 커넥티드 레이어로 구성된
이미지 딥러닝 기반 성별 인식 시스템.The method of claim 13,
The gender recognition convolutional neural network,
A fourth convolutional neural network that outputs a first feature map by adjusting the size of the black and white mask; and a fifth convolutional neural network that outputs a second feature map by adjusting the size of the color image of the bounding box. Composed of a sixth convolutional neural network that outputs a feature vector by combining the first feature map and the second feature map, and a pulley connected layer that outputs gender recognition information as a label when the feature vector is input.
Gender recognition system based on image deep learning. 성별 인식을 수행하는 딥러닝 서버와 연동된 관리자 단말기에서 성별 인식 기반 매장 관리 서비스를 수행하는 방법으로서,
실시간으로 이미지를 획득하는 단계;
상기 획득된 이미지를 상기 딥러닝 서버에 전송하고, 상기 획득된 이미지 내 사람에 대한 성별 인식 정보를 수신하는 단계;
상기 성별 인식 정보에 기초하여 매장 내 남성 및 여성의 비율을 산출하는 단계;
상기 여성과 남성의 비율에 따라서 매장 내부 출력장치를 제어하는 단계; 및
상기 여성과 남성의 비율에 따라서 매장 외부 출력장치를 상기 매장 내부 출력장치와 다르게 제어하는 단계를 포함하는
성별 인식 기반 매장 관리 서비스를 수행하는 방법.
As a method of performing a gender recognition-based store management service in an administrator terminal linked with a deep learning server that performs gender recognition,
Obtaining an image in real time;
Transmitting the acquired image to the deep learning server, and receiving gender recognition information about a person in the acquired image;
Calculating a ratio of men and women in the store based on the gender recognition information;
Controlling an in-store output device according to the ratio of the female and the male; And
And controlling the output device outside the store differently from the output device inside the store according to the ratio of the female and the male.
How to perform gender awareness-based store management services.
KR1020180154560A 2018-12-04 2018-12-04 Method and system for recognizing gender based on image deep learning KR102181144B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180154560A KR102181144B1 (en) 2018-12-04 2018-12-04 Method and system for recognizing gender based on image deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180154560A KR102181144B1 (en) 2018-12-04 2018-12-04 Method and system for recognizing gender based on image deep learning

Publications (2)

Publication Number Publication Date
KR20200071850A true KR20200071850A (en) 2020-06-22
KR102181144B1 KR102181144B1 (en) 2020-11-20

Family

ID=71142309

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180154560A KR102181144B1 (en) 2018-12-04 2018-12-04 Method and system for recognizing gender based on image deep learning

Country Status (1)

Country Link
KR (1) KR102181144B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951267A (en) * 2020-09-08 2020-11-17 南方科技大学 Gender judgment method, device, server and storage medium based on neural network
KR20220065250A (en) 2020-11-13 2022-05-20 서동우 Web Management System for Mask Identification Using Deep Learning and Video Processing
KR20220065193A (en) 2020-11-13 2022-05-20 소재열 Robot Control System Through Mask Recognition
WO2024136248A1 (en) * 2022-12-23 2024-06-27 서강대학교 산학협력단 Deep learning-based sex recognition device and sex recognition method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140138486A (en) 2013-05-24 2014-12-04 한국전자통신연구원 Apparatus and method for recognizing gender
KR20160118502A (en) 2015-04-02 2016-10-12 동국대학교 산학협력단 Method and computing device for gender recognition based on facial image
KR101827538B1 (en) * 2016-12-28 2018-02-09 동국대학교 산학협력단 Device and method for gender reconition
KR20180033037A (en) * 2016-09-23 2018-04-02 삼성전자주식회사 Apparatus and method for detecting objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140138486A (en) 2013-05-24 2014-12-04 한국전자통신연구원 Apparatus and method for recognizing gender
KR20160118502A (en) 2015-04-02 2016-10-12 동국대학교 산학협력단 Method and computing device for gender recognition based on facial image
KR20180033037A (en) * 2016-09-23 2018-04-02 삼성전자주식회사 Apparatus and method for detecting objects
KR101827538B1 (en) * 2016-12-28 2018-02-09 동국대학교 산학협력단 Device and method for gender reconition

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951267A (en) * 2020-09-08 2020-11-17 南方科技大学 Gender judgment method, device, server and storage medium based on neural network
KR20220065250A (en) 2020-11-13 2022-05-20 서동우 Web Management System for Mask Identification Using Deep Learning and Video Processing
KR20220065193A (en) 2020-11-13 2022-05-20 소재열 Robot Control System Through Mask Recognition
WO2024136248A1 (en) * 2022-12-23 2024-06-27 서강대학교 산학협력단 Deep learning-based sex recognition device and sex recognition method

Also Published As

Publication number Publication date
KR102181144B1 (en) 2020-11-20

Similar Documents

Publication Publication Date Title
US11436739B2 (en) Method, apparatus, and storage medium for processing video image
KR102181144B1 (en) Method and system for recognizing gender based on image deep learning
US10943126B2 (en) Method and apparatus for processing video stream
CN109214343B (en) Method and device for generating face key point detection model
US11270158B2 (en) Instance segmentation methods and apparatuses, electronic devices, programs, and media
US20210174146A1 (en) Training set sufficiency for image analysis
CN112200062B (en) Target detection method and device based on neural network, machine readable medium and equipment
US11037335B2 (en) Deep learning based virtual hair dyeing method and method for providing virtual hair dyeing service using the same
CN111369427B (en) Image processing method, image processing device, readable medium and electronic equipment
WO2020078119A1 (en) Method, device and system for simulating user wearing clothing and accessories
CN112954450B (en) Video processing method and device, electronic equipment and storage medium
CN113033519B (en) Living body detection method, estimation network processing method, device and computer equipment
CN109033935B (en) Head-up line detection method and device
US20210012201A1 (en) Center-biased machine learning techniques to determine saliency in digital images
US9503632B2 (en) Guidance based image photographing device and method thereof for high definition imaging
CN112749695A (en) Text recognition method and device
WO2023124040A1 (en) Facial recognition method and apparatus
CN111950570A (en) Target image extraction method, neural network training method and device
CN111274946B (en) Face recognition method, system and equipment
KR20220026875A (en) Method and system for providing search results for similar products based on deep-learning
KR101817773B1 (en) An Advertisement Providing System By Image Processing of Depth Information
CN110188660B (en) Method and device for identifying age
CN111292333B (en) Method and apparatus for segmenting an image
KR102594093B1 (en) Dermatologic treatment recommendation system using deep learning model and method thereof
CN114764870A (en) Object positioning model processing method, object positioning device and computer equipment

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant