KR20230166359A - Apparatus and method for recognizing item - Google Patents

Abstract

상품 인식 장치 및 상품 인식 방법을 제시하며, 일 실시예에 따르면, 상품 인식 장치는 박스에 위치할 수 있는 상품리스트를 저장하는 메모리, 및 영상프레임을 수집하고, 수집된 영상프레임에서의 손을 식별하며, 손의 위치 및 기준선에 기초하여 상품 식별을 트리거링하고, 상기 상품을 식별함으로써 상품식별정보를 결정하는 제어부를 포함할 수 있다.Presents a product recognition device and a product recognition method. According to one embodiment, the product recognition device collects a memory that stores a list of products that can be located in a box, and video frames, and identifies a hand in the collected video frames. It may include a control unit that triggers product identification based on the hand position and reference line, and determines product identification information by identifying the product.

Description

상품 인식 장치 및 상품 인식 방법{APPARATUS AND METHOD FOR RECOGNIZING ITEM}Product recognition device and product recognition method {APPARATUS AND METHOD FOR RECOGNIZING ITEM}

본 명세서에서 개시되는 실시예들은 상품 인식 장치 및 상품 인식 방법에 관한 것으로, 보다 상세하게는 박스로 상품을 반입시키거나 반출하였을 때 해당 상품을 인식하는 장치 및 방법에 관한 것이다.Embodiments disclosed in this specification relate to a product recognition device and a product recognition method, and more specifically, to a device and method for recognizing a product when the product is brought in or taken out of a box.

최근 들어 무인 점포, 또는 무인 카운터가 늘어나고 있는 추세이다. 이러한 무인 점포 또는 무인 카운터는 구매자로 하여금 구매 상품의 계산을 맡기고 있으며 구매자의 자율에 맡기다보니 구매자가 결제 대상 상품을 누락할 경우 상품의 결제가 제대로 이루어지지 않는 문제점이 있다. Recently, unmanned stores or unmanned counters have been on the rise. These unmanned stores or unmanned counters leave it up to the buyer to calculate the purchase, and since the calculation is left to the buyer's discretion, there is a problem in that if the buyer omits the product to be paid for, the payment for the product is not carried out properly.

관련하여 선행기술 문헌인 대한민국 등록특허 제10-2126637 호에는 개방부가 구비되는 캐비닛, 개방부를 개폐 가능하도록 상기 캐비닛에 설치되는 도어부, 캐비닛의 내부에 배치되고, 상품이 진열되며, 진열된 상품의 무게를 측정하는 무게센서부가 구비되는 진열부, 캐비닛에 설치되고, 결제수단을 인식하는 결제수단인식부, 도어부와 캐비닛 중 적어도 어느 하나에 구비되고, 도어부를 잠금 또는 잠금해제하는 잠금부, 및 결제수단인식부에 결제수단이 인식되면, 도어부의 개방이 가능하도록 잠금부를 잠금해제시키고, 무게센서부의 측정신호에 기초하여 진열부 상에서 인출된 상품의 판매가액을 결제수단으로 결제 처리하는 제어부를 포함하는 것을 특징으로 하는 결제기능을 구비한 무인 물품저장고에 관해 개시되어 있다. In relation to this, Republic of Korea Patent No. 10-2126637, which is a prior art document, describes a cabinet having an opening, a door installed in the cabinet so that the opening can be opened and closed, placed inside the cabinet, products are displayed, and the displayed products are A display unit equipped with a weight sensor unit that measures the weight, a payment method recognition unit installed in the cabinet and recognizing the payment method, a lock unit installed in at least one of the door unit and the cabinet and locking or unlocking the door unit, and When the payment method is recognized in the payment method recognition unit, it unlocks the locking unit to enable the door to be opened, and includes a control unit that processes the sales price of the product withdrawn from the display unit as a payment method based on the measurement signal from the weight sensor unit. An unmanned goods storage facility with a payment function is disclosed.

그러나 상술한 선행 기술을 비롯한 종래의 기술들은 무게센서 등과 같이 추가적인 센서 등의 여러 하드웨어를 사용함에 따라 무인 결제에 많은 리소스를 필요로 한다는 한계점이 있다. 따라서 상술한 문제점을 해결하고, 무인 결제 시스템을 도입하고자 하는 판매자와, 물품을 구매하고자 하는 소비자의 만족도를 보다 향상시키기 위한 새로운 차원의 기능이 필요하게 되었다.However, conventional technologies, including the above-mentioned prior technologies, have the limitation that unmanned payments require a lot of resources due to the use of various hardware such as additional sensors such as weight sensors. Therefore, a new level of functionality is needed to solve the above-mentioned problems and improve the satisfaction of sellers who want to introduce an unmanned payment system and consumers who want to purchase goods.

한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.Meanwhile, the above-described background technology is technical information that the inventor possessed for deriving the present invention or acquired in the process of deriving the present invention, and cannot necessarily be said to be known technology disclosed to the general public before filing the application for the present invention. .

본 명세서에서 개시되는 실시예들은, 상품 인식 장치 및 상품 인식 방법을 제시하는 것을 목적으로 한다.The purpose of the embodiments disclosed in this specification is to present a product recognition device and a product recognition method.

또한, 본 명세서에서 개시되는 실시예들은, 추가적인 센서 없이 적은 하드웨어 리소스를 이용하여 상품을 인식할 수 있는 장치 및 방법을 제시하는 것을 목적으로 한다. Additionally, the embodiments disclosed in this specification aim to present a device and method that can recognize products using small hardware resources without additional sensors.

또한, 본 명세서에서 개시되는 실시예들은, 계속적으로 상품을 추적하지 않고도 적은 리소스로 상품을 인식할 수 있는 장치 및 방법을 제시하는 것을 목적으로 한다.Additionally, the embodiments disclosed in this specification aim to present a device and method that can recognize products with few resources without continuously tracking the products.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 명세서에 기재된 일 실시예에 따르면, 일 실시예에 따르면, 상품 인식 장치는 박스에 위치할 수 있는 상품리스트를 저장하는 메모리, 및 영상프레임을 수집하고, 수집된 영상프레임에서의 손을 식별하며, 손의 위치 및 기준선에 기초하여 상품 식별을 트리거링하고, 상기 상품을 식별함으로써 상품식별정보를 결정하는 제어부를 포함할 수 있다.As a technical means for achieving the above-described technical problem, according to an embodiment described in the present specification, a product recognition device collects a memory for storing a list of products that can be located in a box, and an image frame. It may include a control unit that identifies the hand in the collected video frame, triggers product identification based on the position and reference line of the hand, and determines product identification information by identifying the product.

또한, 상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 명세서에 기재된 일 실시예에 따르면, 상품 인식 장치가 상품을 인식하는 방법으로서, 영상프레임을 수집하는 단계, 수집된 영상프레임에서의 손을 식별하는 단계, 손의 위치 및 기준선에 기초하여 상품 식별을 트리거링하는 단계, 및 상기 상품을 식별함으로써 상품식별정보를 결정하는 단계를 포함할 수 있다.In addition, as a technical means for achieving the above-described technical problem, according to an embodiment described in the present specification, a method for a product recognition device to recognize a product includes collecting video frames and removing a hand from the collected video frames. It may include identifying, triggering product identification based on the hand position and reference line, and determining product identification information by identifying the product.

또한, 상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 명세서에 기재된 일 실시예에 따르면, 상품 인식 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체로서, 상기 상품 인식 방법은, 영상프레임을 수집하는 단계, 수집된 영상프레임에서의 손을 식별하는 단계, 손의 위치 및 기준선에 기초하여 상품 식별을 트리거링하는 단계, 및 상기 상품을 식별함으로써 상품식별정보를 결정하는 단계를 포함할 수 있다.In addition, as a technical means for achieving the above-described technical problem, according to an embodiment described in the present specification, a computer-readable recording medium on which a program for performing a product recognition method is recorded, wherein the product recognition method includes an image frame It may include a step of collecting, identifying a hand in the collected video frame, triggering product identification based on the position and reference line of the hand, and determining product identification information by identifying the product.

또한, 상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 명세서에 기재된 일 실시예에 따르면, 상품 인식 장치에 의해 수행되며, 상품 인식 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램으로서, 영상프레임을 수집하는 단계, 수집된 영상프레임에서의 손을 식별하는 단계, 손의 위치 및 기준선에 기초하여 상품 식별을 트리거링하는 단계, 및 상기 상품을 식별함으로써 상품식별정보를 결정하는 단계를 포함할 수 있다In addition, as a technical means for achieving the above-described technical problem, according to an embodiment described in this specification, it is performed by a product recognition device and is a computer program stored in a medium to perform a product recognition method, and collects video frames. It may include a step of identifying a hand in a collected video frame, triggering product identification based on the position and reference line of the hand, and determining product identification information by identifying the product.

전술한 과제 해결 수단 중 하나에 의하면, 상품 인식 장치 및 상품 인식 방법을 제시할 수 있다.According to one of the above-mentioned problem solving means, a product recognition device and a product recognition method can be presented.

전술한 과제 해결 수단 중 하나에 의하면, 추가적인 센서 없이 적은 하드웨어 리소스를 이용하여 상품을 인식할 수 있는 장치 및 방법을 제시할 수 있다. According to one of the means for solving the above-described problem, a device and method that can recognize products using small hardware resources without additional sensors can be proposed.

전술한 과제 해결 수단 중 하나에 의하면, 계속적으로 상품을 추적하지 않고도 적은 리소스로 상품을 인식할 수 있는 장치 및 방법을 제시할 수 있다.According to one of the means for solving the above-mentioned problems, it is possible to provide a device and method that can recognize products with a small amount of resources without continuously tracking the products.

개시되는 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 개시되는 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects that can be obtained from the disclosed embodiments are not limited to the effects mentioned above, and other effects not mentioned are clear to those skilled in the art to which the disclosed embodiments belong from the description below. It will be understandable.

도 1은 본 명세서에 개시된 일 실시예에 따른 상품 인식 장치를 설명하기 위한 예시도이다.
도 2 내지 도 3은 일 실시예에 따른 상품 인식 장치의 구성을 나타내는 블록도이다.
도 4 내지 도 6은 본 명세서에 기재된 일실시예에 따른 상품 인식 장치의 동작을 설명하기 위한 예시도이다.
도 7은 본 명세서에 기재된 일 실시예에 따른 상품 인식 방법을 설명하기 위한 순서도이다.
도 8은 본 명세서에 기재된 일 실시예에 따른 상품 인식 방법을 설명하기 위한 예시도이다.1 is an exemplary diagram for explaining a product recognition device according to an embodiment disclosed herein.
Figures 2 and 3 are block diagrams showing the configuration of a product recognition device according to an embodiment.
4 to 6 are exemplary diagrams for explaining the operation of a product recognition device according to an embodiment described in this specification.
Figure 7 is a flowchart for explaining a product recognition method according to an embodiment described in this specification.
Figure 8 is an example diagram for explaining a product recognition method according to an embodiment described in this specification.

아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Below, various embodiments will be described in detail with reference to the attached drawings. The embodiments described below may be modified and implemented in various different forms. In order to more clearly explain the characteristics of the embodiments, detailed descriptions of matters widely known to those skilled in the art to which the following embodiments belong have been omitted. In addition, in the drawings, parts that are not related to the description of the embodiments are omitted, and similar parts are given similar reference numerals throughout the specification.

명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐 아니라, '그 중간에 다른 구성을 사이에 두고 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.Throughout the specification, when a configuration is said to be “connected” to another configuration, this includes not only cases where it is “directly connected,” but also cases where it is “connected with another configuration in between.” In addition, when a configuration “includes” a configuration, this means that other configurations may be further included rather than excluding other configurations, unless specifically stated to the contrary.

이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.Hereinafter, embodiments will be described in detail with reference to the attached drawings.

도 1은 본 명세서에 개시된 일 실시예에 따른 상품 인식 장치를 설명하기 위한 예시도이며 도 2 내지 도 3은 본 명세서에 개시된 일 실시예에 따른 상품 인식 장치의 구성을 나타내는 블록도이다. 도 4 내지 도 6은 본 명세서에 기재된 일실시예에 따른 상품 인식 장치의 동작을 설명하기 위한 예시도이다. FIG. 1 is an exemplary diagram for explaining a product recognition device according to an embodiment disclosed herein, and FIGS. 2 and 3 are block diagrams showing the configuration of a product recognition device according to an embodiment disclosed herein. 4 to 6 are exemplary diagrams for explaining the operation of a product recognition device according to an embodiment described in this specification.

상품 인식 장치(200)는, 도 1에서 도시된 바와 같이 박스(B)에 설치되어 박스(B)로 반입 또는 반출되는 상품을 인식할 수 있다. 이때 박스(B)는 판매될 상품이 위치할 수 있는 임의의 공간을 제공할 수 있는 것 모두 가능하며, 예를 들어, 냉장고, 선반, 바구니 등이 될 수 있다. 이러한 박스(B)는, 무인 배달 로봇에 설치될 수 있다. The product recognition device 200 is installed in the box B as shown in FIG. 1 and can recognize products being brought in or taken out of the box B. At this time, the box B can be any space where the product to be sold can be located, and for example, it can be a refrigerator, shelf, basket, etc. This box (B) can be installed on an unmanned delivery robot.

실시예에 따르면 상품 인식 장치(200)는 유저(U)의 손(H)이나 손(H)에 잡힌 객체(O)를 추적하여 박스(B)에서의 객체(O)의 반입 또는 반출을 식별함으로써 자동으로 결제금액을 산출할 수 있다. According to the embodiment, the product recognition device 200 tracks the hand (H) of the user (U) or the object (O) held in the hand (H) to identify the bringing in or taking out of the object (O) in the box (B). By doing so, the payment amount can be automatically calculated.

또한 상품 인식 장치(200)는 복수의 카메라(10, 11)를 포함할 수 있다. 상품 인식 장치(200)는 복수의 카메라(10, 11) 각각을 통해 촬영된 영상을 획득할 수 있으며, 또한 영상을 구성하는 복수의 영상프레임 중 적어도 하나를 획득할 수 있다.Additionally, the product recognition device 200 may include a plurality of cameras 10 and 11. The product recognition device 200 can acquire images captured through each of the plurality of cameras 10 and 11, and can also acquire at least one of the plurality of image frames constituting the image.

이때 복수의 카메라(10, 11)는 일 실시예에 따르면 박스(B) 양측에 위치하여 서로 마주보는 위치에 각각 설치됨으로써 상품이 촬영되기 어려운 사각지대를 최소화시킬 수 있다. 상품 인식 장치(200)는 최소 두 대 이상의 카메라를 사용하여 물체의 가려지는 부분이 없이 촬영되도록 하고 나아가 촬영된 각 이미지를 조합하여 인식 성능을 향상시킬 수 있다. 상품 인식 장치(200)는 복수의 카메라(10, 11) 중 적어도 하나에 구현될 수 있고, 또는, 복수의 카메라(10, 11)를 포함하며, 추가로 복수의 카메라(10, 11)와 통신가능한 장치(미도시)를 더 포함할 수 있다. At this time, according to one embodiment, the plurality of cameras 10 and 11 are located on both sides of the box B and installed in positions facing each other, thereby minimizing blind spots where it is difficult to photograph products. The product recognition device 200 uses at least two cameras to capture images without any part of the object being obscured, and can further improve recognition performance by combining each captured image. The product recognition device 200 may be implemented in at least one of the plurality of cameras 10 and 11, or may include the plurality of cameras 10 and 11, and may further communicate with the plurality of cameras 10 and 11. Additional possible devices (not shown) may be included.

일 실시예에 따르면 상품 인식 장치(200)는 전자단말로 구현되거나 또는 서버-클라이언트 시스템으로 구현될 수 있으며, 상기 시스템은 유저와의 인터랙션을 위한 온라인 서비스용 애플리케이션이 설치된 전자단말을 포함할 수 있다. According to one embodiment, the product recognition device 200 may be implemented as an electronic terminal or a server-client system, and the system may include an electronic terminal on which an online service application for interaction with a user is installed. .

이때 전자단말은 네트워크를 통해 원격지의 서버에 접속하거나, 타 단말 및 서버와 연결 가능한 컴퓨터나 휴대용 단말기, 텔레비전, 웨어러블 디바이스(Wearable Device), 카메라 등으로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop)등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), GSM(Global System for Mobile communications), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet), 스마트폰(Smart Phone), 모바일 WiMAX(Mobile Worldwide Interoperability for Microwave Access) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, 텔레비전은 IPTV(Internet Protocol Television), 인터넷 TV(Internet Television), 지상파 TV, 케이블 TV 등을 포함할 수 있다. 나아가 웨어러블 디바이스는 예를 들어, 시계, 안경, 액세서리, 의복, 신발 등 인체에 직접 착용 가능한 타입의 정보처리장치로서, 직접 또는 다른 정보처리장치를 통해 네트워크를 경유하여 원격지의 서버에 접속하거나 타 유저 단말과 연결될 수 있다.At this time, the electronic terminal can be implemented as a computer, portable terminal, television, wearable device, camera, etc. that can connect to a remote server through a network or connect to other terminals and servers. Here, the computer includes, for example, a laptop, desktop, laptop, etc. equipped with a web browser, and the portable terminal is, for example, a wireless communication device that guarantees portability and mobility. , PCS (Personal Communication System), PDC (Personal Digital Cellular), PHS (Personal Handyphone System), PDA (Personal Digital Assistant), GSM (Global System for Mobile communications), IMT (International Mobile Telecommunication)-2000, CDMA (Code) All types of handhelds such as Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), Wibro (Wireless Broadband Internet), Smart Phone, Mobile WiMAX (Mobile Worldwide Interoperability for Microwave Access), etc. (Handheld)-based wireless communication device may be included. Additionally, television may include IPTV (Internet Protocol Television), Internet TV (Internet Television), terrestrial TV, cable TV, etc. Furthermore, a wearable device is a type of information processing device that can be worn directly on the human body, such as a watch, glasses, accessories, clothing, or shoes, and can connect to a remote server or other users via a network directly or through another information processing device. Can be connected to the terminal.

그리고 서버는, 전자단말과 네트워크를 통해 통신이 가능한 컴퓨터로 구현되거나 클라우드 컴퓨팅 서버로 구현될 수 있다. 또한, 서버는 데이터를 저장할 수 있는 저장장치를 포함하거나 제 3의 서버를 통해 데이터를 저장할 수 있다. 또한, 서버는 타 유저 단말과 통신할 수 있다.And the server may be implemented as a computer capable of communicating with an electronic terminal through a network, or as a cloud computing server. Additionally, the server may include a storage device capable of storing data or may store data through a third party server. Additionally, the server can communicate with other user terminals.

상술된 바와 같이 상품 인식 장치(200)는 전자단말 또는 서버-클라이언트 시스템 중 어느 하나의 형태로 구현될 수 있으며, 예를 들어 카메라로 구현되거나, 또는 외부의 카메라와 통신하는 장치로 구현될 수 있다. As described above, the product recognition device 200 may be implemented in the form of either an electronic terminal or a server-client system, and may be implemented as a camera, for example, or as a device that communicates with an external camera. .

도 2를 참조하면, 상품 인식 장치(200)는 메모리(210), 통신부(220) 및 제어부(230)를 포함한다. Referring to FIG. 2, the product recognition device 200 includes a memory 210, a communication unit 220, and a control unit 230.

메모리(210)에는 파일, 어플리케이션 및 프로그램 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다. 제어부(230)는 메모리(210)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 메모리(210)에 저장할 수도 있다. 또한, 제어부(230)는 메모리(210)에 설치된 프로그램을 실행할 수도 있다. 예를 들어, 메모리(210)는 상품 인식 방법을 수행하기 위한 프로그램이 설치될 수 있으며, 상술한 바와 같이 상품 인식 방법을 수행하기 위한 상품리스트를 저장할 수 있다. 이때 상품리스트는 박스 내에 위치할 수 있는 상품들 각각의 상품식별정보를 포함할 수 있으며 각 상품식별정보 별로, 상품의 이름, 가격, 박스(B) 내 상품 개수, 유통기한 등의 정보를 포함할 수 있다.Various types of data, such as files, applications, and programs, can be installed and stored in the memory 210. The control unit 230 may access and use data stored in the memory 210, or may store new data in the memory 210. Additionally, the control unit 230 may execute a program installed in the memory 210. For example, the memory 210 may be installed with a program for performing a product recognition method, and may store a product list for performing the product recognition method as described above. At this time, the product list may include product identification information for each product that can be located in the box, and for each product identification information, it may include information such as the product name, price, number of products in the box (B), and expiration date. You can.

통신부(220)는 다른 전자단말 또는 네트워크와 유무선 통신을 수행할 수 있다. 가령 통신부(220)는 제3의 서버와 통신하여 상품 인식 방법을 수행하기 위한 각종 정보를 송수신할 수 있다. 이를 위해, 통신부(220)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 모듈은 칩셋(chipset)의 형태로 구현될 수 있다.The communication unit 220 may perform wired or wireless communication with other electronic terminals or networks. For example, the communication unit 220 may communicate with a third server to transmit and receive various information for performing a product recognition method. To this end, the communication unit 220 may include a communication module that supports at least one of various wired and wireless communication methods. For example, a communication module may be implemented in the form of a chipset.

이때, 통신부(220)가 지원하는 무선 통신은, 예를 들어 Wi-Fi(Wireless Fidelity), Wi-Fi Direct, 블루투스(Bluetooth), UWB(Ultra Wide Band) 또는 NFC(Near Field Communication) 등일 수 있다. 또한, 통신부(220)가 지원하는 유선 통신은, 예를 들어 USB 또는 HDMI(High Definition Multimedia Interface) 등일 수 있다.At this time, the wireless communication supported by the communication unit 220 may be, for example, Wi-Fi (Wireless Fidelity), Wi-Fi Direct, Bluetooth, UWB (Ultra Wide Band), or NFC (Near Field Communication). . Additionally, wired communication supported by the communication unit 220 may be, for example, USB or HDMI (High Definition Multimedia Interface).

실시예에 따르면, 상품 인식 장치(200)는 외부에 위치하는 카메라로부터 영상을 획득하여 영상프레임을 수집할 수 있으며, 또는 외부의 제3서버로, 통계정보 또는 알람 등을 송신할 수 있다.According to the embodiment, the product recognition device 200 may acquire images from an external camera and collect image frames, or may transmit statistical information or alarms to an external third server.

한편 제어부(230)는 상품 인식 장치(200)의 전체적인 동작을 제어하며, CPU, GPU 등과 같은 프로세서를 포함할 수 있다. 제어부(230)는 상품 인식 장치(200)에 포함된 다른 구성들을 제어할 수 있다. 예를 들어, 제어부(230)는 후술할 메모리(210)에 저장된 프로그램을 실행시키거나, 메모리(210)에 저장된 파일을 읽어오거나, 새로운 파일을 메모리(210)에 저장할 수도 있다.Meanwhile, the control unit 230 controls the overall operation of the product recognition device 200 and may include a processor such as a CPU or GPU. The control unit 230 may control other components included in the product recognition device 200. For example, the control unit 230 may execute a program stored in the memory 210, which will be described later, read a file stored in the memory 210, or store a new file in the memory 210.

이러한 제어부(230)는 도 3에서 도시된 바와 같이, 프레임수집부(310), 추적부(320), 트리거링부(330), 식별부(340) 및 가격산출부(350)를 포함할 수 있다. As shown in FIG. 3, the control unit 230 may include a frame collection unit 310, a tracking unit 320, a triggering unit 330, an identification unit 340, and a price calculation unit 350. .

프레임수집부(310)는 영상프레임을 수집한다.The frame collection unit 310 collects video frames.

일 실시예에 따르면 프레임수집부(310)는 외부의 카메라와 통신하면서 외부 카메라에 의해 촬영된 영상을 획득하고 영상을 구성하는 영상프레임을 수집할 수 있다. 예를 들어 프레임수집부(310)는 카메라(10) 또는 카메라(11) 각각으로부터 영상을 획득하고 각 영상을 구성하는 영상프레임을 수집할 수 있다.According to one embodiment, the frame collection unit 310 may acquire an image captured by an external camera while communicating with an external camera and collect image frames constituting the image. For example, the frame collection unit 310 may acquire images from each of the cameras 10 and 11 and collect image frames constituting each image.

또 다른 실시예에 따르면 프레임수집부(310)는 상품 인식 장치(200)의 입출력부(미도시)를 통해 촬영된 영상에서 영상프레임을 수집할 수 있다. 관련하여 입출력부(미도시)는 유저로부터 입력을 수신하기 위한 입력부와 작업의 수행 결과 또는 상품 인식 장치(200)의 상태 등의 정보를 표시하기 위한 출력부를 포함할 수 있다. 예를 들어 입출력부(미도시)는 유저의 입력을 수신하는 조작 패널(operation panel) 및 화면을 표시하는 디스플레이 패널(display panel) 등을 포함할 수 있다.According to another embodiment, the frame collection unit 310 may collect image frames from images captured through the input/output unit (not shown) of the product recognition device 200. In relation to this, the input/output unit (not shown) may include an input unit for receiving input from the user and an output unit for displaying information such as a task performance result or the status of the product recognition device 200. For example, the input/output unit (not shown) may include an operation panel that receives user input and a display panel that displays a screen.

구체적으로 입력부는 키보드, 물리 버튼, 터치 스크린, 카메라 또는 마이크 등과 같이 다양한 형태의 입력을 수신할 수 있는 장치들을 포함할 수 있다. 또한, 출력부는 디스플레이 패널 또는 스피커 등을 포함할 수 있다. 다만, 이에 한정되지 않고 입출력부(140)는 다양한 입출력을 지원하는 구성을 포함할 수 있다. 따라서 실시예에 다른 프레임수집부(310)는 카메라로 구현된 입출력부(미도시)를 통해 영상프레임을 수집할 수 있다.Specifically, the input unit may include devices that can receive various types of input, such as a keyboard, physical button, touch screen, camera, or microphone. Additionally, the output unit may include a display panel or a speaker. However, the input/output unit 140 is not limited to this and may include a configuration that supports various inputs and outputs. Accordingly, the frame collection unit 310 in different embodiments may collect video frames through an input/output unit (not shown) implemented as a camera.

이러한 프레임수집부(310)는 소정의 주기마다 프레임을 수집하거나, 계속적으로 프레임을 수집할 수 있다. This frame collection unit 310 can collect frames at predetermined intervals or continuously collect frames.

또는 프레임수집부(310)는 박스(B)를 구성하는 문이 개폐되었을 때에 한해 영상프레임을 수집할 수 있다. Alternatively, the frame collection unit 310 can collect video frames only when the door constituting the box B is opened or closed.

또는 프레임수집부(310)는 현재 시점(t)에서의 프레임이, 이전 시점(t-1)에서의 프레임과 비교하여 색, 채도 및 명도 중 적어도 하나가 변경된 것을 감지하면 현재 시점에서부터 프레임을 수집할 수 있다. 그리고 후술될 식별부(340)에 의해 종료신호가 획득되면 프레임수집부(310)는 프레임의 수집을 중단할 수 있다.Alternatively, the frame collection unit 310 collects the frame from the current time when it detects that at least one of color, saturation, and brightness has changed in the frame at the current time (t) compared to the frame at the previous time (t-1). can do. And when a termination signal is obtained by the identification unit 340, which will be described later, the frame collection unit 310 can stop collecting frames.

이와 같이 수집된 영상프레임 내에서 사람의 손(H)을, 추적부(320)는 추적한다. The tracking unit 320 tracks the human hand (H) within the video frames collected in this way.

즉 추적부(320)는 박스(B) 내에 위치하는 사람의 손(H)을 식별하고 손(H)의 이동경로를 추적할 수 있다.That is, the tracking unit 320 can identify the person's hand (H) located in the box (B) and track the movement path of the hand (H).

이를 위해 추적부(320)는 영상프레임 내에서 손을 세그먼테이션(segmentation)할 수 있다. To this end, the tracking unit 320 can segment the hand within the video frame.

이때, 학습된 딥러닝 모델을 이용하여 추적부(320)는 영상프레임 내에 위치한 손(H)을 세그먼테이션할 수 있다. At this time, the tracker 320 can segment the hand (H) located within the video frame using the learned deep learning model.

예를 들어, 추적부(320)는 영상프레임을 입력하였을 때 영상프레임 내 손(H)을 세그먼테이션하여 출력하도록 딥러닝 모델을 학습시킬 수 있으며, 또한 예를 들어 양 카메라 각각에 의해 촬영된 양 영상프레임이 이어진 이미지를 입력하였을 때 손(H)을 세그먼테이션하여 출력하도록 딥러닝 모델을 학습시킬 수 있다. 또한 추적부(320)는 다양한 환경(낮과 밤, 날씨, 계절, 조명 유무 등)에 따른 영상프레임(또는 양 카메라 각각에 의해 촬영된 양 영상프레임이 이어진 이미지)을 입력하였을 때 영상프레임 내 손(H)을 세그먼테이션하여 출력하도록 딥러닝 모델을 학습시킬 수 있다.For example, when an image frame is input, the tracking unit 320 can train a deep learning model to segment and output the hand (H) within the image frame, and also, for example, both images captured by each of the two cameras. When an image with connected frames is input, a deep learning model can be trained to segment and output the hand (H). In addition, when the tracking unit 320 inputs a video frame (or an image in which both video frames captured by each of the two cameras are connected) according to various environments (day and night, weather, season, presence or absence of lighting, etc.), the tracking unit 320 detects the hand in the video frame. A deep learning model can be trained to segment and output (H).

이러한 딥러닝 모델은 예를 들어 CNN(convolutional neural network), RNN(recurrent neural network), DNN(deep neural network) 등의 네트워크 모델로 구현될 수 있다.These deep learning models can be implemented as network models such as, for example, convolutional neural network (CNN), recurrent neural network (RNN), or deep neural network (DNN).

그에 따라 추적부(320)는 세그먼테이션된 손(H)의 이동경로를 추적할 수 있다. 이때 손(H)이 이동하였음을 식별해내기 위해 IoU(Intersection over Union)를 이용할 수 있는데, 추적부(320)는 이전 프레임에서의 손이 검출된 영역(바운딩 박스)과 현재 프레임에서의 손이 검출된 영역(바운딩 박스)이 서로 겹치는 영역의 넓이나 대각선 길이를 측정하여 소정의 임계값 이하이면 동일한 유저의 손이 이동하였음을 식별해낼 수 있다. 또는 손(H)이 이동하였음을 식별해내기 위해 추적부(320)는 이전 프레임에서 식별된 손의 중심 좌표값과, 현재 프레임에서 식별된 손의 중심 좌표값의 변화량을 계산하여 소정의 임계값 이하이면 동일한 유저의 손이 이동하였음을 식별해낼 수 있고, 손의 중심 좌표값은 예를 들어 손을 에워싸는 바운딩박스의 중심 좌표값이거나, 손을 구성하는 특정 지점(예 손바닥 가운데, 엄지손톱 등)의 좌표값일 수 있다.Accordingly, the tracking unit 320 can track the movement path of the segmented hand (H). At this time, Intersection over Union (IoU) can be used to identify that the hand (H) has moved. The tracker 320 determines the area (bounding box) where the hand was detected in the previous frame and the hand in the current frame. By measuring the area or diagonal length of the detected area (bounding box) overlapping with each other, if it is less than a predetermined threshold, it can be identified that the hand of the same user has moved. Alternatively, in order to identify that the hand (H) has moved, the tracking unit 320 calculates the amount of change in the center coordinate value of the hand identified in the previous frame and the center coordinate value of the hand identified in the current frame and sets a predetermined threshold value. If it is below, it can be identified that the same user's hand has moved, and the center coordinate value of the hand is, for example, the center coordinate value of the bounding box surrounding the hand, or a specific point that makes up the hand (e.g., center of palm, thumb nail, etc.) It may be a coordinate value of .

그에 따라 예를 들어 이전 프레임에서의 손의 위치와 현재 프레임에서의 손의 위치 간의 방향성을 식별하여 손이 박스 내로 들어오는 반입인지, 손이 박스 외부로 나가는 반출인지를 식별해낼 수 있다. 또는 예를 들어 이전 프레임에서 기준선(100)을 기준으로 손의 위치와, 현재 프레임에서 기준선(100)을 기준으로 손의 위치를 기준으로 기준선(100)의 상단에서 하단으로 손이 이동함을 판별하면 반입으로, 기준선(100)의 하단에서 상단으로 손이 이동함을 판별하면 반출로 식별해낼 수 있다. Accordingly, for example, by identifying the direction between the position of the hand in the previous frame and the position of the hand in the current frame, it is possible to identify whether the hand is brought into the box or whether the hand is taken out of the box. Or, for example, determine that the hand moves from the top to the bottom of the baseline (100) based on the hand's position relative to the baseline (100) in the previous frame and the hand's position relative to the baseline (100) in the current frame. If it is determined that the hand moves from the bottom of the reference line 100 to the top, it can be identified as carry-out.

이때 '기준선(100)'이란 박스(B)를 가로지르는 임의의 가상선이다. 2차원의 프레임 상에서 기준선은 선으로 표시될 수 있으며 손과의 상대적인 위치를 판단할 때 기준선은 2차원의 평면으로서 가상선의 평면이 박스(B)의 밑바닥을 기준으로 동일한 높이를 가질 수 있다. 기준선은 임의로 설정될 수 있으며, 또는 일 카메라의 렌즈축에서 타 카메라의 렌즈축을 연결하는 선으로 설정되거나, 일 카메라의 렌즈축에서 타 카메라의 렌즈축을 연결하는 선과 평행되는 선으로서 박스 내부에 형성되거나, 박스(B)의 입구 경계선으로 설정되거나 박스(B)의 입구 경계선과 평행한 선으로 설정될 수 있다. At this time, the 'baseline (100)' is an arbitrary virtual line crossing the box (B). On a two-dimensional frame, the reference line may be displayed as a line, and when determining the relative position of the hand, the reference line is a two-dimensional plane, and the plane of the virtual line may have the same height relative to the bottom of the box (B). The reference line can be set arbitrarily, or is set as a line connecting the lens axis of one camera to the lens axis of another camera, or is formed inside the box as a line parallel to the line connecting the lens axis of one camera to the lens axis of another camera. , It can be set as the entrance border of the box (B) or as a line parallel to the entrance border of the box (B).

추적부(320)는 손(H)의 이동경로를 추적함으로써 입출정보를 생성할 수 있고, 입출정보를 현재 프레임에 매칭시킬 수 있다. 이때 입출정보는 해당 프레임이 반입에 관한 것인지 반출에 관한 것인지에 관한 정보를 포함할 수 있다.The tracking unit 320 can generate entry/exit information by tracking the movement path of the hand (H) and match the entry/exit information to the current frame. At this time, the input/export information may include information regarding whether the frame is related to import or export.

따라서 후술될 트리거링부(330)에서 상품의 인식을 트리거링시키기 위해, 추적부(320)는 손을 추적함에 따라 입출정보를 생성하고 입출정보에 기초하여 해당 상품이 박스(B) 내로 반입되는지 또는 박스(B) 외부로 반출되는지 결정할 수 있다.Therefore, in order to trigger recognition of the product in the triggering unit 330, which will be described later, the tracking unit 320 generates entry/exit information by tracking the hand and determines whether the product is brought into the box B or box based on the entry/exit information. (B) It can be determined whether the product is taken outside.

한편 트리거링부(330)는 상품의 인식을 트리거링한다.Meanwhile, the triggering unit 330 triggers recognition of the product.

즉 상품 인식 장치(200)는 영상프레임 내에서 계속적으로 상품의 존부를 판단하거나, 또는 상품을 계속적으로 식별해내는 것이 아니라, 상품 인식이 트리거링된 이후에 상품을 식별할 수 있다. 이를 위해 트리거링부(330)는 상품의 인식을 트리거링할 수 있다.In other words, the product recognition device 200 does not continuously determine the presence or absence of a product within an image frame or continuously identify the product, but can identify the product after product recognition is triggered. To this end, the triggering unit 330 may trigger recognition of the product.

즉, 트리거링부(330)는 손의 움직임, 손의 이동 거리, 손의 위치 및 기준선 중 적어도 하나에 기초하여 상품 식별을 트리거링할 수 있다.That is, the triggering unit 330 may trigger product identification based on at least one of hand movement, hand movement distance, hand position, and reference line.

실시예에 따르면 트리거링부(330)는 영상프레임 내에서 기준선(100)의 위치를 기준으로 소정의 범위 내에 손(H)이 위치하는지 여부를 판단하여 손(H)이 기준선(100)을 기준으로 소정의 범위 내에 위치하면 트리거링부(330)는 상품 식별 프로세스를 시작하도록 식별부(340)에 요청할 수 있다. 또 다른 실시예에 따르면 트리거링부(330)는 손(H)을 추적하였을 때 영상프레임 내에서의 손(H)의 y좌표가 기준선(100)의 y좌표보다 작아지거나 커짐에 따라 기준선(100)을 통과한다고 판단하면 트리거링부(330)는 상품 식별 프로세스를 시작하도록 식별부(340)에 요청할 수 있다. 이때 트리거링부(330)는, 영상프레임 내에서 손(H)이 기준선(100)을 기준으로 소정의 범위 내에 위치하거나 기준선(100)을 통과하더라도 해당 영상프레임에 매칭되는 입출정보가 반입이면 상품의 인식을 트리거링하지 않을 수도 있으나 해당 영상프레임에 매칭되는 입출정보가 반출이면 상품의 인식을 트리거링할 수 있다. 다른 실시예에 따르면 트리거링부(330)는 손(H)을 추적하였을 때 손(H)이 기준선(100)을 통과하면서 입출정보가 반입일 때, 알고리즘(Finite State Machine)을 기반으로 소정의 기간 이상 손(H)이 박스(B) 내에 위치한다고 판단하면 상품 식별 프로세스를 시작하도록 식별부(340)에 요청할 수 있다. 다른 실시예에 따르면 트리거링부(330)는 이전 영상프레임과 현재의 영상프레임의 영상 변화량을 분석하여 변화량이 일정 임계값 이상인 경우 영상에 움직이는 물체가 있음을 판단하고, 상품 식별 프로세스를 시작하도록 식별부(340)에 요청할 수 있다. 다른 실시예에 따르면 트리거링부(330)는 이전 영상프레임과 현재의 영상프레임 각각에서의 손(H)(또는 손(H)의 중심 좌표값)의 이동 거리를 분석하여 해당 이동거리가 소정의 임계값 이상인 경우에 상품 식별 프로세스를 시작하도록 식별부(340)에 요청할 수 있다. According to the embodiment, the triggering unit 330 determines whether the hand (H) is located within a predetermined range based on the position of the reference line 100 within the image frame and determines whether the hand (H) is located based on the reference line 100. If located within a predetermined range, the triggering unit 330 may request the identification unit 340 to start the product identification process. According to another embodiment, when the triggering unit 330 tracks the hand (H), as the y-coordinate of the hand (H) within the image frame becomes smaller or larger than the y-coordinate of the reference line (100), the reference line (100) If it is determined that it passes, the triggering unit 330 may request the identification unit 340 to start the product identification process. At this time, even if the hand (H) is located within a predetermined range based on the reference line 100 or passes the reference line 100 within the video frame, if entry/exit information matching the video frame is brought in, the product is Recognition may not be triggered, but if input/output information matching the video frame is exported, recognition of the product can be triggered. According to another embodiment, the triggering unit 330 tracks the hand (H) and when the hand (H) passes the baseline 100 and input/output information is imported, the triggering unit 330 performs a predetermined period based on an algorithm (Finite State Machine). If it is determined that the abnormal hand (H) is located within the box (B), the identification unit 340 may be requested to start the product identification process. According to another embodiment, the triggering unit 330 analyzes the amount of image change between the previous image frame and the current image frame, determines that there is a moving object in the image when the amount of change is greater than a certain threshold, and starts the product identification process. You can request it at (340). According to another embodiment, the triggering unit 330 analyzes the movement distance of the hand (H) (or the center coordinate value of the hand (H)) in each of the previous image frame and the current image frame, and determines that the movement distance is set to a predetermined threshold. If the value is greater than or equal to the value, the identification unit 340 may be requested to start the product identification process.

통상 손(H)의 생김새는 비슷함에 따라 상품 인식 장치(100)는 손을 세그먼테이션을 통해 식별하고 추적하여 필요한 경우에만 상품 식별을 트리거링하는바, 상품 인식 장치(100)는 계속적으로 상품을 식별하기 위한 리소스를 절약할 수 있다.Since the appearance of the hand (H) is usually similar, the product recognition device 100 identifies and tracks the hand through segmentation and triggers product identification only when necessary. The product recognition device 100 continuously identifies the product. You can save resources.

트리거링부(330)에 의해 상품 식별이 트리거링되면 식별부(340)는 영상프레임에 기초하여 프레임 내에서의 상품을 식별할 수 있다. When product identification is triggered by the triggering unit 330, the identification unit 340 can identify the product within the frame based on the video frame.

식별부(340)는 다양한 실시예에 따라 영상프레임 내에서의 상품을 식별할 수 있는데 일 실시예에 따르면 식별부(340)는 프레임 내에서 상품을 디텍션(detection)하고 해당 상품이 어떠한 것인지를 식별할 수 있는데 예를 들어 디텍션을 위해 학습된 인공지능 모델에 영상프레임을 입력함으로써 디덱션된 상품이미지를 분석하여 해당 상품이 어떤 것인지를 식별할 수 있다. 또 다른 실시예에 따르면 여러 종류의 상품에 대해 학습된 딥러닝 모델에 영상프레임을 입력하여 해당 상품이 무엇인지를 식별할 수 있다. 또한, 식별부(340)는 상품 겉면에 표시된 텍스트나 그림 등을 OCR(optical character recognition) 등의 기법을 통해 판독하여 해당 상품이 어떠한 것인지를 식별할 수 있다.The identification unit 340 can identify a product within a video frame according to various embodiments. According to one embodiment, the identification unit 340 detects a product within a frame and identifies the product. This can be done, for example, by inputting a video frame into an artificial intelligence model learned for detection, the decoded product image can be analyzed to identify the product. According to another embodiment, it is possible to identify the product by inputting an image frame into a deep learning model learned for various types of products. Additionally, the identification unit 340 can identify the product by reading text or pictures displayed on the outside of the product using a technique such as optical character recognition (OCR).

이때 식별부(340)에 입력되는 영상프레임은 일 카메라에 의해 촬영된 영상으로부터 추출된 제1프레임이거나, 또 다른 카메라에 의해 촬영된 영상으로부터 추출된 제2프레임일 수 있다. 또한 제1프레임 및 제2프레임을 정합하여 생성된 이미지일 수 있다. 이때 제1프레임 및 제2프레임은 해당 프레임의 영상을 촬영한 카메라에 따라 구분되는 것일 뿐 특정 종류의 프레임을 지칭하는 것으 아니다. 예를 들어 도 4를 참조하면, 박스(B) 내에 카메라(10, 11)가 설치되어 있고, 따라서 유저가 상품(O)을 반입 또는 반출함에 따라 카메라(10)에 의해 촬영된 이미지가 도 5에서 도시된 바와 같이 제1프레임(500)로서 획득될 수 있으며, 카메라(11)에 의해 촬영된 이미지가 도 6에서 도시된 바와 같이 제2프레임(600)으로서 획득될 수 있다. 따라서 식별부(340)는 제1프레임(500) 및 제2프레임(600) 중 적어도 하나에 기초하여 상품(O)에 대응되는 상품식별정보를 식별할 수 있고, 또는 카메라(10, 11)의 3차원 좌표값을 토대로, 제1프레임(500) 및 제2프레임(600)을 정합하여 생성된 3차원의 상품 이미지에 기초하여 상품(O)에 대응되는 상품식별정보를 식별할 수 있다.At this time, the image frame input to the identification unit 340 may be a first frame extracted from an image captured by one camera or a second frame extracted from an image captured by another camera. Additionally, it may be an image created by matching the first frame and the second frame. At this time, the first frame and the second frame are distinguished according to the camera that captured the video of the frame and do not refer to a specific type of frame. For example, referring to FIG. 4, cameras 10 and 11 are installed in the box B, and accordingly, as the user brings in or takes out the product O, the image captured by the camera 10 is shown in FIG. 5 As shown in , it can be acquired as a first frame 500 , and an image captured by the camera 11 can be acquired as a second frame 600 as shown in FIG. 6 . Therefore, the identification unit 340 can identify product identification information corresponding to the product O based on at least one of the first frame 500 and the second frame 600, or the camera 10, 11 Based on the 3D coordinate values, product identification information corresponding to the product (O) can be identified based on the 3D product image generated by matching the first frame 500 and the second frame 600.

관련하여 식별부(340)는 제1프레임에 기초하여 상품이 식별되었을 때 제1프레임에 기초하여 식별된 상품이 맞게 식별된 것인지 검증할 수 있다. 따라서 일 카메라에 의해 촬영된 영상으로부터 추출된 제1프레임에 기초하여 상품이 식별되었을 때, 또 다른 카메라에 의해 촬영된 영상으로부터 추출된 제2프레임에 기초하여 식별된 상품이 맞게 식별되었는지를 다시 검증할 수 있다. 즉 제1프레임(500) 및 제2프레임(600) 각각에 기초하여 상품(O)에 대응되는 상품식별정보를 식별할 수 있고, 상품식별정보를 서로 비교함으로써 상품식별정보가 맞게 획득되었는지 검증할 수 있다. 예를 들어 식별부(340)는 제1프레임(500)을 분석하여 상품 표면에 적힌 텍스트를 분석함으로써 해당 상품(O)이 A사의 B제품임을 식별하고, 또한 식별부(340)는 제2프레임(600)을 분석하여 상품 표면에 적힌 텍스트를 분석하여 해당 상품(O)이 A사의 B제품임을 식별하면 최종적으로 식별부(340)는 해당 상품(O)이 A사의 B제품으로 결정할 수 있다. 만약 양 프레임을 분석하였을 때의 결과가 상이하면 식별부(340)는 분석 결과에 따라 획득된 상품식별정보 중 어느 하나를 택일하거나 유저에게 상품의 반입 또는 반출을 재요청할 수 있다.In relation to this, when a product is identified based on the first frame, the identification unit 340 may verify whether the product identified based on the first frame has been correctly identified. Therefore, when a product is identified based on the first frame extracted from an image captured by one camera, it is verified again whether the product identified based on the second frame extracted from an image captured by another camera has been correctly identified. can do. That is, the product identification information corresponding to the product (O) can be identified based on each of the first frame 500 and the second frame 600, and it can be verified whether the product identification information has been obtained correctly by comparing the product identification information with each other. You can. For example, the identification unit 340 analyzes the first frame 500 and analyzes the text written on the surface of the product to identify the product (O) as product B of company A, and the identification unit 340 identifies the second frame If 600 is analyzed and the text written on the surface of the product is analyzed to identify the product (O) as product B of company A, the identification unit 340 can finally determine that the product (O) is product B of company A. If the results of analyzing both frames are different, the identification unit 340 may select one of the product identification information obtained according to the analysis results or may re-request the user to bring in or take out the product.

추가로 식별부(340)는 추적부(320)에서 생성한 입출정보에 기초하여 상품이 반입되는지 반출되는지 결정할 수 있다. 예를 들어 상품이 식별된 프레임에 매칭되는 입출정보에서, 손이 반입되는 것으로 포함되면 상품도 반입되는 것으로 결정할 수 있다.Additionally, the identification unit 340 may determine whether a product is brought in or out based on the entry/exit information generated by the tracking unit 320. For example, in entry/exit information matching a frame in which a product is identified, if a hand is included as being brought in, it may be determined that the product is also brought in.

관련하여 식별부(340)는 상품의 반출이 종료된 것으로 판단하면 상품의 식별을 종료할 수 있고, 또한 종료신호를 프레임수집부(310) 또는 가격산출부(350)로 전달할 수 있다. 예를 들어 식별부(340)는 손 또는 상품의 반출이 소정의 기간 동안 연속되지 않는다면 반출이 종료된 것으로 판단할 수 있고, 또는 영상프레임에서 소정의 손(H) 제츠처를 식별하면 반출이 종료된 것으로 판단할 수 있는데, 예를 들어 상품을 식별하는 동안 상품이 들렸던 손(H)에 아무런 상품이 들리지 않은 채 손(H)이 반출되면 반출이 종료된 것으로 판단할 수 있고, 또는 소정의 사인이 취해진 손 제스처를 식별하면 반출이 종료된 것으로 판단할 수 있다. In relation to this, the identification unit 340 can end the identification of the product when it determines that the shipment of the product has been completed, and can also transmit a termination signal to the frame collection unit 310 or the price calculation unit 350. For example, the identification unit 340 may determine that the export has ended if the export of the hand or product does not continue for a predetermined period of time, or if a predetermined hand (H) gesture is identified in the video frame, the export is terminated. It can be judged that the product has been taken out. For example, if the hand (H) that held the product while identifying the product is taken out without any product being lifted, it can be judged that the shipment has been completed, or a predetermined sign is displayed. By identifying the hand gesture taken, it can be determined that the export has been completed.

실시예에 따르면 식별부(340)는 반출되는 상품의 개수를 계수하여 상품리스트를 참조하였을 때 박스 내에 위치한 상품의 개수보다 많은 개수의 상품이 반출되면 문제가 생긴 것으로 판단하고 관리자에게 알람을 통지할 수 있다.According to the embodiment, the identification unit 340 counts the number of products being exported and refers to the product list. If more products are exported than the number of products located in the box, it determines that a problem has occurred and notifies the manager of an alarm. You can.

한편 실시예에 따르면 가격산출부(350)는 상품식별정보에 기초하여 구매자가 결제해야 할 상품의 가격을 산출할 수 있다. 즉 가격산출부(350)는 식별부(340)에 의해 식별된 상품식별정보에 기초하여 가격을 산출할 수 있다. 이때 가격산출부(350)는 입출정보에 기초하여 반출되는 상품에 대해 결제가 필요한 것으로 판단하고 반출된 상품의 상품식별정보에 대응되는 가격을 산출할 수 있다.Meanwhile, according to the embodiment, the price calculation unit 350 may calculate the price of the product to be paid by the buyer based on product identification information. That is, the price calculation unit 350 can calculate the price based on the product identification information identified by the identification unit 340. At this time, the price calculation unit 350 may determine that payment is required for the product being shipped out based on the input/output information and calculate a price corresponding to the product identification information of the shipped product.

예를 들어 상품식별정보별 가격이 저장된 메모리(210)를 참조하여 가격산출부(350)는 식별된 상품식별정보에 대응되는 가격을 획득할 수 있다. 이때 상품식별정보가 소정 기간 동안 복수 개 획득되면 가격산출부(350)는 결제되어야 할 상품이 복수 개인 것으로 판단하여 복수 개의 상품식별정보에 기초하여 가격을 산출할 수 있다. 즉, 결제 대상 상품이 복수 개이면 가격산출부(350)는 복수개의 상품 각각의 결제금액을 합산할 수 있다. For example, the price calculation unit 350 may obtain the price corresponding to the identified product identification information by referring to the memory 210 in which the price for each product identification information is stored. At this time, if a plurality of pieces of product identification information are acquired during a predetermined period, the price calculation unit 350 may determine that there are a plurality of products to be paid for and calculate the price based on the plurality of product identification information. That is, if there are multiple products subject to payment, the price calculation unit 350 may add up the payment amounts for each of the multiple products.

가격산출부(350)는 식별부(340)로부터 종료신호를 획득하면, 상품식별정보를 수신하기 시작한 시점에서부터, 종료신호를 수신한 시점으로 소정 시점까지 획득된 상품식별정보 모두에 대한 결제금액을 산출함으로써 반출되었던 모든 상품에 대한 결제금액을 산출할 수 있다.When the price calculation unit 350 obtains a termination signal from the identification unit 340, the price calculation unit 350 calculates the payment amount for all product identification information obtained from the time it started receiving the product identification information to a predetermined point in time from the time it received the termination signal. By calculating this, you can calculate the payment amount for all products that were shipped out.

또한 실시예에 따르면 가격산출부(350)는 가격 산출 이외에도, 결제를 처리할 수 있다. 따라서 가격 산출 정보를 제공하고 난 이후 소정의 시간이 경과하였을 때, 유저가 현금을 투입하거나 신용카드를 긁는 등의 결제 이벤트가 발생하지 않으면 문제가 있는 것으로 판단하고 관리자에게 알람을 할 수 있다. Additionally, according to the embodiment, the price calculation unit 350 may process payments in addition to calculating the price. Therefore, when a predetermined time has elapsed after providing price calculation information and a payment event such as the user inserting cash or swiping a credit card does not occur, it is determined that there is a problem and an alarm can be sent to the administrator.

상술된 바와 같이 제어부(230)는 박스에서 반출된 상품을 식별하고 결제금액을 산출하여 상품을 반출시킨 유저로 하여금 결제를 원활히 진행하도록 할 수 있다. As described above, the control unit 230 can identify the product taken out of the box, calculate the payment amount, and allow the user who took the product out to smoothly proceed with the payment.

추가로 제어부(230)는, 또 다른 카메라로부터 사람의 얼굴을 촬영한 영상을 획득할 수 있다.Additionally, the control unit 230 may acquire an image of a person's face from another camera.

사람의 얼굴을 촬영한 영상은 추후 상품이 도난되었을 때를 대비하여 획득될 수 있고, 또한 사람의 얼굴을 촬영한 영상은 사람의 개인정보를 결정하는데 이용될 수 있다. A video of a person's face can be obtained in case a product is later stolen, and a video of a person's face can be used to determine a person's personal information.

예를 들어 제어부(230)는 박스(B) 내에서 상품을 반출하는 손의 주인인 구매자의 얼굴을 촬영한 영상프레임을 획득하고, 학습된 인공지능 모델을 이용하여 영상프레임에서의 구매자의 연령, 성별 등의 개인정보를 결정할 수 있으며, 개인정보를 상품식별정보에 매칭시켜 통계정보를 생성할 수 있다. 그에 따라 제어부(120)는 상품별 통계정보를 생성하여 상품에 대한 구매 수요 특징을 분석해낼 수 있다. 예를 들어 제어부(120)는 특정 상품에 대한 수요가 특정 연령대에 있다고 분석한 통계정보를 생성할 수 있다. For example, the control unit 230 obtains a video frame of the face of the buyer who is the owner of the hand taking the product out of the box (B), and uses a learned artificial intelligence model to determine the buyer's age in the video frame, Personal information such as gender can be determined, and statistical information can be generated by matching personal information to product identification information. Accordingly, the control unit 120 can generate statistical information for each product and analyze purchase demand characteristics for the product. For example, the control unit 120 may generate statistical information analyzing that demand for a specific product is in a specific age group.

한편 실시예에 따르면 상품 인식 장치(200)는 입출력부(미도시)를 더 포함할 수 있으며, 입출력부(미도시)는 관리자로부터 입력을 수신하기 위한 입력부와 작업의 수행 결과 또는 상품 인식 장치(200)의 상태 또는 산출된 가격 등의 정보를 표시하기 위한 출력부를 포함할 수 있다. 예를 들어 입출력부(미도시)는 유저의 입력을 수신하는 조작 패널(operation panel) 및 화면을 표시하는 디스플레이 패널(display panel) 등을 포함할 수 있다.Meanwhile, according to the embodiment, the product recognition device 200 may further include an input/output unit (not shown), where the input/output unit (not shown) includes an input unit for receiving input from the manager and a product recognition device ( 200) may include an output unit for displaying information such as the status or calculated price. For example, the input/output unit (not shown) may include an operation panel that receives user input and a display panel that displays a screen.

구체적으로 입력부는 키보드, 물리 버튼, 터치 스크린, 카메라 또는 마이크 등과 같이 다양한 형태의 입력을 수신할 수 있는 장치들을 포함할 수 있다. 또한, 출력부는 디스플레이 패널 또는 스피커 등을 포함할 수 있다. 다만, 이에 한정되지 않고 입출력부(미도시)는 다양한 입출력을 지원하는 구성을 포함할 수 있다.Specifically, the input unit may include devices that can receive various types of input, such as a keyboard, physical button, touch screen, camera, or microphone. Additionally, the output unit may include a display panel or a speaker. However, the present invention is not limited to this and the input/output unit (not shown) may include a configuration that supports various inputs and outputs.

실시예에 따르면, 입력부는 카메라로 구현되어 박스 내를 촬영할 수 있다. 또한, 출력부는 상품식별정보를 출력하여 제공하거나, 산출된 가격을 출력하여 제공할 수 있다.According to the embodiment, the input unit is implemented as a camera and can take pictures of the inside of the box. Additionally, the output unit may print and provide product identification information or print and provide the calculated price.

따라서 일 실시예에 따르면 상품 인식 장치(200)는 카메라로 구현되어 입출력부(미도시)에 의해 촬영된 영상프레임을 수집하고, 수집된 영상프레임에 기초하여 손의 위치를 추적하며, 손의 위치 및 기준선에 기초하여 상품 인식을 트리거링하고, 상기 기준선을 통과하는 상품이 존재하면 상품을 식별함으로써 상품식별정보를 결정할 수 있다.Therefore, according to one embodiment, the product recognition device 200 is implemented as a camera and collects image frames captured by an input/output unit (not shown), tracks the position of the hand based on the collected image frames, and tracks the position of the hand. And product identification information can be determined by triggering product recognition based on a baseline and identifying the product if a product that passes the baseline exists.

또 다른 실시예에 따르면 상품 인식 장치(200)는 외부의 카메라와 통신하는 장치로 구현되어 외부의 카메라로부터 영상프레임을 획득하여 수집하고, 수집된 영상프레임에 기초하여 손의 위치를 추적하며, 손의 위치 및 기준선에 기초하여 상품 인식을 트리거링하고, 상기 기준선을 통과하는 상품이 존재하면 상품을 식별함으로써 상품식별정보를 결정할 수 있다.According to another embodiment, the product recognition device 200 is implemented as a device that communicates with an external camera, acquires and collects video frames from the external camera, tracks the position of the hand based on the collected video frames, and Product identification information can be determined by triggering product recognition based on the location and reference line, and identifying the product if a product that passes the reference line exists.

이처럼 상품 인식 장치(200)가 자동으로 상품을 식별하고 결제가 처리되도록 함으로써 판매자는 보다 적은 리소스를 투입하면서도 무인 판매 시스템을 용이하게 운영할 수 있고, 구매자 또한 박스에서 상품을 반출할 때마다 산출되는 가격에 따라 편리하게 결제를 할 수 있다. In this way, by allowing the product recognition device 200 to automatically identify products and process payments, sellers can easily operate the unmanned sales system while investing fewer resources, and buyers can also calculate the product each time they take it out of the box. You can conveniently pay according to the price.

한편, 도 7은 일 실시예에 따른 상품 인식 방법을 설명하기 위한 순서도이다. 도 7에 도시된 상품 인식 방법은 도1 내지 도 6를 통해 설명된 상품 인식 장치(200)에서 시계열적으로 처리하는 단계들을 포함한다. 따라서 이하에서 생략된 내용이라고 하더라도 도 1 내지 도 6에 도시된 상품 인식 장치(200)에 관하여 이상에서 기술한 내용은 도 7에 도시된 실시예에 따른 상품 인식 방법에도 이용될 수 있다.Meanwhile, Figure 7 is a flowchart for explaining a product recognition method according to an embodiment. The product recognition method shown in FIG. 7 includes time-series processing steps in the product recognition device 200 described with reference to FIGS. 1 to 6 . Therefore, even if the content is omitted below, the content described above regarding the product recognition device 200 shown in FIGS. 1 to 6 can also be used in the product recognition method according to the embodiment shown in FIG. 7.

도 7에서 도시된 바와 같이, 상품 인식 장치(200)는 영상프레임을 수집할 수 있다(S710). 예를 들어 복수 개의 카메라로부터 수집된 영상프레임을 획득하여 수집할 수 있다.As shown in FIG. 7, the product recognition device 200 can collect video frames (S710). For example, video frames collected from multiple cameras can be acquired and collected.

그리고 상품 인식 장치(200)는 수집된 영상프레임에서의 손을 식별할 수 있다 (S720). 이를 위해 손의 이동을 추적할 수 있는데 예를 들어 이전 프레임에서 식별된 손의 중심 좌표값과, 현재 프레임에서 식별된 손의 중심 좌표값의 변화량을 계산하여 소정의 임계값 이하이면 동일한 유저의 손이 이동하였음을 식별해낼 수 있다.And the product recognition device 200 can identify the hand in the collected video frame (S720). For this purpose, the movement of the hand can be tracked. For example, by calculating the change in the center coordinate value of the hand identified in the previous frame and the center coordinate value of the hand identified in the current frame, if it is below a predetermined threshold, the same user's hand It can be identified that this has moved.

또한 상품 인식 장치(200)는 손의 움직임, 손의 이동 거리, 손의 위치 및 기준선 중 적어도 하나에 기초하여 상품 식별을 트리거링할 수 있다(S730).Additionally, the product recognition device 200 may trigger product identification based on at least one of hand movement, hand movement distance, hand position, and reference line (S730).

예를 들어, 이전 영상프레임과 현재의 영상프레임의 영상 변화량을 분석하여 변화량이 일정 임계값 이상인 경우 영상에 움직이는 물체(즉 움직이는 손)가 있음을 판단하고, 상품 식별을 트리거링할 수 있고, 또한 예를 들어, 이전 영상프레임과 현재의 영상프레임 각각에서의 손(H)(또는 손(H)의 중심 좌표값)의 이동 거리를 분석하여 해당 이동거리가 소정의 임계값 이상인 경우에 상품 식별을 트리거리할 수 있다. 또한 예를 들어 상품 인식 장치(200)는 식별된 손의 위치 및 기준선에 기초하여 손이 기준선을 통과하거나 기준선의 소정 반경 내에 위치하는 것이 감지되면 상품 식별을 트리거링할 수 있다. 즉 손을 추적하였을 때 손이 기준선을 통과하면서 입출정보가 반입일 때, 도 8에서 도시된 바에 따른 알고리즘(Finite State Machine)을 기반으로 소정의 기간 이상 손이 박스 내(예: 손이 기준선 아래에 존재)에 위치한다고 판단하면 상품 식별을 트리거링할 수 있다. 시간의 흐름에 따른 프레임 복수 개를 분석함으로써 트리거링이 불필요하게 여러 번 발생할 수 있는데, 실시예에 따르면 상품 인식 장치(200)는 알고리즘(Finite State Machine)을 이용함으로써 기준선을 통과한 손이 반입 상태에서 소정의 시간 동안 위치한 경우에 트리거링을 수행하여 반복적인 트리거링을 최소화시킬 수 있다.For example, by analyzing the amount of image change between the previous video frame and the current video frame, if the amount of change is above a certain threshold, it is determined that there is a moving object (i.e. a moving hand) in the video, and product identification can be triggered. For example, by analyzing the moving distance of the hand (H) (or the center coordinate value of the hand (H)) in each of the previous video frame and the current video frame, product identification is treed if the moving distance is more than a predetermined threshold. You can distance yourself. Also, for example, the product recognition device 200 may trigger product identification when it detects that the hand passes the reference line or is located within a predetermined radius of the reference line based on the identified hand position and reference line. That is, when the hand is tracked and the hand passes the baseline and input/output information is imported, the hand is within the box (e.g., the hand is below the baseline) for more than a predetermined period of time based on the algorithm (Finite State Machine) as shown in FIG. If it is determined that it is located in (existence in), product identification can be triggered. Triggering may occur unnecessarily multiple times by analyzing a plurality of frames over time. According to the embodiment, the product recognition device 200 uses an algorithm (Finite State Machine) to detect the hand that has passed the baseline in the brought in state. Repetitive triggering can be minimized by performing triggering when located for a predetermined period of time.

상품 식별이 트리거링되면 상품 인식 장치(200)는 영상프레임 내의 상품을 식별함으로써 상품식별정보를 결정할 수 있다(S740). 추가로 상품 인식 장치(200)는 상품식별정보에 대응되는 가격을 산출할 수 있다 (S750). 이때 상품 인식 장치(200)는 상품식별정보가 소정의 기간 동안 복수 개 획득되면 복수 개의 상품식별정보에 기초하여 가격을 산출할 수 있다.When product identification is triggered, the product recognition device 200 can determine product identification information by identifying the product in the video frame (S740). Additionally, the product recognition device 200 can calculate the price corresponding to the product identification information (S750). At this time, if a plurality of pieces of product identification information are acquired during a predetermined period, the product recognition device 200 can calculate the price based on the plurality of pieces of product identification information.

추가로 실시예에 따르면 상품 인식 장치(200)는 또 다른 카메라를 통해, 손의 사람 얼굴에 관한 영상프레임을 획득할 수 있다. 예를 들어, 박스에 설치된 카메라를 통해 손이 인식되고 상품 식별이 트리거링되면 또 다른 카메라를 통해 해당 손의 주인인 사람 얼굴을 촬영하고 얼굴에 관한 영상프레임에 기초하여 개인정보를 결정하며, 개인정보 및 상품식별정보를 매칭시켜 통계정보를 생성할 수 있다. Additionally, according to an embodiment, the product recognition device 200 may acquire an image frame of a person's face in the hand through another camera. For example, when a hand is recognized through a camera installed in a box and product identification is triggered, the face of the person who owns the hand is photographed through another camera and personal information is determined based on the video frame of the face. and product identification information can be matched to generate statistical information.

상술된 바에 따른 상품 인식 방법은, 복수 개의 선반으로 구성된 박스에 대해서도 적용될 수 있다. The product recognition method as described above can also be applied to boxes composed of a plurality of shelves.

예를 들어 복수 개의 선반 각각을 박스(B)로 취급하여 각 선반 별로 복수 개의 카메라가 설치됨으로써 일 실시예에 따른 상품 인식 방법이 수행될 수 있고 그에 따라 상품 인식 장치(100)는 각 선반 별 구매자가 결제해야 할 가격을 산출할 수 있다.For example, the product recognition method according to an embodiment can be performed by treating each of a plurality of shelves as a box (B) and installing a plurality of cameras on each shelf, and accordingly, the product recognition device 100 detects the purchaser for each shelf. can calculate the price to be paid.

상기와 같이 설명된 상품 인식 방법은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는, 컴퓨터로 판독 가능한 매체의 형태로도 구현될 수 있다. 이때, 명령어 및 데이터는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터 기록 매체일 수 있는데, 컴퓨터 기록 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 예를 들어, 컴퓨터 기록 매체는 HDD 및 SSD 등과 같은 마그네틱 저장 매체, CD, DVD 및 블루레이 디스크 등과 같은 광학적 기록 매체, 또는 네트워크를 통해 접근 가능한 서버에 포함되는 메모리일 수 있다. The product recognition method described above can also be implemented in the form of a computer-readable medium that stores instructions and data executable by a computer. At this time, instructions and data can be stored in the form of program code, and when executed by a processor, they can generate a certain program module and perform a certain operation. Additionally, computer-readable media can be any available media that can be accessed by a computer and includes both volatile and non-volatile media, removable and non-removable media. Additionally, computer-readable media may be computer recording media, which are volatile and non-volatile implemented in any method or technology for storage of information such as computer-readable instructions, data structures, program modules, or other data. It can include both volatile, removable and non-removable media. For example, computer recording media may be magnetic storage media such as HDDs and SSDs, optical recording media such as CDs, DVDs, and Blu-ray discs, or memory included in servers accessible through a network.

상기와 같이 설명된 상품 인식 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다. The product recognition method described above may be implemented as a computer program (or computer program product) including instructions executable by a computer. A computer program includes programmable machine instructions processed by a processor and may be implemented in a high-level programming language, object-oriented programming language, assembly language, or machine language. . Additionally, the computer program may be recorded on a tangible computer-readable recording medium (eg, memory, hard disk, magnetic/optical medium, or solid-state drive (SSD)).

상기와 같이 설명된 상품 인식 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.The product recognition method described above can be implemented by executing the above-described computer program by a computing device. The computing device may include at least some of a processor, memory, a storage device, a high-speed interface connected to the memory and a high-speed expansion port, and a low-speed interface connected to a low-speed bus and a storage device. Each of these components is connected to one another using various buses and may be mounted on a common motherboard or in some other suitable manner.

여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다. Here, the processor can process instructions within the computing device, such as displaying graphical information to provide a graphic user interface (GUI) on an external input or output device, such as a display connected to a high-speed interface. These may include instructions stored in memory or a storage device. In other embodiments, multiple processors and/or multiple buses may be utilized along with multiple memories and memory types as appropriate. Additionally, the processor may be implemented as a chipset consisting of chips including multiple independent analog and/or digital processors.

또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다. Memory also stores information within a computing device. In one example, memory may be comprised of volatile memory units or sets thereof. As another example, memory may consist of non-volatile memory units or sets thereof. The memory may also be another type of computer-readable medium, such as a magnetic or optical disk.

그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.And the storage device can provide a large amount of storage space to the computing device. A storage device may be a computer-readable medium or a configuration that includes such media, and may include, for example, devices or other components within a storage area network (SAN), such as a floppy disk device, a hard disk device, an optical disk device, Or it may be a tape device, flash memory, or other similar semiconductor memory device or device array.

이상의 실시 예들에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.The term '~unit' used in the above embodiments refers to software or hardware components such as FPGA (field programmable gate array) or ASIC, and the '~unit' performs certain roles. However, '~part' is not limited to software or hardware. The '~ part' may be configured to reside in an addressable storage medium and may be configured to reproduce on one or more processors. Therefore, as an example, '~ part' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables.

구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.The functions provided within the components and 'parts' may be combined into a smaller number of components and 'parts' or may be separated from additional components and 'parts'.

뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다. 상술된 실시예들은 예시를 위한 것이며, 상술된 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 상술된 실시예들이 갖는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 상술된 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.In addition, the components and 'parts' may be implemented to regenerate one or more CPUs within the device or secure multimedia card. The above-described embodiments are for illustrative purposes, and those skilled in the art will recognize that the above-described embodiments can be easily modified into other specific forms without changing the technical idea or essential features of the above-described embodiments. You will understand. Therefore, the above-described embodiments should be understood in all respects as illustrative and not restrictive. For example, each component described as unitary may be implemented in a distributed manner, and similarly, components described as distributed may also be implemented in a combined form.

본 명세서를 통해 보호받고자 하는 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태를 포함하는 것으로 해석되어야 한다.The scope sought to be protected through this specification is indicated by the patent claims described later rather than the detailed description above, and should be interpreted to include the meaning and scope of the claims and all changes or modified forms derived from the equivalent concept. .

200: 상품 인식 장치
210: 메모리 220: 통신부
230: 제어부
310: 프레임수집부 320: 추적부
330: 트리거링부 340: 식별부
350: 가격산출부200: Product recognition device
210: memory 220: communication department
230: control unit
310: frame collection unit 320: tracking unit
330: triggering unit 340: identification unit
350: Price calculation unit

Claims (13)

박스에 위치할 수 있는 상품리스트를 저장하는 메모리; 및
영상프레임을 수집하고, 수집된 영상프레임에서의 손을 식별하며, 손의 움직임, 손의 이동 거리, 손의 위치 및 기준선 중 적어도 하나에 기초하여 상품 식별을 트리거링하고, 상기 상품을 식별함으로써 상품식별정보를 결정하는 제어부를 포함하는 상품 인식 장치. A memory that stores a list of products that can be located in the box; and
Product identification by collecting video frames, identifying hands in the collected video frames, triggering product identification based on at least one of hand movement, hand movement distance, hand position, and reference line, and identifying the product. A product recognition device including a control unit that determines information. 제1항에 있어서,
상기 제어부는,
상기 손의 사람 얼굴에 관한 영상프레임을 획득하면 상기 얼굴에 관한 영상프레임에 기초하여 상기 얼굴의 개인정보를 결정하고, 상기 개인정보 및 상기 상품식별정보에 기초하여 통계정보를 생성하는, 상품 인식 장치.According to paragraph 1,
The control unit,
A product recognition device that, upon obtaining an image frame of the human face of the hand, determines personal information of the face based on the image frame of the face, and generates statistical information based on the personal information and the product identification information. . 제1항에 있어서,
상기 제어부는,
복수 개의 카메라로부터 수집된 영상프레임을 획득하는, 상품 인식 장치.According to paragraph 1,
The control unit,
A product recognition device that acquires video frames collected from multiple cameras. 제3항에 있어서,
상기 제어부는,
상기 복수 개의 카메라 중 일 카메라에 의해 획득된 영상프레임에 기초하여 결정된 상품식별정보를, 상기 복수 개의 카메라 중 다른 카메라에 의해 획득된 영상프레임에 기초하여 검증하는, 상품 인식 장치.According to paragraph 3,
The control unit,
A product recognition device that verifies product identification information determined based on an image frame acquired by one of the plurality of cameras based on an image frame acquired by another camera among the plurality of cameras. 제1항에 있어서,
상기 제어부는,
상기 상품식별정보가 소정의 기간 동안 복수 개 획득되면 복수 개의 상품식별정보에 기초하여 가격을 산출하는, 상품 인식 장치.According to paragraph 1,
The control unit,
A product recognition device that calculates a price based on a plurality of pieces of product identification information when a plurality of pieces of the product identification information are acquired during a predetermined period. 제1항에 있어서,
상기 제어부는,
상기 손에 대응되는 소정의 손 제스처를 식별하면 상품 인식을 종료하는, 상품 인식 장치.According to paragraph 1,
The control unit,
A product recognition device that terminates product recognition when a predetermined hand gesture corresponding to the hand is identified. 상품 인식 장치가 상품을 인식하는 방법으로서,
영상프레임을 수집하는 단계;
수집된 영상프레임에서의 손을 식별하는 단계;
손의 움직임, 손의 이동 거리, 손의 위치 및 기준선 중 적어도 하나에 기초하여 상품 식별을 트리거링하는 단계; 및
상기 상품을 식별함으로써 상품식별정보를 결정하는 단계를 포함하는, 상품 인식 방법.As a method for a product recognition device to recognize a product,
Collecting video frames;
Identifying hands in collected video frames;
Triggering product identification based on at least one of hand movement, hand movement distance, hand position, and reference line; and
A product recognition method comprising determining product identification information by identifying the product. 제7항에 있어서,
상기 방법은,
상기 손의 사람 얼굴에 관한 영상프레임을 획득하는 단계;
상기 얼굴에 관한 영상프레임에 기초하여 상기 얼굴의 개인정보를 결정하는 단계; 및
상기 개인정보 및 상기 상품식별정보에 기초하여 통계정보를 생성하는 단계를 더 포함하는, 상품 인식 방법.In clause 7,
The above method is,
Obtaining an image frame of the human face of the hand;
determining personal information about the face based on an image frame about the face; and
Product recognition method further comprising generating statistical information based on the personal information and the product identification information. 제7항에 있어서,
상기 영상프레임을 수집하는 단계는,
복수 개의 카메라로부터 수집된 영상프레임을 획득하는 단계를 포함하는, 상품 인식 방법.In clause 7,
The step of collecting the video frames is,
A product recognition method comprising acquiring image frames collected from a plurality of cameras. 제9항에 있어서,
상기 상품을 식별하는 단계는,
상기 복수 개의 카메라 중 일 카메라에 의해 획득된 영상프레임에 기초하여 결정된 상품식별정보를, 상기 복수 개의 카메라 중 다른 카메라에 의해 획득된 영상프레임에 기초하여 검증하는 단계를 포함하는, 상품 인식 방법.According to clause 9,
The step of identifying the product is,
A product recognition method comprising the step of verifying product identification information determined based on an image frame acquired by one of the plurality of cameras based on an image frame acquired by another camera among the plurality of cameras. 제7항에 있어서,
상기 상품식별정보가 소정의 기간 동안 복수 개 획득되면 복수 개의 상품식별정보에 기초하여 가격을 산출하는 단계를 더 포함하는, 상품 인식 방법.In clause 7,
A product recognition method further comprising calculating a price based on a plurality of pieces of product identification information when a plurality of pieces of product identification information are acquired during a predetermined period. 제7항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.A computer-readable recording medium on which a program for performing the method according to claim 7 is recorded. 상품 인식 장치에 의해 수행되며, 제7항에 기재된 상품 인식 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램.A computer program performed by a product recognition device and stored in a medium to perform the product recognition method described in paragraph 7.