KR20210156143A

KR20210156143A - Input apparatus of elevator using hand gesture

Info

Publication number: KR20210156143A
Application number: KR1020200073903A
Authority: KR
Inventors: 이용진
Original assignee: (주)한우리아이티
Priority date: 2020-06-17
Filing date: 2020-06-17
Publication date: 2021-12-24
Also published as: KR102352616B1

Abstract

The present invention relates to an elevator input device using hand gestures. The elevator input device includes: an image collecting unit which collects a platform image or collects an interior image of an elevator car; a hand gesture recognition unit which recognizes the hand gestures included in the collected images; and an input signal generating unit which generates an input signal according to the recognized hand gestures. Accordingly, the present elevator input device can prevent virus propagation through contact with an input button, and aging due to the contact does not occur, so that a life of the elevator input device can be extended.

Description

손동작을 이용한 엘리베이터 입력장치{Input apparatus of elevator using hand gesture}Elevator input device using hand gestures

본 발명은 엘리베이터 입력장치에 관한 것으로, 더욱 상세하게는 엘리베이터 승객이 접촉 없이 손동작만으로도 엘리베이터 카를 호출하거나 또는 엘리베이터 카의 도어를 개폐하거나 또는 엘리베이터 카의 행선층을 입력 가능하도록 하는 손동작을 이용한 엘리베이터 입력장치에 관한 것이다.The present invention relates to an elevator input device, and more particularly, an elevator input device using a hand gesture that enables an elevator passenger to call an elevator car, open and close the elevator car door, or input a destination floor of the elevator car with only a hand gesture without contact. is about

일반적으로, 주거용도 및 업무용도 등으로 건축되는 다양한 종류의 고층 건물에는 해당 건물을 찾는 승객의 수직방향으로의 원활한 이동을 위해 엘리베이터가 설치되며, 이와 같은 엘리베이터에는 엘리베이터 카를 호출하거나 또는 엘리베이터 도어를 개폐하거나 또는 행선층을 입력하기 위한 입력장치가 구비된다.In general, elevators are installed in various types of high-rise buildings constructed for residential and business purposes for smooth vertical movement of passengers looking for the building. Or an input device for inputting the destination floor is provided.

이러한 입력장치는 승객이 조작하여 엘리베이터 카를 호출하기 위해 각 승강장에 배치되는 호출 버튼과 엘리베이터 카의 도어를 개폐하기 위한 개폐 버튼과 엘리베이터 카에 탑승한 승객이 행선층을 입력하기 위한 행선층 버튼이 구비되며, 승객이 버튼을 조작하면 조작된 버튼에 따른 입력신호를 생성한다. This input device includes a call button disposed on each platform to call an elevator car by operating it by a passenger, an opening/closing button for opening and closing the door of the elevator car, and a destination floor button for a passenger in the elevator car to enter a destination floor When the passenger operates the button, an input signal is generated according to the operated button.

그런데 종래 입력장치에서 버튼 조작은 승객이 직접 버튼을 누르거나 터치하여 작동되기 때문에 버튼 조작을 위해 승객은 손과 같은 신체의 일부를 버튼과 접촉시켜야 한다. 다수의 승객이 이용하는 엘리베이터 버튼의 특성상 버튼에는 다수 승객의 신체 일부가 접촉되며 따라서 엘리베이터 버튼에는 세균 또는 바이러스 등이 서식하며 이러한 세균이나 바이러스는 버튼을 통해 신체 일부를 접촉하는 승객에 옮겨질 수 있다는 문제점이 발생한다. 또한, 이러한 접촉이 요구되는 버튼은 승객의 조작 과정에서 노후화가 진행되기 때문에 주기적인 수리 또는 교체가 요구된다는 문제점이 발생한다.However, in the conventional input device, since the button operation is operated by the passenger directly pressing or touching the button, the passenger must contact the button with a part of the body, such as a hand, to operate the button. Due to the nature of the elevator buttons used by many passengers, the buttons come into contact with parts of the body of many passengers, and therefore bacteria or viruses inhabit the elevator buttons. This happens. In addition, the button that requires such a contact has a problem that periodic repair or replacement is required because aging progresses during the operation of the passenger.

대한민국 등록특허 제10-1613542호Republic of Korea Patent Registration No. 10-1613542

본 발명은 위에서 언급한 종래 기술이 가지는 문제점을 해결하기 위한 것으로, 본 발명이 이루고자 하는 목적은 엘리베이터 승객이 접촉 없이 손동작만으로도 엘리베이터 카를 호출하거나 또는 엘리베이터 카의 도어를 개폐하거나 또는 엘리베이터 카의 행선층을 입력 가능하도록 하는 엘리베이터 입력장치를 제공하는 것이다.The present invention is to solve the problems of the prior art mentioned above, and an object of the present invention is to call the elevator car, open and close the elevator car door, or open the destination floor of the elevator car with only hand gestures without contact by elevator passengers. It is to provide an elevator input device that enables input.

본 발명이 이루고자 하는 다른 목적은 승객의 의도하지 않은 손동작을 인식하여 입력신호가 생성되는 것을 방지하기 위해 특정 조건이 충족되었을 때에만 손동작을 인식하도록 하는 엘리베이터 입력장치를 제공하는 것이다.Another object of the present invention is to provide an elevator input device that recognizes a hand gesture only when a specific condition is satisfied in order to prevent an input signal from being generated by recognizing an unintentional hand gesture of a passenger.

본 발명이 이루고자 하는 또 다른 목적은 엘리베이터 카에 승객이 탑승할 때 소정 시간 동안 활성화되어 승객의 손동작을 인식하되, 다수의 승객이 탑승하여 다수의 행선층이 입력될 때에는 활성화 시간이 연장되어 다수의 승객이 모두 행선층을 입력할 수 있도록 하는 엘리베이터 입력장치를 제공하는 것이다.Another object of the present invention is to be activated for a predetermined time when a passenger boards an elevator car to recognize a passenger's hand gesture, but when a plurality of passengers board and a plurality of destination floors are input, the activation time is extended and a plurality of It is to provide an elevator input device that allows all passengers to input a destination floor.

본 발명이 이루고자 하는 또 다른 목적은 엘리베이터 카에 탑승한 다수의 승객이 순서를 기다리지 않고 동시에 손동작을 통해 행선층을 입력할 수 있도록 하는 엘리베이터 입력장치를 제공하는 것이다.Another object of the present invention is to provide an elevator input device that allows a plurality of passengers in an elevator car to simultaneously input a destination floor through a hand gesture without waiting for an order.

본 발명의 일 실시예에 따른 손동작을 이용한 엘리베이터 입력장치는, 승강장 영상을 수집하거나 또는 엘리베이터 카의 내부 영상을 수집하는 하나 이상의 영상 수집부와, 수집한 영상에 포함된 손동작을 인식하는 손동작 인식부, 그리고 인식한 손동작에 따른 입력신호를 생성하는 입력신호 생성부를 포함한다.An elevator input device using a hand gesture according to an embodiment of the present invention includes one or more image collecting units that collect a platform image or an image inside an elevator car, and a hand gesture recognition unit that recognizes a hand gesture included in the collected image , and an input signal generator for generating an input signal according to the recognized hand gesture.

이때, 손동작 인식부는 수집한 승강장 영상 또는 내부 영상에서 소정 크기 이상의 손을 추적하는 손 추적부와, 추적한 손의 모양 또는 손의 움직임에 기초하여 손동작을 판단하는 손동작 판단부를 포함할 수 있다.In this case, the hand gesture recognition unit may include a hand tracker that tracks a hand of a predetermined size or larger in the collected platform image or interior image, and a hand gesture determiner that determines a hand gesture based on the tracked hand shape or hand movement.

또한, 손동작 판단부는 승강장 영상에서 추적한 손의 움직임에 기초하여 엘리베이터 카를 호출하는 호출 동작을 판단하는 호출 동작 판단부를 포함하고, 호출 동작 판단부는 추적한 손의 움직임 방향에 기초하여 상행 호출 동작 또는 하행 호출 동작을 판단할 수 있다.In addition, the hand motion determination unit includes a call action determination unit that determines a call operation to call an elevator car based on the motion of the hand tracked in the platform image, and the call action determination unit includes an ascending call operation or a descending movement based on the tracked hand movement direction. The call operation can be determined.

또한, 손동작 판단부는 내부 영상에서 추적한 손의 움직임에 기초하여 상게 엘리베이터 카 도어를 개폐하는 개폐 동작을 판단하는 개폐 동작 판단부를 포함하고, 개폐 동작 판단부는 추적한 손의 오므리거나 또는 펴는 움직임에 기초하여 개폐 동작을 판단할 수 있다.In addition, the hand motion determination unit includes an opening/closing operation determination unit that determines an opening/closing operation to open and close the elevator car door based on the motion of the hand tracked in the internal image, and the opening/closing operation determination unit is based on the tracked hand retracting or unfolding movement Thus, the opening/closing operation can be determined.

또한, 손동작 판단부는 내부 영상에서 추적한 손의 움직임에 기초하여 엘리베이터 카의 행선층을 지정하는 행선층 동작을 판단하는 행선층 동작 판단부를 포함하고, 행선층 동작 판단부는 추적한 손의 검지 이동 경로에 기초하여 행선층 동작을 판단할 수 있다.In addition, the hand motion determination unit includes a destination floor motion determination unit for determining the destination floor operation for designating the destination floor of the elevator car based on the movement of the hand tracked in the internal image, and the destination floor operation determination unit includes the tracked index finger movement path of the hand It is possible to determine the destination floor operation based on the .

또한, 엘리베이터 입력장치는 활성화 조건이 충족되었는지 판단하고 활성화 조건이 충족되면 영상 수집부를 활성화시키는 활성화부를 더 포함할 수 있다.In addition, the elevator input device may further include an activation unit that determines whether the activation condition is satisfied and activates the image collection unit when the activation condition is satisfied.

또한, 엘리베이터 입력장치는 객체의 접근을 감지하는 접근 감지 센서를 더 포함하고, 활성화부는 접근 감지 센서로부터 소정 거리 이내로 접근한 객체가 임계 시간 이상 연속하여 감지되면 영상 수집부를 활성화시킬 수 있다.In addition, the elevator input device may further include an approach detection sensor for detecting the approach of the object, and the activation unit may activate the image collection unit when an object approaching within a predetermined distance from the approach detection sensor is continuously detected for more than a threshold time.

또한, 활성화부는 엘리베이터 카의 도어가 열리면 영상 수집부 중 내부 영상을 수집하는 내부 영상 수집부를 활성화시키며, 도어가 닫힌 시점으로부터의 경과 시간이 설정 시간을 초과하면 내부 영상 수집부를 비활성화시킬 수 있다.In addition, the activator may activate an internal image collecting unit that collects an internal image among the image collecting units when the door of the elevator car is opened, and may deactivate the internal image collecting unit when the elapsed time from when the door is closed exceeds a set time.

또한, 활성화부는 도어가 닫힌 시점으로부터의 경과 시간이 설정 시간을 초과하기 전에 손동작이 인식되면, 경과 시간을 초기화하고 다시 카운트할 수 있다.In addition, if a hand gesture is recognized before the elapsed time from the door closing time exceeds the set time, the activator may initialize the elapsed time and count again.

또한, 영상 수집부 중 적어도 하나의 영상 수집부는 엘리베이터 카 천장에 배치될 수 있다.In addition, at least one image collecting unit among the image collecting units may be disposed on the elevator car ceiling.

또한, 손동작 인식부는 하나의 내부 영상에서 동시에 다수개의 손동작을 인식 가능할 수 있다.Also, the hand gesture recognition unit may recognize a plurality of hand gestures simultaneously in one internal image.

본 발명에 의하면, 승강장 또는 엘리베이터 카 내부의 영상을 수집하고 수집한 영상 내의 손동작을 인식하고 인식한 손동작에 따른 입력신호를 생성하여 승객이 버튼을 누르거나 터치하기 않고도 엘리베이터 카를 호출하거나 또는 엘리베이터 카의 도어를 개폐하거나 또는 엘리베이터 카의 행선층을 입력 가능하도록 함으로써 입력 버튼의 접촉을 통한 바이러스 전파를 방지할 수 있으며 버튼 접촉에 의한 노후화가 발생하지 않아 엘리베이터 입력장치의 수명이 연장될 수 있다.According to the present invention, an image inside a platform or an elevator car is collected, a hand gesture in the collected image is recognized, and an input signal is generated according to the recognized hand gesture, so that the passenger calls the elevator car without pressing or touching a button or the elevator car. By opening and closing the door or making it possible to input the destination floor of the elevator car, virus propagation through contact of the input button can be prevented, and the lifespan of the elevator input device can be extended because aging due to button contact does not occur.

또한, 본 발명에 따른 엘리베이터 입력장치는 활성화 조건이 충족되었을 때에만 영상 수집부가 활성화되어 승객이 의도하지 않은 손동작에 의해 의도하지 않은 입력신호가 생성되는 것을 방지할 수 있고, 이로 인해 엘리베이터의 오동작이나 오동작으로 인한 불필요한 전력 소모를 방지할 수 있다.In addition, in the elevator input device according to the present invention, the image collection unit is activated only when the activation condition is satisfied, and it is possible to prevent an unintentional input signal from being generated by the passenger's unintentional hand gestures, thereby preventing malfunction of the elevator or Unnecessary power consumption due to malfunction can be prevented.

또한, 본 발명에 따른 엘리베이터 입력장치는 엘리베이터 카의 도어가 개방되고 이후 도어가 닫힌 시점부터 설정 시간까지 손동작에 의한 입력이 활성화되도록 하여 엘리베이터 카에 새로운 승객이 탑승할 때마다 손동작에 의한 입력이 가능하도록 하되, 카의 도어가 닫힌 시점으로부터 설정 시간이 경과하기 전에 손동작이 인식되면 경과 시간을 초기화하고 다시 카운트함으로써 다수의 승객이 탑승하여 다수의 행선층이 입력될 때에는 활성화 시간이 연장되어 다수의 승객이 모두 행선층을 입력 가능하도록 할 수 있다.In addition, the elevator input device according to the present invention enables input by hand gestures to be activated from the time when the door of the elevator car is opened and then the door is closed to a set time, so that whenever a new passenger boards in the elevator car, input by hand gesture is possible However, if a hand gesture is recognized before the set time elapses from the time the car door is closed, the elapsed time is initialized and counted again. All of these can make it possible to input the destination floor.

또한, 본 발명에 따른 엘리베이터 입력장치는 적어도 하나의 영상 수집부가 엘리베이터 카 천장에 배치되어 엘리베이터 카 내부의 승객이 어느 위치에 있더라도 천장의 영상 수집부를 향해 손동작을 함으로써 행선층을 입력할 수 있으며, 손동작 인식부가 하나의 영상에 포함된 다수개의 손동작을 인식 가능하도록 구성되어 동시에 다수의 승객이 천장을 향해 손동작으로 행선층을 입력 가능하므로 다수의 승객이 순서를 기다릴 필요 없이 동시에 행선층을 입력할 수 있다.In addition, in the elevator input device according to the present invention, at least one image collecting unit is disposed on the elevator car ceiling, so that no matter where the passenger is in the elevator car, the destination floor can be input by hand gestures toward the image collecting unit on the ceiling, Since the recognition unit is configured to recognize multiple hand gestures included in one image, multiple passengers can simultaneously input the destination floor by hand gestures toward the ceiling, so multiple passengers can enter the destination floor at the same time without waiting for their turn .

도 1은 본 발명의 일 실시예에 따른 손동작을 이용한 엘리베이터 입력장치의 기능 블록도이다.
도 2는 본 발명의 일 실시예에 따른 손동작 인식부의 기능 블록도이다.
도 3은 본 발명의 일 실시예에 따른 호출 동작의 일례를 도시한 도면이다.
도 4 내지 도 5는 본 발명의 일 실시예에 따른 개폐 동작의 일례를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 행선층 동작의 일례를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 활성화부의 기능 블록도이다.
도 8은 본 발명의 일 실시예에 따른 영상 수집부의 활성화 및 비활성화 방법을 도시한 순서도이다.
도 9는 본 발명의 다른 실시예에 따른 손동작을 이용한 엘리베이터 입력장치의 기능 블록도이다.
도 10 은 본 발명의 다른 실시예에 따른 손동작 인식부의 기능 블록도이다.1 is a functional block diagram of an elevator input device using a hand gesture according to an embodiment of the present invention.
2 is a functional block diagram of a hand gesture recognition unit according to an embodiment of the present invention.
3 is a diagram illustrating an example of a call operation according to an embodiment of the present invention.
4 to 5 are diagrams illustrating an example of an opening/closing operation according to an embodiment of the present invention.
6 is a diagram illustrating an example of a destination layer operation according to an embodiment of the present invention.
7 is a functional block diagram of an activation unit according to an embodiment of the present invention.
8 is a flowchart illustrating a method of activating and deactivating an image collection unit according to an embodiment of the present invention.
9 is a functional block diagram of an elevator input device using a hand gesture according to another embodiment of the present invention.
10 is a functional block diagram of a hand gesture recognition unit according to another embodiment of the present invention.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. First of all, in adding reference numerals to the components of each drawing, it should be noted that the same components are given the same reference numerals as much as possible even though they are indicated on different drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.

도 1은 본 발명의 일 실시예에 따른 손동작을 이용한 엘리베이터 입력장치의 기능 블록도이다.1 is a functional block diagram of an elevator input device using a hand gesture according to an embodiment of the present invention.

본 실시예에 따른 손동작을 이용한 엘리베이터 입력장치(이하, '입력장치' 한다)는 승객이 접촉 없이 손동작만으로도 엘리베이터 카를 호출하거나 또는 엘리베이터 카의 도어를 개폐하거나 또는 엘리베이터 카의 행선층을 입력 가능하도록 한다. 여기서 본 실시예에 따른 입력장치는 다른 입력수단 없이 엘리베이터에 단독 배치될 수 있지만, 바람직하게는 종래의 버튼 또는 터치식 입력장치와 함께 배치되어 사용될 수 있다.The elevator input device (hereinafter, referred to as 'input device') using a hand gesture according to this embodiment enables the passenger to call the elevator car, open and close the elevator car door, or input the destination floor of the elevator car with only a hand gesture without contact. . Here, the input device according to the present embodiment may be independently disposed in the elevator without other input means, but preferably may be used in combination with a conventional button or touch input device.

도 1을 참조하여 보다 상세하게 설명하면 입력장치는 승강장 영상을 수집하거나 또는 엘리베이터 카의 내부 영상을 수집하는 영상 수집부(100)와, 수집한 영상에 포함된 승객의 손동작을 인식하는 손동작 인식부(200)와, 인식한 손동작에 따른 입력신호를 생성하는 입력신호 생성부(300)와, 소정 거리 내의 객체를 감지하는 접근 감지 센서(400), 그리고 영상 수집부(100)를 활성화 또는 비활성화시키는 활성화부(500)를 포함하여 구성될 수 있다.When described in more detail with reference to FIG. 1 , the input device includes an image collection unit 100 that collects platform images or images inside an elevator car, and a hand gesture recognition unit that recognizes hand gestures of passengers included in the collected images. 200, an input signal generating unit 300 that generates an input signal according to a recognized hand gesture, an approach detecting sensor 400 detecting an object within a predetermined distance, and activating or deactivating the image collecting unit 100 It may be configured to include the activation unit 500 .

영상 수집부(100)는 각 층의 승강장 또는 엘리베이터 카의 내부에 설치되어 승강장 영상 또는 내부 영상을 수집한다. 바람직하게, 승강장에 설치되는 영상 수집부(100)는 엘리베이터 카 호출 버튼 주변에 배치되어 호출 버튼 주변에서 행해지는 손동작을 수집할 수 있고, 엘리베이터 카 내부에 설치되는 영상 수집부(100)는 도어 개폐 버튼 또는 행선층 입력 버튼 주변에 배치되어 도어 개폐 버튼 또는 행선층 입력 버튼 주변에서 행해지는 손동작 영상을 수집할 수 있다. 또한, 엘리베이터 카의 규모에 따라 하나의 엘리베이터 카에 다수개의 영상 수집부(100)가 설치될 수 있다.The image collection unit 100 is installed inside the platform or elevator car of each floor to collect the platform image or the interior image. Preferably, the image collection unit 100 installed in the platform is disposed around the elevator car call button to collect hand gestures performed around the call button, and the image collection unit 100 installed inside the elevator car opens and closes the door It is disposed around the button or the destination floor input button to collect images of hand gestures performed around the door opening/closing button or destination floor input button. In addition, a plurality of image collection units 100 may be installed in one elevator car according to the size of the elevator car.

손동작 인식부(200)는 영상 수집부(100)에서 수집한 승강장 영상 또는 내부 영상에 포함된 손을 추적하고 추적한 손의 손동작을 인식하는데, 이러한 손동작 인식부(200)에 대한 보다 상세한 설명은 도 2 내지 도 6을 참조하여 후술하기로 한다.The hand gesture recognition unit 200 tracks the hand included in the platform image or the interior image collected by the image collection unit 100 and recognizes the hand gesture of the tracked hand. A more detailed description of this hand gesture recognition unit 200 is It will be described later with reference to FIGS. 2 to 6 .

손동작 인식부(200)에서 손동작을 인식하면 입력신호 생성부(300)는 인식한 손동작에 따른 입력신호를 생성한다. 이때, 입력신호 생성부(300)에서 생성되는 입력신호로는 각 승강장에서의 상향 호출 입력신호와, 각 승강장에서의 하향 호출 입력신호와, 엘리베이터 카 도어의 열림 입력신호와, 닫힘 입력신호, 그리고 행선층 입력신호가 포함된다.When the hand gesture recognition unit 200 recognizes a hand gesture, the input signal generator 300 generates an input signal according to the recognized hand gesture. At this time, the input signals generated by the input signal generating unit 300 include an upward call input signal at each platform, a downward call input signal at each platform, an open input signal of an elevator car door, a closing input signal, and The destination floor input signal is included.

이러한 영상 수집부(100)와, 손동작 인식부(200), 그리고 입력신호 생성부(300)에 의해 본 실시예에 따른 입력장치는 승객이 버튼을 누르거나 터치하기 않고도 엘리베이터 카를 호출하거나 또는 엘리베이터 카의 도어를 개폐하거나 또는 엘리베이터 카의 행선층을 입력 가능하도록 함으로써, 입력 버튼의 접촉을 통한 바이러스 전파를 방지할 수 있으며 접촉에 의한 노후화가 발생하지 않아 엘리베이터 입력장치의 수명이 연장될 수 있다.The input device according to the present embodiment by the image collection unit 100, the hand gesture recognition unit 200, and the input signal generation unit 300 allows the passenger to call the elevator car without pressing or touching the button or to the elevator car. By opening/closing the door of the elevator car or making it possible to input the destination floor of the elevator car, virus propagation through the contact of the input button can be prevented, and deterioration due to contact does not occur, so that the life of the elevator input device can be extended.

한편, 접근 감지 센서(400)는 각 층의 승강장 또는 엘리베이터 카의 내부에 설치되어 소정 거리 이내에 접근한 객체를 감지한다. 접근 감지 센서(400)는 영상 수집부(100) 주변에 배치될 수 있으며, 접근 감지 센서(400)로는 전자 감응식 센서가 적용될 수 있으나 이에 한정하는 것은 아니며, 레이저 센서나 초음파 레벨 센서와 같이 객체의 접근 거리를 감지할 수 있는 센서도 접근 감지 센서(400)로 적용 가능하다.On the other hand, the approach detection sensor 400 is installed in the platform of each floor or inside the elevator car to detect an object approaching within a predetermined distance. The proximity sensor 400 may be disposed around the image collection unit 100 , and an electronic sensor may be applied as the approach detection sensor 400 , but is not limited thereto, and an object such as a laser sensor or an ultrasonic level sensor A sensor capable of detecting an approach distance of a can also be applied as the approach detection sensor 400 .

활성화부(500)는 활성화 조건이 충족되면 영상 수집부(100)를 활성화시켜 승객의 손동작을 인식 가능한 상태가 되도록 하거나 또는 비활성화 조건이 충족되면 영상 수집부(100)를 비활성화시켜 승객의 손동작 인식이 불가능한 상태가 되도록 할 수 있다. 여기서 활성화부(500)는 영상 수집부(100)가 아닌 손동작 인식부(200) 또는 입력신호 생성부(300)를 활성화시킴으로써 승객의 손동작을 인식 가능한 상태가 되도록 하거나, 또는 손동작 인식부(200) 또는 입력신호 생성부(300)를 비활성화시킴으로써 승객의 손동작을 인식 불가능한 상태가 되도록 할 수 있다.When the activation condition is satisfied, the activation unit 500 activates the image collection unit 100 so that the passenger's hand gesture can be recognized, or when the deactivation condition is satisfied, the image collection unit 100 is deactivated to recognize the passenger's hand gesture. can make it impossible. Here, the activation unit 500 activates the hand gesture recognition unit 200 or the input signal generation unit 300 rather than the image collection unit 100 so that the passenger's hand gesture can be recognized, or the hand gesture recognition unit 200 Alternatively, by deactivating the input signal generating unit 300 , the passenger's hand gesture may be rendered unrecognizable.

바람직하게, 활성화부(500)는 접근 감지 센서(400)에서 임계 시간 이상 연속하여 일정 거리 이내에 위치하는 객체를 감지하면 영상 수집부(100)를 활성화시킬 수 있는데, 이를 포함한 활성화부(500)에 관한 보다 상세한 설명은 도 7 내지 도 8을 참조하여 후술하기로 한다.Preferably, the activation unit 500 may activate the image collection unit 100 when the approach detection sensor 400 detects an object located within a predetermined distance continuously for a threshold period of time or longer. A more detailed description will be given later with reference to FIGS. 7 to 8 .

도 2는 본 발명의 일 실시예에 따른 손동작 인식부의 기능 블록도이고, 도 3은 본 발명의 일 실시예에 따른 호출 동작의 일례를 도시한 도면이며, 도 4 내지 도 5는 본 발명의 일 실시예에 따른 개폐 동작의 일례를 도시한 도면이다. 그리고 도 6은 본 발명의 일 실시예에 따른 행선층 동작의 일례를 도시한 도면이다.2 is a functional block diagram of a hand gesture recognition unit according to an embodiment of the present invention, FIG. 3 is a diagram illustrating an example of a call operation according to an embodiment of the present invention, and FIGS. 4 to 5 are one of the present invention It is a diagram illustrating an example of an opening/closing operation according to an embodiment. And Figure 6 is a view showing an example of the destination layer operation according to an embodiment of the present invention.

도 2를 참조하면 본 발명의 일 실시예에 따른 손동작 인식부(200)는 수집한 승강장 영상 또는 내부 영상에서 손을 추적하는 손 추적부(210)와, 추적한 손의 모양 또는 손의 움직임에 기초하여 손동작을 판단하는 손동작 판단부(220)를 포함할 수 있다.Referring to FIG. 2 , the hand gesture recognition unit 200 according to an embodiment of the present invention includes a hand tracking unit 210 that tracks a hand in the collected platform image or interior image, and a hand gesture recognition unit 210 that tracks the shape of the hand or movement of the hand. It may include a hand motion determination unit 220 that determines a hand motion based on the hand motion.

구체적으로, 손 추적부(210)는 딥러닝을 이용하여 승강장 영상 또는 내부 영상에서 손 또는 손가락을 추적할 수 있는데, 바람직하게 손 추적부(210)는 소정 크기 이상의 손을 추적하며, 또한 소정 크기 이상의 손이 다수개 존재하는 경우 가장 큰 크기의 손만을 추적할 수 있다. 이를 통해 손 추적부(210)는 영상 수집부(100)로부터 너무 먼 위치에서 수집된 손은 추적 대상에서 배제시킬 수 있다.Specifically, the hand tracking unit 210 may track a hand or a finger in a platform image or an internal image using deep learning. Preferably, the hand tracking unit 210 tracks a hand of a predetermined size or larger, and also a predetermined size. When there are multiple or more hands, only the largest hand can be tracked. Through this, the hand tracker 210 may exclude a hand collected at a location too far from the image collector 100 from the tracking target.

손동작 판단부(220)는 승강장에서 엘리베이터 카를 호출하기 위한 손동작인 상향 또는 하향 호출 입력 동작을 판단하는 호출 동작 판단부(221)와, 엘리베이터 카의 도어 개폐를 위한 손동작인 열림 입력 동작과 닫힘 입력 동작을 판단하는 개폐 동작 판단부(222), 그리고 엘리베이터 카를 탑승한 승객의 행선층 입력을 위한 손동작인 행선층 입력 동작을 판단하는 행선층 동작 판단부(223)를 포함할 수 있다.The hand gesture determination unit 220 includes a call action determination unit 221 that determines an upward or downward call input operation, which is a hand gesture for calling an elevator car in the platform, and an open input operation and a close input operation, which are hand gestures for opening and closing the door of the elevator car. It may include an opening/closing operation determination unit 222 that determines the , and a destination floor operation determination unit 223 determining a destination floor input operation, which is a hand gesture for inputting a destination floor of a passenger riding in the elevator car.

호출 동작 판단부(221)는 승강장 영상에서 추적한 손의 모양 또는 움직임에 기초하여 호출 입력 동작을 판단할 수 있다. 바람직하게, 호출 동작 판단부(221)는 추적한 손의 움직임 방향이 도 3에 도시된 바와 같이 하향 움직임을 보이면 추적한 손의 움직임을 하행 호출 입력 동작으로 판단할 수 있다. 그리고 반대로 추적한 손의 움직임이 상향 움직임을 보이면 호출 동작 판단부(221)는 추적한 손의 움직임을 하행 호출 입력 동작으로 판단할 수 있다. 이 외에도 호출 동작 판단부(221)는 추적한 손의 검지 손가락이 위 또는 아래를 가리킨 채로 소정 시간 유지되면 상향 또는 하향 호출 입력 동작으로 판단할 수 있다.The call action determining unit 221 may determine the call input action based on the shape or movement of the hand tracked in the platform image. Preferably, when the tracked hand movement direction shows a downward movement as shown in FIG. 3 , the call action determination unit 221 may determine the tracked hand movement as a down call input operation. Conversely, when the tracked hand movement shows an upward movement, the call action determination unit 221 may determine the tracked hand movement as a downlink call input operation. In addition, the call action determining unit 221 may determine an upward or downward call input operation when the index finger of the tracked hand is kept pointing up or down for a predetermined period of time.

개폐 동작 판단부(222)는 내부 영상에서 추적한 손의 움직임에 기초하여 개폐 입력 동작을 판단할 수 있다. 바람직하게, 개폐 동작 판단부(222)는 도 4에 도시된 바와 같이 추적한 손의 움직임이 손을 오므리는 움직임인 경우 추적한 손의 움직임을 닫힘 입력 동작으로 판단할 수 있다. 그리고 반대로 추적한 손의 움직임이 손을 펴는 움직임인 경우 추적한 손의 움직임을 열림 입력 동작으로 판단할 수 있다. 이 외에도 개폐 동작 판단부(222)는 추적한 손의 엄지와 검지 손가락을 오므리거나 벌리는 움직임을 닫힘 입력 동작 또는 열림 입력 동작으로 판단할 수 있다.The opening/closing operation determining unit 222 may determine the opening/closing input operation based on the movement of the hand tracked in the internal image. Preferably, the opening/closing operation determining unit 222 may determine the tracked hand movement as a closing input operation when the tracked hand movement is a hand closing movement as shown in FIG. 4 . Conversely, when the tracked hand movement is a hand open movement, the tracked hand movement may be determined as an open input operation. In addition to this, the opening/closing operation determining unit 222 may determine the movement of closing or opening the thumb and index finger of the tracked hand as a closing input operation or an open input operation.

바람직하게, 개폐 동작 판단부(222)는 승객이 열림 입력 동작을 반복하지 않아도 열림 입력 동작을 연속하여 판단함으로써 도어의 열림 상태가 유지되도록 할 수 있다. 구체적으로 개폐 동작 판단부(222)는 도 5에 도시된 바와 같이 추적한 손이 손바닥이 보이도록 펴진 상태이고 이 상태가 유지되면, 펴진 상태가 유지되는 동안에는 열림 입력 동작을 연속하여 판단할 수 있다.Preferably, the opening/closing operation determining unit 222 may maintain the door open state by continuously determining the opening input operation even if the passenger does not repeat the opening input operation. Specifically, as shown in FIG. 5 , the opening/closing operation determining unit 222 may continuously determine the opening input operation while the tracked hand is in an open state such that the palm is visible, and this state is maintained while the open state is maintained. .

행선층 동작 판단부(223)는 내부 영상에서 추적한 손의 움직임에 기초하여 행선층 입력 동작을 판단할 수 있다. 바람직하게 행선층 동작 판단부(223)는 추적한 손의 검지 이동 경로에 기초하여 행선층 입력 동작을 판단할 수 있는데, 보다 구체적으로는 검지의 이동 경로가 나타내는 숫자를 행선층으로 하는 행선층 동작으로 판단할 수 있다.The destination floor operation determining unit 223 may determine the destination floor input operation based on the movement of the hand tracked in the internal image. Preferably, the destination floor operation determining unit 223 may determine the destination floor input operation based on the tracked movement path of the index finger of the hand. More specifically, the destination floor operation using the number indicated by the movement path of the index finger as the destination floor can be judged as

이때, 개폐 동작 판단부(222)와 행선층 동작 판단부(223)는 동일한 내부 영상에 기초하여 개폐 입력 동작 또는 행선층 입력 동작을 판단하게 되는데, 바람직하게는 추적한 손이 검지 손가락을 펴고 중지, 약지, 소지 손가락을 오므린 손모양이면 행선층 동작 판단부(223)가 추적한 손에 기초하여 행선층 입력 동작을 판단하고 그 외의 손모양이면 개폐 동작 판단부(222)가 개폐 동작을 판단하도록 할 수 있다.At this time, the opening/closing operation determining unit 222 and the destination floor operation determining unit 223 determine the opening/closing input operation or the destination floor input operation based on the same internal image. Preferably, the tracked hand spreads the index finger and stops , if the ring finger or little finger is a closed hand shape, the destination floor operation determination unit 223 determines the destination floor input operation based on the tracked hand; can make it

바람직하게, 본 실시예에 따른 입력장치에는 별도의 저장부가 구비되며 저장부에는 하나 이상의 상향 호출 입력 동작과, 하나 이상의 하향 호출 입력 동작과, 하나 이상의 도어 닫힘 입력 동작과, 하나 이상의 도어 열림 입력 동작과, 하나 이상의 도어 닫힘 입력 동작과, 하나 이상의 각 층별 행선층 입력 동작이 저장될 수 있다. 이때, 각각의 손동작은 서로 다른 손동작인 것이 바람직하지만 승강장에서 이루어지는 손동작과 엘리베이터 카 내부에서 이루어지는 손동작은 서로 같은 동작이되 서로 다른 입력신호를 생성하도록 하는 동작일 수 있다. 구체적인 예로 승강장 영상에서 검지 손가락을 핀 상태로 아래 방향으로 내리는 동작은 하향 호출 입력 동작이고 내부 영상에서 검지 손가락을 핀 상태로 아래 방향으로 내리는 동작은 1층을 행선층으로 하는 행선층 입력 동작일 수 있다.Preferably, the input device according to the present embodiment includes a separate storage unit, and the storage unit includes one or more upward call input operations, one or more downward call input operations, one or more door closing input operations, and one or more door open input operations. And, one or more door closing input operations and one or more destination floor input operations for each floor may be stored. At this time, it is preferable that each hand motion is a different hand motion, but the hand motion performed at the platform and the hand motion performed inside the elevator car may be the same motion but generate different input signals. As a specific example, the motion of lowering the index finger in the pin state in the platform image in the downward direction is a downward call input operation, and the operation of moving the index finger downward in the pin state in the internal image is the destination floor input operation using the first floor as the destination floor. have.

호출 동작 판단부(221), 개폐 동작 판단부(222), 행선층 동작 판단부(223)는 저장부에 저장된 손동작 중에서 승강장 영상 또는 내부 영상에서 추적한 손의 움직임과 가장 높은 일치율을 보이는 입력 동작을 추출하여 추출한 입력 동작을 추적한 손의 손동작으로 판단할 수 있다. 바람직하게, 호출 동작 판단부(221), 개폐 동작 판단부(222), 행선층 동작 판단부(223)는 추출한 손동작의 일치율이 임계치 미만인 경우에는 판단을 보류할 수 있다.The call action determination unit 221 , the opening/closing action determination unit 222 , and the destination floor action determination unit 223 are input motions having the highest matching rate with the hand motion tracked in the platform image or the inside image among the hand motions stored in the storage unit. The extracted input motion can be determined as the hand motion of the tracked hand. Preferably, the calling action determination unit 221 , the opening/closing action determination unit 222 , and the destination floor action determination unit 223 may suspend the determination when the extracted hand gesture coincidence rate is less than a threshold value.

도 7은 본 발명의 일 실시예에 따른 활성화부의 기능 블록도이고, 도 8은 본 발명의 일 실시예에 따른 영상 수집부의 활성화 및 비활성화 방법을 도시한 순서도이다.7 is a functional block diagram of an activation unit according to an embodiment of the present invention, and FIG. 8 is a flowchart illustrating a method of activating and deactivating an image collection unit according to an embodiment of the present invention.

본 실시예에 따른 입력장치는 영상에 포함된 손을 추적하고 추적한 손의 손동작을 인식하여 입력신호를 생성하기 때문에 의도하지 않은 승객의 손동작을 인식하여 이에 따른 입력신호를 생성할 수 있다. 때문에 본 실시예에 따른 입력장치는 이를 방지하기 위해서 활성화부(500)를 구비한다.Since the input device according to the present embodiment generates an input signal by tracking a hand included in an image and recognizing a hand motion of the tracked hand, it may recognize an unintended hand motion of a passenger and generate an input signal accordingly. Therefore, the input device according to the present embodiment includes the activation unit 500 to prevent this.

도 7을 참조하여 설명하면 활성화부(500)는 엘리베이터 카 도어의 개폐 상태를 판단하는 도어 상태 판단부(510)와, 도어가 닫힌 시점으로부터의 경과 시간을 카운트하는 카운트부(520)와, 접근 감지 센서(400)에 소정 거리 이내로 접근한 객체의 접근 유지 시간을 판단하는 접근 상태 판단부(530), 그리고 도어 상태 판단부(510), 카운트부(520), 접근 상태 판단부(530)의 판단에 따라 영상 수집부(100)를 활성화 제어하는 활성화 제어부(540)를 포함할 수 있다.Referring to FIG. 7 , the activation unit 500 includes a door state determination unit 510 that determines the open/closed state of the elevator car door, a count unit 520 that counts the elapsed time from the time the door is closed, and the approach An approach state determination unit 530 that determines an approach maintenance time of an object approaching the detection sensor 400 within a predetermined distance, and a door state determination unit 510 , a count unit 520 , and an approach state determination unit 530 . It may include an activation control unit 540 that activates and controls the image collection unit 100 according to determination.

도어 상태 판단부(510)에 의해 도어가 열린 상태로 판단되면 활성화 제어부(540)는 엘리베이터 카 내부에 배치되는 영상 수집부(100)를 활성화 제어할 수 있다. 도어가 닫히면 카운트부(520)는 도어가 닫힌 시점으로부터 경과 시간을 카운트하며 카운트한 경과 시간이 설정 시간을 초과하였는지 판단할 수 있으며 활성화 제어부(540)는 경과 시간이 설정 시간을 초과하게 되면 영상 수집부(100)를 비활성화 제어할 수 있다.When it is determined that the door is in an open state by the door state determining unit 510 , the activation control unit 540 may activate and control the image collecting unit 100 disposed inside the elevator car. When the door is closed, the count unit 520 counts the elapsed time from the time the door is closed and determines whether the counted elapsed time exceeds a set time, and the activation control unit 540 collects an image when the elapsed time exceeds the set time It is possible to control the deactivation of the unit 100 .

이에 의해 본 실시예에 따른 입력장치는 도어가 개방된 시점으로부터 도어가 닫히고 설정 시간이 경과하기 전까지는 엘리베이터 카 내부의 영상 수집부(100)가 활성화되어 카 내부에서 손동작을 통한 입력이 가능할 수 있으며, 도어가 닫히고 설정 시간이 경과하면 엘리베이터 카 내부의 영상 수집부(100)가 비활성화되어 카 내부에서 손동작을 통한 입력이 불가능하게 된다. Accordingly, in the input device according to the present embodiment, the image collecting unit 100 inside the elevator car is activated from the time the door is opened until the door is closed and the set time elapses, so that input through a hand gesture inside the car is possible. , when the door is closed and the set time elapses, the image collection unit 100 inside the elevator car is deactivated, making it impossible to input through a hand gesture inside the car.

그러나 이와 같은 경우 한 승강장에서 다수의 승객이 탑승하여 미처 모든 행선층이 입력되기 전에 영상 수집부(100)가 비활성화되는 문제가 발생할 수 있다. 때문에 카운트부(520)는 도어가 닫힌 시점으로부터 설정 시간이 경과하기 이전에 손동작이 인식되면 경과 시간을 초기화하고 다시 경과 시간이 설정 시간을 초과하는지 판단하여 활성화 시간이 연장되도록 함으로써 다수의 승객이 연속하여 행선층을 입력할 수 있도록 한다.However, in this case, there may be a problem in that the image collection unit 100 is deactivated before all destination floors are input because a large number of passengers board at one platform. For this reason, the count unit 520 initializes the elapsed time when a hand gesture is recognized before the set time elapses from the time the door is closed and determines whether the elapsed time exceeds the set time to extend the activation time. so that the destination floor can be entered.

도 8을 참조하여 보다 구체적으로 살펴보면, 엘리베이터 카의 도어가 개방되면(S11), 활성화 제어부(540)는 영상 수집부(100)를 활성화 제어할 수 있다(S12).Looking more specifically with reference to FIG. 8 , when the door of the elevator car is opened ( S11 ), the activation control unit 540 may control the activation of the image collection unit 100 ( S12 ).

그리고 곧이어 개방되었던 엘리베이터 카의 도어가 닫히면(S13), 카운트부(520)는 도어가 닫힌 시점으로부터의 경과 시간을 카운트하고 카운트한 경과 시간이 설정 시간을 초과하였는지 판단한다(S14).And when the door of the elevator car that has been opened is closed immediately (S13), the count unit 520 counts the elapsed time from the time the door is closed and determines whether the counted elapsed time exceeds a set time (S14).

만약 경과 시간이 설정 시간을 초과하면(S14-Y), 활성화 제어부(540)는 영상 수집부(100)를 비활성화 제어한다(S15).If the elapsed time exceeds the set time (S14-Y), the activation control unit 540 controls the deactivation of the image collection unit 100 (S15).

반면 경과 시간이 설정 시간을 초과하지 않은 시점에서(S14-N), 카운트부(520)는 손동작이 인식되었는지 판단할 수 있다(S16). 만약 손동작이 인식되지 않으면(S16-N), 카운트부(520)는 경과 시간이 설정 시간을 초과할 때까지 지속적으로 손동작이 인식되었는지 판단하고, 만약 경과 시간이 설정 시간을 초과하기 전에 손동작이 인식되면(S16-Y), 카운트부(520)는 경과 시간을 초기화하고 다시 카운트함으로써 활성화 시간이 연장되도록 할 수 있다(S17).On the other hand, when the elapsed time does not exceed the set time (S14-N), the count unit 520 may determine whether the hand gesture is recognized (S16). If the hand gesture is not recognized (S16-N), the count unit 520 determines whether the hand gesture is continuously recognized until the elapsed time exceeds the set time, and if the elapsed time exceeds the set time, the hand gesture is recognized When it is (S16-Y), the count unit 520 may initialize the elapsed time and count it again so that the activation time is extended (S17).

이와 같은 과정을 통해 다수의 승객이 탑승하여 다수의 행선층이 입력될 때에는 활성화 시간이 연장되어 다수의 승객이 모두 행선층을 입력 가능하도록 할 수 있다.Through this process, when a plurality of passengers board and a plurality of destination floors are input, the activation time is extended so that all of the plurality of passengers can input the destination floor.

그러나 모든 승객이 엘리베이터 카에 탑승하도 바로 행선층을 입력하는 것은 아니다. 엘리베이터 운행 도중에 행선층을 변경하는 경우도 발생할 수 있고 행선층 입력을 깜빡하고 있다가 운행 도중에 행선층을 입력하는 승객도 있을 수 있다. 때문에 본 실시예에 따른 입력장치는 승객이 활성화를 원할 때 영상 수집부(100)가 활성화되도록 할 수 있다.However, not all passengers enter the destination floor immediately after boarding the elevator car. There may be cases where the destination floor is changed while the elevator is running, and there may be passengers who forget to enter the destination floor and then enter the destination floor during operation. Therefore, the input device according to the present embodiment can activate the image collecting unit 100 when a passenger wants to activate it.

구체적으로 접근 상태 판단부(530)는 엘리베이터 카 내부의 접근 감지 센서(400)로부터 소정 거리 이내로 접근한 객체가 임계 시간 이상 연속하여 감지되었는지 판단하고, 임계 시간 이상 연속하여 감지되면 활성화 제어부(540)는 행선층을 입력하기 위한 손동작을 인식하도록 엘리베이터 카 내부의 영상 수집부(100)를 소정 시간 동안 활성화하여 행선층의 추가 입력 또는 변경을 가능하게 한다.Specifically, the approach state determination unit 530 determines whether an object approaching within a predetermined distance from the approach detection sensor 400 inside the elevator car is continuously detected for more than a threshold time, and if continuously detected for more than a threshold time, the activation control unit 540 Activates the image collection unit 100 inside the elevator car for a predetermined time to recognize a hand gesture for inputting the destination floor to enable additional input or change of the destination floor.

엘리베이터 카 내부의 공간은 협소하기 때문에 다수의 승객이 탑승한 경우 접근 감지 센서(400) 주변에 위치한 승객이 존재할 가능성이 높다. 때문에, 엘리베이터 카 내부의 접근 감지 센서(400)의 감지 거리가 너무 길게 설정되면 접근 감지 센서(400) 주변에 위치한 승객이 존재하는 경우 영상 수집부(100)의 의도하지 않은 활성화 상태가 지속될 수 있다. 이를 방지하기 위해서 엘리베이터 카 내부의 접근 감지 센서(400)의 감지 거리는 짧게 설정될 수 있다. 바람직하게 엘리베이터 카 내부의 접근 감지 센서(400)는 약 5~15cm 이내로 접근한 객체를 감지하도록 설정될 수 있다. 이 경우 엘리베이터 카 내부의 영상 수집부(100)가 비활성화된 상태에서 손동작을 통한 행선층 입력을 원하는 승객은 엘리베이터 카 내부의 접근 감지 센서(400) 정면 5~15cm 이내로 신체 일부(손)를 접근시키고 임계 시간(1~2초) 이상 유지하면 엘리베이터 카 내부의 영상 수집부(100)가 활성화되어 손동작을 통한 행선층 입력이 가능할 수 있다. Since the space inside the elevator car is narrow, when a large number of passengers are on board, there is a high possibility that passengers located near the approach detection sensor 400 exist. Therefore, if the detection distance of the approach detection sensor 400 inside the elevator car is set too long, the unintentional activation state of the image collection unit 100 may continue when there are passengers located near the approach detection sensor 400. . In order to prevent this, the sensing distance of the approach detection sensor 400 inside the elevator car may be set to be short. Preferably, the approach detection sensor 400 inside the elevator car may be set to detect an object approaching within about 5 to 15 cm. In this case, in a state where the image collection unit 100 inside the elevator car is deactivated, a passenger who wants to input the destination floor through a hand gesture approaches a part of the body (hand) within 5 to 15 cm of the front of the approach detection sensor 400 inside the elevator car. If it is maintained for more than a threshold time (1 to 2 seconds), the image collecting unit 100 inside the elevator car is activated, so that it is possible to input the destination floor through a hand gesture.

한편, 접근 감지 센서(400)는 각 층의 승강장에도 배치될 수 있다. 그리고 접근 상태 판단부(530)는 승강장의 접근 감지 센서(400)로부터 소정 거리 이내로 접근한 객체가 임계 시간 이상 연속하여 감지되었는지 판단하고, 임계 시간 이상 연속하여 감지되면 활성화 제어부(540)는 행선층을 입력하기 위한 손동작을 인식하도록 객체가 감지된 층 승강장의 영상 수집부(100)를 소정시간 동안 활성화하여 손동작을 이용한 엘리베이터 카 호출을 가능하게 한다.On the other hand, the approach detection sensor 400 may also be disposed on the platform of each floor. And the approach state determination unit 530 determines whether an object approaching within a predetermined distance from the approach detection sensor 400 of the platform is continuously detected for more than a threshold time, and if continuously detected for more than a threshold time, the activation control unit 540 is the destination floor To recognize a hand gesture for inputting an object, the image collection unit 100 of the floor platform in which an object is detected is activated for a predetermined time to enable an elevator car call using a hand gesture.

승강장의 공간은 엘리베이터 카 내부에 비하여 상대적으로 넓게 형성된다. 때문에 승강장에 배치되는 접근 감지 센서(400)는 엘리베이터 카 내부의 접근 감지 센서(400)보다 감지 거리가 길게 설정되어 손동작 인식을 활성화시키는 과정을 보다 간소화시킬 수 있다.The space of the platform is relatively wide compared to the inside of the elevator car. Therefore, the approach detection sensor 400 disposed in the platform has a longer detection distance than the approach detection sensor 400 inside the elevator car, so that the process of activating hand gesture recognition can be further simplified.

바람직하게 각 층의 승강장에 배치되는 접근 감지 센서(400)는 약 50~100cm 이내로 접근한 객체를 감지하도록 설정되어, 승강장의 접근 감지 센서(400) 정면 근처에 승객이 임계 시간 이상 서있는 경우 승강장의 영상 수집부(100)가 활성화되어 손동작을 통한 엘리베이터 카 호출 입력이 가능할 수 있다.Preferably, the approach detection sensor 400 disposed on the platform of each floor is set to detect an object approaching within about 50 to 100 cm. The image collection unit 100 may be activated so that it may be possible to input an elevator car call through a hand gesture.

상술한 구성들을 통해 본 실시예에 따른 입력장치는 승객이 의도하지 않은 손동작을 인식하여 무의미한 입력신호가 생성되는 것을 방지할 수 있고, 불필요한 전력 소모를 방지할 수 있다.Through the above-described configurations, the input device according to the present embodiment can prevent a meaningless input signal from being generated by recognizing an unintentional hand gesture by a passenger, and can prevent unnecessary power consumption.

도 9는 본 발명의 다른 실시예에 따른 입력장치의 기능 블록도이고, 도 10 은 본 발명의 다른 실시예에 따른 손동작 인식부의 기능 블록도이다.9 is a functional block diagram of an input device according to another embodiment of the present invention, and FIG. 10 is a functional block diagram of a hand gesture recognition unit according to another embodiment of the present invention.

본 발명의 일 실시예에 따른 입력장치는 다수의 승객이 동일한 층에서 엘리베이터 카에 탑승한 경우 승객들이 차례로 행선층을 입력하게 된다. 그런데 이때 늦은 순서로 행선층을 입력하는 승객은 비교적 긴 시간을 기다렸다 행선층을 입력해야 하는 문제가 발생하며, 특히 행선층 입력은 행선층까지의 거리와 상관없는 순서로 이루어지기 때문에 늦은 순서로 행선층을 입력하는 승객은 자신의 순서가 오기도 전에 이미 엘리베이터 카가 행선층을 지나칠 수도 있다는 문제점이 발생한다.In the input device according to an embodiment of the present invention, when a plurality of passengers board the elevator car on the same floor, the passengers sequentially input the destination floor. However, at this time, passengers entering the destination floor in late order have a problem in that they have to wait a relatively long time to enter the destination floor. Passengers entering the floor have a problem that the elevator car may pass the destination floor before their turn arrives.

이와 같은 문제점을 해결하기 위해 본 실시예에 따른 입력장치는 엘리베이터 카에 탑승한 다수의 승객이 순서를 기다리지 않고 동시에 손동작을 통해 행선층을 입력할 수 있도록 한다.In order to solve such a problem, the input device according to the present embodiment allows a plurality of passengers in the elevator car to simultaneously input a destination floor through a hand gesture without waiting for an order.

도 9를 참조하여 보다 구체적으로 설명하면, 본 실시예에 따른 입력장치는 상술한 본 발명의 일 실시예에 따른 입력장치와 마찬가지로 영상 수집부(100'), 손동작 인식부(200'), 입력신호 생성부(300), 접근 감지 센서(400') 및 활성화부(500')를 포함하여 구성된다.More specifically, referring to FIG. 9 , the input device according to the present embodiment includes an image collection unit 100 ′, a hand gesture recognition unit 200 ′, an input device similar to the input device according to an embodiment of the present invention described above. It is configured to include a signal generator 300 , an approach detection sensor 400 ′ and an activation unit 500 ′.

여기서, 본 실시예에 따른 입력신호 생성부(300)는 일 실시예의 입력신호 생성부(300)와 동일하게 구성되므로 이에 관한 설명은 생략하기로 한다.Here, since the input signal generating unit 300 according to the present embodiment has the same configuration as the input signal generating unit 300 according to the present embodiment, a description thereof will be omitted.

또한, 본 실시예에 따른 영상 수집부(100'), 손동작 인식부(200'), 접근 감지 센서(400') 및 활성화부(500')는 일 실시예에 따른 영상 수집부(100), 손동작 인식부(200), 접근 감지 센서(400) 및 활성화부(500)와 일부 차이가 있을 뿐 대동소이 하므로 동일하게 구성되는 특징은 생략하고 차이점에 관하여 중점적으로 설명하기로 한다.In addition, the image collection unit 100 ′, the hand gesture recognition unit 200 ′, the approach detection sensor 400 ′, and the activation unit 500 ′ according to the present embodiment include the image collection unit 100 according to an embodiment, There are only some differences from the hand gesture recognition unit 200 , the approach detection sensor 400 , and the activation unit 500 .

본 실시예에 따른 입력장치는 다수개의 영상 수집부(100')가 엘리베이터 카 내부에 설치될 수 있다. 엘리베이터 카 내부에 설치되는 다수개의 영상 수집부(100')중 적어도 하나의 영상 수집부(100')는 엘리베이터 카 천장에 배치되어 승객의 탑승 위치와 상관없이 승객이 천장을 향해 행한 손동작이 수집하는 영상에 포함되도록 할 수 있다.In the input device according to the present embodiment, a plurality of image collecting units 100 ′ may be installed inside the elevator car. At least one image collection unit 100' among a plurality of image collection units 100' installed inside the elevator car is disposed on the elevator car ceiling and collects hand gestures made by the passenger toward the ceiling regardless of the passenger's boarding position. It can be included in the video.

바람직하게, 엘리베이터 카 내부에는 두 개의 영상 수집부(100')가 배치되고, 이 중 하나의 영상 수집부(100')는 도어 개폐 버튼 또는 행선층 입력 버튼 주변에 배치되고 나머지 하나의 영상 수집 수집부(100')는 천장에 배치될 수 있다.Preferably, two image collecting units 100 ′ are disposed inside the elevator car, and one image collecting unit 100 ′ is disposed around a door opening/closing button or a destination floor input button, and the other image collecting unit 100 ′ The unit 100' may be disposed on the ceiling.

본 실시예에 따른 손동작 인식부(200')는 영상 수집부(100')에서 수집한 승강장 영상 또는 내부 영상에 포함된 손을 추적하고 추적한 손의 손동작을 인식한다. The hand gesture recognition unit 200 ′ according to the present embodiment tracks the hand included in the platform image or the interior image collected by the image collection unit 100 ′ and recognizes the hand gesture of the tracked hand.

도 10을 참조하여 본 손동작 인식부(200')를 보다 구체적으로 설명하면, 손동작 인식부(200')는 수집한 승강장 영상 또는 내부 영상에서 손을 추적하는 손 추적부(210')와, 추적한 손의 모양 또는 손의 움직임에 기초하여 손동작을 판단하는 손동작 판단부(220')를 포함할 수 있다.The hand gesture recognition unit 200' will be described in more detail with reference to FIG. 10. The hand gesture recognition unit 200' includes a hand tracking unit 210' that tracks a hand in the collected platform image or interior image, and tracking. It may include a hand motion determination unit 220 ′ that determines a hand motion based on the shape of one hand or the motion of the hand.

본 실시예에 따른 손 추적부(210')는 엘리베이터 카 천장에 설치된 영상 수집부(100')에서 수집한 천장 영상에서의 손 추적과 나머지 영상에서의 손 추적을 구분하여 행할 수 있다. 구체적으로 손 추적부(210')는 천장 영상을 제외한 나머지 영상에서 손을 추적할 때에는 상술한 일 실시예의 손 추적부(210)와 동일한 방법으로 손을 추적하지만, 천장 영상에서 손을 추적할 때에는 가장 큰 손을 추적하지 않고 소정 크기 이상의 모든 손을 동시에 추적할 수 있다. 즉, 천장 영상에 소정 크기 이상의 다수의 손이 포함되는 경우 해당 손을 모두 추적할 수 있다.The hand tracking unit 210 ′ according to the present embodiment may perform the hand tracking in the ceiling image collected by the image collecting unit 100 ′ installed on the ceiling of the elevator car and the hand tracking in the remaining images. Specifically, the hand tracking unit 210 ′ tracks a hand in the same way as the hand tracking unit 210 of the above-described embodiment when tracking a hand in images other than the ceiling image, but when tracking a hand in a ceiling image All hands larger than a predetermined size can be simultaneously tracked without tracking the largest hand. That is, when a plurality of hands larger than a predetermined size are included in the ceiling image, all of the hands may be tracked.

본 실시예에 따른 손동작 판단부의 개폐 동작 판단부(222')는 천장 영상에서 추적된 손의 동작은 판단 대상에서 제외함으로써 열림 입력 손동작과 닫힘 입력 손동작이 동시에 입력되는 것을 방지할 수 있으며, 본 실시예에 따른 행선층 동작 판단부(223')는 일 실시예에 따른 행선층 동작 판단부(223)와 달리 천장 영상에서 동시에 다수개의 손동작이 추적된 경우 다수개의 손동작을 동시에 인식 가능하도록 구성되어, 동시에 다수의 승객이 천장을 향해 손동작으로 행선층을 입력하면 이를 모두 인식하여 입력신호 생성부(300)에서 행선층 입력 신호가 생성되도록 할 수 있다. The opening/closing operation determination unit 222' of the hand motion determination unit according to the present embodiment can prevent the open input hand motion and the close input hand motion from being input at the same time by excluding the hand motion tracked in the ceiling image from the determination target. Unlike the destination floor motion determination unit 223 according to an embodiment, the destination floor motion determination unit 223 ′ according to an example is configured to simultaneously recognize a plurality of hand movements when a plurality of hand movements are simultaneously tracked in the ceiling image, At the same time, when a plurality of passengers input the destination floor by hand gestures toward the ceiling, all of them are recognized and the destination floor input signal can be generated by the input signal generating unit 300 .

이로 인해 본 실시예에 따른 입력장치는 동시에 다수의 승객이 행선층을 입력 가능하므로 입력 가능하므로 다수의 승객이 순서를 기다릴 필요 없이 동시에 행선층을 입력할 수 있다.For this reason, since the input device according to the present embodiment allows multiple passengers to simultaneously input the destination floor, it is possible for a plurality of passengers to simultaneously input the destination floor without waiting for a turn.

본 실시예에 따른 접근 감지 센서(400')는 일 실시예와 마찬가지로 각 영상 수집부(100')의 주변에 배치되지만 엘리베이터 카 천장에 배치되는 영상 수집부(100') 주변에는 배치되지 않는다. The approach detection sensor 400 ′ according to this embodiment is disposed around each image collection unit 100 ′ as in the embodiment, but is not disposed around the image collection unit 100 ′ disposed on the elevator car ceiling.

활성화부(500')는 엘리베이터 카 천장에 설치된 영상 수집부(100')와 나머지 영상 수집부(100')를 구분하여 활성화 또는 비활성화 제어할 수 있다. 구체적으로 활성화부(500')는 엘리베이터 카 천장에 설치된 영상 수집부를 제외한 나머지 영상 수집부(100')를 활성화 또는 비활성화 제어할 때에는 상술한 일 실시예와 동일하게 제어하되, 활성화부(500')는 도어 상태만으로 활성화 또는 비활성화 제어할 수 있다. 즉, 활성화부(500')는 접근 감지 센서(400')의 객체 접근 상태에 따른 활성화 또는 비활성화 제어 대상에서 천장에 배치되는 영상 수집부(100')는 제외한다. 이는 접근 감지 센서(400')를 이용한 추가 손동작 입력시 천장의 영상 수집부(100')를 통해 손동작을 입력한다면 추가 손동작을 입력하려는 승객 외의 다른 승객의 의도하지 않은 손동작까지 함께 인식될 우려가 있기 때문이다.The activator 500' can control activation or deactivation by distinguishing the image collecting unit 100' installed on the ceiling of the elevator car and the remaining image collecting units 100'. Specifically, the activator 500' controls the same as the above-described embodiment when activating or deactivating the image collecting unit 100' except for the image collecting unit installed on the ceiling of the elevator car, but the activator 500') can be activated or deactivated only by the door state. That is, the activator 500 ′ excludes the image collecting unit 100 ′ disposed on the ceiling from the object to be activated or deactivated according to the object approach state of the approach detection sensor 400 ′. This is because when an additional hand gesture is input using the approach detection sensor 400', if the hand gesture is input through the image collecting unit 100' on the ceiling, there is a risk that unintentional hand gestures of other passengers other than the passenger who want to input the additional hand gestures will be recognized together. Because.

또한, 본 실시예에 따른 활성화부(500')는 도어가 개방되면 천장에 배치되는 영상 수집부를 포함하는 엘리베이터 카 내부의 영상 수집부(100')를 모두 활성화 제어하고 도어가 닫힌 후 경과 시간이 설정 시간을 초과하면 엘리베이터 카 내부의 영상 수집부(100')를 모두 비활성화 제어하지만 엘리베이터 카가 닫힌 후 설정 시간이 초과하기 전에 손동작이 인식되어도 설정 시간을 초기화하지 않는다. 이는 다수의 승객이 탑승하여도 활성화 시간을 연장하지 않고도 천장의 영상 수집부(100')를 통해서 다수의 승객이 동시에 행선층 입력 가능하기 때문이다.In addition, the activator 500' according to this embodiment activates and controls all of the image collection units 100' inside the elevator car including the image collection unit disposed on the ceiling when the door is opened, and the elapsed time after the door is closed When the set time is exceeded, all the image collection units 100 ′ inside the elevator car are deactivated and controlled, but the set time is not initialized even if a hand gesture is recognized before the set time after the elevator car is closed. This is because a plurality of passengers can simultaneously input the destination floor through the image collection unit 100 ′ on the ceiling without extending the activation time even when a plurality of passengers are on board.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical spirit of the present invention, and various modifications and variations will be possible without departing from the essential characteristics of the present invention by those skilled in the art to which the present invention pertains. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

100: 영상 수집부
200: 손동작 인식부
210: 손 추적부
220: 손동작 판단부
221: 호출 동작 판단부
222: 개폐 동작 판단부
223: 행선층 동작 판단부
300: 입력신호 생성부
400: 접근 감시 센서
500: 활성화부
510: 도어 상태 판단부
520: 카운트부
530: 접근 상태 판단부
540: 활성화 제어부100: image collection unit
200: hand gesture recognition unit
210: hand tracking unit
220: hand gesture determination unit
221: call action determination unit
222: opening and closing operation determination unit
223: destination floor operation determination unit
300: input signal generator
400: approach monitoring sensor
500: activation unit
510: door state determination unit
520: count unit
530: access state determination unit
540: activation control

Claims

승강장 영상을 수집하거나 또는 엘리베이터 카의 내부 영상을 수집하는 하나 이상의 영상 수집부;
수집한 상기 승강장 영상 또는 상기 내부 영상에 포함된 손동작을 인식하는 손동작 인식부; 및
인식한 상기 손동작에 따른 입력신호를 생성하는 입력신호 생성부를 포함하는 것을 특징으로 하는 엘리베이터 입력장치.
One or more image collecting unit for collecting the platform image or the interior image of the elevator car;
a hand gesture recognition unit for recognizing a hand gesture included in the collected platform image or the internal image; and
Elevator input device comprising an input signal generator for generating an input signal according to the recognized hand gesture.

제 1 항에 있어서, 상기 손동작 인식부는
수집한 상기 승강장 영상 또는 상기 내부 영상에서 손을 추적하는 손 추적부;
추적한 손의 모양 또는 손의 움직임에 기초하여 손동작을 판단하는 손동작 판단부를 포함하는 것을 특징으로 하는 엘리베이터 입력장치.
The method of claim 1, wherein the hand gesture recognition unit
a hand tracking unit for tracking a hand in the collected platform image or the internal image;
Elevator input device comprising a hand motion determination unit for determining a hand motion based on the tracked hand shape or hand movement.

제 2 항에 있어서,
상기 손동작 판단부는 상기 승강장 영상에서 추적한 손의 움직임에 기초하여 상기 엘리베이터 카를 호출하는 호출 동작을 판단하는 호출 동작 판단부를 포함하고,
상기 호출 동작 판단부는 추적한 손의 움직임 방향에 기초하여 상행 호출 동작 또는 하행 호출 동작을 판단하는 것을 특징으로 하는 엘리베이터 입력장치.
3. The method of claim 2,
The hand motion determination unit includes a call action determination unit for determining a call operation to call the elevator car based on the hand movement tracked in the platform image,
The call action determination unit Elevator input device, characterized in that for determining the ascending call operation or the descending call operation based on the tracked movement direction of the hand.

제 2 항에 있어서,
상기 손동작 판단부는 상기 내부 영상에서 추적한 손의 움직임에 기초하여 상게 엘리베이터 카 도어를 개폐하는 개폐 동작을 판단하는 개폐 동작 판단부를 포함하고,
상기 개폐 동작 판단부는 추적한 손의 오므리거나 또는 펴는 움직임에 기초하여 상기 개폐 동작을 판단하는 것을 특징으로 하는 엘리베이터 입력장치.
3. The method of claim 2,
The hand motion determination unit includes an opening/closing operation determination unit that determines an opening/closing operation to open and close the elevator car door based on the movement of the hand tracked in the internal image,
The opening/closing operation determining unit is an elevator input device, characterized in that it determines the opening/closing operation based on the tracked hand opening or closing movement.

제 2 항에 있어서,
상기 손동작 판단부는 상기 내부 영상에서 추적한 손의 움직임에 기초하여 상기 엘리베이터 카의 행선층을 지정하는 행선층 동작을 판단하는 행선층 동작 판단부를 포함하고,
상기 행선층 동작 판단부는 추적한 손의 검지 이동 경로에 기초하여 상기 행선층 동작을 판단하는 것을 특징으로 하는 엘리베이터 입력장치.
3. The method of claim 2,
The hand motion determination unit includes a destination floor operation determination unit for determining the destination floor operation for designating the destination floor of the elevator car based on the movement of the hand tracked in the internal image,
The destination floor operation determination unit Elevator input device, characterized in that for determining the destination floor operation based on the tracked movement path of the index finger of the hand.

제 1 항에 있어서, 상기 엘리베이터 입력장치는
활성화 조건이 충족되었는지 판단하고 상기 활성화 조건이 충족되면 상기 영상 수집부를 활성화시키는 활성화부를 더 포함하는 것을 특징으로 하는 엘리베이터 입력장치.
According to claim 1, wherein the elevator input device is
Elevator input device, characterized in that it further comprises an activation unit that determines whether the activation condition is satisfied and activates the image collection unit when the activation condition is satisfied.

제 6 항에 있어서, 상기 엘리베이터 입력장치는
객체의 접근을 감지하는 접근 감지 센서를 더 포함하고,
상기 활성화부는 상기 접근 감지 센서로부터 소정 거리 이내로 접근한 객체가 임계 시간 이상 연속하여 감지되면 상기 영상 수집부를 활성화시키는 것을 특징으로 하는 엘리베이터 입력장치.
The method of claim 6, wherein the elevator input device is
Further comprising an approach detection sensor for detecting the approach of the object,
Elevator input device, characterized in that the activation unit activates the image collection unit when an object approaching within a predetermined distance from the approach detection sensor is continuously detected for more than a threshold time.

제 6 항에 있어서,
상기 활성화부는 상기 엘리베이터 카의 도어가 열리면 상기 영상 수집부 중 상기 내부 영상을 수집하는 내부 영상 수집부를 활성화시키며, 상기 도어가 닫힌 시점으로부터의 경과 시간이 설정 시간을 초과하면 상기 내부 영상 수집부를 비활성화시키는 것을 특징으로 하는 엘리베이터 입력장치.
7. The method of claim 6,
When the door of the elevator car is opened, the activation unit activates an internal image collection unit that collects the internal image among the image collection units, and deactivates the internal image collection unit when the elapsed time from when the door is closed exceeds a set time Elevator input device, characterized in that.

제 8 항에 있어서,
상기 활성화부는 상기 도어가 닫힌 시점으로부터의 경과 시간이 설정 시간을 초과하기 전에 상기 손동작이 인식되면, 상기 경과 시간을 초기화하고 다시 카운트하는 것을 특징으로 하는 엘리베이터 입력장치.
9. The method of claim 8,
The activation unit initializes the elapsed time and counts again when the hand gesture is recognized before the elapsed time from when the door is closed exceeds a set time.

제 1 항에 있어서,
상기 영상 수집부 중 적어도 하나의 영상 수집부는 엘리베이터 카 천장에 배치되는 것을 특징으로 하는 엘리베이터 입력장치.
The method of claim 1,
Elevator input device, characterized in that at least one image collection unit of the image collection unit is disposed on the elevator car ceiling.

제 10 항에 있어서,
상기 손동작 인식부는 하나의 내부 영상에서 동시에 다수개의 손동작을 인식 가능한 것을 특징으로 하는 엘리베이터 입력장치.
11. The method of claim 10,
The hand gesture recognition unit is an elevator input device, characterized in that it is possible to recognize a plurality of hand gestures in one internal image at the same time.