KR102399728B1 - Kiosk terminal device having a remote control unit - Google Patents

Kiosk terminal device having a remote control unit Download PDF

Info

Publication number
KR102399728B1
KR102399728B1 KR1020200107306A KR20200107306A KR102399728B1 KR 102399728 B1 KR102399728 B1 KR 102399728B1 KR 1020200107306 A KR1020200107306 A KR 1020200107306A KR 20200107306 A KR20200107306 A KR 20200107306A KR 102399728 B1 KR102399728 B1 KR 102399728B1
Authority
KR
South Korea
Prior art keywords
remote control
user
control unit
unit
distance
Prior art date
Application number
KR1020200107306A
Other languages
Korean (ko)
Other versions
KR20220026375A (en
Inventor
정인철
김정민
김영규
Original Assignee
주식회사 중앙디앤엠
(주)씨아이테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 중앙디앤엠, (주)씨아이테크 filed Critical 주식회사 중앙디앤엠
Priority to KR1020200107306A priority Critical patent/KR102399728B1/en
Publication of KR20220026375A publication Critical patent/KR20220026375A/en
Application granted granted Critical
Publication of KR102399728B1 publication Critical patent/KR102399728B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/40—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for devices for accepting orders, advertisements, or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42212—Specific keyboard arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 발명은 사용자의 키입력 편의성을 향상시킬 수 있을 뿐만 아니라 개인정보의 외부노출을 최소화할 수 있는 리모컨부를 구비하는 키오스크 단말장치에 관한 것으로서, 키오스크 단말장치는, 사용자에게 정보를 표시하고, 사용자로부터 키입력을 받는 키오스크 본체부; 상기 키오스크 본체부를 제어하는 리모컨부를 포함하고, 상기 리모컨부는, 사용자의 영상을 생성하는 촬영부; 서로 다른 위치에 구비되는 복수의 스피커; 상기 사용자 영상을 기반으로 사용자의 얼굴의 위치, 귀의 위치 및 입의 위치정보를 포함하는 사용자 위치정보를 생성하고, 사용자 위치정보를 기반으로 상기 복수의 스피커 중 어느 하나를 활성화시켜 음성을 출력하는 리모컨제어부를 포함한다.The present invention relates to a kiosk terminal device having a remote control unit capable of not only improving the user's key input convenience but also minimizing the external exposure of personal information, wherein the kiosk terminal device displays information to the user and receives information from the user. a kiosk body that receives a key input; and a remote control unit for controlling the kiosk body, wherein the remote control unit includes: a photographing unit generating an image of a user; a plurality of speakers provided at different positions; A remote control for generating user location information including location information of the user's face, ears, and mouth based on the user image, and activating any one of the plurality of speakers based on the user location information to output a voice includes a control unit.

Description

리모컨부를 구비하는 키오스크 단말장치{KIOSK TERMINAL DEVICE HAVING A REMOTE CONTROL UNIT}Kiosk terminal device having a remote control unit {KIOSK TERMINAL DEVICE HAVING A REMOTE CONTROL UNIT}

본 발명은 공공기관이나 공공장소 등에 설치되어 특정업무를 수행할 수 있는 키오스크 단말장치에 관한 것으로서, 보다 상세하게는 키오스크 단말장치에 정보입력 시 개인정보 노출을 방지할 수 있는 키오스크 단말장치에 관한 것이다. The present invention relates to a kiosk terminal device installed in a public institution or public place to perform a specific task, and more particularly, to a kiosk terminal device capable of preventing personal information exposure when information is input into the kiosk terminal device. .

일반적으로　키오스크(KIOSK) 단말장치는 무인 정보 단말기의 일종이며, 정부기관이나 지방 자치 단체, 은행, 백화점 및 전시장 등과 같은 공공 장소에 설치되어 각종 행정 절차나 상품 정보, 시설물의 이용 방법 등에 대한 안내 서비스를 제공한다.　In general, a kiosk terminal device is a type of unmanned information terminal, and is installed in public places such as government agencies, local governments, banks, department stores, and exhibition halls to provide information on various administrative procedures, product information, and how to use facilities. provides

키오스크 단말장치는 음성 서비스나 동화상 구현 기능을 구비함으로써 이용자에게 효율적인 정보를 제공하는 무인 종합 정보 안내 장치라고 할 수 있다. The kiosk terminal device can be said to be an unmanned comprehensive information guide device that provides efficient information to users by providing a voice service or a moving image realization function.

이러한　키오스크　단말장치는 키보드 또는 터치 스크린을 구비함으로써 이용자는　키오스크　장치와 상호 대화방식으로 정보를 편리하게 검색하거나 또는 원하는 정보를 얻을 수 있고　키오스크를 관리하는 기관들은 안내 인력의 절감효과를 거둘 수 있다. Since such a kiosk terminal device is equipped with a keyboard or a touch screen, users can conveniently search for information or obtain desired information in an interactive manner with the kiosk device, and organizations that manage the kiosk can save information on personnel.

대한민국 특허공보 제2011-0107951호에 의하면, 사용자의 입력편의를 위해 키오스크의 모니터의 높이 등을 제어할 수 있는 키오스크 단말장치가 개시되었다. 하지만 사용자가 키오스크 단말장치에 키입력 시 키오스크 단말장치 주변에 위치한 타인에게 노출되어, 사용자의 개인정보가 유출될 수 있다.According to Korean Patent Publication No. 2011-0107951, a kiosk terminal device capable of controlling the height of a monitor of the kiosk for user input convenience has been disclosed. However, when a user inputs a key into the kiosk terminal device, the user may be exposed to others located around the kiosk terminal device, and personal information of the user may be leaked.

상기와 같은 과제를 해결하기 위해 본 발명은 키입력의 편의성을 향상시킬 수 있을 뿐만 아니라 개인정보의 유출을 최소화할 수 있는 키오스크 단말장치를 제공함에 목적이 있다. In order to solve the above problems, an object of the present invention is to provide a kiosk terminal device capable of improving the convenience of key input and minimizing leakage of personal information.

본 발명의 일 실시예에 다른 리모컨부를 구비하는 키오스크 단말장치는, 사용자에게 정보를 표시하고, 사용자로부터 키입력을 받는 키오스크 본체부; 상기 키오스크 본체부를 제어하는 리모컨부를 포함하고, 상기 리모컨부는, 상기 사용자를 촬영하여 사용자영상을 생성하는 촬영부; 서로 다른 위치에 구비되는 복수의 스피커; 및 상기 사용자 영상을 기반으로 상기 사용자의 귀의 위치 및 입의 위치를 포함하는 사용자 위치정보를 생성하고, 상기 사용자 위치정보를 기반으로 상기 복수의 스피커 중 어느 하나를 활성화시켜 음성을 출력하는 리모컨제어부를 포함한다.According to an embodiment of the present invention, a kiosk terminal device having a remote control unit includes: a kiosk body unit that displays information to a user and receives a key input from the user; and a remote control unit for controlling the kiosk body, wherein the remote control unit includes: a photographing unit generating a user image by photographing the user; a plurality of speakers provided at different positions; and a remote control unit that generates user location information including the location of the user's ear and mouth based on the user image, and activates any one of the plurality of speakers based on the user location information to output a voice. include

또한 실시예에 있어서, 상기 리모컨부는, 서로 다른 위치에 구비되어 사용자의 음성을 입력받는 복수의 제1 마이크를 더 포함하고, 상기 리모컨제어부는, 상기 사용자 위치정보를 기반으로 상기 제1 복수의 마이크 중 어느 하나를 활성화시켜 사용자의 음성을 입력받는다.In an embodiment, the remote control unit further includes a plurality of first microphones provided at different locations to receive a user's voice, and the remote control control unit includes the first plurality of microphones based on the user location information. One of them is activated to receive the user's voice.

또한 실시예에 있어서, 상기 리모컨부는, 서로 다른 위치에 구비되며 사용자와의 거리를 측정하기 위한 복수의 거리센서를 더 포함하고, 상기 리모컨제어부는, 상기 사용자 위치정보를 기반으로, 상기 복수의 거리센서 중 어느 하나를 활성화시켜 거리정보를 생성한다.Also in an embodiment, the remote control unit is provided at different positions and further comprises a plurality of distance sensors for measuring a distance to the user, and the remote control unit, based on the user location information, the plurality of distances One of the sensors is activated to generate distance information.

또한 실시예에 있어서, 주변잡음을 입력받기 위한 제2 마이크를 더 포함하고, 상기 리모컨제어부는, 상기 거리정보 및 상기 주변잡음의 소리크기에 기반하여 상기 복수의 스피커에서 출력되는 음성의 소리크기를 제어한다.In addition, in an embodiment, further comprising a second microphone for receiving an input of ambient noise, wherein the remote control controller determines the volume of the voice output from the plurality of speakers based on the distance information and the volume of the ambient noise. Control.

본 발명의 다른 실시예에 따른 리모컨부를 구비하는 키오스크 단말장치는, 사용자에게 정보를 표시하고, 상기 사용자로부터 키입력을 받는 키오스크 본체부; 상기 키오스크 본체부를 제어하는 리모컨부를 포함하고, 상기 리모컨부는, 상기 사용자를 촬영하여 사용자영상을 생성하는 촬영부; 상기 사용자에게 음성을 출력하는 스피커; 상기 사용자와의 거리를 측정하여 거리정보를 생성하는 거리센서 및 상기 사용자 영상에서 상기 거리센서에 의해 측정되는 위치가 상기 사용자의 어디 부위인지 판별하여 부위정보를 생성하고, 상기 사용자 부위정보에 대해 미리 설정된 가중치를 이용하여 상기 거리정보를 보정하고, 상기 보정된 거리정보에 기반하여 상기 스피커의 음량을 조절하는 리모컨제어부를 포함한다.According to another embodiment of the present invention, a kiosk terminal device having a remote control unit includes: a kiosk body unit that displays information to a user and receives a key input from the user; and a remote control unit for controlling the kiosk body, wherein the remote control unit includes: a photographing unit generating a user image by photographing the user; a speaker for outputting a voice to the user; A distance sensor for generating distance information by measuring the distance from the user, and a position measured by the distance sensor in the user image to determine where the user is located to generate part information, and to generate part information in advance for the user part information and a remote control controller for correcting the distance information using a set weight and adjusting a volume of the speaker based on the corrected distance information.

본 발명에 따르면, 키오스크 단말장치는 키오스크 본체부와는 별도로 키오스크 본체부를 제어할 수 있는 리모컨부를 구비한다. 리모컨부를 통한 키입력에 의해, 키입력의 편의성을 향상시킬 수 있을 뿐 아니라 개인정보의 외부노출을 최소화할 수 있다.According to the present invention, the kiosk terminal device includes a remote control unit capable of controlling the kiosk main unit separately from the kiosk main unit. By key input through the remote control unit, it is possible to not only improve the convenience of key input, but also to minimize external exposure of personal information.

본 발명에 따르면, 리모컨제어부는, 촬영부에서 촬영한 영상정보를 기반으로 판단된 사용자의 얼굴위치에 따라, 거리인식부의 복수의 거리센서 중 어느 하나의 거리센서를 활성화시킴으로써, 정확한 거리측정이 가능하게 된다.According to the present invention, the remote control controller enables accurate distance measurement by activating any one of the plurality of distance sensors of the distance recognition unit according to the position of the user's face determined based on the image information captured by the photographing unit. will do

본 발명에 따르면, 리모컨제어부는, 촬영부에서 촬영한 영상정보를 기반으로 판단된 사용자의 입 위치에 따라, 거리인식부의 복수의 마이크 중 어느 하나의 마이크를 활성화시킴으로써, 작은 음성도 인식할 수 있게 되어 개인정보의 외부노출을 최소화할 수 있다. According to the present invention, the remote control control unit activates any one of the plurality of microphones of the distance recognition unit according to the user's mouth position determined based on the image information captured by the photographing unit, so that even a small voice can be recognized. Thus, the external exposure of personal information can be minimized.

본 발명에 따르면, 리모컨제어부는, 촬영부에서 촬영한 영상정보를 기반으로 판단된 사용자의 귀 위치에 따라, 거리인식부의 복수의 스피커 중 어느 하나의 스피커를 활성화시킴으로써, 개인정보의 외부노출을 최소화할 수 있다. According to the present invention, the remote control controller minimizes external exposure of personal information by activating any one of a plurality of speakers of the distance recognition unit according to the position of the user's ear determined based on the image information captured by the photographing unit. can do.

본 발명에 따르면, 리모컨제어부는, 거리정보 및 주변잡음의 소리크기에 기반하여 오디오출력부에서 출력되는 음성의 소리크기를 제어함으로써, 사용자가 원활하게 음성을 인식할 수 있게 된다.According to the present invention, the remote control controller controls the volume of the voice output from the audio output unit based on the distance information and the volume of ambient noise, so that the user can smoothly recognize the voice.

도 1은 본 발명의 일 실시예에 따른 키오스크 단말장치를 설명하기 위한 도면이다.
도 2는 도 1에 도시된 리모컨부와 키오스크 본체부의 구성을 설명하기 위한 도면이다.
도 3은 도 2에 도시된 촬영부에서 촬영된 사용자의 영상정보를 도시한 예시도이다.
도 4는 도 2에 도시된 리모컨부를 설명하기 위한 도면이다.
도 5는 도 2에 도시된 리모컨부의 변형 실시예를 설명하기 위한 도면이다.1 is a diagram for explaining a kiosk terminal device according to an embodiment of the present invention.
FIG. 2 is a view for explaining the configuration of the remote control unit and the kiosk main unit shown in FIG. 1 .
FIG. 3 is an exemplary diagram illustrating image information of a user captured by the photographing unit shown in FIG. 2 .
4 is a view for explaining the remote control unit shown in FIG.
5 is a view for explaining a modified embodiment of the remote control unit shown in FIG.

본 발명과 본 발명의 실시에 의해 달성되는 기술적 과제는 다음에서 설명하는 본 발명의 바람직한 실시예들에 의하여 보다 명확해질 것이다. 다음의 실시예들은 단지 본 발명을 설명하기 위하여 예시된 것에 불과하며, 본 발명의 범위를 제한하기 위한 것은 아니다.The present invention and the technical problems achieved by the practice of the present invention will become clearer by the preferred embodiments of the present invention described below. The following examples are merely illustrative of the present invention, and are not intended to limit the scope of the present invention.

도 1은 본 발명의 실시예에 따른 리모컨부를 구비하는 키오스크 단말장치를 설명하기 위한 도면이고, 도 2는 도 1에 도시된 리모컨부와 키오스크 본체부의 구성을 설명하기 위한 도면이다. FIG. 1 is a view for explaining a kiosk terminal device having a remote control unit according to an embodiment of the present invention, and FIG. 2 is a view for explaining the configuration of the remote control unit and the kiosk body unit shown in FIG. 1 .

도 1 및 도 2를 참조하면, 리모컨부를 구비하는 키오스크 단말장치(10)는, 키오스크 본체부(100) 및 리모컨부(200)를 포함한다.1 and 2 , the kiosk terminal device 10 having a remote control unit includes a kiosk body unit 100 and a remote control unit 200 .

키오스크 본체부(100)는 디스플레이부(110), 본체제어부(120), 본체연결부(130)를 포함한다.The kiosk body unit 100 includes a display unit 110 , a main body control unit 120 , and a main body connection unit 130 .

디스플레이부(110)는 터치 디스플레이를 구비하며, 사용자에게 정보를 표시하며, 사용자로부터 터치 디스플레이를 통해 키입력을 받는다. 본체제어부(120)는 사용자로부터의 키입력에 대응하여 디스플레이부(110)에 표시할 정보를 생성하여 디스플레이부(110)에 제공한다. 본체연결부(130)는 리모컨부(200)을 유선으로 연결하고, 신호를 송수신한다.The display unit 110 includes a touch display, displays information to the user, and receives a key input from the user through the touch display. The main body control unit 120 generates information to be displayed on the display unit 110 in response to a key input from the user and provides it to the display unit 110 . The main body connection unit 130 connects the remote control unit 200 with a wire, and transmits and receives signals.

리모컨부(200)는 키오스크 본체부(100)에 탈착식으로 고정되며, 사용자에 의해 키오스크 본체부(100)로부터 분리될 수 있다. 리모컨부(200)는 키오스크 본체부(100)와 유선 연결된다. 본 발명에 따르면, 사용자는 키오스크 본체부(100)에 직접 키입력을 수행하지 않고, 리모컨부(200)를 통하여 키입력을 수행함으로써, 키입력의 편의성을 향상시키고, 키 입력 시 개인정보의 외부노출을 최소화할 수 있게 된다. The remote controller 200 is detachably fixed to the kiosk body 100 and may be separated from the kiosk body 100 by a user. The remote controller 200 is connected to the kiosk body 100 by wire. According to the present invention, the user does not directly input the key to the kiosk body unit 100, but performs key input through the remote control unit 200, thereby improving the convenience of key input and saving personal information when entering the key. exposure can be minimized.

리모컨부(200)는 리모컨연결부(210), 리모컨제어부(220), 움직임인식부(231), 촬영부(232), 거리인식부(233), 음성입력부(234), 음성출력부(235), 지문인식부(236), 키입력부(237)을 포함한다. The remote control unit 200 includes a remote control connection unit 210 , a remote control control unit 220 , a motion recognition unit 231 , a photographing unit 232 , a distance recognition unit 233 , a voice input unit 234 , and an audio output unit 235 . , a fingerprint recognition unit 236 , and a key input unit 237 .

리모컨연결부(210)는 본체부(100)를 유선으로 연결한다. 리모컨연결부(210)는 키오스크 본체부(100)로부터 전원 및 제어신호를 제공받아 리모컨제어부(220)에 제공한다. 또한 리모컨연결부(210)는 리모컨제어부(220)로부터의 제어신호를 키오스크 본체부(100)에 제공한다.The remote control connection unit 210 connects the main body 100 with a wire. The remote control connection unit 210 receives power and control signals from the kiosk body unit 100 and provides them to the remote control unit 220 . In addition, the remote control connection unit 210 provides a control signal from the remote control unit 220 to the kiosk body unit 100 .

리모컨제어부(220)는 리모컨연결부(210), 움직임인식부(231), 촬영부(232), 거리인식부(233), 음성입력부(234), 음성출력부(235), 지문인식부(236), 키입력부(237)과 연결되며, 상기 각 구성들을 제어한다. The remote control control unit 220 includes a remote control connection unit 210 , a motion recognition unit 231 , a photographing unit 232 , a distance recognition unit 233 , a voice input unit 234 , a voice output unit 235 , and a fingerprint recognition unit 236 . ), is connected to the key input unit 237, and controls each of the components.

리모컨제어부(220)는 리모컨연결부(210), 움직임인식부(231), 지문인식부(236), 키입력부(237)의 연결을 위한 USB, 시리얼포트 등의 다양한 연결단자를 구비할 수 있다. 또한 리모컨제어부(220)는 음성입력부(234)로부터 제공되는 아날로그 오디오신호를 디지털 오디오신호로 변환하거나 디지털 오디오신호를 아날로그 오디오신호로 변환하기 위한 오디오처리부(미도시)를 포함할 수 있다.The remote control control unit 220 may include various connection terminals such as a USB and serial port for connecting the remote control connection unit 210 , the motion recognition unit 231 , the fingerprint recognition unit 236 , and the key input unit 237 . In addition, the remote control controller 220 may include an audio processing unit (not shown) for converting an analog audio signal provided from the voice input unit 234 into a digital audio signal or converting a digital audio signal into an analog audio signal.

움직임인식부(231)는 리모컨부의 움직임을 측정한다. 움직임인식부(231)은 가속도센서로 구비될 수 있다. 움직임인식부(231)는 리모컨부(200)의 움직임정보를 리모컨제어부(220)로 제공한다. 이때 리모컨부(200)의 움직임정보는 사용자가 리모컨부(200)를 본체부(100)로부터 분리하거나 들고 있는 상태를 리모컨제어부(220)가 파악하기 위한 정보이다. The motion recognition unit 231 measures the motion of the remote control unit. The motion recognition unit 231 may be provided as an acceleration sensor. The motion recognition unit 231 provides motion information of the remote control unit 200 to the remote control unit 220 . In this case, the motion information of the remote control unit 200 is information for the remote control unit 220 to determine the state in which the user separates or holds the remote control unit 200 from the body unit 100 .

리모컨제어부(220)는 움직임인식부(231)로부터 제공되는 리모컨부(200)의 움직임정보에 기반하여 촬영부(232), 거리인식부(233), 음성입력부(234), 음성출력부(235), 지문인식부(236), 키입력부(237)를 활성화한다. The remote control controller 220 includes a photographing unit 232 , a distance recognition unit 233 , a voice input unit 234 , and a voice output unit 235 based on the motion information of the remote control unit 200 provided from the motion recognition unit 231 . ), the fingerprint recognition unit 236 and the key input unit 237 are activated.

촬영부(232)는 사용자 영상을 촬영하여 사용자영상을 생성하는 카메라로 구비된다. 촬영부(232)는 움직임정보에 기반하여 리모컨제어부(220)에 의해 활성화된다. 촬영부(232)는 리모컨부(200)의 전방에 위치하는 사용자를 촬영한 영상정보를 리모컨제어부(220)에 제공한다.The photographing unit 232 is provided as a camera that generates a user image by photographing the user image. The photographing unit 232 is activated by the remote control unit 220 based on the motion information. The photographing unit 232 provides image information of a user located in front of the remote control unit 200 to the remote control unit 220 .

도 3은 도 2에 도시된 촬영부에서 촬영된 사용자의 영상정보를 도시한 예시도이다. FIG. 3 is an exemplary diagram illustrating image information of a user captured by the photographing unit shown in FIG. 2 .

사용자가 리모컨부(200)를 다양한 자세로 파지하는 경우를 고려할 때, 리모컨제어부(220)는 촬영부(232)로부터 제공받은 도 3의 (a), (b) (c)와 같은 사용자의 영상정보를 분석하여 사용자의 귀의 위치, 입의 위치를 포함하는 사용자 위치정보를 생성한다. Considering the case where the user holds the remote control unit 200 in various postures, the remote control control unit 220 provides the user's image such as (a), (b) (c) of FIG. 3 provided from the photographing unit 232 . The information is analyzed to generate user location information including the location of the user's ear and mouth.

예를 들어 리모컨제어부(220)는, 도 3의 (a)의 사용자의 영상정보로부터 사용자의 귀의 위치, 입의 위치가 리모컨의 상단부분에 위치하는 것으로 판단한다. 리모컨제어부(220)는, 도 3의 (b)의 사용자의 영상정보로부터 사용자의 귀의 위치, 입의 위치가 리모컨의 중간부분에 위치하는 것으로 판단하고, 리모컨제어부(220)는, 도 3의 (c)의 사용자의 영상정보로부터 사용자의 귀의 위치, 입의 위치가 리모컨의 하단부분에 위치하는 것으로 판단한다.For example, the remote control controller 220 determines that the position of the user's ear and mouth are located at the upper end of the remote control from the user's image information of FIG. 3A . The remote control controller 220 determines that the position of the user's ear and mouth are located in the middle of the remote control from the user's image information of FIG. From the user's image information in c), it is determined that the position of the user's ear and mouth are located at the lower part of the remote control.

리모컨제어부(220)는 사용자 영상정보로부터 귀의 위치 또는 입의 위치 등의 사용자 위치정보를 생성하고, 사용자 위치정보를 기반으로 음성입력부(234), 음성출력부(235)를 제어한다. 리모컨제어부(220)의 구체적인 제어방법은 후술한다.The remote control controller 220 generates user location information such as an ear position or a mouth position from the user image information, and controls the voice input unit 234 and the voice output unit 235 based on the user position information. A detailed control method of the remote control controller 220 will be described later.

다시 도 2를 참조하면, 거리인식부(233)는 사용자와 리모컨부와의 거리를 측정하기 위한 거리센서이다. 거리인식부(233)은 리모컨부(200)와 사용자 사이의 거리를 측정하고, 측정된 거리와 관련된 거리정보를 리모컨제어부(220)에 제공한다. Referring back to FIG. 2 , the distance recognition unit 233 is a distance sensor for measuring the distance between the user and the remote control unit. The distance recognition unit 233 measures the distance between the remote control unit 200 and the user, and provides distance information related to the measured distance to the remote control unit 220 .

거리인식부(233)는 리모컨부(200) 상의 서로 다른 위치에 복수개로 구비될 수 있다. 도 2 및 도 4를 참조하면, 거리인식부(233)는 리모컨부(220)의 상단부분에 위치하는 제1 거리센서(233a), 리모컨부(220)의 중간부에 위치하는 제2 거리센서(233b), 리모컨부(220)의 하단부분에 위치하는 제3 거리센서(233c)를 포함할 수 있다.A plurality of distance recognition units 233 may be provided at different positions on the remote control unit 200 . 2 and 4 , the distance recognition unit 233 includes a first distance sensor 233a located at the upper end of the remote control unit 220 and a second distance sensor located in the middle of the remote control unit 220 . (233b), it may include a third distance sensor (233c) located at the lower end of the remote control unit (220).

리모컨제어부(220)는, 촬영부(232)로부터 제공받은 사용자의 영상정보를 분석하여 얼굴의 위치, 귀의 위치, 입의 위치를 포함하는 사용자 위치정보를 생성하고, 사용자 위치정보를 기반하여 복수의 거리센서 중 어느 하나를 활성화시킨다.The remote control controller 220 analyzes the user's image information provided from the photographing unit 232 to generate user location information including the location of the face, the location of the ears, and the location of the mouth, and based on the user location information, a plurality of Activate one of the distance sensors.

구체적으로 리모컨제어부(220)는 사용자 위치정보 중 얼굴위치에 기반하여 복수의 거리센서 중 얼굴과 가까운 위치의 거리센서만을 활성화시키고, 나머지 거리센서를 비활성화시킬 수 있다. Specifically, the remote control controller 220 may activate only a distance sensor at a position close to the face among a plurality of distance sensors based on the face position among the user position information, and deactivate the remaining distance sensors.

예를 들어, 도 3의 (a)와 같이 사용자의 얼굴위치가 제1 거리센서(233a)에 가까울 때, 리모컨제어부(220)는 제1 거리센서(233a)를 활성화시켜 얼굴까지의 거리를 측정하고, 제2 내지 제3 거리센서(233b, 233c)를 비활성시킬 수 있다. 이에 따라 더욱 정확한 거리측정이 가능해진다. For example, when the user's face position is close to the first distance sensor 233a as shown in FIG. 3A , the remote controller 220 activates the first distance sensor 233a to measure the distance to the face and the second to third distance sensors 233b and 233c may be deactivated. Accordingly, more accurate distance measurement is possible.

또한 이와는 달리 거리인식부(233)는 하나의 거리센서로 구비될 수도 있다.Also, unlike this, the distance recognition unit 233 may be provided as a single distance sensor.

리모컨제어부(220)는 거리인식부(233)로부터 제공되는 리모컨부(200)와 사용자 사이의 거리정보를 기반으로 음성출력부(235)로부터 출력되는 음성의 소리크기를 제어한다. 이때 리모컨부(200)와 사용자 사이의 거리정보는, 움직임인식부(231)에 의해 활성화된 이후의 생성되는 정보이므로, 리모컨부(200)를 사용하지 않는 사용자 또는 키오스크 단말장치(10)를 지나치는 사용자가 아닌, 실질적으로 리모컨부(200)를 사용하는 사용자와의 거리정보가 된다.The remote control controller 220 controls the volume of the voice output from the voice output unit 235 based on the distance information between the remote control unit 200 and the user provided from the distance recognition unit 233 . At this time, since the distance information between the remote control unit 200 and the user is information generated after being activated by the motion recognition unit 231 , do not pass the user who does not use the remote control unit 200 or the kiosk terminal device 10 . is distance information from a user who is not a user, but a user who actually uses the remote control unit 200 .

오디오입력부(234)는 음성인식을 챗봇기능을 위해 수행하기 위한 것으로서, 마이크(234a, 234b, 234c, 234d)로 구비될 수 있다. 리모컨제어부(220)에 의해 활성화된다. 오디오입력부(234)는 주변잡음 또는 사용자의 음성을 입력받고, 리모컨제어부(220)에 제공한다.The audio input unit 234 is for performing voice recognition for the chatbot function, and may be provided with microphones 234a, 234b, 234c, and 234d. It is activated by the remote control unit 220 . The audio input unit 234 receives ambient noise or a user's voice and provides it to the remote control unit 220 .

오디오입력부(234)는 사용자의 음성을 입력받기 위한 것으로서, 리모컨부(200) 상의 서로 다른 위치에 구비되는 제1 내지 제3 마이크(234a, 234b, 234c)와, 주변잡음을 입력받기 위한 제4 마이크(234d)를 포함할 수 있다. 이때 마이크는 잡음의 영향을 최소화하기 위해 지향성 마이크로 구비됨이 더욱 바람직하다. The audio input unit 234 is for receiving a user's voice, and includes first to third microphones 234a, 234b, 234c provided at different positions on the remote control unit 200, and a fourth for receiving ambient noise. A microphone 234d may be included. In this case, it is more preferable that the microphone is provided with a directional microphone in order to minimize the influence of noise.

제1 마이크(234a)는 리모컨부(200)의 상단부분에 구비되며, 리모컨부(200)의 상단부분을 통해 입력되는 사용자의 음성을 입력받는다. 제2 마이크(234b)는 리모컨부(200)의 중간부분에 구비되며, 리모컨부(200)의 중간부분을 통해 입력되는 사용자의 음성을 입력받는다. 제3 마이크(234c)는 리모컨부(200)의 하단부분에 구비되며, 리모컨부(200)의 하단부분을 통해 입력되는 사용자 음성을 입력받는다. The first microphone 234a is provided at the upper end of the remote control unit 200 and receives a user's voice input through the upper end of the remote control unit 200 . The second microphone 234b is provided in the middle portion of the remote control unit 200 and receives the user's voice input through the middle portion of the remote control unit 200 . The third microphone 234c is provided at the lower end of the remote control unit 200 and receives a user's voice input through the lower end of the remote control unit 200 .

이때 제1 내지 제3 마이크(234a, 234b, 234c)는 리모컨제어부(220)에 의해 선택적으로 활성화될 수 있다. In this case, the first to third microphones 234a, 234b, and 234c may be selectively activated by the remote controller 220 .

리모컨제어부(220)는 촬영부(232)로부터 제공되는 영상을 기반으로 사용자의 영상정보를 분석하여 얼굴의 위치, 귀의 위치, 입의 위치 등과 같은 사용자 위치정보를 생성하고, 사용자 위치정보를 기반으로 제1 내지 제3 마이크(234a, 234b, 234c) 중 어느 하나의 마이크를 활성화하고, 나머지 마이크를 비활성화시킬 수 있다. The remote control controller 220 analyzes the user's image information based on the image provided from the photographing unit 232 to generate user location information such as the location of the face, the location of the ears, the location of the mouth, etc., and based on the user location information Any one of the first to third microphones 234a, 234b, and 234c may be activated and the other microphones may be deactivated.

예를 들어, 도 3의 (a)와 같이 사용자의 입의 위치가 제1 마이크(234a)에 가까울 때, 리모컨제어부(220)는 제1 마이크(234a)를 활성화시켜 사용자의 음성을 입력받고, 제2 내지 제3 마이크(234b, 234c)을 비활성시켜 주변잡음을 최소화할 수 있다. For example, when the position of the user's mouth is close to the first microphone 234a as shown in Fig. 3(a), the remote control unit 220 activates the first microphone 234a to receive the user's voice, The second to third microphones 234b and 234c may be deactivated to minimize ambient noise.

또한 리모컨제어부(220)는 리모컨부(200)와 사용자 사이의 거리정보를 기반으로 마이크의 입력정도를 조절할 수 있다. In addition, the remote control unit 220 may adjust the input level of the microphone based on the distance information between the remote control unit 200 and the user.

즉, 리모컨부와 사용자 사이의 거리가 가까운 경우, 리모컨제어부(220)는 활성화된 마이크의 입력정도를 줄이고, 리모컨부와 사용자 사이의 거리가 먼 경우, 리모컨제어부(220)는 활성화된 마이크의 입력정도를 증가시킬 수 있다. That is, when the distance between the remote control unit and the user is close, the remote control unit 220 reduces the input level of the activated microphone, and when the distance between the remote control unit and the user is long, the remote control unit 220 reduces the input of the activated microphone degree can be increased.

제4 마이크(234d)는 리모컨부(200)의 측면부 또는 배면부에 구비되며, 리모컨부(200)의 측면부분을 통해 입력되는 주변잡음을 입력받고, 리모컨제어부(220)에 제공한다. The fourth microphone 234d is provided on the side or rear side of the remote control unit 200 , receives ambient noise input through the side side of the remote control unit 200 , and provides it to the remote control unit 220 .

리모컨제어부(220)는 제4 마이크(234d)로부터 제공되는 주변잡음의 소리크기에 기반하여 오디오출력부(235)의 소리출력을 조절한다. 즉, 리모컨제어부(220)는, 주변잡음의 소리크기가 큰 경우 오디오출력부(235)의 소리출력을 올리고, 주변잡음의 소리크기가 작은 경우 오디오출력부(235)의 소리출력을 낮춘다. The remote control controller 220 adjusts the sound output of the audio output unit 235 based on the loudness of the ambient noise provided from the fourth microphone 234d. That is, the remote control controller 220 raises the sound output of the audio output unit 235 when the volume of the ambient noise is large, and lowers the sound output of the audio output unit 235 when the volume of the ambient noise is small.

리모컨제어부(220)는, 촬영부(232)로부터의 사용자 영상정보를 기반으로 제1 내지 제3 마이크 중 사용자의 입의 위치에 가까운 마이크를 활성화하고, 나머지 마이크를 비활성화시켜 주변잡음의 영향을 최소화할 수 있다. 이에 따라 리모컨부는 주변잡음이 최소화된 상태에서 사용자의 작은 크기의 음성도 인식할 수 있게 되어, 개인정보의 외부노출이 방지될 수 있다. The remote control controller 220 activates a microphone close to the position of the user's mouth among the first to third microphones based on the user image information from the photographing unit 232 , and deactivates the remaining microphones to minimize the influence of ambient noise can do. Accordingly, the remote control unit can recognize a user's small voice in a state where ambient noise is minimized, and thus, external exposure of personal information can be prevented.

오디오출력부(235)는 리모컨제어부(220)로부터 제공되는 음성을 사용자에게 출력하고, 주변에 위치한 타사용자에게 잡음을 출력한다. 오디오출력부(235)는 리모컨부(200) 상의 서로 다른 위치에 구비되는 3개의 제1 내지 제3 스피커(235a, 235b, 235c)와, 잡음을 출력하기 위한 제4 스피커(235d)를 포함할 수 있다. 이때 제1 내지 제4 스피커는 지향성 스피커로 구비됨이 더욱 바람직하다.The audio output unit 235 outputs the voice provided from the remote control unit 220 to the user, and outputs noise to other users located nearby. The audio output unit 235 may include three first to third speakers 235a, 235b, 235c provided at different positions on the remote control unit 200 and a fourth speaker 235d for outputting noise. can In this case, it is more preferable that the first to fourth speakers are provided as directional speakers.

제1 스피커(235a)는 리모컨부(200)의 전면부의 상단부분에 구비되고, 제2 스피커(235b)는 리모컨부(200)의 전면부의 중간부분에 구비되며, 제3 스피커(235c)는 리모컨부(200)의 전면부의 하단부분에 구비된다. 제1 내지 제3 스피커(235a, 235b, 235c)의 음성출력 방향은 서로 다르게 설정된다.The first speaker 235a is provided at the upper end of the front part of the remote control unit 200 , the second speaker 235b is provided at the middle part of the front part of the remote control unit 200 , and the third speaker 235c is the remote control unit. It is provided at the lower end of the front part of the unit 200 . The audio output directions of the first to third speakers 235a, 235b, and 235c are set to be different from each other.

리모컨제어부(220)에 의해, 제1 내지 제3 스피커(235a, 235b, 235c) 중 일부는 활성화되고 나머지는 비활성화될 수 있다.By the remote controller 220 , some of the first to third speakers 235a , 235b , and 235c may be activated and others may be deactivated.

리모컨제어부(220)는 촬영부(232)로부터 제공되는 영상을 기반으로 사용자의 영상정보를 분석하여 얼굴의 위치, 귀의 위치, 입의 위치 등과 같은 사용자 위치정보를 생성하고, 사용자 위치정보를 기반으로 어느 하나의 스피커를 활성화시킬 수 있다. 구체적으로 리모컨제어부(220)는 제1 내지 제3 스피커(235a, 235b, 235c) 중 사용자의 귀의 위치를 향하는 어느 하나의 스피커만을 활성화함으로써, 사용자의 주변에 위치한 타인으로 향하는 소리를 차단하여 개인정보의 노출을 방지할 수 있다. The remote control controller 220 analyzes the user's image information based on the image provided from the photographing unit 232 to generate user location information such as the location of the face, the location of the ears, the location of the mouth, etc., and based on the user location information Either speaker can be activated. Specifically, the remote control controller 220 activates only any one of the first to third speakers 235a, 235b, and 235c facing the user's ear, thereby blocking the sound directed to other people located in the vicinity of the user to prevent personal information. exposure can be prevented.

제4 스피커(235d)는 노이즈를 리모컨부(200)의 측면 또는 배면방향으로 출력함으로써, 사용자의 주변에 위치한 타인에게 개인정보가 노출되는 것을 최소화할 수 있다.The fourth speaker 235d outputs noise in the side or rear direction of the remote control unit 200, thereby minimizing exposure of personal information to others located near the user.

리모컨제어부(220)는, 리모컨부(200)와 사용자 사이의 거리를 나타내는 거리정보 및 오디오입력부(234)의 제4 마이크(234d)를 통해 입력되는 주변음의 소리크기에 기반하여 오디오출력부(235)의 제1 내지 제3 스피커(235a, 235b, 235c) 중 활성화된 스피커의 소리출력을 조절한다. The remote control control unit 220, based on the distance information indicating the distance between the remote control unit 200 and the user, and the audio output unit ( 235) of the first to third speakers (235a, 235b, 235c) to adjust the sound output of the activated speaker.

소리출력의 크기는, 리모컨부(200)와 사용자 사이의 거리에 비례하며, 주변음의 소리 크기에 비례하도록 소리출력을 제어한다.The volume of the sound output is proportional to the distance between the remote control unit 200 and the user, and the sound output is controlled to be proportional to the volume of the surrounding sound.

한편 음성인식 챗봇기능이 수행되는 경우, 리모컨제어부(220)는 거리정보, 주변음의 소리크기 및 오디오입력부(234)로부터 입력되는 사용자음성의 소리크기에 기반하여 오디오출력부(235)의 제1 내지 제3 스피커(235a, 235b, 235c)의 소리출력을 조절할 수 있다.On the other hand, when the voice recognition chatbot function is performed, the remote control controller 220 controls the first of the audio output unit 235 based on the distance information, the volume of the ambient sound, and the volume of the user's voice input from the audio input unit 234 . The sound output of the to third speakers 235a, 235b, and 235c may be adjusted.

예를 들어, 리모컨제어부(220)는 리모컨부와 사용자 사이의 거리정보 및 주변음의 소리크기를 반영하여 오디오출력부(235)의 소리출력을 조절하되, 사용자가 개인정보의 외부노출을 피하기 위해 작은 음성으로 리모컨부(200)를 향해 말하는 경우, 리모컨제어부(220)는 사용자의 작은 음성에 기반하여 오디오출력부(235)에서 출력되는 음성의 소리크기를 더욱 줄일 수 있다. 또한 이와 반대로 사용자가 큰 음성으로 리모컨부(200)를 향해 말하는 경우, 리모컨제어부(220)는 사용자의 음성크기에 비례하여 소리출력을 키울 수 있다. For example, the remote control unit 220 adjusts the sound output of the audio output unit 235 by reflecting the distance information between the remote control unit and the user and the sound level of the ambient sound, but in order for the user to avoid exposing personal information to the outside. When speaking to the remote control unit 200 with a small voice, the remote control unit 220 may further reduce the volume of the voice output from the audio output unit 235 based on the user's small voice. In contrast, when the user speaks toward the remote control unit 200 with a loud voice, the remote control unit 220 may increase the sound output in proportion to the user's voice volume.

지문인식부(236)는 사용자 식별을 위한 사용자의 지문인식정보를 리모컨제어부(220)에 게공한다.The fingerprint recognition unit 236 provides the user's fingerprint recognition information for user identification to the remote control controller 220 .

키입력부(237)는 버튼 방식의 물리적 키보드 또는 터치방식의 키보드를 포함한다. 키입력부(237) 사용자에 의해 선택되는 키입력정보를 리모컨제어부(220)에 제공한다. 리모컨제어부(220)는 키입력정보를 키오스크 본체부(100)에 제공한다.The key input unit 237 includes a button type physical keyboard or a touch type keyboard. The key input unit 237 provides key input information selected by the user to the remote control unit 220 . The remote control control unit 220 provides key input information to the kiosk body unit 100 .

도면에는 도시되지 않았지만, 리모컨부(200)는 리모컨 디스플레이부를 더 포함할 수 있다. 리모컨 디스플레이부는 키오스크 본체(100)의 디스플레이부에 표시된 정보를 표시할 수 있다.Although not shown in the drawings, the remote control unit 200 may further include a remote control display unit. The remote control display unit may display information displayed on the display unit of the kiosk body 100 .

도면에는 도시하지 않았지만, 키오스크 본체부(100)는 움직임인식부(231), 촬영부(232), 거리인식부(233), 오디오입력부(234), 오디오출력부(235), 지문인식부(236) 등의 구성을 포함할 수 있다.Although not shown in the drawing, the kiosk body 100 includes a motion recognition unit 231, a photographing unit 232, a distance recognition unit 233, an audio input unit 234, an audio output unit 235, a fingerprint recognition unit ( 236) and the like.

본 발명에 따르면, 키오스크 단말장치는 키오스크 본체부와는 별도로 키오스크 본체부를 제어할 수 있는 리모컨부를 구비한다. 리모컨부를 통한 키입력에 의해, 키입력의 편의성을 향상시킬 수 있을 뿐 아니라 개인정보의 외부노출을 최소화할 수 있다.According to the present invention, the kiosk terminal device includes a remote control unit capable of controlling the kiosk main unit separately from the kiosk main unit. By key input through the remote control unit, it is possible to not only improve the convenience of key input, but also to minimize external exposure of personal information.

본 발명에 따르면, 리모컨제어부는, 촬영부에서 촬영한 영상정보를 기반으로 판단된 사용자의 얼굴위치에 따라, 거리인식부의 복수의 거리센서 중 어느 하나의 거리센서를 활성화시킴으로써, 사용자와 리모컨부 사이의 정확한 거리측정이 가능하게 되며, 측정된 거리에 기반하여 스피커의 출력을 조정함으로써 개인정보의 외부노출을 최소화할 수 있다. According to the present invention, the remote control control unit activates any one of the distance sensors of the plurality of distance sensors of the distance recognition unit according to the position of the user's face determined based on the image information captured by the photographing unit, thereby providing a connection between the user and the remote control unit. accurate distance measurement is possible, and the external exposure of personal information can be minimized by adjusting the output of the speaker based on the measured distance.

본 발명에 따르면, 리모컨제어부는, 촬영부에서 촬영한 영상정보를 기반으로 판단된 사용자의 입 위치에 따라, 거리인식부의 복수의 마이크 중 어느 하나의 마이크를 활성화시킴으로써, 작은 음성도 인식할 수 있게 되어 개인정보의 외부노출을 최소화할 수 있다. According to the present invention, the remote control control unit activates any one of the plurality of microphones of the distance recognition unit according to the user's mouth position determined based on the image information captured by the photographing unit, so that even a small voice can be recognized. Thus, the external exposure of personal information can be minimized.

도 5는 도 4의 리모컨부의 변형실시예를 설명하기 위한 도면이다.5 is a view for explaining a modified embodiment of the remote control unit of FIG.

리모컨부의 변형실시예는 도 2의 리모컨부의 구성을 포함하지만, 거리인식부, 음성인식부, 음성출력부의 상세 구성이 이전 실시예의 리모컨부와 상이하다. 이하 변형실시예의 리모컨부(200)에 대한 설명 중 이전 실시예의 설명과 중복되는 설명은 생략하고, 변형실시예의 리모컨부의 거리인식부, 음성인식부, 음성출력부에 대해 상세하게 설명한다.The modified embodiment of the remote control unit includes the configuration of the remote control unit of FIG. 2, but the detailed configuration of the distance recognition unit, the voice recognition unit, and the voice output unit is different from the remote control unit of the previous embodiment. Hereinafter, descriptions of the remote control unit 200 of the modified embodiment will be omitted, and descriptions that overlap with those of the previous embodiment will be omitted, and the distance recognition unit, voice recognition unit, and voice output unit of the remote control unit of the modified embodiment will be described in detail.

도 2 및 도 5를 참조하면, 변형실시예의 리모컨부(200)는 리모컨연결부(210), 리모컨제어부(220), 움직임인식부(231), 촬영부(232), 거리인식부(233), 음성입력부(234), 음성출력부(235), 지문인식부(236), 키입력부(237)을 포함한다. 2 and 5, the remote control unit 200 of the modified embodiment includes a remote control connection unit 210, a remote control control unit 220, a motion recognition unit 231, a photographing unit 232, a distance recognition unit 233, It includes a voice input unit 234 , a voice output unit 235 , a fingerprint recognition unit 236 , and a key input unit 237 .

거리인식부(233)은 사용자와 리모컨부 사이의 거리를 측정할 수 있는 거리센서로 구비될 수 있다. 거리인식부(233)는 리모컨부(200)와 사용자 사이의 거리를 측정하고, 측정된 거리에 대한 거리정보를 리모컨제어부(220)에 제공한다. 이때 거리인식부(233)에 의해 측정되는 리모컨부(200)와 사용자 사이의 거리는, 실질적으로 사용자의 이마, 입, 귀, 코, 머리 중 어느 하나와 리모컨부(200) 사이의 거리일 수 있다.The distance recognition unit 233 may be provided as a distance sensor capable of measuring the distance between the user and the remote control unit. The distance recognition unit 233 measures the distance between the remote control unit 200 and the user, and provides distance information on the measured distance to the remote control unit 220 . In this case, the distance between the remote control unit 200 and the user measured by the distance recognition unit 233 may be substantially the distance between the remote control unit 200 and any one of the user's forehead, mouth, ears, nose, and head. .

오디오입력부(234)는 음성인식을 챗봇기능을 위해 수행하기 위한 것으로서, 마이크로 구비될 수 있다. 오디오입력부(234)는 마이크를 통하여 사용자의 음성 및 주변잡음을 입력받고, 리모컨제어부(220)에 제공한다. 이때 마이크는 지향성 마이크로 구비됨이 더욱 바람직하다. The audio input unit 234 is for performing voice recognition for a chatbot function, and may be provided with a microphone. The audio input unit 234 receives the user's voice and ambient noise through the microphone, and provides it to the remote control unit 220 . In this case, it is more preferable that the microphone is provided with a directional microphone.

오디오입력부(234)는 음성입력을 위한 제5 마이크(234e) 및 주변잡음 입력을 위한 제6 마이크(234f)를 포함한다.The audio input unit 234 includes a fifth microphone 234e for voice input and a sixth microphone 234f for ambient noise input.

제5 마이크(234e)는 리모컨부(200)의 전면부에 구비되어, 사용자로부터 음성을 입력받는다.The fifth microphone 234e is provided on the front part of the remote control unit 200 to receive a voice input from the user.

제6 마이크(234f)는 리모컨부(200)의 측면부 또는 배면부에 구비되며, 리모컨부(200)의 측면부분을 통해 입력되는 주변잡음을 입력받고, 리모컨제어부(220)에 제공한다. The sixth microphone 234f is provided on the side or rear side of the remote control unit 200 , receives ambient noise input through the side side of the remote control unit 200 , and provides it to the remote control unit 220 .

리모컨제어부(220)는 사용자와 리모컨부 사이의 거리정보를 기반으로 제5 마이크(234e)의 입력정도를 조절할 수 있다. 즉, 리모컨부와 사용자 사이의 거리가 가까운 경우, 리모컨제어부(220)는 제5 마이크(234e)의 입력정도를 줄이고, 리모컨부와 사용자 사이의 거리가 먼 경우, 리모컨제어부(220)는 제5 마이크(234e)의 입력정도를 증가시킬 수 있다.The remote controller 220 may adjust the input level of the fifth microphone 234e based on distance information between the user and the remote controller. That is, when the distance between the remote control unit and the user is short, the remote control unit 220 reduces the input level of the fifth microphone 234e, and when the distance between the remote control unit and the user is long, the remote control unit 220 controls the fifth It is possible to increase the input level of the microphone 234e.

또한 리모컨제어부(220)는 제6 마이크(234f)로부터 제공되는 주변잡음의 소리크기에 기반하여 오디오출력부(235)의 소리출력을 조절한다. 즉, 리모컨제어부(220)는, 주변잡음의 소리크기가 큰 경우 오디오출력부(235)의 소리출력을 올리고, 주변잡음의 소리크기가 작은 경우 오디오출력부(235)의 소리출력을 낮춘다.In addition, the remote control controller 220 adjusts the sound output of the audio output unit 235 based on the loudness of the ambient noise provided from the sixth microphone 234f. That is, the remote control controller 220 raises the sound output of the audio output unit 235 when the volume of the ambient noise is large, and lowers the sound output of the audio output unit 235 when the volume of the ambient noise is small.

오디오출력부(235)는 리모컨제어부(220)로부터 제공되는 음성을 사용자에게 출력하고, 주변에 위치한 타사용자에게 잡음을 출력한다. 오디오출력부(235)는 음성출력을 위한 제5 스피커(235e) 및 제6 스피커(235f)를 포함한다. 이때 스피커는 지향성 스피커로 구비됨이 더욱 바람직하다.The audio output unit 235 outputs the voice provided from the remote control unit 220 to the user, and outputs noise to other users located nearby. The audio output unit 235 includes a fifth speaker 235e and a sixth speaker 235f for audio output. In this case, it is more preferable that the speaker is provided as a directional speaker.

제5 스피커(235e)는 리모컨부(220)의 전면부에 구비되며, 제6 스피커(235f)는 리모컨부(220)의 측면부 또는 배면부에 구비될 수 있다. The fifth speaker 235e may be provided on the front portion of the remote control unit 220 , and the sixth speaker 235f may be provided on the side surface or the rear portion of the remote control unit 220 .

제6 스피커(235f)는 리모컨부(200)의 측면 또는 배면방향으로 잡음을 출력하여, 사용자의 주변에 위치한 타사용자에게 개인정보가 노출되는 것을 최소화할 수 있다.The sixth speaker 235f outputs noise in the side or rear direction of the remote control unit 200 to minimize exposure of personal information to other users located near the user.

리모컨제어부(220)는, 리모컨부와 사용자 사이의 거리정보 및 오디오입력부(234)의 제6 마이크(234f)를 통해 입력되는 주변잡음의 소리크기에 기반하여 오디오출력부(235)의 제5 스피커(235e)의 소리출력을 조절한다. The remote control control unit 220, the fifth speaker of the audio output unit 235 based on the distance information between the remote control unit and the user and the volume of ambient noise input through the sixth microphone 234f of the audio input unit 234 Adjust the sound output of (235e).

리모컨제어부(220)는, 거리정보를 통해 알 수 있는 리모컨부(200)와 사용자 사이의 거리에 비례하며, 주변음의 소리 크기에 비례하도록 소리출력을 제어한다.The remote control controller 220 controls the sound output to be proportional to the distance between the remote controller 200 and the user, which can be known through distance information, and to be proportional to the volume of the ambient sound.

또한 리모컨제어부(220)는, 사용자 영상에서 거리인식부(233)의 거리센서에 의해 측정되는 부분이 사용자의 어디 부위인지 판별하여 부위정보를 생성하고, 사용자 부위정보에 대해 미리 설정된 가중치를 기반으로 거리정보를 보정하고, 보정된 거리정보에 기반하여 오디오출력부의 스피커의 소리출력을 조절할 수 있다. In addition, the remote control controller 220 generates part information by determining where the part measured by the distance sensor of the distance recognition unit 233 in the user image is of the user, and based on a weight preset for the user part information. The distance information may be corrected, and the sound output of the speaker of the audio output unit may be adjusted based on the corrected distance information.

오디오출력부(235)의 음성출력을 위한 제5 스피커(235e)가 거리인식부(233)의 거리센서는 서로 인접한 위치에 구비되며, 거리인식부(233)의 거리센서는 사용자 영상의 정가운데 지점에 대응되는 사용자의 특정부위까지의 거리를 측정한다고 가정한다. The fifth speaker 235e for the audio output of the audio output unit 235, the distance sensor of the distance recognition unit 233 are provided at adjacent positions, and the distance sensor of the distance recognition unit 233 is located in the middle of the user image. It is assumed that the distance to a specific part of the user corresponding to the point is measured.

리모컨제어부(220)는 사용자 영상의 정가운데 지점에 대응되는 사용자의 부위가 어떤 부위인지 판단한다.The remote control controller 220 determines which part is the user's part corresponding to the central point of the user's image.

해당 부위가 사용자의 귀인 경우, 리모컨제어부(220)는 거리인식부(233)로부터의 거리정보를 이용하여 오디오출력부(235)의 소리출력을 제어한다.When the corresponding part is the user's ear, the remote control unit 220 controls the sound output of the audio output unit 235 using the distance information from the distance recognition unit 233 .

한편 해당 부위가 사용자의 눈, 코, 입, 이마, 머리 중 어느 하나에 대응되는 경우, 리모컨제어부(220)는, 거리인식부(233)로부터의 거리정보를 해당 부위에 대응되는 미리 설정한 가중치를 이용하여 거리정보를 보정하고, 보정된 거리정보에 기반하여 오디오출력부(235)의 소리출력을 제어한다.On the other hand, when the corresponding part corresponds to any one of the user's eyes, nose, mouth, forehead, and head, the remote control controller 220 sets the distance information from the distance recognition unit 233 with a preset weight corresponding to the corresponding part. The distance information is corrected using , and the sound output of the audio output unit 235 is controlled based on the corrected distance information.

예를 들어, 거리인식부(233)가 측정하는 지점이 사용자 영상 속의 사용자의 눈인 경우, 거리인식부(233)로부터의 거리정보에 100+a(%)를 곱하여 보정된 거리정보를 산출할 수 있다. 또한 거리인식부(233)가 측정하는 지점이 사용자 영상 속의 사용자의 코인 경우, 거리인식부(233)로부터의 거리정보에 100+b(%)를 곱하여 보정된 거리정보를 산출할 수 있다. 귀와 눈 사이 거리는 귀와 코 사이의 거리보다 작으므로, 눈 부위에 대응되는 가중치 a는 코 부위에 대응되는 가중치 b보다 작게 설정될 수 있다. For example, when the point measured by the distance recognition unit 233 is the user's eye in the user image, the corrected distance information can be calculated by multiplying the distance information from the distance recognition unit 233 by 100+a (%). there is. In addition, when the point measured by the distance recognition unit 233 is the user's coin in the user image, the corrected distance information may be calculated by multiplying the distance information from the distance recognition unit 233 by 100+b (%). Since the distance between the ears and the eyes is smaller than the distance between the ears and the nose, the weight a corresponding to the eye region may be set to be smaller than the weight b corresponding to the nose region.

한편 음성인식 챗봇기능이 수행되는 경우, 리모컨제어부(220)는 거리정보, 주변음의 소리크기 및 오디오입력부(234)로부터 입력되는 사용자음성의 소리크기에 기반하여 오디오출력부(235)의 제5 스피커(235e)의 소리출력을 조절할 수 있다.On the other hand, when the voice recognition chatbot function is performed, the remote control controller 220 controls the fifth of the audio output unit 235 based on the distance information, the volume of the ambient sound, and the volume of the user's voice input from the audio input unit 234 . The sound output of the speaker 235e may be adjusted.

예를 들어, 리모컨제어부(220)는 거리정보 및 주변음의 소리크기를 반영하여 오디오출력부(235)에서 출력되는 음성의 소리크기를 조절하되, 사용자가 개인정보의 외부노출을 피하기 위해 작은 음성으로 리모컨부(200)를 향해 말하는 경우, 리모컨제어부(220)는 사용자의 작은 음성에 기반하여 오디오출력부(235)에서 출력되는 음성의 소리크기를 더욱 줄일 수 있다. 또한 이와 반대로 사용자가 큰 음성으로 리모컨부(200)를 향해 말하는 경우, 리모컨제어부(220)는 사용자의 큰 음성에 기반하여 오디오출력부(235)에서 출력되는 음성의 소리크기를 더욱 키울 수 있다.For example, the remote control controller 220 adjusts the sound level of the voice output from the audio output unit 235 by reflecting the distance information and the sound level of the ambient sound, but in order for the user to avoid exposing personal information to the outside, a small voice When speaking toward the remote control unit 200 , the remote control unit 220 may further reduce the volume of the voice output from the audio output unit 235 based on the user's small voice. Conversely, when the user speaks toward the remote control unit 200 with a loud voice, the remote control controller 220 may further increase the volume of the voice output from the audio output unit 235 based on the user's loud voice.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.Although the present invention has been described above using several preferred embodiments, these examples are illustrative and not restrictive. Those of ordinary skill in the art to which the present invention pertains will understand that various changes and modifications can be made without departing from the spirit of the present invention and the scope of the rights set forth in the appended claims.

10: 키오스크 단말장치 100: 키오스크 본체부
110: 디스플레이부 120: 본체제어부
130: 본체연결부 200: 리모컨부
210: 리모컨연결부 220: 리모컨제어부
231: 움직임인식부 232: 촬영부
233: 거리인식부 234: 오디오입력부
235: 오디오출력부 236: 지문인식부
237: 키입력부10: kiosk terminal device 100: kiosk body part
110: display unit 120: main body control unit
130: main body connection unit 200: remote control unit
210: remote control connection unit 220: remote control control unit
231: motion recognition unit 232: photographing unit
233: distance recognition unit 234: audio input unit
235: audio output unit 236: fingerprint recognition unit
237: key input unit

Claims (5)

사용자에게 정보를 표시하고, 사용자로부터 키입력을 받는 키오스크 본체부;
상기 키오스크 본체부를 제어하는 리모컨부를 포함하고,
상기 리모컨부는,
상기 리모컨부의 움직임을 측정하는 움직임인식부;
상기 사용자를 촬영하여 사용자영상을 생성하는 촬영부;
상기 사용자의 음성을 입력받는 마이크;
음성을 사용자에게 출력하는 스피커; 및
상기 움직임인식부로부터 움직임정보를 수신하여 상기 촬영부, 마이크 및 스피커의 활성화 여부를 제어하는 리모컨제어부를 포함하며,
상기 리모컨제어부는 상기 마이크로부터 입력되는 사용자 음성의 소리크기에 기반하여 상기 마이크의 소리출력을 조절하는 리모컨부를 구비하는 키오스크 단말장치.a kiosk body unit that displays information to a user and receives a key input from the user;
And a remote control unit for controlling the kiosk body,
The remote control unit,
a motion recognition unit for measuring the motion of the remote control unit;
a photographing unit for generating a user image by photographing the user;
a microphone for receiving the user's voice;
a speaker for outputting voice to the user; and
and a remote control control unit for receiving motion information from the motion recognition unit and controlling whether the photographing unit, the microphone and the speaker are activated,
The remote control unit kiosk terminal device having a remote control unit for adjusting the sound output of the microphone based on the volume of the user's voice input from the microphone. 제1항에 있어서,
상기 리모컨부는, 서로 다른 위치에 구비되어 사용자의 음성을 입력받는 복수의 제1 마이크를 더 포함하고,
상기 리모컨제어부는, 상기 사용자 위치정보를 기반으로 상기 복수의 제1 마이크 중 어느 하나를 활성화시켜 사용자로부터 음성을 입력받는 것을 특징으로 하는, 리모컨부를 구비하는 키오스크 단말장치.According to claim 1,
The remote control unit further includes a plurality of first microphones provided at different positions to receive a user's voice,
The remote control unit, kiosk terminal device having a remote control unit, characterized in that based on the user location information by activating any one of the plurality of first microphones to receive a voice input from the user. 제1항에 있어서,
상기 리모컨부는, 서로 다른 위치에 구비되며 사용자와의 거리를 측정하여 거리정보를 생성하는 복수의 거리센서를 더 포함하고,
상기 리모컨제어부는,
상기 사용자 위치정보를 기반으로 상기 복수의 거리센서 중 어느 하나를 활성화시켜 거리정보를 생성하고, 상기 거리정보에 기반하여 상기 복수의 스피커에서 출력되는 음성의 소리크기를 제어하는 것을 특징으로 하는, 리모컨부를 구비하는 키오스크 단말장치.According to claim 1,
The remote control unit further includes a plurality of distance sensors provided at different locations and generating distance information by measuring the distance to the user,
The remote control unit,
A remote controller, characterized in that activating any one of the plurality of distance sensors based on the user location information to generate distance information, and controlling the volume of voices output from the plurality of speakers based on the distance information A kiosk terminal device having a unit. 제1항에 있어서,
상기 리모컨부는, 주변잡음을 입력받기 위한 제2 마이크 및 서로 다른 위치에 구비되며 사용자와의 거리를 측정하기 위한 복수의 거리센서를 더 포함하고,
상기 리모컨제어부는,
상기 사용자 위치정보를 기반으로 상기 복수의 거리센서 중 어느 하나를 활성화시켜 거리정보를 생성하고, 상기 거리정보 및 상기 주변잡음의 소리크기에 기반하여 상기 복수의 스피커의 소리출력을 조절하는 것을 특징으로 하는, 리모컨부를 구비하는 키오스크 단말장치.According to claim 1,
The remote control unit further includes a second microphone for receiving ambient noise and a plurality of distance sensors provided at different positions to measure a distance from the user,
The remote control unit,
Based on the user location information, any one of the plurality of distance sensors is activated to generate distance information, and the sound output of the plurality of speakers is adjusted based on the distance information and the volume of the ambient noise. A kiosk terminal device having a remote control unit. 삭제delete
KR1020200107306A 2020-08-25 2020-08-25 Kiosk terminal device having a remote control unit KR102399728B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200107306A KR102399728B1 (en) 2020-08-25 2020-08-25 Kiosk terminal device having a remote control unit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200107306A KR102399728B1 (en) 2020-08-25 2020-08-25 Kiosk terminal device having a remote control unit

Publications (2)

Publication Number Publication Date
KR20220026375A KR20220026375A (en) 2022-03-04
KR102399728B1 true KR102399728B1 (en) 2022-05-19

Family

ID=80814029

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200107306A KR102399728B1 (en) 2020-08-25 2020-08-25 Kiosk terminal device having a remote control unit

Country Status (1)

Country Link
KR (1) KR102399728B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102100703B1 (en) * 2019-11-25 2020-04-14 정원석 Voice recognition kiosk with multiple input means

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101143944B1 (en) * 2010-05-03 2012-05-09 (주)경봉 Customized information providing system using remocon in kiosk
KR20150077101A (en) * 2013-12-27 2015-07-07 주식회사 케이티 Method and apparatus for controlling volume
KR20200095990A (en) * 2019-02-01 2020-08-11 (주)탑중앙연구소 Method for controlling smart device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102100703B1 (en) * 2019-11-25 2020-04-14 정원석 Voice recognition kiosk with multiple input means

Also Published As

Publication number Publication date
KR20220026375A (en) 2022-03-04

Similar Documents

Publication Publication Date Title
US6494363B1 (en) Self-service terminal
JP5857674B2 (en) Image processing apparatus and image processing system
JPH01195499A (en) Sound input device
US20170303052A1 (en) Wearable auditory feedback device
US10303436B2 (en) Assistive apparatus having accelerometer-based accessibility
JP2007334149A (en) Head mount display apparatus for hearing-impaired persons
US20220066207A1 (en) Method and head-mounted unit for assisting a user
WO2012133058A1 (en) Electronic device and information transmission system
KR102100704B1 (en) Kiosk with speech recognition
KR102100703B1 (en) Voice recognition kiosk with multiple input means
US20220279874A1 (en) Facemask With Automated Voice Display
CN108307659A (en) Control method, translating equipment and the program of translating equipment
US3192321A (en) Electronic lip reader
JP2015175983A (en) Voice recognition device, voice recognition method, and program
JPH08205197A (en) Human interface device
CN116134838A (en) Audio system using personalized sound profile
KR102399728B1 (en) Kiosk terminal device having a remote control unit
JP4501037B2 (en) COMMUNICATION CONTROL SYSTEM, COMMUNICATION DEVICE, AND COMMUNICATION METHOD
ES2692828T3 (en) Assistance procedure in following up a conversation for a person with hearing problems
WO2008062782A1 (en) Speech estimation system, speech estimation method, and speech estimation program
KR101455830B1 (en) Glasses and control method thereof
JP2001057672A (en) Apparatus and method for communication, and medium
JP2009060220A (en) Communication system and communication program
US11171621B2 (en) Personalized equalization of audio output based on ambient noise detection
KR102000282B1 (en) Conversation support device for performing auditory function assistance

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant