KR102675910B1 - 자율 주행 기반의 안내 로봇 시스템 및 그 제어 방법 - Google Patents

자율 주행 기반의 안내 로봇 시스템 및 그 제어 방법 Download PDF

Info

Publication number
KR102675910B1
KR102675910B1 KR1020240032460A KR20240032460A KR102675910B1 KR 102675910 B1 KR102675910 B1 KR 102675910B1 KR 1020240032460 A KR1020240032460 A KR 1020240032460A KR 20240032460 A KR20240032460 A KR 20240032460A KR 102675910 B1 KR102675910 B1 KR 102675910B1
Authority
KR
South Korea
Prior art keywords
information
user
unit
data
robot
Prior art date
Application number
KR1020240032460A
Other languages
English (en)
Inventor
김남교
Original Assignee
엔디에스솔루션 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔디에스솔루션 주식회사 filed Critical 엔디에스솔루션 주식회사
Priority to KR1020240032460A priority Critical patent/KR102675910B1/ko
Application granted granted Critical
Publication of KR102675910B1 publication Critical patent/KR102675910B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/026—Acoustical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

자율 주행 기반의 안내 로봇 시스템 및 그 제어 방법을 개시한다. 본 발명은 임의 경로를 따라 이동하되 이동중 인식되는 사람과의 대화를 수행하고, 안면 인식을 이용하여 인식된 사용자 정보에 기반한 사용자 인터페이스, 광고 정보, 목적지별 안내 정보, 질의문에 따른 응답 정보를 제공할 수 있다.

Description

자율 주행 기반의 안내 로봇 시스템 및 그 제어 방법{AUTONOMOUS DRIVING BASED GUIDANCE ROBOT SYSTEM AND CONTROL METHOD THE SAME}
본 발명은 자율 주행 기반의 안내 로봇 시스템 및 그 제어 방법에 관한 발명으로서, 더욱 상세하게는 임의 경로를 따라 이동하되 이동중 인식되는 사람과의 대화를 수행하고, 안면 인식을 이용하여 인식된 사용자 정보에 기반한 사용자 인터페이스, 광고 정보, 목적지별 안내 정보, 질의문에 따른 응답 정보를 제공하는 자율 주행 기반의 안내 로봇 시스템 및 그 제어 방법에 관한 것이다.
공항, 기차역, 항만, 백화점, 공연장 등 공공장소에서는 전광판, 안내 표시판 등을 통하여 이용자에게 정보를 제공하고 있다.
그러나, 전광판, 안내 표시판 등은 서비스 제공자가 선정한 일부 정보만을 일방적으로 전달할 뿐으로, 개별 이용 자의 요구에 부응하지 못하는 문제점이 있었다.
한편, 최근에는 디스플레이 수단, 터치스크린, 스피커 등 멀티미디어 기기를 활용하여 이용 고객에게 정보 및 서비스를 제공하는 키오스크의 도입이 증가하고 있다.
그러나, 이 경우에도, 이용자가 직접 키오스크를 조작해야 하므로, 기기 사용에 어려움이 있는 사람은 사용하는데 불편함이 있고, 이용자의 요구에 능동적으로 대응할 수 없다는 문제점이 있었다.
한편, 로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당해 왔고, 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다.
따라서, 로봇을 이용하여 공공장소에서 다양한 서비스를 제공할 수 있는 방안에 대한 연구가 증가하고 있다.
그러나, 공공장소에서 로봇을 이용한 광고는 불특정 다수를 대상으로 안내 서비스를 제공하거나 또는 광고 정보를 제공함으로써, 사용자의 연령이 낮거나 또는 키오스크와 같은 임베디드 기기의 사용에 대한 거부감이 많은 사용자의 경우, 사용이 쉽지 않고 정확한 정보를 제공하는 것이 어려운 문제점이 있다.
또한, 음성인식을 이용한 안내 서비스의 경우, 미리 설정된 질문에 대해서만 응답이 가능할 뿐, 사용자의 질문 의도를 인식하지 못하는 경우 사용자의 질문의도와 전혀 다른 응답을 제공하는 문제점이 있다.
한국 공개특허공보 공개번호 제10-2019-0003122호(발명의 명칭: 이동 로봇의 동작 방법)
이러한 문제점을 해결하기 위하여, 본 발명은 임의 경로를 따라 이동하되 이동중 인식되는 사람과의 대화를 수행하고, 안면 인식을 이용하여 인식된 사용자 정보에 기반한 사용자 인터페이스, 광고 정보, 목적지별 안내 정보, 질의문에 따른 응답 정보를 제공하는 자율 주행 기반의 안내 로봇 시스템 및 그 제어 방법을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명의 일 실시 예는 자율 주행 기반의 안내 로봇 시스템으로서, 임의 지도 정보를 기반으로 미리 설정된 이동 경로 정보를 따라 이동하되, 경로 추가시 상기 지도 정보를 기반으로 이동 경로에 대응한 위치 정보와 지도상의 좌표 정보를 추출하여 추가 경로 정보를 생성 및 저장하고, 사용자의 촬영 이미지로부터 인식된 안면 인식 데이터를 기반으로 예측된 사용자의 나이 및 성별에 따라 미리 설정된 사용자 인터페이스가 출력되도록 제어하며, 음성 인식을 통해 상기 사용자의 질의문을 인식한 음성 인식 데이터에 따라 예측된 응답 정보에 대응하여 임의 대화 정보 및 안내 정보를 출력하는 자율 주행로봇; 및 상기 자율 주행로봇으로부터 수신되는 사용자의 촬영 이미지와 음성을 인공지능 기반의 분석 모델을 이용하여 분석하되, 사용자의 안면 모습에 기반한 얼굴 형상, 눈, 코, 입의 좌우 대칭 특성, 각도 및 기울기 특성에 따른 분류를 통해 사용자의 나이 및 성별을 예측하고, 상기 사용자의 질의문을 문장 및 단어로 분류하여 분류된 문장 및 단어의 의미 분석을 통해 맥락 정보에 기반한 텍스트 데이터의 오탈자 보정을 수행한 후, 보정된 텍스트 데이터의 임베딩을 통해 추출되는 빈도 정보 및 키워드 정보를 기반으로 인공지능 기반의 생성형 모델이 생성하는 메타 데이터를 응답 정보로 변환하여 상기 자율 주행로봇으로 출력하는 관리 서버;를 포함한다.
또한, 상기 실시 예에 따른 자율 주행로봇은 상기 관리 서버와 데이터 통신을 수행하는 데이터 통신부; 상기 사용자의 촬영 이미지와 음성을 실시간 입력하는 입력부; 상기 자율 주행로봇 주변의 객체 감지와 상기 객체와의 거리 정보를 측정하는 센서부; 상기 자율 주행로봇의 동작 상태와 응답 정보를 음향 및 시각 정보로 출력하는 출력부; 상기 자율 주행로봇이 주행되도록 동작하는 주행부; 상기 자율 주행로봇이 지도 정보를 기반으로 설정된 이동 경로 정보를 따라 이동하도록 제어하고, 경로 추가시 상기 지도 정보를 기반으로 이동 경로에 대응한 위치 정보와 지도상의 좌표 정보를 추출하여 추가 경로 정보를 생성 및 저장하며, 상기 사용자의 촬영 이미지로부터 인식된 안면 인식 데이터를 기반으로 예측된 사용자의 나이 및 성별에 따라 설정된 사용자 인터페이스가 출력되도록 제어하고, 음성 인식을 통해 상기 사용자의 질의문을 인식한 음성 인식 데이터에 따라 예측된 응답 정보에 대응하여 임의 대화 정보 및 안내 정보를 음향 및 시각 정보를 통해 출력되도록 제어하는 제어부; 및 상기 자율 주행로봇의 동작을 위한 전원을 공급하는 전원부;를 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 입력부는 2차원 이미지를 촬영하는 제1 카메라와 3차원 이미지를 촬영하는 제2 카메라를 구비한 카메라부; 및 상기 사용자의 음성을 감지하는 마이크;를 포함하되, 상기 제2 카메라는 레이저 빔의 반사시간을 이용한 거리 정보를 기반으로 사용자와 깊이 정보를 추출하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 제어부는 상기 자율 주행로봇이 지도 정보를 기반으로 설정된 이동 경로 정보를 따라 이동하도록 제어하는 주행 제어부; 상기 촬영된 2차원 이미지와 3차원 이미지 정보로부터 사용자를 추출하되, 상기 3차원 이미지 정보에서 추출된 사용자 별로 깊이 정보를 계산하고, 상기 계산된 사용자 별 깊이에 따라 서로 다른 명암 대비로 구분하여 가장 가까운 사용자의 안면 인식 데이터를 추출하는 영상 인식부; 음성 인식을 통해 상기 사용자의 질의문을 인식한 음성 인식 데이터를 텍스트 데이터로 변환하여 출력하고, 상기 음성 인식 데이터에 대응한 응답 정보를 출력하는 음성 인식부; 상기 관리 서버로부터 경로 추가 요청이 입력되면, 상기 지도 정보를 기반으로 이동 경로에 대응한 위치 정보와 지도상의 좌표 정보를 추출하여 추가 경로 정보를 생성하고. 상기 사용자의 안면 인식 데이터와 질의문의 음성 인식 데이터가 상기 관리 서버로 전송되도록 제어하고, 상기 관리 서버로부터 수신되는 사용자의 나이 및 성별에 따라 미리 설정된 사용자 인터페이스가 출력되도록 제어하며, 상기 관리 서버로부터 수신되는 사용자의 질의문에 대응한 대화 정보 및 안내 정보를 포함한 응답 정보를 음향 및 시각 정보를 통해 출력되도록 제어하는 데이터 제어부; 및 상기 지도 정보, 설정된 이동 경로 정보, 추가 경로를 저장하는 데이터 저장부;를 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 영상 인식부는 촬영된 2차원 이미지와 3차원 이미지에 대하여 임의의 전처리를 수행하고, 상기 2차원 이미지와 3차원 이미지로부터 사용자를 추출하여 추출된 각 사용자 별로 깊이 정보를 계산하며, 상기 추출된 사용자에 겹침이 발생했는지 여부를 분석하되, 겹침이 발생됨에 따라 겹침이 발생된 사용자의 픽셀 위치 값을 생성하여 사용자 별로 생성된 픽셀의 위치 값과 계산된 깊이 정보에 기반한 서로 다른 명암 대비를 통해 구분하고, 상기 2차원 이미지에 상기 구분된 다른 명암 대비에 따라 상기 입력부와 가까운 거리의 사용자의 안면 모숩을 인식하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 관리 서버는 상기 자율 주행로봇과 데이터를 송수신하는 데이터 통신부; 상기 사용자의 안면 인식 데이터를 학습된 인공지능 기반의 분석 모델을 이용하여 분석하고, 사용자의 얼굴 형상, 눈, 코, 입의 좌우 대칭 특성, 각도 및 기울기 특성에 따른 분류를 통해 나이와 연령을 예측하는 영상인식 모델부; 상기 텍스트 데이터로 변환된 사용자의 질의문을 문장 및 단어로 분류하며, 상기 분류된 문장 및 단어의 의미 분석을 통해 맥락 정보에 기반한 텍스트 데이터의 오탈자 보정을 수행하는 음성인식 모델부; 상기 보정된 텍스트 데이터의 임베딩을 통해 추출되는 빈도 정보 및 키워드 정보를 기반으로 인공지능 기반의 생성형 모델이 생성하는 메타 데이터를 응답 정보로 변환하고, 상기 변환된 응답 정보와 상기 예측된 사용자의 나이 및 연령 정보를 상기 자율 주행로봇으로 출력하는 데이터 관리부; 및 상기 응답 정보와 예측된 나이, 연령 정보를 저장하는 데이터 베이스;를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시 예는 자율 주행 기반의 안내 로봇 제어 방법으로서, a) 자율 주행로봇이 임의 지도 정보를 기반으로 미리 설정된 이동 경로 정보를 따라 주행하며 화면을 통해 임의 광고 정보를 디스플레이하는 단계; b) 상기 자율 주행로봇이 사용자 접근을 감지하면, 주행을 정지하고 사용자를 촬영한 이미지로부터 예측된 사용자의 나이 및 성별에 따라 미리 설정된 사용자 인터페이스가 출력되도록 제어하는 단계; 및 c) 상기 자율 주행로봇이 음성 인식을 통해 상기 사용자의 질의문을 인식한 음성 인식 데이터에 따라 예측된 응답 정보에 대응하여 임의 대화 정보 및 안내 정보를 출력하는 단계;를 포함한다.
또한, 상기 실시 예에 따른 a) 단계는 관리 서버로부터 경로 추가 요청이 입력되면, 상기 자율 주행로봇이 지도 정보를 기반으로 이동한 경로에 대응하는 위치 정보와 지도상의 좌표 정보를 추출하고, 상기 추출된 위치 정보와 좌표 정보에 기반하여 추가 경로 정보를 생성 및 저장하는 단계;를 더 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 b) 단계는 사용자의 2차원 이미지와 3차원 이미지를 촬영하고, 상기 촬영된 2차원 이미지와 3차원 이미지 정보로부터 사용자를 추출하되, 상기 3차원 이미지 정보에서 추출된 사용자 별로 깊이 정보를 계산하고, 상기 계산된 사용자 별 깊이에 따라 서로 다른 명암 대비로 구분하여 가장 가까운 사용자의 안면 인식 데이터를 추출하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 b) 단계는 관리 서버가 상기 사용자의 안면 인식 데이터를 학습된 인공지능 기반의 분석 모델을 이용하여 분석하고, 사용자의 얼굴 형상, 눈, 코, 입의 좌우 대칭 특성, 각도 및 기울기 특성에 따른 분류를 통해 나이와 연령을 예측하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 c) 단계는 상기 사용자의 질의문을 인식한 음성 인식 데이터를 텍스트 데이터로 변환하고, 관리 서버가 상기 텍스트 데이터로 변환된 사용자의 질의문을 문장 및 단어로 분류하며, 상기 분류된 문장 및 단어의 의미 분석을 통해 맥락 정보에 기반한 텍스트 데이터의 오탈자 보정을 수행한 후, 상기 보정된 텍스트 데이터의 임베딩을 통해 추출되는 빈도 정보 및 키워드 정보를 기반으로 인공지능 기반의 생성형 모델이 생성하는 메타 데이터를 응답 정보로 변환하는 것을 특징으로 한다.
본 발명은 임의 경로를 따라 이동하되 이동중 인식되는 사람과의 대화를 수행하고, 안면 인식을 이용하여 인식된 사용자 정보에 기반한 사용자 인터페이스, 광고 정보, 목적지별 안내 정보, 질의문에 따른 응답 정보를 제공할 수 있는 장점이 있다.
또한, 본 발명은 임의 경로로 변경시 위치 정보와 변경된 경로 정보를 기반으로 추가 경로 정보를 생성하여 설정된 이동 경로 정보에 반영함으로써, 별도의 경로 안내프로그램 없이 자율 주행로봇에서 직접 경로를 수정 및 반영할 수 있는 장점이 있다.
도1은 본 발명의 일 실시 예에 따른 자율 주행 기반의 안내 로봇을 나타낸 예시도.
도2는 도1의 실시 예에 따른 자율 주행 기반의 안내 로봇을 이용한 시스템 구성을 나타낸 블록도.
도3은 도1의 실시 예에 따른 자율 주행 기반의 안내 로봇의 구성을 나타낸 블록도.
도4는 도3의 실시 예에 따른 제어부 구성을 나타낸 블록도.
도5는 도2의 실시 예에 따른 관리 서버 구성을 나타낸 블록도.
도6은 본 발명의 일 실시 예에 따른 자율 주행 기반의 안내 로봇 시스템의 제어 방법을 설명하기 위해 나타낸 흐름도.
이하에서는 본 발명의 바람직한 실시 예 및 첨부하는 도면을 참조하여 본 발명을 상세히 설명하되, 도면의 동일한 참조부호는 동일한 구성요소를 지칭함을 전제하여 설명하기로 한다.
본 발명의 실시를 위한 구체적인 내용을 설명하기에 앞서, 본 발명의 기술적 요지와 직접적 관련이 없는 구성에 대해서는 본 발명의 기술적 요지를 흩뜨리지 않는 범위 내에서 생략하였음에 유의하여야 할 것이다.
또한, 본 명세서 및 청구범위에 사용된 용어 또는 단어는 발명자가 자신의 발명을 최선의 방법으로 설명하기 위해 적절한 용어의 개념을 정의할 수 있다는 원칙에 입각하여 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다.
본 명세서에서 어떤 부분이 어떤 구성요소를 "포함"한다는 표현은 다른 구성요소를 배제하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
또한, "‥부", "‥기", "‥모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는 그 둘의 결합으로 구분될 수 있다.
또한, "적어도 하나의" 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 따른 자율 주행 기반의 안내 로봇 및 그 제어 방법의 바람직한 실시예를 상세하게 설명한다.
도1은 본 발명의 일 실시 예에 따른 자율 주행 기반의 안내 로봇을 나타낸 예시도이고, 도2는 도1의 실시 예에 따른 자율 주행 기반의 안내 로봇을 이용한 시스템 구성을 나타낸 블록도이며, 도3은 도1의 실시 예에 따른 자율 주행 기반의 안내 로봇의 구성을 나타낸 블록도이고, 도4는 도3의 실시 예에 따른 제어부 구성을 나타낸 블록도이고, 도5는 도2의 실시 예에 따른 관리 서버 구성을 나타낸 블록도이다.
도1 내지 도5에 나타낸 바와 같이, 본 발명의 일 실시 예에 따른 자율 주행 기반의 안내 로봇 시스템은 임의 경로를 따라 이동하되 이동중 인식되는 사람과의 대화를 수행하고, 안면 인식을 이용하여 인식된 사용자 정보에 기반한 사용자 인터페이스, 광고 정보, 목적지별 안내 정보, 질의문에 따른 응답 정보를 제공할 수 있도록 자율 주행로봇(100)과 관리 서버(200)를 포함하여 구성될 수 있다.
자율 주행로봇(100)은 임의 지도 정보를 기반으로 미리 설정된 이동 경로 정보를 따라 이동할 수 있도록 구성된다.
또한, 자율 주행로봇(100)은 경로 추가시 상기 지도 정보를 기반으로 이동 경로에 대응한 위치 정보와 지도상의 좌표 정보를 추출하여 추가 경로 정보를 생성 및 저장할 수 있다.
또한, 자율 주행로봇(100)은 사용자의 촬영 이미지로부터 인식된 안면 인식 데이터를 기반으로 관리 서버(200)에서 예측된 사용자의 나이 및 성별 관련 정보를 수신하하고, 수신된 사용자의 나이 및 성별 관련 정보에 따라 미리 설정된 사용자 인터페이스가 출력되도록 제어할 수 있다.
또한, 자율 주행로봇(100)은 음성 인식을 통해 사용자의 질의문을 인식한 음성 인식 데이터에 따라 관리 서버(200)에서 예측된 응답 정보에 대응하여 임의 대화 정보 및 안내 정보를 출력할 수 있다.
이를 위해 자율 주행로봇(100)은 데이터 통신부(110)와, 입력부(120)와, 센서부(130)와, 출력부(140)와, 주행부(150)와, 제어부(160)와, 전원부(170)를 포함하여 구성될 수 있다.
데이터 통신부(110)는 네트워크를 통해 관리 서버(200)와 접속하여 데이터 통신을 수행하는 구성으로서, RF 통신, 블루투스, 지그비, 와이파이 등의 무선 통신 포맷을 이용하여 데이터 통신을 수행할 수 있다.
입력부(120)는 사용자의 촬영 이미지와 음성을 실시간 입력하는 구성으로서, 2차원 이미지를 촬영하는 제1 카메라(121a), 3차원 이미지를 촬영하는 제2 카메라(121b)를 구비한 카메라부(121), 사용자의 음성을 감지하는 마이크(122);를 포함하여 구성될 수 있다.
또한, 제2 카메라(121b)는 레이저 빔의 반사시간을 이용한 거리 정보를 기반으로 제2 카메아(121b)와 사용자 간의 깊이(또는 거리) 정보를 추출할 수 있다.
센서부(130)는 자율 주행로봇(100)에 설치되어 자율 주행로봇(100) 주변의 객체를 감지하고, 감지된 객체와의 거리 정보를 측정하는 구성으로서, 초음파, 레이더, 라이다 등으로 구성될 수 있다.
출력부(140)는 자율 주행로봇(100)의 사용자 인터페이스, 광고 정보, 길안내 정보 등을 출력하는 터치 스크린(141)과, 응답 정보를 음향으로 출력하는 스피커(142)와, 자율 주행로봇(100)의 동작 상태와 응답 정보와 관련된 시각화 정보를 출력하는 디스플레이부(143)를 포함하여 구성될 수 있다.
주행부(150)는 자율 주행로봇(100)이 주행되도록 동작하는 구성으로서, 복수의 휠과 구종 모터를 포함하여 구성될 수 있고, 제어부(1160)로부터 출력되는 주행 제어 신호에 따라 동작할 수 있다.
제어부(160)는 자율 주행로봇(100)이 미리 저장된 지도 정보를 기반으로 설정된 이동 경로 정보를 따라 이동하도록 주행 제어 신호를 출력할 수 있다.
또한, 제어부(160)는 관리 서버(200)로부터 경로 추가 정보를 수신하면, 자율 주행로봇(100)이 지도 정보를 기반으로 수신된 경로 추가 정보에 대응하는 주행 제어 신호를 출력할 수 있다.
또한, 제어부(160)는 이동 경로에 대응하는 자율 주행로봇(100)의 위치 정보(예를 들어, GPS 신호에 기반한 위치 좌표)와 지도상의 좌표 정보를 추출하여 좌표계 매칭을 통해 추가 경로 정보를 생성하고, 생성된 추가 경로 정보는 저장할 수 있다.
또한, 제어부(160)는 입력부(120)를 통해 촬영한 사용자의 촬영 이미지로부터 사용자의 안면을 인식하고, 인식된 사용자의 안면 인식 데이터를 기반으로 관리 서버(200)에서 예측된 사용자의 나이 및 성별에 따라 미리 설정된 맞춤형 사용자 인터페이스가 출력되도록 제어할 수 있다.
또한, 제어부(160)는 입력부(120)를 통해 입력된 사용자의 음성을 이용하여 음성 인식을 수행하고, 음성 인식을 통해 사용자의 질의문을 인식한 음성 인식 데이터에 따라 관리 서버(200)에서 예측된 응답 정보에 대응하여 대화 정보 및 안내 정보가 음향 및 시각 정보를 통해 사용자에게 출력되도록 제어할 수 있다.
이를 위해, 제어부(160)는 주행 제어부(161)와, 영상 인식부(162)와, 음성 인식부(163)와, 데이터 제어부(164)와, 데이터 저장부(165)를 포함하여 구성될 수 있다.
주행 제어부(161)는 자율 주행로봇(100)이 데이터 저장부(165)에 저장된 지도 정보와 설정된 이동 경로 정보를 따라 이동하도록 주행부(150)로 주행 제어 신호를 출력할 수 있다.
또한, 주행 제어부(161)는 관리 서버(200)로부터 경로 추가 정보를 수신하면, 자율 주행로봇(100)이 지도 정보를 기반으로 수신된 경로 추가 정보에 대응하여 이동할 수 있도록 주행부(150)로 주행 제어 신호를 출력할 수 있다.
또한, 주행 제어부(161)는 경로 추가 정보에 따라 이동하는 경로에 대응하여 자율 주행로봇(100)의 위치 정보(예를 들어, GPS 신호에 기반한 위치 좌표)를 추출하고, 추출된 위치 정보를 지도상의 좌표 정보와 좌표계 매칭을 통해 추가 경로 정보를 생성하고, 생성된 추가 경로 정보는 데이터 저장부(165)에 저장할 수 있다.
영상 인식부(162)는 입력부(120)에서 촬영된 2차원 이미지와 3차원 이미지 정보로부터 사용자를 추출할 수 있다.
또한, 영상 인식부(162)는 이미지 프로세싱 프로그램을 이용하여 3차원 이미지 정보에서 추출된 사용자 별로 깊이 정보를 계산하고, 계산된 각 사용자별 깊이에 따라 서로 다른 명암 대비로 구분할 수 있다.
이를 위해, 영상 인식부(162)는 촬영된 2차원 이미지와 3차원 이미지에 대하여 전처리를 수행할 수 있다.
여기서, 전처리는 제1 카메라(121a) 및 제2 카메라(121b)로부터 입력된 하나 이상의 입력 이미지들에 대하여 노이즈 리덕션(Noise Reduction), 렉티피케이션(Rectification), 캘리브레이션(Calibration), 색상 강화(Color Enhancement), 색상 공간 변환(Color Space Conversion;CSC), 인터폴레이션(Interpolation), 카메라 게인 컨트롤(Camera Gain Control) 등을 수행할 수 있다.
또한, 전처리는 이미지들에 대한 스테레오 매칭(Stereo Matching)을 수행하여 디스패러티(Disparity) 정보를 획득할 수도 있고, 디스패러티 정보는 좌·우 이미지의 시차정보(Binocular Parallax Information)를 수치로 나타낸 맵을 의미할 수 있다.
또한, 전처리는 디스패러티 정보에 기초하여 이미지 중 적어도 하나에 대하여 배경과 전경을 분리할 수도 있다.
또한, 영상 인식부(162)는 2차원 이미지와 3차원 이미지로부터 사용자를 추출하여 추출된 각 사용자 별로 깊이 정보를 계산하며, 추출된 사용자에 겹침이 발생했는지 여부를 학습된 겹침 분석 모델을 이용하여 분석할 수 있다.
또한, 영상 인식부(162)는 겹침이 발생되면, 겹침이 발생된 사용자의 픽셀 위치 값을 생성하고, 사용자 별로 제공된 거리 정보를 기반으로 사용자를 구분하여 사용자 수를 카운트하며, 구분된 사용자 별로 거리 정보(또는 깊이 정보)를 산출할 수 있다.
또한, 영상 인식부(162)는 생성된 픽셀의 위치 값과 계산된 깊이 정보에 기반하여 사용자 별로 서로 다른 명암 대비를 통해 구분하되, 사용자 별로 서로 다른 명암 대비는 카메라부(121)와 가장 가까운 거리의 사용자는 어둡게 표시하고, 먼 거리의 사용자는 밝게 표시하여 구분함으로써, 가장 가까운 위치의 사용자 안면을 인식한 안면 인식 데이터가 추출될 수 있도록 한다.
안면 인식 데이터는 사용자의 얼굴 형상, 눈, 코, 입의 좌우 대칭 특성, 각도 및 기울기 등을 포함할 수 있다.
음성 인식부(163)는 음성 인식을 통해 사용자의 질의문을 인식한 음성 인식 데이터를 텍스트 데이터로 변환할 수 있다.
즉, 음성 인식부(163)는 STT(Speech To Text) 변환을 통해 음성 데이터를 텍스트 데이터로 변환할 수 있다.
또한, 음성 인식부(163)는 음성 인식 데이터에 대응하여 관리 서버(200)로부터 수신한 응답 정보를 출력부(140)를 통해 음향 신호 또는 임의 시각화 정보로 출력될 수 있도록 한다.
여기서, 음성 인식부(163)는 응답 정보를 TTS(Text To Speech) 변환을 통해 음향 신호로 변환하여 출력하거나, 또는 이모티콘 도형, 또는 글자 등의 포맷으로 변환하여 디스플레이 될 수 있도록 한다.
데이터 제어부(164)는 관리 서버(200)로부터 입력되는 주행 신호에 따라 자율 주행로봇(100)이 주행할 수 있도록 관리하고, 관리 서버(200)로부터 경로 추가 요청이 입력되면, 주행 제어부(161)를 통해 획득한 추가 경로 정보가 데이터 저장부(165)에 저장될 수 있도록 한다.
또한, 데이터 제어부(164)는 영상 인식부(162)를 획득한 사용자의 안면 인식 데이터와 음성 인식부(163)를 통해 획득한 질의문의 음성 인식 데이터를 관리 서버(200)로 전송할 수 있도록 제어한다.
또한, 데이터 제어부(164)는 관리 서버(200)로부터 수신되는 사용자의 나이 및 성별에 따라 미리 설정된 맞춤형 사용자 인터페이스가 출력되도록 제어할 수 있다.
즉, 데이터 제어부(164)는 사용자의 나이대 별로, 예를 들어 사용자의 나이가 60대 이상으로 예측되면, 글자 크기, 그림 등이 확대되고, 메뉴의 구성, 색상 등이 단순화된 구조의 맞춤형 사용자 인터페이스가 디스플레이되도록 제어하고, 사용자의 나이가 20대 ~ 50대로 예측되면 글자 크기, 그림, 메뉴 구성, 색상 등이 정상적으로 배치된 맞춤형 사용자 인터페이스가 디스플레이되도록 제어함으로써, 연령별로 맞춤형 사용자 인터페이스를 제공할 수 있다.
또한, 데이터 제어부(164)는 성별에 따라서 배경색, 글자의 폰트, 메뉴 배치 및 구성 등을 변경한 맞춤형 사용자 인터페이스가 디스플레이되도록 제어할 수 있다.
또한, 데이터 제어부(164)는 관리 서버(200)로부터 수신되는 사용자의 질의문에 대응한 대화 정보 및 안내 정보를 포함한 응답 정보가 음성 인식부(163)를 통해 음향 및 시각 정보로 출력될 수 있도록 제어할 수 있다.
데이터 저장부(165)는 지도 정보, 설정된 이동 경로 정보, 추가 경로를 저장할 수 있다.
전원부(170)는 자율 주행로봇(100)의 동작을 위한 전원을 공급한다.
관리 서버(200)는 네트워크를 통해 연결된 자율 주행로봇(100)으로부터 수신되는 사용자의 촬영 이미지와 음성을 인공지능 기반의 분석 모델을 이용하여 분석할 수 있다.
또한, 관리 서버(200)는 사용자의 안면 모습에 기반한 얼굴 형상, 눈, 코, 입의 좌우 대칭 특성, 각도 및 기울기 특성에 따른 분류를 통해 사용자의 나이 및 성별을 예측할 수 있다.
또한, 관리 서버(200)는 사용자의 질의문을 문장 및 단어로 분류하여 분류된 문장 및 단어의 의미 분석을 통해 맥락 정보에 기반한 텍스트 데이터의 오탈자 보정을 수행할 수 있다.
또한, 관리 서버(200)는 보정된 텍스트 데이터의 임베딩을 통해 추출되는 빈도 정보 및 키워드 정보를 기반으로 인공지능 기반의 생성형 모델이 생성하는 메타 데이터를 응답 정보로 변환하여 자율 주행로봇(100)으로 출력할 수 있다.
이를 위해, 관리 서버(200)는 데이터 통신부(210)와, 영상 인식 모델부9220)와, 음성 인식 모델부(230)와, 데이터 관리부(240)와, 데이터 베이스(250)를 포함하여 구성될 수 있다.
데이터 통신부(210)는 네트워크를 통해 연결된 자율 주행로봇(100)과 데이터를 송수신할 수 있다.
영상 인식 모델부(220)는 사용자의 안면 인식 데이터를 학습된 인공지능 기반의 분석 모델을 이용하여 분석할 수 있다.
또한 영상 인식 모델부(220)는 나이대별, 성별에 따른 안면 모습을 획득하여 레이블이 지정된 학습 데이터 셋으로 저장할 수 있고, 학습 데이터 셋을 기반으로 CNN(Convolutional Neural Network) 알고리즘을 이용한 기계 학습을 통해 나이대별 및 성별을 분류할 수 있다.
또한, 영상 인식 모델부(220)는 안면 모습을 CNN 알고리즘으로 분석하여 사용자의 얼굴 형상, 눈, 코, 입의 좌우 대칭 특성, 각도 및 기울기 특성을 벡터화할 수 있다.
또한, 영상 인식 모델부(220)는 특징 벡터에 기반한 분류를 통해 나이와 성별에 따른 분류를 통해 나이와 연령을 예측한 결과값을 도출할 수 있다.
음성인식 모델부(230)는 자율 주행로봇(100)에서 수신된 텍스트 형태의 사용자 질의문을 문장 및 단어로 분류하고, 분류된 문장 및 단어의 의미 분석을 통해 맥락 정보에 기반한 텍스트 데이터의 오탈자 보정을 수행할 수 있다.
또한, 음성인식 모델부(230)는 텍스트로 변환된 데이터를 임의의 문장 단위로 분석하고, 분석된 문장을 미리 설정된 클래스로 분류할 수 있다.
또한, 음성인식 모델부(230)는 텍스트 데이터에 포함된 내용에 대해 빈칸 교정과 같은 전처리를 수행할 수 있고, 문장 내에서 형태소를 분석하여 출력할 수 있다.
또한, 음성인식 모델부(230)는 맥락 정보를 추출하여 분류된 문장 및 단어의 의미 분석을 수행하고, 인공지능 기반의 언어 모델을 이용하여 의미를 분석할 수 있다.
또한, 음성인식 모델부(230)는 분석된 문장 및 단의의 의미에 기반하여 텍스트 데이터의 오탈자 보정을 수행할 수 있다.
본 실시 예에서는 인공지능 기반의 언어 모델로서, 자연 언어 처리(NLP) 인공지능인 ‘BERT(이하 버트, Bidirectional Encoder Representations from Transformers)’를 실시 예로 사용할 수 있지만, 이에 한정되는 것은 아니고, 자연 언어 처리가 언어 모델은 모두 포함할 수 있다.
또한, 'BERT'는 언어 표현 사전학습의 새로운 방법으로 그 의미는 '큰 텍스트 코퍼스(예를 들어, Wikipedia와 같은)'를 이용하여 범용목적의 '언어 이해'(language understanding)' 모델을 훈련시키는 것과 그 모델에 관심 있는 실제의 자연 언어 처리 태스크(예를 들어, 질문/응답 등)에 적용하는 것이다.
또한, BERT는 자연 언어 처리 태스크를 교육 없이 양방향으로 사전학습을 수행할 수 있고, 사전학습을 마친 특징 표현은 문맥에 '의존하는 방법'와 '의존하지 않는 방법'과 같이 어느 방법으로도 할 수 있다.
또한, BERT는 문맥에 의존하는 특징적인 표현이 단방향인 경우와 또는 양방향일 경우 'word2vec' 또는 'GloVe'와 같이 문맥에 의존하지 않는 모델에서는, 어휘에 포함되는 각 단어마다 '단어 임베딩(word embedding)'이라는 특징 표현을 생성할 수도 있다.
또한, 음성인식 모델부(230)는 의미 요소의 문맥적 의미를 반영하기 위해 CRF (conditional random field) 및 LSTM (long short term memory) 기법을 이용하여 각 단어 또는 구 등을 인식할 수도 있다.
데이터 관리부(240)는 보정된 텍스트 데이터의 임베딩을 통해 추출되는 빈도 정보 및 키워드 정보를 기반으로 인공지능 기반의 생성형 모델이 생성하는 메타 데이터를 응답 정보로 변환할 수 있다.
즉, 데이터 관리부(240)는 보정된 텍스트 데이터의 텍스트 값들을 벡터 값으로 변환하는 임베딩(Embedding)을 통해 텍스트들의 벡터 값을 벡터 공간에 표상하여 위치될 수 있도록 한다.
이때, 각 텍스트들의 벡터는 TF-IDF(Term Frequency - Inverse Document Frequency)를 통해 빈도 정보가 산출될 수 있고, 산출된 TF-IDF는 빈도 기반의 가중치를 주어 주요 키워드에 대한 정보를 설정할 수 있다.
또한, 데이터 관리부(240)는 추출되는 빈도 정보와 키워드 정보를 기반으로 인공지능 기반의 생성형 모델을 통해 메타 데이터를 생성할 수 있다.
인공지능 기반의 생성형 모델은 답변을 생성하기 위해 추출된 키워드 정보를 기반으로 특정 도메인과 관련된 데이터를 저장한 도메인 DB(미도시)의 검색을 수행할 수 있고, 검색된 데이터와, 키워드 정보를 조합하여 답변을 위한 메타 데이터를 응답 정보로 생성할 수 있다.
또한, 데이터 관리부(240)는 변환된 응답 정보와 예측된 사용자의 나이 및 연령 정보를 자율 주행로봇(100)으로 출력할 수 있다.
데이터 베이스(250)는 응답 정보와 예측된 나이, 연령 정보를 저장한다.
다음은 본 발명의 일 실시 예에 따른 자율 주행 기반의 안내 로봇 제어 방법을 설명한다.
도6은 본 발명의 일 실시 예에 따른 자율 주행 기반의 안내 로봇 시스템의 제어 방법을 설명하기 위해 나타낸 흐름도이다.
도1 내지 도6을 참조하면, 자율 주행로봇(100)은 임의 지도 정보를 기반으로 미리 설정된 이동 경로 정보를 따라 주행하며 화면을 통해 임의 광고 정보를 디스플레이(S100) 한다.
또한, S100 단계에서 자율 주행로봇(100)은 관리 서버(200)로부터 경로 추가 요청이 입력되면, 자율 주행로봇(100)에 미리 저장된 지도 정보를 기반으로 이동한 경로에 대응하는 위치 정보와 지도상의 좌표 정보를 추출하고, 추출된 위치 정보와 좌표 정보에 기반하여 생성되는 추가 경로 정보를 저장할 수 있다.
계속해서, 자율 주행로봇(100)이 주행을 통해 이동하는 중에 사용자 접근을 감지하면, 주행을 정지하고 카메라부(121)를 활성화(S200)한다.
S200 단계에서, 자율 주행로봇(100)은 카메라부(121)를 통해 사용자의 2차원 이미지와 3차원 이미지를 촬영하고, 촬영된 2차원 이미지와 3차원 이미지 정보로부터 사용자(객체)를 추출한다.
이때, 자율 주행로봇(100)은 3차원 이미지 정보에서 추출된 사용자 별로 깊이 정보를 계산하고, 계산된 사용자 별 깊이에 따라 서로 다른 명암 대비로 구분하여 가장 가까운 사용자의 안면 인식 데이터를 추출할 수 있다.
또한, S200 단계에서 추출된 사용자 안면 인식 데이터는 네트워크를 통해 연결된 관리 서버(200)로 전송될 수 있다.
S200 단계를 수행한 후, 관리 서버(200)는 사용자의 안면 인식 데이터를 학습된 인공지능 기반의 분석 모델을 이용하여 사용자 얼굴을 통해 분석하고, 분석된 사용자의 얼굴 형상, 눈, 코, 입의 좌우 대칭 특성, 각도 및 기울기 특성에 따른 분류를 통해 나이와 연령을 예측(S300)한다.
또한, S300 단계에서 자율 주행로봇(100)은 관리 서버(200)에서 예측된 사용자의 나이 및 성별과 관련된 정보를 수신하고, 수신된 나이 및 성별에 따라 설정된 맞춤형 사용자 인터페이스를 검색하여 출력되도록 제어한다.
즉 S300 단계에서, 자율 주행로봇(100)은 사용자의 나이대 별로, 글자 크기, 그림 등이 확대되고, 메뉴의 구성, 색상 등이 단순화된 맞춤형 사용자 인터페이스가 디스플레이되도록 하거나 또는 글자 크기, 그림, 메뉴 구성, 색상 등이 정상적으로 배치된 맞춤형 사용자 인터페이스가 디스플레이되도록 제어한다.
또한, S300 단계에서 자율 주행로봇(100)은 성별에 따라서 배경색, 글자의 폰트, 메뉴 배치 및 구성 등을 변경한 맞춤형 사용자 인터페이스가 디스플레이되도록 제어할 수도 있다.
계속해서, 자율 주행로봇(100)은 음성 안내를 통해 사용자의 질의문을 입력받고, 입력되는 사용자의 질의문에 대한 음성 인식을 수행(S400)한다.
S400 단계에서, 자율 주행로봇(100)은 STT(Speech To Text) 변환을 통해 음성 데이터를 텍스트 데이터로 변환할 수 있다.
S400 단계에서 인식한 음성 인식 데이터는 네트워크를 통해 연결된 관리 서버(200)로 전송되고, 관리 서버(200)는 텍스트 데이터로 변환된 사용자의 질의문에대한 응답 정보를 생성하여 자율 주행로봇(100)을 통해 예측된 응답 정보에 대응하여 임의 대화 정보 및 길안내 정보가 음성과 화면을 통해 출력(S500)되도록 한다.
S500 단계를 더욱 상세하게 설명하면, 관리 서버(200)는 텍스트 데이터로 변환된 사용자의 질의문을 문장 및 단어로 분류하고, 분류된 문장 및 단어의 의미 분석을 통해 맥락 정보에 기반한 텍스트 데이터의 오탈자 보정을 수행할 수 있다.
또한, S500 단계에서 관리 서버(200)는 보정된 텍스트 데이터의 임베딩을 통해 추출되는 빈도 정보 및 키워드 정보를 기반으로 인공지능 기반의 생성형 모델이 생성하는 메타 데이터를 응답 정보로 변환하여 자율 주행로봇(100)으로 출력되도록 함으로써, 사용자에게 안내될 수 있도록 한다.
S500 단계를 수행한 후, 자율 주행로봇(100)은 안내 종료 후, S100 단계에서 설정된 이동 경로 정보를 따라 주행하며 화면을 통해 임의 광고 정보가 디스플레이될 수 있도록 한다(S600).
따라서, 임의 경로를 따라 이동하되 이동중 인식되는 사람과의 대화를 수행하고, 안면 인식을 이용하여 인식된 사용자 정보에 기반한 사용자 인터페이스, 광고 정보, 목적지별 안내 정보, 질의문에 따른 응답 정보를 제공할 수 있다.
또한, 임의 경로로 변경시 위치 정보와 변경된 경로 정보를 기반으로 추가 경로 정보를 생성하여 설정된 이동 경로 정보에 반영함으로써, 별도의 경로 안내프로그램 없이 자율 주행로봇에서 직접 경로를 수정 및 반영할 수 있다.
상기와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
또한, 본 발명의 특허청구범위에 기재된 도면번호는 설명의 명료성과 편의를 위해 기재한 것일 뿐 이에 한정되는 것은 아니며, 실시예를 설명하는 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한, 상술된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있으므로, 이러한 용어들에 대한 해석은 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
또한, 명시적으로 도시되거나 설명되지 아니하였다 하여도 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 본 발명에 의한 기술적 사상을 포함하는 다양한 형태의 변형을 할 수 있음은 자명하며, 이는 여전히 본 발명의 권리범위에 속한다.
또한, 첨부하는 도면을 참조하여 설명된 상기의 실시예들은 본 발명을 설명하기 위한 목적으로 기술된 것이며 본 발명의 권리범위는 이러한 실시예에 국한되지 아니한다.
100 : 자율 주행로봇 110 : 데이터 통신부
120 : 입력부 121 : 카메라부
121a : 제1 카메라 121b : 제2 카메라
130 : 센서부 140 : 출력부
141a : 터치 스크린 141b : 스피커
141c : 디스플레이부 150 : 주행부
160 : 제어부 161 : 주행 제어부
162 : 영상 인식부 163 : 음성 인식부
164 : 데이터 제어부 165 : 데이터 저장부
170 : 전원부 200 : 관리 서버
210 : 데이터 통신부 220 : 영상 인식 모델부
230 : 음성 인식 모델부 240 : 데이터 관리부
250 : 데이터 베이스

Claims (11)

  1. 임의 지도 정보를 기반으로 미리 설정된 이동 경로 정보를 따라 이동하되, 경로 추가시 상기 지도 정보를 기반으로 이동 경로에 대응한 위치 정보와 지도상의 좌표 정보를 추출하여 추가 경로 정보를 생성 및 저장하고, 사용자의 촬영 이미지로부터 인식된 안면 인식 데이터를 기반으로 예측된 사용자의 나이 및 성별에 따라 미리 설정된 사용자 인터페이스가 출력되도록 제어하며, 음성 인식을 통해 상기 사용자의 질의문을 인식한 음성 인식 데이터에 따라 예측된 응답 정보에 대응하여 임의 대화 정보 및 안내 정보를 출력하는 자율 주행로봇(100); 및
    상기 자율 주행로봇(100)으로부터 수신되는 사용자의 촬영 이미지와 음성을 인공지능 기반의 분석 모델을 이용하여 분석하되, 사용자의 안면 모습에 기반한 얼굴 형상, 눈, 코, 입의 좌우 대칭 특성, 각도 및 기울기 특성에 따른 분류를 통해 사용자의 나이 및 성별을 예측하고, 상기 사용자의 질의문을 문장 및 단어로 분류하여 분류된 문장 및 단어의 의미 분석을 통해 맥락 정보에 기반한 텍스트 데이터의 오탈자 보정을 수행한 후, 보정된 텍스트 데이터의 임베딩을 통해 추출되는 빈도 정보 및 키워드 정보를 기반으로 인공지능 기반의 생성형 모델이 생성하는 메타 데이터를 응답 정보로 변환하여 상기 자율 주행로봇(100)으로 출력하는 관리 서버(200);를 포함하고,
    상기 자율 주행로봇(100)은 상기 관리 서버(200)와 데이터 통신을 수행하는 데이터 통신부(110);
    상기 사용자의 촬영 이미지와 음성을 실시간 입력하는 입력부(120);
    상기 자율 주행로봇(100) 주변의 객체 감지와 상기 객체와의 거리 정보를 측정하는 센서부(130);
    상기 자율 주행로봇(100)의 동작 상태와 응답 정보를 음향 및 시각 정보로 출력하는 출력부(140);
    상기 자율 주행로봇(100)이 주행되도록 동작하는 주행부(150);
    상기 자율 주행로봇(100)이 지도 정보를 기반으로 설정된 이동 경로 정보를 따라 이동하도록 제어하는 주행 제어부(161)와, 상기 촬영된 2차원 이미지와 3차원 이미지 정보로부터 사용자를 추출하되, 상기 3차원 이미지 정보에서 추출된 사용자 별로 깊이 정보를 계산하고, 상기 계산된 사용자 별 깊이에 따라 서로 다른 명암 대비로 구분하여 가장 가까운 사용자의 안면 인식 데이터를 추출하는 영상 인식부(162)와, 음성 인식을 통해 상기 사용자의 질의문을 인식한 음성 인식 데이터를 텍스트 데이터로 변환하여 출력하고, 상기 음성 인식 데이터에 대응한 응답 정보를 출력하는 음성 인식부(163)와, 상기 관리 서버(200)로부터 경로 추가 요청이 입력되면, 상기 지도 정보를 기반으로 이동 경로에 대응한 위치 정보와 지도상의 좌표 정보를 추출하여 추가 경로 정보를 생성하고, 상기 생성된 추가 경로 정보를 이동 경로 정보에 반영하며, 상기 사용자의 안면 인식 데이터와 질의문의 음성 인식 데이터가 상기 관리 서버(200)로 전송되도록 제어하고, 상기 관리 서버(200)로부터 수신되는 사용자의 나이 및 성별에 따라 미리 설정된 사용자 인터페이스가 출력되도록 제어하며, 상기 관리 서버(200)로부터 수신되는 사용자의 질의문에 대응한 대화 정보 및 안내 정보를 포함한 응답 정보를 음향 및 시각 정보를 통해 출력되도록 제어하는 데이터 제어부(164)와, 상기 지도 정보, 설정된 이동 경로 정보, 추가 경로를 저장하는 데이터 저장부(165);를 구비한 제어부(160); 및
    상기 자율 주행로봇(100)의 동작을 위한 전원을 공급하는 전원부(170);를 포함하는 것을 특징으로 하는 자율 주행 기반의 안내 로봇 시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 입력부(120)는 2차원 이미지를 촬영하는 제1 카메라(121a)와 3차원 이미지를 촬영하는 제2 카메라(121b)를 구비한 카메라부(121); 및
    상기 사용자의 음성을 감지하는 마이크(122);를 포함하되,
    상기 제2 카메라(121b)는 레이저 빔의 반사시간을 이용한 거리 정보를 기반으로 사용자와 깊이 정보를 추출하는 것을 특징으로 하는 자율 주행 기반의 안내 로봇 시스템.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 영상 인식부(162)는 촬영된 2차원 이미지와 3차원 이미지에 대하여 임의의 전처리를 수행하고,
    상기 2차원 이미지와 3차원 이미지로부터 사용자를 추출하여 추출된 각 사용자 별로 깊이 정보를 계산하며,
    상기 추출된 사용자에 겹침이 발생했는지 여부를 분석하되, 겹침이 발생됨에 따라 겹침이 발생된 사용자의 픽셀 위치 값을 생성하여 사용자 별로 생성된 픽셀의 위치 값과 계산된 깊이 정보에 기반한 서로 다른 명암 대비를 통해 구분하고,
    상기 2차원 이미지에 상기 구분된 다른 명암 대비에 따라 상기 입력부(120)와 가까운 거리의 사용자의 안면 모숩을 인식하는 것을 특징으로 하는 자율 주행 기반의 안내 로봇 시스템.
  6. 제 5 항에 있어서,
    상기 관리 서버(200)는 상기 자율 주행로봇(100)과 데이터를 송수신하는 데이터 통신부(210);
    상기 사용자의 안면 인식 데이터를 학습된 인공지능 기반의 분석 모델을 이용하여 분석하고, 사용자의 얼굴 형상, 눈, 코, 입의 좌우 대칭 특성, 각도 및 기울기 특성에 따른 분류를 통해 나이와 연령을 예측하는 영상인식 모델부(220);
    상기 텍스트 데이터로 변환된 사용자의 질의문을 문장 및 단어로 분류하며, 상기 분류된 문장 및 단어의 의미 분석을 통해 맥락 정보에 기반한 텍스트 데이터의 오탈자 보정을 수행하는 음성인식 모델부(230);
    상기 보정된 텍스트 데이터의 임베딩을 통해 추출되는 빈도 정보 및 키워드 정보를 기반으로 인공지능 기반의 생성형 모델이 생성하는 메타 데이터를 응답 정보로 변환하고, 상기 변환된 응답 정보와 상기 예측된 사용자의 나이 및 연령 정보를 상기 자율 주행로봇(100)으로 출력하는 데이터 관리부(240); 및
    상기 응답 정보와 예측된 나이, 연령 정보를 저장하는 데이터 베이스(250);를 포함하는 것을 특징으로 하는 자율 주행 기반의 안내 로봇 시스템.
  7. a) 자율 주행로봇(100)이 임의 지도 정보를 기반으로 미리 설정된 이동 경로 정보를 따라 주행하며 화면을 통해 임의 광고 정보를 디스플레이하고, 관리 서버(200)로부터 경로 추가 요청이 입력되면, 상기 자율 주행로봇(100)이 지도 정보를 기반으로 이동한 경로에 대응하는 위치 정보와 지도상의 좌표 정보를 추출하고, 상기 추출된 위치 정보와 좌표 정보에 기반하여 추가 경로 정보를 생성 및 저장하여 이동 경로 정보에 반영하는 단계;
    b) 상기 자율 주행로봇(100)이 사용자 접근을 감지하면, 주행을 정지하고 사용자의 2차원 이미지와 3차원 이미지를 촬영하고, 상기 촬영된 2차원 이미지와 3차원 이미지 정보로부터 사용자를 추출하되, 상기 3차원 이미지 정보에서 추출된 사용자 별로 깊이 정보를 계산하고, 상기 계산된 사용자 별 깊이에 따라 서로 다른 명암 대비로 구분하여 가장 가까운 사용자의 안면 인식 데이터를 추출하며, 상기 관리 서버(200)가 상기 추출된 사용자의 안면 인식 데이터를 학습된 인공지능 기반의 분석 모델을 통해 분석하여, 사용자의 얼굴 형상, 눈, 코, 입의 좌우 대칭 특성, 각도 및 기울기 특성에 따른 분류를 통해 나이와 성별을 예측하고, 상기 예측된 사용자의 나이 및 성별에 따라 미리 설정된 사용자 인터페이스가 출력되도록 제어하는 단계; 및
    c) 상기 자율 주행로봇(100)이 음성 인식을 통해 상기 사용자의 질의문을 인식한 음성 인식 데이터에 따라 예측된 응답 정보에 대응하여 임의 대화 정보 및 안내 정보를 출력하는 단계;를 포함하는 자율 주행 기반의 안내 로봇 제어 방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제 7 항에 있어서,
    상기 c) 단계는 상기 사용자의 질의문을 인식한 음성 인식 데이터를 텍스트 데이터로 변환하고, 관리 서버(200)가 상기 텍스트 데이터로 변환된 사용자의 질의문을 문장 및 단어로 분류하며, 상기 분류된 문장 및 단어의 의미 분석을 통해 맥락 정보에 기반한 텍스트 데이터의 오탈자 보정을 수행한 후, 상기 보정된 텍스트 데이터의 임베딩을 통해 추출되는 빈도 정보 및 키워드 정보를 기반으로 인공지능 기반의 생성형 모델이 생성하는 메타 데이터를 응답 정보로 변환하는 것을 특징으로 하는 자율 주행 기반의 안내 로봇 제어 방법.
KR1020240032460A 2024-03-07 2024-03-07 자율 주행 기반의 안내 로봇 시스템 및 그 제어 방법 KR102675910B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020240032460A KR102675910B1 (ko) 2024-03-07 2024-03-07 자율 주행 기반의 안내 로봇 시스템 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020240032460A KR102675910B1 (ko) 2024-03-07 2024-03-07 자율 주행 기반의 안내 로봇 시스템 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR102675910B1 true KR102675910B1 (ko) 2024-06-18

Family

ID=91670138

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020240032460A KR102675910B1 (ko) 2024-03-07 2024-03-07 자율 주행 기반의 안내 로봇 시스템 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR102675910B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190003122A (ko) 2017-06-30 2019-01-09 엘지전자 주식회사 이동 로봇의 동작 방법
KR20190098934A (ko) * 2019-07-05 2019-08-23 엘지전자 주식회사 인공 지능을 이용하여, 안내 서비스를 제공하는 로봇 및 그의 동작 방법
KR20210138181A (ko) * 2019-04-11 2021-11-19 엘지전자 주식회사 안내 로봇 및 안내 로봇의 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190003122A (ko) 2017-06-30 2019-01-09 엘지전자 주식회사 이동 로봇의 동작 방법
KR20210138181A (ko) * 2019-04-11 2021-11-19 엘지전자 주식회사 안내 로봇 및 안내 로봇의 동작 방법
KR20190098934A (ko) * 2019-07-05 2019-08-23 엘지전자 주식회사 인공 지능을 이용하여, 안내 서비스를 제공하는 로봇 및 그의 동작 방법

Similar Documents

Publication Publication Date Title
EP3665676B1 (en) Speaking classification using audio-visual data
US11200467B2 (en) Artificial intelligence apparatus and method for recognizing object included in image data
KR102331675B1 (ko) 사용자의 음성을 인식하는 인공 지능 장치 및 그 방법
US11289074B2 (en) Artificial intelligence apparatus for performing speech recognition and method thereof
JP2022531641A (ja) 量子化モデルの最適化方法、装置、情報推薦方法、装置、ニューラルネットワークモデルの最適化方法、装置、電子機器及びコンピュータプログラム
KR20210047173A (ko) 오인식된 단어를 바로잡아 음성을 인식하는 인공 지능 장치 및 그 방법
US11195528B2 (en) Artificial intelligence device for performing speech recognition
JP7118697B2 (ja) 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル
US11355101B2 (en) Artificial intelligence apparatus for training acoustic model
KR102306393B1 (ko) 음성 처리 장치 및 음성 처리 방법
US11468247B2 (en) Artificial intelligence apparatus for learning natural language understanding models
US20210334640A1 (en) Artificial intelligence server and method for providing information to user
US10872438B2 (en) Artificial intelligence device capable of being controlled according to user's gaze and method of operating the same
KR102339085B1 (ko) 사용자의 어플리케이션 사용 기록을 고려하여 사용자의 음성을 인식하는 인공 지능 장치 및 그 방법
KR20190113693A (ko) 단어 사용 빈도를 고려하여 사용자의 음성을 인식하는 인공 지능 장치 및 그 방법
US11508358B2 (en) Artificial intelligence apparatus and method for recognizing speech in consideration of utterance style
KR20190114926A (ko) 합성 음성에 대한 보정을 수행하는 인공 지능 장치 및 그 방법
KR20210042460A (ko) 복수의 언어가 포함된 음성을 인식하는 인공 지능 장치 및 그 방법
KR20210081103A (ko) 복수의 언어를 포함하는 음성을 인식하는 인공 지능 장치 및 그 방법
US20210334461A1 (en) Artificial intelligence apparatus and method for generating named entity table
US11322134B2 (en) Artificial intelligence device and operating method thereof
CN113590798A (zh) 对话意图识别、用于识别对话意图的模型的训练方法
KR102675910B1 (ko) 자율 주행 기반의 안내 로봇 시스템 및 그 제어 방법
KR20210052958A (ko) 인공 지능 서버
US20240096093A1 (en) Ai-driven augmented reality mentoring and collaboration

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant