KR102360011B1 - 인공지능 서비스 디바이스 및 그 디스플레이 처리 방법 - Google Patents

인공지능 서비스 디바이스 및 그 디스플레이 처리 방법 Download PDF

Info

Publication number
KR102360011B1
KR102360011B1 KR1020200042449A KR20200042449A KR102360011B1 KR 102360011 B1 KR102360011 B1 KR 102360011B1 KR 1020200042449 A KR1020200042449 A KR 1020200042449A KR 20200042449 A KR20200042449 A KR 20200042449A KR 102360011 B1 KR102360011 B1 KR 102360011B1
Authority
KR
South Korea
Prior art keywords
display
artificial intelligence
intelligence service
unit
information
Prior art date
Application number
KR1020200042449A
Other languages
English (en)
Other versions
KR20210124860A (ko
Inventor
신민영
Original Assignee
아이콘에이아이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이콘에이아이 주식회사 filed Critical 아이콘에이아이 주식회사
Priority to KR1020200042449A priority Critical patent/KR102360011B1/ko
Publication of KR20210124860A publication Critical patent/KR20210124860A/ko
Application granted granted Critical
Publication of KR102360011B1 publication Critical patent/KR102360011B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시예에 따른 인공지능 서비스 디바이스에 포함될 수 있는 디스플레이 지원 장치는, 정보의 입출력을 통한 인공지능 서비스를 위하여, 디스플레이의 대상에 관한 정보를 획득하는 정보 획득부와, 상기 인공지능 서비스를 위하여 디스플레이용 함수를 제외한 각종 함수의 지원과 관련된 처리를 수행하는 상기 인공지능 서비스 디바이스의 인공지능 서비스부와 연계하여 상기 디스플레이의 대상에 관한 정보 및 상기 디스플레이용 함수의 지원과 관련된 처리를 수행하고, 상기 인공지능 서비스 디바이스의 디스플레이부가 상기 디스플레이용 함수를 이용하여 상기 처리의 결과를 디스플레이하도록 제어하는 제어부를 포함한다.

Description

인공지능 서비스 디바이스 및 그 디스플레이 처리 방법{ARTIFICIAL INTELLIGENCE SERVICE DEVICE AND ITS DISPLAY PROCESSING METHOD}
본 발명은 디스플레이 지원 장치로부터 디스플레이 기능을 지원받은 인공지능 서비스 디바이스, 이러한 인공지능 서비스 디바이스의 디스플레이 처리 방법에 관한 것이다.
전자 장치에 대한 기술이 고도화되면서, 사용자의 음성명령을 이용하여 전자 장치의 기능을 활성화하거나 실행시킬 수 있는 음성 인식 기능이 각종의 전자 장치에 탑재되고 있으며, 이러한 음성 인식 기능은 인공지능 컴퓨팅 플랫폼에 의해 제공될 수 있다. 이러한 음성 인식 기반의 인공지능 컴퓨팅 플랫폼은 사용자의 음성명령으로부터 문자열을 추출하고, 음성명령에 대응하는 응답을 생성하여 출력한다.
최근, 인공지능 컴퓨팅 플랫폼을 탑재한 인공지능 서비스 디바이스의 일 종으로서, AI(Artificial Intelligence) 스피커의 보급이 급속도로 확대되고 있다. 이처럼 AI 스피커의 보급이 확대되고 관련 시장이 커진 것은 다양한 이유가 있지만 오픈 소스(open source)에 기반한 SDK(Software Development Kit) 형태로 AI 스피커 기술이 공개된 것이 한 몫을 하였다. 개발자가 이러한 SDK를 활용하여 AI 스피커용의 다양한 응용프로그램을 손쉽게 개발할 수 있기 때문이다.
그런데, 현재 공개된 AI 스피커용 오픈 소스 SDK는 사용자의 명령에 의하여 동작하는 인공지능 서비스 디바이스라는 특성 때문에 음성명령과 응답음성 등을 포함하는 입출력 기능은 원활히 지원되지만 디스플레이 기능은 지원하지 않고 있다.
대한민국 공개특허공보 제10-2010-0006495호, 공개일자 2010년 01월 19일.
일 실시예에 의하면, 디스플레이 지원 장치로부터 디스플레이 기능을 지원받는 인공지능 서비스 디바이스와 그 디스플레이 처리 방법을 제공한다.
삭제
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있는 범위의 언급되지 않은 또 다른 해결하고자 하는 과제까지 포함되는 것이다.
제 1 관점에 따른 인공지능 서비스 디바이스에 포함될 수 있는 디스플레이 지원 장치는, 정보의 입출력을 통한 인공지능 서비스를 위하여, 디스플레이의 대상에 관한 정보를 획득하는 정보 획득부와, 상기 인공지능 서비스를 위하여 디스플레이용 함수를 제외한 각종 함수의 지원과 관련된 처리를 수행하는 상기 인공지능 서비스 디바이스의 인공지능 서비스부와 연계하여 상기 디스플레이의 대상에 관한 정보 및 상기 디스플레이용 함수의 지원과 관련된 처리를 수행하고, 상기 인공지능 서비스 디바이스의 디스플레이부가 상기 디스플레이용 함수를 이용하여 상기 처리의 결과를 디스플레이하도록 제어하는 제어부를 포함한다.
제 2 관점에 따른 인공지능 서비스 디바이스에 포함될 수 있는 디스플레이 지원 장치의 디스플레이 지원 방법은, 정보의 입출력을 통한 인공지능 서비스를 위하여, 디스플레이의 대상에 관한 정보를 획득하는 단계와, 상기 인공지능 서비스를 위하여 디스플레이용 함수를 제외한 각종 함수의 지원과 관련된 처리를 수행하는 상기 인공지능 서비스 디바이스의 인공지능 서비스부와 연계하여 상기 디스플레이의 대상에 관한 정보 및 상기 디스플레이용 함수의 지원과 관련된 처리를 수행하는 단계와, 상기 인공지능 서비스 디바이스의 디스플레이부가 상기 디스플레이용 함수를 이용하여 상기 처리의 결과를 디스플레이하도록 제어하는 단계를 포함한다.
제 3 관점에 따른 인공지능 서비스 디바이스는, 음향이 입력 또는 출력되는 음향 입출력부와, 상기 정보의 입출력을 통한 인공지능 서비스를 위하여, 디스플레이의 대상에 관한 정보를 획득하는 정보 획득부와, 상기 인공지능 서비스를 위하여 디스플레이용 함수를 제외한 각종 함수의 지원과 관련된 처리를 수행하는 인공지능 서비스부와, 각종 정보를 디스플레이하는 디스플레이부와, 상기 인공지능 서비스부와 연계하여 상기 디스플레이의 대상에 관한 정보 및 상기 디스플레이용 함수의 지원과 관련된 처리를 수행하고, 상기 디스플레이부가 상기 디스플레이용 함수를 이용하여 상기 처리의 결과를 디스플레이하도록 제어하는 제어부를 포함한다.
제 4 관점에 따른 인공지능 서비스 디바이스의 디스플레이 처리 방법은, 정보 획득부가 정보의 입출력을 통한 인공지능 서비스를 위하여, 디스플레이의 대상에 관한 정보를 획득하는 단계와, 제어부가 상기 인공지능 서비스를 위하여 디스플레이용 함수를 제외한 각종 함수의 지원과 관련된 처리를 수행하는 인공지능 서비스부와 연계하여 상기 디스플레이의 대상에 관한 정보 및 상기 디스플레이용 함수의 지원과 관련된 처리를 수행하는 단계와, 상기 디스플레이용 함수를 이용하여 상기 디스플레이의 대상에 관한 정보를 출력하도록 상기 제어부가 디스플레이부를 제어하는 단계를 포함한다.
본 발명의 실시예에 의하면, 음성명령에 의하여 동작하는 인공지능 서비스 디바이스의 디스플레이 기능을 디스플레이 지원 장치가 지원할 수 있다. 그러므로, 기 공개된 AI 스피커용 오픈 소스 SDK를 사용하여 음성명령에 의한 동작 기능은 물론이고 디스플레이 기능까지 갖는 인공지능 서비스 디바이스를 설계 및 제작할 수 있다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 지원 장치를 포함하는 인공지능 서비스 디바이스의 구성도이다.
도 2는 본 발명의 일 실시예에 따라 인공지능 서비스 디바이스가 디스플레이의 대상에 관한 정보를 출력하는 과정을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 인공지능 서비스 디바이스가 음성명령에 따라 콘텐츠를 재생하는 과정을 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
또한, 명세서에서 사용되는 '부'라는 용어는 소프트웨어 또는 FPGA나 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 지원 장치를 포함하는 인공지능 서비스 디바이스의 구성도이다.
도 1을 참조하면, 인공지능 서비스 디바이스(100)는 디스플레이 지원 장치(150)를 포함할 수 있다.
디스플레이 지원 장치(150)는 정보 획득부(151) 및 제어부(152)를 포함한다. 여기서, 제어부(152)는 마이크로프로세서 등과 같은 컴퓨팅 연산수단을 포함할 수 있다.
인공지능 서비스 디바이스(100)는 디스플레이 지원 장치(150) 외에 음향 입출력부(110), 인공지능 서비스부(120), 디스플레이부(130), 저장부(140)를 더 포함할 수 있다.
음향 입출력부(110)는 음성명령 등을 포함할 수 있는 입력음향을 입력 받아 인공지능 서비스부(120)에 제공하고, 음성명령에 대응하는 응답음성 등을 포함할 수 있는 출력음향을 인공지능 서비스부(120)로부터 제공받아 출력할 수 있다. 또는, 음향 입출력부(110)는 음성명령에 대응하는 응답음성 등을 포함할 수 있는 출력음향을 제어부(152)로부터 제공받아 출력할 수 있다. 예를 들어, 음향 입출력부(110)는 마이크로폰과 스피커 등을 포함할 수 있다.
인공지능 서비스부(120)는 정보의 입출력을 통한 인공지능 서비스를 위하여 디스플레이용 함수를 제외한 각종 함수의 지원과 관련된 처리를 수행한다. 이러한 인공지능 서비스부(120)는 ASR(Automatic Speech Recognition)을 포함하여, 음향 입출력부(110)를 통하여 입력되는 사용자의 음성명령을 인식할 수 있다. ASR는 사용자의 음성명령에 대해 전처리 과정을 통해 잡음을 제거한 후에 문자열을 추출할 수 있다.
이러한 인공지능 서비스부(120)는 음성명령에 대응하는 처리를 단독으로 수행할 수도 있지만 통신망을 통하여 서버 등과 같은 외부장치에게 음성명령 그 자체 또는 음성명령에 대응하는 문자열을 송신한 뒤, 송신된 음성명령에 대한 응답을 수신해서 대응하는 처리를 수행할 수 있다. 예를 들어, 인공지능 서비스부(120)는 사용자의 음성명령에 대응하는 콘텐츠 등의 데이터를 저장부(140)로부터 획득하거나 통신망을 통하여 외부장치로부터 획득할 수 있고, 이와 같이 획득된 콘텐츠 등의 데이터가 음향 입출력부(110)를 통하여 재생 출력되도록 할 수 있다. 또는, 인공지능 서비스부(120)는 사용자의 음성명령에 주변기기 제어명령이 포함된 경우에 통신망을 통하여 서버 등과 같은 외부장치로 주변기기 제어명령을 전달함으로써, 이러한 외부장치가 제어되도록 할 수도 있다.
한편, 인공지능 서비스부(120)에 의해 획득되는 데이터에는 디스플레이의 대상에 관한 정보가 포함될 수 있고, 인공지능 서비스부(120)는 디스플레이의 대상에 관한 정보가 포함된 데이터를 파싱(parsing)한 후 그 파싱의 결과를 디스플레이 지원 장치(150)의 정보 획득부(151)에 제공할 수 있다. 이러한 디스플레이의 대상에 관한 정보는 디스플레이의 대상을 디스플레이 할 좌표값 및 RGB값, 그리고 디스플레이 될 시간값 등을 포함할 수 있다.
디스플레이부(130)는 디스플레이 지원 장치(150)에 의하여 지원되는 디스플레이 기능에 따라 각종 정보를 화면에 디스플레이 할 수 있다. 예를 들어, 디스플레이부(130)는 디스플레이 지원 장치(150) 내 제어부(152)의 제어에 따라 디스플레이의 대상을 좌표값, RGB값 및 시간값에 기초하여 화면 상의 해당 좌표에 시간값에 대응하는 시간동안 RGB값에 대응하는 컬러영상으로 디스플레이 할 수 있다. 예를 들어, 디스플레이부(130)는 LCD(Liquid Crystal Display) 모듈, OLED(Organic Light-Emitting Diode) 모듈 등을 포함할 수 있다.
저장부(140)에는 인공지능 서비스 디바이스(100)의 구동을 위한 운영체제프로그램과 콘텐츠 데이터 등을 포함하여 각종 데이터가 저장될 수 있다. 예를 들어, 저장부(140)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리, 램, 롬 중 적어도 하나의 타입의 컴퓨터로 읽을 수 있는 기록매체를 포함할 수 있다.
이하에서는, 디스플레이 지원 장치(150)의 각 구성인 정보 획득부(151)와 제어부(152)에 대해 보다 자세하게 살펴보기로 한다.
정보 획득부(151)는 정보의 입출력을 통한 인공지능 서비스를 위하여 디스플레이의 대상에 관한 정보를 획득한다. 이러한 정보 획득부(151)는 디스플레이의 대상에 관한 정보를 인공지능 서비스부(120)로부터 획득하여 제어부(152)에 제공할 수 있다.
제어부(152)는 정보의 입출력을 통한 인공지능 서비스를 위하여 인공지능 서비스부(120)와 연계하여 디스플레이의 대상에 관한 정보 및 디스플레이용 함수의 지원과 관련된 처리를 수행하고, 디스플레이부(130)가 디스플레이용 함수를 이용하여 각종 처리의 결과를 디스플레이하도록 제어한다. 예를 들어, 제어부(152)는 정보 획득부(151)로부터 제공받은 디스플레이의 대상에 관한 정보가 포함된 데이터를 파싱한 후 그 파싱의 결과를 반영하여 그 처리의 결과를 디스플레이부(130)가 디스플레이하도록 제어할 수 있다. 앞서 디스플레이의 대상에 관한 정보가 포함된 데이터를 인공지능 서비스부(120)가 파싱할 수 있다고 설명한 바 있다. 즉, 디스플레이의 대상에 관한 정보가 포함된 데이터에 대한 파싱은 인공지능 서비스부(120)와 제어부(152) 중 어느 하나가 수행하거나 모두 수행할 수 있다. 예컨대, 정보 획득부(151)가 디스플레이의 대상에 관한 정보를 파싱하지 않은 원시 데이터 형태로 제공할 때에 제어부(152)가 디스플레이의 대상에 관한 정보가 포함된 데이터를 직접 파싱할 수 있다. 여기서, 디스플레이의 대상에 관한 정보는 디스플레이의 대상을 디스플레이 할 좌표값 및 RGB값, 그리고 디스플레이 될 시간값을 포함할 수 있고, 제어부(151)는 디스플레이의 대상을 좌표값, RGB값 및 시간값에 기초하여 화면 상의 해당 좌표에 시간값에 대응하는 시간동안 RGB값에 대응하는 컬러영상으로 디스플레이 할 수 있도록 디스플레이부(130)를 제어할 수 있다.
또한, 제어부(152)는 인공지능 서비스부(120)와 연계하여 정보의 입출력을 통한 대화형 인공지능 서비스를 지원할 수 있다. 제어부(152)는 대화형 인공지능 서비스를 위하여 TTS(Text To Speech)를 포함할 수 있다. 예를 들어, 제어부(152)는 인공지능 서비스부(120)에 의한 음성 인식 결과에 따라 사용자의 음성명령에 대응하여 음성형태로 생성하고자 하는 응답에 대응하는 텍스트를 생성할 수 있고, TTS를 이용하여 텍스트에 대응하는 응답음성을 생성할 수 있으며, 음향 입출력부(110)를 직접 제어하여 응답음성이 재생 출력되게 하거나 인공지능 서비스부(120)에 응답음성에 대한 재생 출력 제어를 요청할 수 있다. 제어부(152)는 음성형태로 생성하고자 하는 응답에 대응하는 텍스트를 직접 생성할 수도 있지만, 통신망을 통하여 서버 등과 같은 외부장치로 음성명령에 대응하는 문자열을 송신한 후 응답에 대응하는 텍스트를 수신할 수도 있다.
도 2는 본 발명의 일 실시예에 따라 인공지능 서비스 디바이스(100)가 디스플레이의 대상에 관한 정보를 출력하는 과정을 설명하기 위한 흐름도이다.
이하, 도 1 및 도 2를 참조하여, 인공지능 서비스 디바이스(100)가 디스플레이 지원 장치(150)로부터 디스플레이 기능을 지원받아 디스플레이의 대상에 관한 정보를 출력하는 과정에 대해 설명하기로 한다.
인공지능 서비스 디바이스(100)는 AI 스피커용 오픈 소스 SDK를 사용하여 설계 및 제작할 수 있는 공지의 AI 스피커 등과 마찬가지로 인공지능 서비스부(120)에 의하여 정보의 입출력을 이용한 각종 인공지능 서비스를 제공할 수 있다.
이러한 각종 인공지능 서비스 중에, 인공지능 서비스부(120)는 저장부(140)로부터 또는 통신망을 통하여 연결된 서버 등과 같은 외부장치로부터 데이터를 획득할 수 있으며, 이렇게 획득된 데이터에는 디스플레이의 대상에 관한 정보가 포함될 수 있다.
디스플레이의 대상에 관한 정보가 포함된 데이터는 인공지능 서비스부(120) 및/또는 제어부(152)에 의하여 파싱될 수 있고(S210), 인공지능 서비스부(120)가 디스플레이의 대상에 관한 정보가 포함된 데이터를 파싱한 경우라면 이를 정보 획득부(151)가 획득하여 제어부(152)에 제공할 수 있다(S220).
디스플레이의 대상에 관한 정보가 포함된 데이터에 출력음향과 관련된 정보가 포함된 경우에 출력음향과 관련된 정보는 디스플레이용 함수를 제외한 각종 함수의 지원과 관련된 처리를 수행하는 인공지능 서비스부(120)에 의하여 처리되고, 인공지능 서비스부(120)의 제어에 따라 음향 입출력부(110)가 출력음향을 재생 출력할 수 있다.
하지만, 디스플레이의 대상에 관한 정보는 인공지능 서비스부(120)가 단독으로 수행할 수 없는 바, 제어부(152)가 인공지능 서비스부(120)와 연계하여 처리한다. 특히, 제어부(152)는 디스플레이의 대상에 관한 정보를 처리하기 위하여 필요한 디스플레이용 함수의 지원과 관련된 처리를 수행한다(S230).
그리고, 제어부(152)는 디스플레이부(130)가 디스플레이용 함수를 이용하여 각종 처리의 결과를 디스플레이하도록 제어한다. 예를 들어, 제어부(152)는 정보 획득부(151)로부터 제공받은 디스플레이의 대상에 관한 정보에 대한 처리의 결과를 디스플레이부(130)가 디스플레이하도록 제어할 수 있다. 예컨대, 디스플레이의 대상에 관한 정보는 디스플레이의 대상을 디스플레이 할 좌표값 및 RGB값, 그리고 디스플레이 될 시간값을 포함할 수 있고, 제어부(151)는 디스플레이의 대상을 좌표값, RGB값 및 시간값에 기초하여 화면 상의 해당 좌표에 시간값에 대응하는 시간동안 RGB값에 대응하는 컬러영상으로 디스플레이 할 수 있도록 디스플레이부(130)를 제어할 수 있다(S240).
그러면, 디스플레이부(130)는 제어부(152)의 제어에 따라 디스플레이의 대상에 관한 정보를 화면상에 디스플레이 한다(S250).
도 3은 본 발명의 일 실시예에 따른 인공지능 서비스 디바이스가 음성명령에 따라 콘텐츠를 재생하는 과정을 설명하기 위한 흐름도이다.
이하, 도 1 및 도 3을 참조하여, 인공지능 서비스 디바이스(100)가 디스플레이 지원 장치(150)의 지원을 받아 대화형 인공지능 서비스를 제공하는 과정에 대해 설명하기로 한다.
인공지능 서비스 디바이스(100)는 AI 스피커용 오픈 소스 SDK를 사용하여 설계 및 제작할 수 있는 공지의 AI 스피커 등과 마찬가지로 인공지능 서비스부(120)에 의하여 웨이크업 될 수 있고(S310), 음성명령을 대기할 수 있다(S320).
사용자는 음성명령을 발화할 수 있고, 사용자의 음성명령은 음향 입출력부(110)를 통하여 인공지능 서비스부(120)에 제공되고, 인공지능 서비스부(120)는 사용자의 음성명령에 대해 전처리 과정을 통해 잡음을 제거한 후에 문자열을 추출하는 ASR 처리를 수행함으로써 음성 인식 결과로서 사용자의 음성명령을 인식할 수 있고, 인식된 음성명령을 제어부(152)에 제공한다. 그리고, 인공지능 서비스부(120)는 음성 인식 결과에 의하여 사용자의 음성명령이 콘텐츠 요청 음성명령으로 인식된 경우에 사용자의 음성명령에 대응하는 콘텐츠 등의 데이터를 저장부(140)로부터 획득하거나 통신망을 통하여 외부장치로부터 획득할 수 있다(S330).
여기서, 제어부(152)는 인공지능 서비스부(120)에 의한 음성 인식 결과에 따라 사용자의 음성명령에 대응하여 음성형태로 생성하고자 하는 응답에 대응하는 텍스트를 생성할 수 있고, TTS를 이용하여 텍스트에 대응하는 응답음성을 생성할 수 있다. 예를 들어, 제어부(152)는 음성형태로 생성하고자 하는 응답에 대응하는 텍스트를 직접 생성할 수도 있지만, 인공지능 서비스부(120)와 연계해 통신망을 통하여 서버 등과 같은 외부장치로 음성명령에 대응하는 문자열을 송신한 후 응답에 대응하는 텍스트를 수신할 수도 있다.
단계 S330의 음성명령이 콘텐츠 요청에 해당하는 경우라면, 제어부(152)는 디스플레이부(130)를 제어하여 콘텐츠에 대한 섬네일을 디스플레이할 수 있고, 섬네일 중 재생할 콘텐츠의 선택을 요청하는 응답음성을 생성한 후에 음향 입출력부(110)를 통해 재생 출력하는 대화형 인공지능 서비스를 제공할 수 있다(S340).
이후, 사용자는 디스플레이부(130)에 의하여 디스플레이 되고 있는 섬네일 중 자신이 희망하는 콘텐츠를 선택하는 음성명령을 발화할 수 있고, 이는 단계 S330과 마찬가지의 처리 과정을 통하여 인공지능 서비스부(120)에 의하여 인식되고, 음성 인식 결과가 제어부(152)에 제공된다(S350).
그러면, 제어부(152)는 단계 S350에서 선택된 콘텐츠를 재생하도록 디스플레이부(130)를 제어하고, 디스플레이부(130)는 제어부(152)의 제어에 따라 해당 콘텐츠를 재생 출력한다. 여기서, 단계 S350에서 선택된 콘텐츠에 출력음향이 포함된 경우에는 제어부(152)와의 연계에 의하여 인공지능 서비스부(120)가 음향 입출력부(110)를 제어하고, 음향 입출력부(110)는 인공지능 서비스부(120)의 제어에 따라 해당 콘텐츠의 출력음향을 재생 출력할 수 있다(S360).
한편, 전술한 일 실시예에 따른 인공지능 서비스 디바이스에 포함될 수 있는 디스플레이 지원 장치의 디스플레이 지원 방법과 인공지능 서비스 디바이스의 디스플레이 처리 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
또한, 전술한 일 실시예에 따른 인공지능 서비스 디바이스에 포함될 수 있는 디스플레이 지원 장치의 디스플레이 지원 방법과 인공지능 서비스 디바이스의 디스플레이 처리 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 위한 명령어를 포함하도록 프로그램된, 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램의 형태로 구현될 수 있다.
본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 인공지능 서비스 디바이스 110: 음향 입출력부
120: 인공지능 서비스부 130: 디스플레이부
140: 저장부 150: 디스플레이 지원 장치
151: 정보 획득부 152: 제어부

Claims (18)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 음향이 입력 또는 출력되는 음향 입출력부와,
    정보의 입출력을 통한 인공지능 서비스를 위하여, 디스플레이의 대상에 관한 정보를 획득하는 정보 획득부와,
    오픈 소스에 기반한 SDK(Software Development Kit) 형태로서, 상기 인공지능 서비스를 위하여 디스플레이용 함수를 제외한 각종 함수의 지원과 관련된 처리를 수행하는 인공지능 서비스부와,
    각종 정보를 디스플레이하는 디스플레이부와,
    상기 인공지능 서비스부와 연계하여 상기 디스플레이의 대상에 관한 정보와 관련된 처리를 수행하며, 상기 인공지능 서비스부에 의해 지원되지 않는 상기 디스플레이용 함수의 지원과 관련된 처리를 수행하고, 상기 디스플레이부가 상기 디스플레이용 함수를 이용하여 상기 처리의 결과를 디스플레이하도록 제어하는 제어부를 포함하고,
    상기 정보 획득부는, 상기 디스플레이의 대상에 관한 정보를 파싱(parsing)하지 않은 원시 데이터 형태로 상기 제어부에 제공하며,
    상기 제어부는, 상기 디스플레이의 대상에 관한 정보를 파싱하여 상기 디스플레이의 대상을 디스플레이 할 좌표값 및 RGB값, 그리고 디스플레이 될 시간값을 포함하는 파싱 결과를 획득하고, 상기 파싱 결과에 기초하여 상기 디스플레이의 대상을 화면 상 상기 좌표값의 해당 좌표에 상기 시간값에 대응하는 시간동안 상기 RGB값에 대응하는 컬러영상으로 디스플레이하도록 상기 디스플레이부를 제어하는
    인공지능 서비스 디바이스.
  11. 삭제
  12. 제 10 항에 있어서,
    상기 정보 획득부는, 상기 디스플레이의 대상에 관한 정보를 상기 인공지능 서비스부로부터 획득하여 상기 제어부에 제공하는
    인공지능 서비스 디바이스.
  13. 삭제
  14. 제 10 항에 있어서,
    상기 제어부는, 상기 인공지능 서비스부와 연계하여 상기 정보의 입출력을 통한 대화형 인공지능 서비스를 지원하는
    인공지능 서비스 디바이스.
  15. 인공지능 서비스 디바이스의 디스플레이 처리 방법으로서,
    정보 획득부가 정보의 입출력을 통한 인공지능 서비스를 위하여, 디스플레이의 대상에 관한 정보를 획득하는 단계와,
    제어부가 상기 인공지능 서비스를 위하여 디스플레이용 함수를 제외한 각종 함수의 지원과 관련된 처리를 수행하는 오픈 소스에 기반한 SDK(Software Development Kit) 형태의 인공지능 서비스부와 연계하여 상기 디스플레이의 대상에 관한 정보와 관련된 처리 및 상기 인공지능 서비스부에 의해 지원되지 않는 상기 디스플레이용 함수의 지원과 관련된 처리를 수행하는 단계와,
    상기 디스플레이용 함수를 이용하여 상기 디스플레이의 대상에 관한 정보를 출력하도록 상기 제어부가 디스플레이부를 제어하는 단계를 포함하되,
    상기 정보를 획득하는 단계에서, 정보 획득부가 상기 디스플레이의 대상에 관한 정보를 파싱(parsing)하지 않은 원시 데이터 형태로 상기 제어부에 제공하며,
    상기 제어하는 단계에서, 상기 제어부가 상기 디스플레이의 대상에 관한 정보를 파싱하여 상기 디스플레이의 대상을 디스플레이 할 좌표값 및 RGB값, 그리고 디스플레이 될 시간값을 포함하는 파싱 결과를 획득하고, 상기 파싱 결과에 기초하여 상기 디스플레이의 대상을 화면 상 상기 좌표값의 해당 좌표에 상기 시간값에 대응하는 시간동안 상기 RGB값에 대응하는 컬러영상으로 디스플레이하도록 상기 디스플레이부를 제어하는
    인공지능 서비스 디바이스의 디스플레이 처리 방법.
  16. 삭제
  17. 삭제
  18. 제 15 항에 있어서,
    상기 정보의 입력에 대한 상기 인공지능 서비스부의 음성 인식 결과에 따라 음성명령에 대응하여 음성형태로 생성하고자 하는 응답에 대응하는 텍스트를 획득하는 단계와,
    상기 텍스트에 대응하는 응답음성을 생성하여 재생 출력하는 대화형 인공지능 서비스를 제공하는 단계를 더 포함하는
    인공지능 서비스 디바이스의 디스플레이 처리 방법.
KR1020200042449A 2020-04-07 2020-04-07 인공지능 서비스 디바이스 및 그 디스플레이 처리 방법 KR102360011B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200042449A KR102360011B1 (ko) 2020-04-07 2020-04-07 인공지능 서비스 디바이스 및 그 디스플레이 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200042449A KR102360011B1 (ko) 2020-04-07 2020-04-07 인공지능 서비스 디바이스 및 그 디스플레이 처리 방법

Publications (2)

Publication Number Publication Date
KR20210124860A KR20210124860A (ko) 2021-10-15
KR102360011B1 true KR102360011B1 (ko) 2022-02-09

Family

ID=78115596

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200042449A KR102360011B1 (ko) 2020-04-07 2020-04-07 인공지능 서비스 디바이스 및 그 디스플레이 처리 방법

Country Status (1)

Country Link
KR (1) KR102360011B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150221302A1 (en) 2014-02-06 2015-08-06 Samsung Electronics Co., Ltd. Display apparatus and method for controlling electronic apparatus using the same

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100006495A (ko) 2008-07-09 2010-01-19 최종덕 음성인식을 이용한 웹페이지 정보 제공 방법 및 장치
KR102390685B1 (ko) * 2017-08-31 2022-04-26 엘지전자 주식회사 전자 장치 및 그 제어 방법
KR102527082B1 (ko) * 2018-01-04 2023-04-28 삼성전자주식회사 디스플레이장치 및 그 제어방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150221302A1 (en) 2014-02-06 2015-08-06 Samsung Electronics Co., Ltd. Display apparatus and method for controlling electronic apparatus using the same

Also Published As

Publication number Publication date
KR20210124860A (ko) 2021-10-15

Similar Documents

Publication Publication Date Title
CN108874356B (zh) 语音播报方法、装置、移动终端和存储介质
US10950228B1 (en) Interactive voice controlled entertainment
US8847884B2 (en) Electronic device and method for offering services according to user facial expressions
JP2021103328A (ja) 音声変換方法、装置及び電子機器
US11126389B2 (en) Controlling visual indicators in an audio responsive electronic device, and capturing and providing audio using an API, by native and non-native computing devices and services
US20180182399A1 (en) Control method for control device, control method for apparatus control system, and control device
KR102193029B1 (ko) 디스플레이 장치 및 그의 화상 통화 수행 방법
US8823818B2 (en) Camera image editing using a television
US20180011687A1 (en) Head-mounted display system and operating method for head-mounted display device
WO2022002129A1 (zh) 识别物体的卫生状况方法及相关电子设备
KR20200063777A (ko) 디스플레이 장치 및 그 제어 방법
CN113678133A (zh) 用于对话中断检测的具有全局和局部编码的上下文丰富的注意记忆网络的***和方法
WO2019239656A1 (ja) 情報処理装置および情報処理方法
KR102218640B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
WO2022247466A1 (zh) 资源显示的方法、终端及服务器
KR102360011B1 (ko) 인공지능 서비스 디바이스 및 그 디스플레이 처리 방법
JP2005313308A (ja) ロボット、ロボット制御方法、ロボット制御プログラム、ならびに思考装置
US20130179165A1 (en) Dynamic presentation aid
US11145306B1 (en) Interactive media system using audio inputs
KR20220143622A (ko) 전자 장치 및 그 제어 방법
US10596452B2 (en) Toy interactive method and device
JP7468360B2 (ja) 情報処理装置および情報処理方法
US20200050274A1 (en) Method and apparatus for human-machine interaction, terminal and computer-readable storage medium
KR20140115900A (ko) 교육용 교안 콘텐츠 제작 시스템 및 이를 위한 방법
CN115476366B (zh) 足式机器人的控制方法、装置、控制设备及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right