KR102402034B1 - 인공지능을 기반으로 하는 음성 인식 기능 및 사물인터넷에 기반하는 원격제어를 융합한 전자교탁 및 그 동작방법 - Google Patents

인공지능을 기반으로 하는 음성 인식 기능 및 사물인터넷에 기반하는 원격제어를 융합한 전자교탁 및 그 동작방법 Download PDF

Info

Publication number
KR102402034B1
KR102402034B1 KR1020220017189A KR20220017189A KR102402034B1 KR 102402034 B1 KR102402034 B1 KR 102402034B1 KR 1020220017189 A KR1020220017189 A KR 1020220017189A KR 20220017189 A KR20220017189 A KR 20220017189A KR 102402034 B1 KR102402034 B1 KR 102402034B1
Authority
KR
South Korea
Prior art keywords
lecture
display
control input
electronic device
input
Prior art date
Application number
KR1020220017189A
Other languages
English (en)
Inventor
구기도
Original Assignee
(주) 아하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 아하 filed Critical (주) 아하
Priority to KR1020220017189A priority Critical patent/KR102402034B1/ko
Priority to KR1020220060710A priority patent/KR102424139B1/ko
Priority to KR1020220060700A priority patent/KR102424138B1/ko
Application granted granted Critical
Publication of KR102402034B1 publication Critical patent/KR102402034B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47B—TABLES; DESKS; OFFICE FURNITURE; CABINETS; DRAWERS; GENERAL DETAILS OF FURNITURE
    • A47B19/00—Reading-desks; Lecterns; Pulpits, i.e. free-standing
    • A47B19/02—Church pulpits ; Stands for lecturers
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47B—TABLES; DESKS; OFFICE FURNITURE; CABINETS; DRAWERS; GENERAL DETAILS OF FURNITURE
    • A47B21/00—Tables or desks for office equipment, e.g. typewriters, keyboards
    • A47B21/007—Tables or desks for office equipment, e.g. typewriters, keyboards with under-desk displays, e.g. displays being viewable through a transparent working surface of the table or desk
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00896—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys specially adapted for particular uses
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer And Data Communications (AREA)
  • User Interface Of Digital Computer (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명의 다양한 실시 예에 따르면, 입력되는 제1 제어입력에 기반하여 강사를 식별하는 단계; 상기 식별된 강사의 권한에 기반하여 상기 전자교탁의 잠금을 해제 및 지정된 강의자료를 결정하는 단계; 및 입력되는 제2 제어입력에 기반하여 상기 강의자료 중 적어도 하나의 객체를 출력하는 단계;를 포함하는, 전자교탁 및 그 동작방법을 개시한다.

Description

인공지능을 기반으로 하는 음성 인식 기능 및 사물인터넷에 기반하는 원격제어를 융합한 전자교탁 및 그 동작방법{ELECTRONIC TEACHING DESK OF VOICE RECOGNITION BASED ON ARTIFICIAL INTELLIGENCE AND REMOTE CONTROLLING BASED ON INTERNET OF THINGS AND OPERATING METHOD THEREOF}
본 발명은 인공지능을 기반으로 하는 음성인식 명령어를 통한 기능 제어 기능 및 사물인터넷에 기반하는 주변기기 원격제어 기능을 융합한 전자교탁 및 그 동작방법에 관한 것으로서, 보다 상세하게는 인공지능 및 사물인터넷에 기반하여 마이크를 통해서 입력되는 제어입력을 식별 및 판단하고, 식별된 제어명령에 기반하여 기기의 동작을 실현하는 전자교탁 및 그 동작방법에 관한 것이다.
근래 들어 강의실 또는 회의실에서 디지털 환경으로의 변화에 따라 여러 가지 강의 또는 회의 도구들이 디지털 장비로 대체되고 그에 따라 의사소통 방식도 양방향 디지털 소통으로 변화하게 되었다.
종래에는 교실에서 교사가 칠판에 판서하며 강의하는 것이 일반적이었으나, 최근 교육장비의 개발과 멀티미디어 시스템의 발전에 실내 기자재를 이용하여 강의를 지원하는 전자교탁이 보급되고 있는 추세이며, 전자교탁은 강의실 내부의 기자재들을 이용하여 강의자에게 보다 원활한 강의 환경을 제공한다.
지능화 개인화 사물정보화 시대의 발전에 따라 IoT 및 AI 기능이 융합된 전자교탁을 구현할 필요성이 제기되고 있다.
이와 관련하여, 인공지능(AI)의 장비와 프로세스의 발달은 조명, 음향, 냉/난방기, 스크린, 빔 프로젝터의 작동 등을 자연스럽게 조작하는 잔치와 환경을 제공하고, 전통적인 입력 장치(예를 들어, 키보드 또는 마우스 등)가 아닌 사용자의 오디오 음성 인식이나 무선 인터넷을 이용한 입력(예를 들어 스마트폰, 태블릿)에 의해 다양한 디바이스에 특정한 명령어를 전달하고 컨트롤하는 기술이 등장하고 있다.
본 발명의 다양한 실시 예에 따르면, 강사의 제어입력에 기반하여 권한을 식별하고, 인공지능 기술을 기초로 식별된 음성에 포함된 단어들에 기반하여 장치의 잠금을 해제하고, 강의를 위한 데이터를 처리하는 전자장치 및 그 동작방법을 제공하는 것을 그 목적으로 한다.
본 발명의 다양한 실시 예에 따르면, 강사의 제어입력에 기반하여 강의자료를 가공하고 재생성하는 전자장치 및 그 동작방법을 제공하는 것을 그 목적으로 한다.
본 발명의 다양한 실시 예에 따르면, 인공지능 및 사물인터넷(IoT) 기술에 기반하여 처리되는 강의자료를 다양한 외부장치를 통하여 제공하는 전자장치 및 그 동작방법을 제공하는 것을 그 목적으로 한다.
본 발명의 다양한 실시 예를 통하여 해결하려는 과제들은 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따르면, 입력되는 제1 제어입력에 기반하여 강사를 식별하는 단계; 상기 식별된 강사의 권한에 기반하여 상기 전자교탁의 잠금을 해제 및 지정된 강의자료를 결정하는 단계; 및 입력되는 제2 제어입력에 기반하여 상기 강의자료 중 적어도 하나의 객체를 출력하는 단계;를 포함하는, 전자교탁의 동작방법을 개시한다.
여기서, 상기 식별된 강사의 권한에 기반하여 상기 전자교탁의 잠금을 해제 및 지정된 강의자료를 결정하는 단계는, 상기 강사가 강의시간표에 기반하여 현재 시각에 대응되는 강의 클래스에 권한을 가진 강사인 경우 상기 전자교탁의 잠금을 해제하는 단계;를 포함할 수 있다.
여기서, 상기 식별된 강사의 권한에 기반하여 상기 전자교탁의 잠금을 해제 및 지정된 강의자료를 결정하는 단계는, 강의 클래스를 확인하는 단계; 및 상기 강의 클래스에 대한 레벨, 강의진도 중 적어도 하나의 상태에 기반하여 레벨 및 분량 중 적어도 일부에 따라서 구분된 복수의 강의자료 중 상기 지정된 강의자료를 결정하는 단계;를 포함할 수 있다.
여기서, 상기 입력되는 제2 제어입력에 기반하여 상기 강의자료 중 적어도 하나의 객체를 출력하는 단계는, 상기 지정된 강의자료 및 상기 제2 제어입력에 기반하여 강의 클래스의 강의진도를 결정하고, 적어도 하나의 서버, 인터넷 중 적어도 일부를 통하여 상기 제2 제어입력 및 상기 강의진도에 관련된 정보를 검색하는 단계;를 포함할 수 있다.
여기서, 상기 입력되는 제2 제어입력에 기반하여 상기 강의자료 중 적어도 하나의 객체를 출력하는 단계는, 제3 제어입력을 확인하는 단계; 및 연결된 적어도 하나의 외부 디스플레이를 통하여 입력되는 텍스트, 상기 제3 제어입력, 및 상기 강의 클래스에 대한 레벨에 기반하여 상기 강의진도와 관련된 문제를 생성하는 단계;를 더 포함할 수 있다.
여기서, 입력되는 제2 제어입력에 기반하여 상기 강의자료 중 적어도 하나의 객체를 출력하는 단계는 디스플레이에 표시된 적어도 하나의 객체에 대한 상기 제2 제어입력에 기반하여 상기 객체의 적어도 일부 영역의 비율을 조절하는 단계; 상기 적어도 일부 영역과 관련된 정보를 결정하는 단계; 및 상기 적어도 일부 영역 및 상기 관련된 정보를 출력하는 단계;를 포함할 수 있다.
여기서, 상기 디스플레이에 표시된 적어도 하나의 객체에 대한 상기 제2 제어입력에 기반하여 상기 객체의 적어도 일부 영역의 비율을 조절하는 단계는, 상기 객체의 특정 위치를 선택하는 상기 제2 제어입력에 기반하여 상기 특정 위치에 대응되는 특정 구조의 하위구조를 식별하는 지정된 사이즈로 확대하는 단계;를 포함하고, 상기 적어도 일부 영역과 관련된 정보를 결정하는 단계는, 상기 하위구조와 관련된 텍스트 및 이미지 중 적어도 일부 정보를 확인하는 단계;를 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 터치 조작이 가능한 디스플레이; 음성을 수신하는 적어도 하나의 마이크; 적어도 하나의 다른 전자장치와 통신하는 통신부; 및 상기 적어도 하나의 마이크를 통해서 입력되는 제1 제어입력에 기반하여 강사를 식별하고, 상기 식별된 강사의 권한에 기반하여 상기 전자교탁의 잠금을 해제 및 지정된 강의자료를 결정하며, 및 입력되는 제2 제어입력에 기반하여 상기 강의자료 중 적어도 하나의 객체를 출력하도록 처리하는 처리부;를 포함하는, 전자교탁을 개시한다.
본 발명의 다양한 실시 예에 따르면, 강사의 음성입력에 기반하여 권한을 식별하고, 식별된 음성(음성 인식)에 포함된 단어들에 기반하여 장치의 잠금을 해제하고, 강의를 위한 데이터를 처리함으로써, 강사의 강의가 끊김없이 자연스럽게 진행될 수 있도록 보조하고, 강의의 품질을 향상시킬 수 있다.
본 발명의 다양한 실시 예에 따르면, 마이크를 통한 음성인식 제어명령에 기반하여 강의자료를 확대 또는 축소하며, 강의자료의 품질이 확대 또는 축소에 적절하지 못하는 것으로 결정하는 경우 동일 또는 유사한 고품질 자료로 대체함으로써 고품질의 강의자료를 제공하고, 따라서 강의의 품질을 향상시킬 수 있다.
본 발명의 다양한 실시 예에 따르면, 강사의 음성 입력 등에 기반하여 디스플레이에 표시된 강의자료와 관련된 자료를 검색/획득하여 제공하고, 인공신경망과 같은 AI에 기반하여 강의 클래스의 수준을 고려하고 학생의 테스트를 위한 문제를 생성하는 등 강의자료를 재생성함으로써 강의의 가치를 향상시킬 수 있다.
본 발명의 다양한 실시 예에 따르면, 인공지능 기술을 통해 식별된 강사의 음성입력에 기반하여 표시된 강의자료를 가공하고 재생성함으로써, 강의자료를 풍부하게 활용할 수 있고, 따라서 강의의 품질을 향상시킬 수 있다.
본 발명의 다양한 실시 예에 따르면, 전자교탁을 통하여 출력하는 강의자료와 재생성된 강의자료의 출력을 지정된 조건에 기반하여 네트워크를 통하여 연결된 다양한 외부장치를 통하여 제공하고 조명 등 연결된 장치들을 인공지능에 기반하여 제어함으로써, 학생들의 강의 집중도를 높이고 사물인터넷(IoT) 기술의 가치를 효과적으로 사용할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 전자장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 전자장치에서 터치에 기반하는 제어입력을 처리하는 동작의 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 전자장치에서 터치에 기반하는 제어입력을 처리하는 세부동작의 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 전자장치에서 음성에 기반하는 제어입력을 처리하는 동작의 흐름도이다.
도 5는 본 발명의 일 실시 예에 따른 전자장치에서 음성에 기반하는 제어입력을 처리하는 세부동작의 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 디스플레이의 터치입력 및 마이크를 통한 음성입력을 처리하는 전자교탁으로서 구현된 전자장치를 도시한다.
이하에서, 첨부된 도면을 참조하여 실시 예들을 상세하게 설명한다. 그러나, 실시 예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 실시 예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시 예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안 된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시 예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시 예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 실시 예의 구성요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성요소 사이에 또 다른 구성요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.
전자장치에서 처리되는 '데이터'는 '정보'의 용어로 표현할 수 있다. 여기서, 정보는 데이터를 포함하는 개념으로 사용될 수 있다.
본 발명은, 제어입력에 대한 강의자료를 결정, 재생성 및 출력하는 동작에 있어서, 인공지능을 통해서 효과적으로 처리하기 위한 전자교탁에 대하여 설명한다. 또한, 사물인터넷(internet of things, IoT) 기술을 이용하여 강의실에 구비된 다양한 장치들을 원격 제어함으로써 학생들이 강의의 집중할 수 있도록 환경을 조성하는 전자교탁에 대하여 설명한다.
본 발명의 다양한 실시 예에 따르면, 전자교탁은 마이크를 포함하는 전자장치로 구성되며, 내부 디스플레이 또는 외부 연결된 디스플레이에 표시되는 객체의 비율을 조절하고, 확대 및/또는 축소된 객체의 일부와 관련된 정보를 처리하는 방법을 제시할 수 있다.
이하, 도 1 내지 도 6을 참조하여 본 발명의 바람직한 실시 예들을 설명한다.
본 명세서에 첨부되는 도면들은 본 발명의 바람직한 일 실시 예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일 실시 예에 따른 전자장치의 구성을 나타내는 도면이다.
도 1을 참조하면, 전자장치(100)는 처리부(110), 저장부(120), 통신부(130), 및 입출력부(140)를 포함할 수 있다. 본 발명의 다양한 실시 예에 따르면, 입출력부(140) 중 입력부는 오디오 신호를 입력하는 적어도 하나의 마이크를 포함하여 구성되며, 출력부는 도시하지는 않았지만 스피커, 디스플레이 등이 포함될 수 있다. 참고로, 터치 조작이 가능한 상기 디스플레이의 경우 전자장치(100) 내부 디스플레이가 아닌 외부에 존재(ex 전자칠판, 빔프로젝터 등)하여 상기 전자장치(100)와 연결될 수도 있다.
전자장치(100)는 제어입력을 처리할 수 있다. 일 실시 예에 따르면, 전자장치(100)는 입출력부(140)의 디스플레이 및/또는 마이크를 통하여 제어입력을 수신하고, 제어입력 및 제어입력과 관련된 데이터를 처리하며, 입출력부(140)의 디스플레이를 통하여 처리 결과를 출력할 수 있다.
예를 들면, 제어입력은 디스플레이에 표시된 객체의 적어도 일부를 선택하고, 지정된 기능을 수행하기 위한 터치입력, 드래그 입력, 및/또는 입력부를 통한 입력을 포함할 수 있다.
또한, 마이크를 통하여 특정 권한을 가진 사용자의 음성을 입력함으로써 객체에 대한 명령을 입력(제어 입력)할 수 있다. 또는 마이크를 통하여 특정 권한을 가진 사용자의 음성을 입력함으로써 디스플레이에 표시된 포인터 등을 조작하고, 객체에 대한 명령을 처리할 수 있다. 참고로, 상기 전자장치(100)의 처리부(110)에서는 인공지능 기술(ex STT(speak to text), 자연어 처리 기술 등)을 통해 상기 사용자의 음성을 인식할 수 있다.
또한, 전자장치(100)는 인공지능 기술 등을 통해 인식한 사용자의 음성을 기반으로 전자장치(100)의 주변 기기(ex 조명, 빔프로젝터, 스피커 등)에 대한 제어를 컨트롤할 수도 있다. 예를 들어, 사용자로부터 조명 on/off 음성 명령을 인식한 경우, 전자장치(100)는 IoT를 기반으로 연결된 조명을 on/off 시킬 수 있는 것이다.
처리부(110)는 터치 및/또는 음성 등에 기반하는 제어입력 처리를 위한 프로그램(앱, 어플, 툴, 플러그인 등, 이하 제어입력 처리 프로그램)을 통하여 사용자 장치와 데이터 처리를 공유할 수 있고, 처리부(110)는 설치된 제어입력 처리 프로그램을 통하여 전자장치(100)의 동작을 설정 및/또는 제어할 수 있다.
이하, 다양한 실시 예들에서, 전자장치(100)가 제어입력과 관련된 이벤트를 수행하거나 제공하는 것은, 전자장치(100)의 적어도 하나의 제어입력 처리 관련 프로그램을 통하여 지정된 이벤트들을 제공하는 것으로 이해될 수 있다.
여기서, 제어입력 처리는 전자장치(100)에 설치된 제어입력 처리 프로그램을 통해서 제공되는 것으로 설명하고 있지만, 이에 한정하지 않고, 기 설치된 다른 프로그램 또는 임시 설치 프로그램을 통하여 제공될 수도 있다.
일 실시 예에 따르면, 제어입력 처리는 전자장치(100) 외부 장치에서 무료 또는 유로로 제공되는 데이터베이스의 적어도 일부를 통하여 수행될 수 있다.
전자장치(100)의 동작은 처리부(110)의 데이터 처리 및 제어에 기반하여 수행된다.
처리부(110)는 음성 인식 명령(마이크 이용) 또는 디스플레이 기반 명령을 통한 제어입력에 기반하여 강의와 관련된 다양한 정보를 디스플레이에 출력할 수 있다. 여기서, 강의와 관련된 정보는, 전자장치(100)의 저장부(120) 및/또는 전자장치(100)와 연결된 서버에 저장된 강의시간표, 강의 시간표에 따라서 지정된 강의 클래스 정보, 강사정보, 강의계획, 강의자료, 및 이와 관련된 정보 중 적어도 일부를 포함할 수 있다.
더하여, 강의 클래스 정보는 강의시간표에 따른 과목, 학년, 강의시간, 강사이름, 클래스 레벨(level, 또는 수준) 중 적어도 일부를 포함할 수 있다.
처리부(110)는 내부 디스플레이 또는 외부 디스플레이(ex 전자칠판, 빔프로젝터 등)를 통하여 강의와 관련된 적어도 하나의 객체를 표시할 수 있다. 여기서, 객체는 텍스트 및/또는 이미지를 포함하며, 텍스트 및/또는 이미지를 표시하기 위한 박스(box), 및 창(window, 또는 윈도우) 중 적어도 일부를 통하여 구현될 수 있다. 즉, 디스플레이에 표시되는 객체는 강의와 관련된 텍스트 및/또는 이미지를 포함하고 박스 또는 창을 통하여 구현되는 정보일 수 있다.
처리부(110)는 강사의 강의 클래스에서 디스플레이 및/또는 마이크를 통해 입력되는 제어입력을 확인할 수 있다. 예를 들면, 처리부(110)는 마이크를 통해서 수신하는 음성에 기반하여 제어입력을 결정할 수 있다.
처리부(110)는 인공지능 기술을 기반으로 마이크를 통해서 입력되는 음성들의 적어도 일부를 식별하고, 지정된 사용자의 음성을 확인할 수 있다. 예를 들면, 전자장치(100)를 제어할 수 있는 권한을 가진 사용자의 음성을 구분할 수 있다.
예를 들면, 처리부(110)는 마이크를 통해서 입력되는 오디오에서 사람의 음성을 구분하고, 음성의 주파수에 기반하여 등록된 사용자를 식별할 수 있다. 이때, 처리부(110)는 음성의 주파수에 기반하여, 진동수, 톤, 패턴, 발음 등의 정보를 확인할 수 있고, 각각의 특징 요소에 기반하여 사람들 개개인의 음성을 구분할 수 있다.
결국, 처리부(110)는 마이크를 통해서 입력되는 음성들 중 저장부(120)에 등록된 강사의 음성을 식별할 수 있고, 해당 강의 클래스에 지정된(또는 권한을 가진) 강사인지 여부를 확인할 수 있다.
처리부(110)는 입력된 음성에 기반하여 식별된 사용자가 해당 강의 클래스에 지정된 강사인 것을 결정하면, 전자장치(100)의 잠금을 해제할 수 있다. 이때, 강의 클래스, 강의 클래스에 권한을 가진 강사, 및 전자장치(100)의 잠금을 해제하기 위한 특정 단어 또는 문장이 설정될 수 있고, 처리부(110)는 적어도 일부 조건을 만족한 것을 확인하면 전자장치(100)의 잠금을 해제할 수 있다.
예를 들면, 처리부(110)는 강의시간표에서 현재 시각에 해당되는 강의 클래스를 결정하고, 마이크를 통하여 입력되는 음성들 중 강의 클래스에 지정된 강사의 음성을 식별할 수 있다. 처리부(110)는 식별된 강사의 음성이 강의 클래스에 지정된 강사로서 전자장치(100)의 잠금을 해제할 수 있는 권한을 가진 강사인 것을 확인하면, 전자장치(100)의 잠금을 해제할 수 있다.
더하여, 처리부(110)는 해당 강의 클래스에 권한을 가진 지정된 강사의 음성으로부터 특정단어, 예를 들면, "안녕하세요"등 지정된 단어를 확인하면 전자장치(100)를 해제할 수 있다. 즉, 처리부(110)는 지정된 강사로 하여금 특정단어 또는 특정문장을 미리 녹음하도록 할 수 있고, 인공지능 기술을 기반으로 이후 해당 강사의 음성에 기초한 특정단어 또는 특정문장을 확인하는 경우 전자장치(100)를 해제할 수 있다.
경우에 따라서, 처리부(110)는 강사의 구분을 용이하게 하기 위해 녹음되는 상기 특정단어 또는 특정문장의 길이를 일정 기준이상이 되도록 설정할 수 있다(ex 특정 단어의 경우 5글자 이상, 특정문장의 경우 20글자 이상).
처리부(110)는 현재 시각, 강의 클래스, 및 강의 클래스 정보에 기반하여 적어도 하나의 강의자료를 결정할 수 있다. 처리부(110)는 강의 클래스 정보에 기반하여 클래스 레벨을 확인하고, 강의진도, 학업성취도, 지난 강의에 대한 코멘트 중 적어도 일부 정보에 기반하여 강의자료를 결정할 수 있다.
처리부(110)는 강의진도에 대하여 복수의 레벨에 대한 강의자료를 포함할 수 있고, 강의 클래스의 클래스 레벨, 학업성취도, 및 강의진도 중 적어도 일부 정보에 기반하여 복수의 레벨에 대한 강의자료 중 강의 클래스에 적합한 강의자료를 결정할 수 있다.
더하여, 처리부(110)는 강의 클래스 정보에 포함된 학년, 과목, 강의진도, 및 지난 강의에서 진도와 관련된 코멘트에 기반하여 매칭되는 강의자료를 결정할 수 있다.
처리부(110)는 결정한 강의자료를 디스플레이에 표시할 수 있다. 일 실시 예에 따르면, 강의자료들은 강사를 위한(강사용) 자료, 및 학생을 위한(학생용) 자료가 구분될 수 있다. 더하여, 하나의 강의자료 내에서도 강사용 정보와 학생용 정보가 구분될 수 있다.
처리부(110)는 강사용 자료는 강사의 권한이 적용되는 장치의 디스플레이, 예를 들면, 전자장치(100)의 입출력부(140)에 포함된 디스플레이 또는 외부 디스플레이를 통하여 출력하고, 학생용 자료는 전자장치(100)의 디스플레이 뿐 아니라 전자장치(100)와 연결된 외부디스플레이를 통하여 출력하도록 처리할 수 있다.
다양한 실시 예에 따르면, 처리부(110)는 디스플레이에 표시된 객체를 터치 및/또는 드래그하는 입력에 기반하여 제어입력을 결정할 수 있다. 예를 들면, 처리부(110)는 디스플레이에 표시된 객체의 일부를 선택하거나, 일부 영역을 선택하고, 확대 또는 축소를 위하여 지정된 제어입력을 확인할 수 있다.
처리부(110)는 제어입력에 지정된 비율에 따라서 선택된 객체의 일부를 확대하거나 또는 축소할 수 있다. 이때, 처리부(110)는 객체의 확대 또는 축소에 따라서 객체에 포함된 구성요소들을 식별할 수 있다.
예를 들면, 처리부(110)는 제1 구성요소 및 제2 구성요소를 표시하는 객체에서 제1 구성요소를 확대하는 제어입력에 기반하여 제1 구성요소를 기준으로 확대하는 경우, 제1 구성요소에 포함되는 제1-1 하위구성요소(이하, 하위요소) 및 제1-2 하위요소를 표시 및 식별할 수 있다.
여기서, 상기 제1 구성요소가 확대되는 경우, 이에 비례하여 상기 제2 구성요소는 축소될 수 있다. 즉, 처리부(110)는 제1 구성요소를 확대하는 제어입력에 기반하여 제1 구성요소를 확대하고, 상기 제1 구성요소 및 제2 구성요소가 모두 디스플레이의 사이즈에 포함되도록 상기 제2 구성요소를 축소할 수 있는 것이다.
다양한 실시 예에 따르면, 처리부(110)는 제1-2 하위요소를 표시하는 객체에서 제1-2 하위요소를 선택하고 축소하는 제어입력에 기반하여 제1-2 하위요소를 기준으로 축소하는 경우, 제1 구성요소 및 제1 주변의 제2 구성요소를 표시할 수 있다.
일 실시 예에 따르면, 생물학 강의 클래스에서 위, 소장 대장을 포함하는 소화기관의 이미지를 객체로 디스플레이에 표시한 상태에서 소장을 선택 및 확대하는 제어입력을 수신할 수 있다.
더하여, 처리부(110)는 마이크를 통하여 입력된 강사의 음성으로부터 "소장", 및 "확대"등 지정된 단어를 확인함으로써, 소장을 선택 및 확대하는 제어입력을 결정할 수 있다.
처리부(110)는 객체에 포함된 이미지 및 텍스트의 적어도 일부 구성요소를 인식, 식별, 검출, 및/또는 추출할 수 있다. 처리부(110)는 이미지에 포함된 위, 소장, 및 대장 중 적어도 일부를 식별하고, 제어입력에 기반하여 선택된 위를 선택하여 확대 동작을 수행할 수 있다.
처리부(110)는 위 영역을 확대함에 있어서, 객체의 이미지 품질이 위의 세부 요소를 표시 가능할 정도의 해상도를 가지는 경우 위 영역을 확대한 이미지를 디스플레이에 표시할 수 있다. 예를 들면, 처리부(110)는 위의 이미지를 확대 중에 융모를 식별할 수 있고, 위에 포함되는 하위요소로서 융모의 이미지를 디스플레이에 출력할 수 있다.
또는, 처리부(110)는 마이크를 통하여 입력되는 강사의 음성에 대하여 "소장", 및 "확대"의 단어를 확인하고, "융모"및/또는 "포함"등 지정된 단어를 확인하는 경우, 융모를 하위요소로서 포함하는 위의 이미지를 디스플레이에 출력할 수 있다.
처리부(110)는 객체의 이미지가 위 영역을 확대하여도 융모를 식별할 수 없는 품질의 이미지인 경우, 전자장치(100)와 연결된 서버, 및/또는 인터넷을 통하여 위의 하위요소를 표시하는 이미지를 검색하고 획득할 수 있다.
처리부(110)는 위의 하위요소를 표시하는 이미지를 획득함에 있어서, 디스플레이에 표시된 위의 이미지와 동일 또는 유사한 이미지 및 이의 하위요소를 포함하는 이미지를 검색할 수 있다.
처리부(110)는 특정 구성요소(예: 위)에서 하위요소(예: 융모)를 식별 가능할 정도로 확대함에 있어서 복수의 단계로 확대 비율을 구분할 수 있다. 처리부(110)는 이미지를 확대/축소하는 복수의 단계를 구분함에 있어서, 해상도 및/또는 비율에 기반하여 처리할 수 있다.
더하여, 처리부(110)는 융모를 선택 및 확대하는 제어입력을 확인하면, 상술한 바와 같이 융모의 하위요소를 확인 가능한 비율로서 융모 영역을 확대하고 융모의 세포, 신경, 혈관 중 적어도 일부를 포함하는 융모의 이미지를 디스플레이에 표시할 수 있다.
또한, 처리부(110)는 처리부(110)는 객체의 적어도 일부를 확대 또는 축소하는 동작을 수행함에 있어서, 적어도 하나의 단계를 스킵(skip)하여 이미지 확대를 수행할 수 있다.
예를 들면, 소화기관을 구성하는 위, 소장 및 대장 등을 구성요소로서, 위를 구성하는 융모 등은 제1 깊이(depth) 하위요소, 융모를 구성하는 세포, 신경, 혈관 등은 제2 깊이 하위요소로 가정할 수 있다.
이때, 처리부(110)는 제어입력에 기반하여 구성요소를 표시하는 이미지에서 제1 깊이 하위요소를 스킵하고 제2 깊이 하위요소를 표시하는 이미지로 확대를 수행할 수 있다.
처리부(110)는 제어입력에 기반하여 객체의 축소를 처리할 수도 있다. 예를 들면, 위에 포함되는 융모의 이미지를 객체로서 디스플레이에 표시한 상태에서 융모를 선택하고 확대하는 제어입력을 확인할 수 있다.
이때, 처리부(110)는 융모 영역을 기준으로 하는 구성요소로서 확대를 수행하며, 융모의 상위요소로서 지정된 위를 포함하는 소화기관의 이미지를 객체로서 디스플레이에 표시할 수 있다. 처리부(110)는 위의 융모에 대한 상위구성요소(이하, 상위요소)로서 위를 포함하고, 위의 주변기관(예: 소장 및/또는 대장)의 적어도 일부를 더 포함하는 이미지를 표시할 수 있다.
처리부(110)는 융모영역을 기준으로 이미지를 축소함으로써 위, 소장 및 대장의 상위요소를 식별할 수 없는 경우, 서버 및/또는 인터넷을 통하여 위의 이미지를 획득하여 디스플레이에 표시할 수 있다.
처리부(110)는 검색을 통하여 융모의 상위요소로서 위, 소장 및 대장을 포함하는 이미지를 표시하는 경우, 위, 소장, 및 대장 각각의 이미지를 획득하고 이를 조합한 소화기관의 이미지를 표시할 수 있다.
처리부(110)는 복수의 구성요소들 중 제1 구성요소를 선택 및 확대함으로써 제1 하위요소를 표시하는 제어입력에 대하여, 제1 구성요소 및/또는 제1 하위요소와 관련된 정보를 함께 표시할 수 있다.
처리부(110)는 저장부(120) 또는 서버의 강의자료에 포함된 제1 구성요소 및/또는 제1 하위요소와 관련된 정보를 표시할 수 있고, 또는 인터넷으로부터 제1 구성요소 및/또는 제1 하위요소와 관련된 정보를 검색하여 획득한 정보를 표시할 수 있다.
처리부(110)는 제1 구성요소 및/또는 제1 하위요소와 관련된 정보를 검색 및 획득함에 있어서, 강의 클래스에 대한 레벨, 강의진도, 디스플레이를 통하여 식별된 강사의 텍스트 입력 중 적어도 하나의 상태에 기반하여 처리할 수 있다.
예를 들면, 처리부(110)는 강의 클래스에 대한 레벨, 강의진도 중 적어도 하나의 상태에 기반하여 검색 깊이를 결정할 수 있다. 예를 들면, 제1 구성요소와 관련된 정보를 검색함에 있어서, 제1 구성요소와 관련된 제1 관련정보를 제1 검색 깊이라고 정의하였을 때, 제1 관련정보와 관련된 제2 관련정보를 제2 검색 깊이로 정의할 수 있다.
여기서, 디스플레이를 통하여 식별된 강사의 텍스트 입력은, 전자장치(100)의 디스플레이에 터치 입력된 텍스트, 키보드와 같은 입력부를 통하여 입력된 텍스트, 외부 디스플레이에 입력된(예: 강사의 판서) 텍스트 중 적어도 일부를 포함할 수 있다.
더하여, 처리부(110)는 인공지능 기술을 통하여 인식한 강사의 음성에 기반하여 관련된 정보를 검색 및 획득할 수 있다. 예를 들면, 처리부(110)는 강사의 음성으로부터 "검색" 등의 지정된 단어를 확인하면, 전/후 지정된 단어 중 적어도 일부와 관련된 정보를 검색할 수 있다.
처리부(110)는 제1 관련정보와 관련된 제2 관련정보를 검색함에 있어서, 관련된 정보의 일관성을 유지하기 위하여 제1 구성요소와의 관련성을 함께 고려하여, 제1 구성요소 및 제1 관련정보와 관련된 제2 관련정보를 검색할 수 있다.
처리부(110)는 강의시간표, 강의시간표에 포함된 복수의 강의 클래스, 과목, 강의시간, 강사이름, 클래스 레벨 중 적어도 일부에 기반하여, 강의 중인 클래스의 강의진도, 학업성취도, 및/또는 클래스 레벨을 결정할 수 있다.
예를 들면, 처리부(110)는 마이크를 통해서 입력되는 강사의 음성에 기반하여 강의진도 및/또는 학업성취도를 결정할 수 있는 단어들을 확인하고, 강의 클래스의 클래스 레벨을 결정할 수 있다.
처리부(110)는 마이크를 통하여 입력된 강사의 음성, 디스플레이에 표시된 강의와 관련된 객체, 제어입력에 기반하여 확대/축소되는 객체, 및 객체와 관련된 정보에 기반하여 학생들의 테스트를 위한 문제를 생성할 수 있다.
처리부(110)는 문제를 생성함에 있어서, 과목, 강의진도, 학업성취도, 클래스 레벨 중 적어도 일부를 함께 고려하여 문제 및 문제의 레벨을 결정할 수 있다.
처리부(110)는 마이크를 통해 입력된 및/또는 디스플레이에 표시된 강의와 관련된 정보에 기반하여 문제를 생성하며, 객관식 문제의 경우 문제 및 선택지를 포함할 수 있다. 이때, 처리부(110)는 강의와 관련된 정보에 포함된 텍스트 및 이미지, 기존의 문제 및 선택지에 기반하여 지정된 서식에 따라서 문제를 생성할 수 있다.
여기서, 기존의 문제 및 선택지는 저장부(120)에 저장된, 서버에 저장된, 또는 인터넷을 통하여 검색된 문제 및 선택지 중 적어도 일부를 포함할 수 있다.
처리부(110)는 기존의 문제 및 선택지를 분리, 결합, 조합하여 질문 및 선택지를 생성할 수 있다. 더하여, 처리부(110)는 마이크를 통하여 입력된 강사의 음성에서 지정된 단어를 포함하여 문제 및 선택지 중 적어도 일부를 생성할 수 있다.
처리부(110)는 강의 클래스의 레벨에 대응되는 문제를 생성하고 상위 레벨의 문제 및 하위 레벨의 문제 중 적어도 일부를 더 생성할 수 있다.
처리부(110)는 강의자료, 확대/축소를 위하여 선택한 객체 및 구성요소, 확대/축소한 구성요소, 및 그와 관련된 정보를 전자장치(100)의 디스플레이 뿐 아니라 지정된 외부 디스플레이에 출력할 수 있다.
예를 들면, 강의자료 적어도 일부는 비공개 설정될 수 있고, 비공개 설정된 자료들은 외부 디스플레이를 통하여 출력되지 않도록 처리할 수 있다. 이때, 비공개 처리된 구성요소를 외부 디스플레이에 출력하는 제어입력을 확인하면, 처리부(110)는 선택된 구성요소와 동일 또는 유사한 구성요소를 획득하여 디스플레이에 표시할 수 있다.
처리부(110)는 구성요소를 확대/축소하는 제어입력에 대하여, 처리된 객체 및 그와 관련된 정보 중 지정된 적어도 일부는 외부 디스플레이를 통하여 출력할 수 있다. 예를 들면, 확대/축소된 구성요소를 외부 디스플레이를 통하여 출력하고, 관련된 정보를 전자장치(100)의 디스플레이에 출력할 수 있다.
저장부(120)는 전자장치(100)의 적어도 하나의 구성요소(예: 처리부(110) 또는 통신부(130)에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 제어입력 처리를 위한 프로그램(또는 소프트웨어), 데이터, 데이터에 기반하여 생성된 다양한 카테고리, 및 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다.
저장부(120)는 제어입력 처리를 제공하기 위한 인공신경망 알고리즘, 블록체인 알고리즘, 딥러닝 알고리즘, 및 이와 관련된 메커니즘, 연산자, 언어모델, 빅데이터 중 적어도 일부를 포함하는 인공지능 알고리즘을 포함할 수 있다.
예를 들면, 저장부(120)는 제어입력에 기반하여 객체를 확대/축소하는 동작에서 관련 이미지 및/또는 텍스트를 검색하기 위한 알고리즘, 및/또는 이와 관련하여 문제와 선택지를 생성하기 위한 알고리즘을 포함할 수 있다.
저장부(120)는 제어입력 처리와 관련된 다양한 정보를 저장할 수 있다. 예를 들면, 저장부(120)는 음성인식 알고리즘, 화자인식 알고리즘, 자연어처리 알고리즘 등 마이크를 통해서 입력되는 오디오에서 음성을 처리하기 위한 적어도 하나의 알고리즘을 포함할 수 있다.
저장부(120)는 입출력부(140)에 포함된 각각의 장치들을 통해 수신하는 신호를 통하여 지정된 제어 및 동작을 확인하고 처리하기 위한 데이터를 포함할 수 있다.
저장부(120)를 통하여 설명한 동작들은 처리부(110)에 의하여 처리되며, 관련된 동작들을 처리하기 위한 데이터, 처리 중인 데이터, 처리된 데이터는 데이터베이스로서 저장부(120)에 저장될 수 있다.
저장부(120)에 저장된 데이터는 전자장치(100)의 관리자 입력 또는 사용자 장치의 사용자 입력에 기반하여 처리부(110)를 통하여 변경, 수정, 삭제, 또는 생성될 수 있다.
저장부(120)는, 휘발성 메모리 또는 비휘발성 메모리를 포함하여 구성될 수 있다.
통신부(130)는 전자장치(100)와 적어도 하나의 다른 전자장치(예: 사용자 장치, 또는 서버)의 유선 통신 채널의 수립, 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다.
통신부(130)는 처리부(110)에 종속적 또는 독립적으로 운영되고, 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신부(130)는 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다.
통신부(130)는 블루투스, BLE(Bluetooth Low Energy), WiFi, WiFi direct, IrDA(infrared data association), ZigBee, UWB, RF(Radio Frequency) 같은 근거리 통신 네트워크 및/또는 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자장치와 통신할 수 있다.
통신부(130)를 구성하는 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다.
입출력부(140)는 키보드, 마우스, 스타일러스(펜), 마이크 등 데이터를 입력하는 입력부(미도시), 디스플레이, 스피커, 구동부 등 데이터를 출력하는 출력부(미도시) 중 적어도 일부를 포함할 수 있다.
마이크는 외부의 음향신호를 전기적인 음성 데이터로 변환할 수 있다. 변환된 음향신호는 PCM(pulse code modulation) 상태 또는 압축된 형태의 오디오 파형의 형태를 가질 수 있다. 이를 위하여, 마이크는 음향을 디지털로 변환하는 A/D변환부를 포함할 수 있다. 변환된 오디오 데이터는 처리부(110)에서 수행 중인 기능(예: 차트관리 서비스)에 따라 다양하게 활용될 수 있다.
또한, 입출력부(140)는 디스플레이에 표시된 객체를 대상으로 제어입력이 가능한 터치 디스플레이(이하, 디스플레이)를 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 전자장치(100) 또는 사용자 장치는 이동통신단말기, 멀티미디어 단말기, 유선 단말기, 고정형 단말기 및 internet protocol(IP) 단말기 등을 비롯한 모든 정보통신기기의 범위의 기능 적어도 일부를 포함할 수 있다.
전자장치(100)는 제어입력 처리를 위한 장치로서 워크스테이션(workstation), 또는 대용량의 데이터베이스(database) 중 적어도 일부 기능을 포함하거나 또는 통신을 통하여 연결되도록 구성될 수 있다.
전자장치(100)와 연결되는 사용자 장치는 휴대폰, 피씨(personal computer, PC), 피엠피(portable multimedia player, PMP), 엠아이디(mobile internet device, MID), 스마트폰(smartphone), 태블릿 PC, 패블릿 PC, 노트북(notebook) 등을 예시할 수 있다. 본 발명의 다양한 실시 예에 따르면, 사용자 장치는 전자장치(100)의 제어입력 처리를 관리하는 장치로 설명할 수 있다.
여기서, 서버는 네트워크 상에 존재하는 하나의 엔티티로, 웹 서버(web server), 데이터베이스 서버(database server) 및 애플리케이션 서버(application server)의 역할을 수행한다. 바람직한 일 실시 예에 따르면, 서버는 전자장치(100)의 처리에 기반하여 사용자 장치에 다양한 컨텐츠를 사용자 장치에 제공할 수 있다.
본 발명의 다양한 실시 예에 따르면, 사용자 장치는 강사의 휴대폰을 포함할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 전자장치에서 터치에 기반하는 제어입력을 처리하는 동작의 흐름도이다.
전자장치(100)는 제어입력에 기반하여 디스플레이에 표시된 객체를 제어하고, 객체의 선택된 적어도 일부와 관련된 정보를 출력할 수 있다.
201 단계에서, 전자장치(100)는 디스플레이에 표시된 적어도 하나의 객체에 대한 제어입력에 기반하여 객체의 적어도 일부 영역의 비율을 조절한다.
예를 들면, 전자장치(100)는 디스플레이에 표시된 객체에 대한 선택 및 제어입력을 확인할 수 있다. 여기서, 객체는 텍스트 및/또는 이미지를 포함하여 구성될 수 있다.
전자장치(100)는 디스플레이에 표시된 객체의 적어도 일부 텍스트 및/또는 이미지를 선택하는 터치입력에 기반하여 제어영역을 결정할 수 있다. 또는, 전자장치(100)는 디스플레이에 표시된 포인터를 이용하여 객체의 적어도 일부 텍스트 및/또는 이미지를 선택함으로써 제어영역을 결정할 수 있다.
전자장치(100)는 제어입력에 기반하여 선택된 제어영역 비율을 조정할 수 있다. 예를 들면, 전자장치(100)는 제어입력에 기반하여 선택된 제어영역을 확대 또는 축소할 수 있다.
전자장치(100)는 지정된 확대/축소 비율에 따라서 선택된 제어영역을 확대 또는 축소할 수 있다.
예를 들면, 전자장치(100)는 객체에 포함된 구성요소들 중 선택된 제어영역에 대하여 확대하는 제어입력을 확인하고, 제어영역의 하부요소를 인식 가능한 사이즈로 선택영역을 확대할 수 있다.
이때, 객체의 해상도 및 품질에 따라서 선택영역의 확대가 어려운 경우, 전자장치(100)는 하위요소를 포함하는 제어영역과 동일 또는 유사한 객체를 검색함으로써 하위요소에 대한 정보를 획득할 수 있다.
전자장치(100)는 확대에 대한 제어명형에 지정된 사이즈의 하위요소를 포함하여 제어영역의 확대된 객체로 결정할 수 있다.
더하여, 전자장치(100)는 객체에 포함된 구성요소들 중 선택된 제어영역에 대하여 축소하는 제어입력을 확인하고, 제어영역의 상위요소를 인식 가능한 사이즈로 선택영역을 축소할 수 있다.
이때, 객체의 해상도 및 품질에 따라서 선택영역의 확대가 어려운 경우, 예를 들면, 구성요소를 포함하는 객체가 상위요소에 대한 정보를 포함하지 않는 경우, 전자장치(100)는 상위요소를 포함하는 제어영역과 동일 또는 유사한 객체를 검색함으로써 상위요소에 대한 정보를 획득할 수 있다.
본 발명의 다양한 실시 예에 따르면, 객체를 선택하는 제어입력과 선택된 객체에 대하여 지정된 동작을 처리하는 제어입력은 객체를 선택하는 제어입력과 함께 입력될 수 있고, 각각 독립적으로 입력될 수 있다.
더하여, 객체에 대하여 지정된 동작을 처리하도록 설정된 상태에서 객체의 선택으로 지정된 동작이 수행될 수 있다.
203 단계에서, 전자장치(100)는 선택한 적어도 일부 영역과 관련된 정보를 결정한다.
전자장치(100)는 저장부(120) 또는 외부 장치(예: 서버)를 통하여, 선택한 일부 영역 즉 제어영역에 관련된 정보를 확인할 수 있다.
여기서, 제어영역과 관련된 정보는 제어영역, 제어입력, 및 강의진도 중 적어도 일부에 기반하여, 상위요소 또는 하위요소의 지정된 일부에 효과를 적용하는 것일 수 있다. 예를 들면, 제어영역, 상위요소 또는 하위요소의 지정된 일부에 하이라이트 처리하거나 또는 강조 처리할 수 있다.
더하여, 제어영역과 관련된 정보는 제어영역, 제어입력, 및 강의진도 중 적어도 일부와 관련된 텍스트, 이미지, 오디오 중 적어도 일부를 획득하는 것일 수 있다.
전자장치(100)는 제어영역을 구성요소로서, 제어영역을 확대하는 제어입력의 경우 구성요소 및 상위요소와 관련된 정보를 결정하고, 제어영역을 축소하는 제어입력의 경우 구성요소 및 상위요소와 관련된 정보를 결정할 수 있다.
전자장치(100)는 관련된 정보를 결정함에 있어서, 강의 클래스 정보를 고려하여 관련된 정보의 깊이를 결정할 수 있다. 예를 들면, 관련된 정보를 검색하고, 강의 클래스의 학년, 강의진도 및/또는 레벨에 기반하여 관련된 정보로 결정하기 위한 정보의 깊이를 결정하거나, 또는 검색 단계에서 정보의 깊이를 한정하여 검색할 수 있다.
예를 들어, 강의 클래스의 레벨이 제1 레벨, 제2 레벨 및 제3 레벨로 구분된 상태에서 제1 레벨은 제1 검색 깊이, 제2 레벨은 제2 검색 깊이, 및 제3 레벨은 제3 검색 깊이로 관련된 정보를 결정하는 깊이가 설정될 수 있다.
전자장치(100)는 강의 클래스의 레벨(예: 제3 레벨)을 확인하고, 검색된 정보들 중 제3 검색 깊이 내의 정보들 중에서 관련된 정보를 결정하거나, 또는 제3 검색 깊이 내의 정보들을 검색하여 관련된 정보를 결정할 수 있다.
더하여, 전자장치(100)는 강의 클래스의 학년 및 강의진도 중 적어도 일부를 함께 고려하여 관련된 정보를 결정함으로써 정보의 동일성 및 유사성을 유지하도록 처리할 수 있다.
더하여, 전자장치(100)는 디스플레이 및/또는 연결된 외부 디스플레이(예: 전자칠판)에 입력 및 표시된 텍스트를 함께 고려하여 관련된 정보를 결정함으로써 정보의 동일성 및 유사성을 유지하도록 처리할 수 있다.
더하여, 전자장치(100)는 제어영역, 비율이 조정된 객체, 및 관련된 정보 중 적어도 일부를 이용하여 강의 클래스의 학년, 과목, 강의진도 및 레벨에 대응되는 문제를 생성할 수 있다.
205 단계에서, 전자장치(100)는 비율이 조절된 적어도 일부 영역 및 관련된 정보를 출력한다.
전자장치(100)는 제어영역에 대하여 비율이 조절된 하위요소 또는 상위요소를 포함하는 객체를 지정된 디스플레이를 통하여 출력할 수 있다. 이때, 전자장치(100)는 설정에 기반하여 비율이 조정된 객체를 지정된 디스플레이에 표시하도록 전송할 수 있다.
예를 들면, 전자장치(100)는 비율이 조정된 객체를 지정된 학생의 전자장치의 디스플레이의 지정된 영역에 표시하도록 전송하고, 외부 디스플레이(예: 전자칠판)에 전체화면으로 표시하도록 전송할 수 있다.
전자장치(100)는 205 단계를 수행하면 도 2의 동작을 종료할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 전자장치에서 터치에 기반하는 제어입력을 처리하는 세부동작의 흐름도이다.
전자장치(100)는 제어입력에 따라서 제어영역을 확대하거나 또는 축소할 수 있고, 확대 또는 축소 결과 포함된 객체와 관련된 정보를 결정할 수 있다.
301 단계에서, 전자장치(100)는 객체의 선택된 특정 위치에 대응되는 특정 구조의 하위구조를 식별하는 지정된 사이즈로 확대할 수 있다.
전자장치(100)는 제어영역을 확대하는 제어입력에 대하여 제어영역을 확대하고, 확대된 객체에 포함된 하위요소를 표시하도록 처리할 수 있다. 이때, 전자장치(100)는 객체의 선택한 제어영역을 확대함에 있어서 하위요소를 식별할 수 있는 지정된 사이즈(또는 비율)를 확인할 수 있다.
예를 들면, 전자장치(100)는 객체의 제어영역을 연속적으로 확대하는 중 하위요소를 식별한 시점의 사이즈를 확인할 수 있다. 또는 전자장치(100)는 기 저장된 설정에 기반하여 하위요소를 식별할 수 있는 지정된 사이즈를 확인하고 확인된 사이즈로 제어영역을 확대할 수 있다.
다양한 실시 예에 따르면, 301 단계에서 전자장치(100)는 제어영역을 축소하는 제어입력 및 하위구조를 식별하는 동작에 대하여 설명하고 있지만, 이에 한정하지 않고 제어영역을 확대하는 제어입력 및 상위구조를 식별하는 동작에 적용할 수 있다.
전자장치(100)는 제어영역을 축소하는 제어입력에 대하여 제어영역을 축소하고, 축소된 객체에 포함된 상위요소를 표시하도록 처리할 수 있다. 이때, 전자장치(100)는 객체의 선택한 제어영역을 축소함에 있어서 상위요소를 식별할 수 있는 지정된 사이즈(또는 비율)를 확인할 수 있다.
예를 들면, 전자장치(100)는 객체의 제어영역을 연속적으로 축소하는 중 상위요소를 식별한 시점의 사이즈를 확인할 수 있다. 또는 전자장치(100)는 기 저장된 설정에 기반하여 상위요소를 식별할 수 있는 지정된 사이즈를 확인하고 확인된 사이즈로 제어영역을 축소할 수 있다.
303 단계에서, 전자장치(100)는 하위구조와 관련된 텍스트 및 이미지 중 적어도 일부 정보를 확인할 수 있다.
전자장치(100)는 식별된 하위구조 및/또는 제어영역과 관련된 설명을 검색할 수 있고, 하위구조 및 유기적으로 연결된 다른 구성요소들 및 그와 관련된 설명을 확인할 수 있다.
더하여, 전자장치(100)는 식별된 하위구조 및/또는 제어영역과 관련된 사진, 도면, 동영상 등을 검색할 수 있고, 제어영역, 및 하위구조, 그리고 유기적으로 연결된 다른 구성요소들의 사진, 도면, 동영상 등을 확인할 수 있다.
식별된 하위구조를 포함하는 객체가 이미지인 경우, 전자장치(100)는 획득한 이미지를 하위구조 및 관련된 구성요소들과 결합할 수 있다.
다양한 실시 예에 따르면, 303 단계에서 전자장치(100)는 제어영역 및 식별된 하위구조 중 적어도 일부와 관련된 설명 및/또는 이미지를 확인하는 것으로 설명하고 있지만, 이에 한정하지 않고, 제어영역 및 식별된 상위구조 중 적어도 일부와 관련된 설명 및/또는 이미지를 확인하는 동작에 적용할 수 있다.
전자장치(100)는 303 단계를 수행하면 도3의 동작을 종료할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 전자장치에서 음성에 기반하는 제어입력을 처리하는 동작의 흐름도이다.
전자장치(100)는 마이크로 입력된 음성을 처리하고, 권한을 가진 음성을 식별하여 음성에 기반하는 제어입력에 따라 지정된 동작을 수행할 수 있다.
401 단계에서, 전자장치(100)는 마이크를 통해서 입력되는 음성입력에 기반하여 강사를 식별한다.
전자장치(100)는 적어도 하나의 마이크를 포함하며, 마이크를 통해서 입력되는 음성에 기반하여 사용자를 식별할 수 있다. 전자장치(100)는 식별된 음성의 사용자에 대하여 강의 클래스의 권한을 가진 사용자인지 여부를 확인할 수 있다.
예를 들면, 전자장치(100)는 강의시간표를 참고하여, 현재 시각에 대한 강의 클래스를 확인하고, 식별된 강사가 해당 강의 클래스에 권한을 가진 사용자인지 확인할 수 있다.
403 단계에서, 전자장치(100)는 식별된 강사의 권한에 기반하여 전자교탁의 잠금을 해제 및 지정된 강의자료를 결정한다.
전자장치(100)는 전자장치(100)는 음성으로 식별된 강사가 강의 클래스에 대하여 권한을 가진 강사인 것을 결정하면 전자장치(100)의 잠금을 해제할 수 있다.
또는, 전자장치(100)는 음성으로 식별된 강사가 강의 클래스에 대하여 권한을 가진 강사인 것을 결정하면, 입력된 음성에서 전자장치(100)의 잠금을 해제하기 위하여 지정된 단어 및/또는 문장을 확인할 수 있다.
예를 들면, 전자장치(100)는 강의 클래스에 권한을 가지는 강사의 음성으로 "안녕", "안녕하세요", "반갑습니다" 등과 같은 전자장치(100)의 잠금을 해제하기 위하여 지정된 단어 또는 단어를 포함하는 문장을 확인하는 경우 전자장치(100)의 잠금을 해제할 수 있다.
전자장치(100)는 잠금을 해제하면, 강의 클래스의 강의진도, 클래스의 레벨, 지난 강의에 대한 코멘트, 강사의 음성 중 적어도 일부에 기반하여 강의 진행을 위한 강의자료를 결정할 수 있다.
405 단계에서, 전자장치(100)는 입력된 음성입력에 기반하여 강의자료를 출력한다.
전자장치(100)는 강의 진행을 위해서 결정한 강의자료의 일부를 전자장치(100)의 디스플레이 및/또는 연결된 외부 디스플레이를 통하여 출력할 수 있다. 이때, 전자장치(100)는 입력된 강사의 음성에 기반하여 강의 클래스의 강의진도를 결정하고, 강사의 음성 및 강의진도와 관련된 정보를 검색할 수 있다.
예를 들면, 전자장치(100)는 강의 클래스의 강의시간표에 기반하여 강의진도를 결정할 수 있지만, 강가의 음성을 통하여 세부적인 강의진도를 확인하고 관련된 정보를 검색 및 획득할 수 있다.
여기서, 전자장치(100)는 전자장치(100)의 저장부(120), 전자장치(100)와 연결된 서버, 및 인터넷 중 적어도 일부에 기반하여 강의진도와 관련된 정보를 획득할 수 있다.
더하여, 전자장치(100)는 입력된 강사의 음성, 전자장치(100)와 연결된 적어도 하나의 외부 디스플레이를 통하여 입력되는 텍스트, 및 클래스 레벨에 기반하여 강의진도와 관련된 문제를 생성할 수 있다.
이때, 전자장치(100)는 문제가 객관식인 경우 선택지도 함께 생성할 수 있다.
전자장치(100)는 결정한 강의자료 및/또는 생성한 문제를 전자장치(100)의 디스플레이 및/또는 연결된 외부 디스플레이를 통하여 출력할 수 있다.
예를 들면, 전자장치(100)는 강사의 자료 또는 비공개 자료는 전자장치(100)의 디스플레이를 통하여 출력하고, 학생을 위한 자료는 연결된 외부 디스플레이를 통하여 출력하도록 처리할 수 있다.
예를 들면, 전자장치(100)는 학생의 테스트를 위한 문제는 연결된 외부 디스플레이를 통하여 출력하고, 정답과 설명(또는 해설)은 전자장치(100)의 디스플레이를 통하여 출력하도록 처리할 수 있다.
전자장치(100)는 405 단계를 수행하면 도 4의 실시 예를 종료할 수 있다.
전자장치(100)는 해당 강의 클래스의 강의자료 및 강의자료와 관련하여 검색 및/또는 획득한 자료를 다른 강의 클래스의 강의자료로 사용할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 전자장치에서 음성에 기반하는 제어입력을 처리하는 세부동작의 흐름도이다.
전자장치(100)는 강사의 음성에 기반하여 강의 클래스의 레벨과 강의진도를 결정하고, 이에 기반하여 학생의 테스트를 위한 문제를 생성할 수 있다.
501 단계에서, 전자장치(100)는 음성입력에 기반하여 강의진도의 적어도 일부에 대한 강의 클래스의 수준을 결정할 수 있다.
전자장치(100)는 전자장치(100)는 입력된 강사의 음성에 기반하여 강의 클래스의 레벨을 결정할 수 있다. 예를 들면, 전자장치(100)는 강의 클래스 정보에 기반하여 지 저장된 클래스 레벨을 확인할 수 있지만, 강의 중에 입력되는 강사의 음성에 기반하여 강의진도에 대한 클래스의 수준을 세부적으로 결정할 수 있다.
전자장치(100)는 강의 중에 입력되는 강사의 음성에서 클래스 레벨을 결정하기 위하여 지정된 단어를 확인함으로써 강의 클래스의 해당 강의(및/또는 강의진도)에 대한 클래스 레벨을 결정할 수 있다.
503 단계에서, 상술한 바와 같이, 전자장치(100)는 음성입력에 기반하여 결정한 세부적인 강의진도와 클래스 레벨을 함께 고려하여 학생의 테스트를 위한 문제를 생성할 수 있다.
전자장치(100)는 해당 강의 클래스에 대하여 결정한 세부적인 클래스 레벨에 대응되는 문제를 생성하는 것에 한정하지 않고, 상위 클래스 레벨 및/또는 하위 클래스 레벨에 해당하는 문제를 함께 생성할 수 있다.
예를 들면, 전자장치(100)는 강사의 음성으로부터 해당 클래스 레벨에 대응되는 단어 뿐 아닌 상위 클래스 레벨에 대응되는 단어를 확인할 수 있고, 이들의 비율에 기반하여 상위 클래스 레벨에 해당하는 문제를 더 생성할 수 있다.
더하여, 전자장치(100)는 디스플레이에 출력하는 강의자료, 강의자료 및/또는 강사의 음성에 기반하여 출력하는 관련된 자료, 및 강사의 음성으로부터 클래스 레벨에 대응하여 확인되는 단어들 중 적어도 일부에 기반하여 해당 강의 클래스의 클래스 레벨에 대한 문제 뿐 아니라, 상위 클래스 레벨 및/또는 하위 클래스 레벨에 대응하는 문제를 더 생성할 수 있다.
전자장치(100)는 503 단계를 수행하면 도 5의 동작을 종료할 수 있다.
본 발명의 다양한 실시 예에 따르면, 전자장치(100)는 도 5의 동작들을 수행함에 있어서, 도 4의 405 단계 중 관련된 정보를 생성하는 동작에서 수행할 수 있다.
하지만, 이에 한정하지 않고, 도 5의 각 단계들은 도 4의 각 단계들 전 또는 후에 수행할 수 있고, 도 4의 동작과 독립적으로 수행할 수 있다.
예를 들면, 전자장치(100)는 강사의 사용자 입력에 기반하여 특정 강의 클래스를 선택하면, 강의진도, 특정 강의 클래스, 특정 강의(또는 강의진도)에 기반하여 도 5의 동작을 수행할 수 있다.
본 발명의 다양한 실시 예에 따르면, 전자장치(100)는 터치입력과 음성입력을 동시에 처리할 수 있다. 예를 들면, 전자장치(100)는 도 2 및/또는 도 3의 동작들을 수행하는 중에 도 4 및/또는 도 5의 동작들을 함께 수행할 수 있을 것이다.
도 6은 본 발명의 일 실시 예에 따른 디스플레이의 터치입력 및 마이크를 통한 음성입력을 처리하는 전자교탁으로서 구현된 전자장치를 도시한다.
도 6을 참고하면, 전자교탁은 복수의 디스플레이를 포함할 수 있다. 이때, 적어도 하나의 디스플레이는 터치 조작이 가능한 디스플레이로 구비되며, 강의 클래스의 강의 진행을 위한 자료를 출력할 수 있다.
더하여, 전자교탁은 마이크를 포함한다. 전자자교탁은 마이크를 통하여 입력되는 음성들 중 해당 강의 클래스에 권한을 가진 강사의 음성을 확인할 수 있고, 강사의 음성에 기반하여 강의 클래스의 강의 진행을 위한 자료를 출력할 수 있다.
또한 적어도 하나의 디스플레이는 전자교탁 외부의 디스플레이와 연결될 수 있다. 예를 들면, 적어도 하나의 디스플레이는 전자칠판으로 구비될 수 있고, 강사는 전자교탁을 제어함으로써 강의와 관련된 자료를 전자칠판을 통하여 출력할 수 있다.
전자교탁은 사물인터넷(internet of Things, IoT) 기술에 기반하여 외부 디스플레이를 제어하고, 그와 관련된 디스플레이 내용을 전자교탁의 디스플레이를 통하여 제공함으로써 강의의 흐름을 끊기지 않도록 유지하고, 따라서 강의의 품질을 향상시킬 수 있다.
또한, 전자교탁은 사물인터넷(IoT)에 기반하여 내부 입력부를 통해 주변 조명의 밝기 정도, 스피커의 음향 크기 정도, 빔 프로젝트 on/off 등을 컨트롤할 수 있다.
일 실시 예에 따르면, 전자교탁은, 강의실의 출입문에 위치한 센서와 무선 또는 유선으로 연결될 수 있다. 전자교탁은 센서로부터 수신하는 데이터에 기반하여 강사를 확인할 수 있다.
예를 들면, 전자교탁은 센서로부터 수신한 데이터에서 강사의 식별코드를 확인할 수 있고, 해당 강의 클래스에 권한을 가진 강사인지 여부를 결정할 수 있다. 이후, 전자교탁은 마이크를 통하여 입력되는 음성으로부터 동일한 강사의 음성인지 여부를 확인하고, 센서에서 식별된 강사와 동일한 강사이며 해당 강의 클래스에 권한을 가진 강사인 것을 확인하면 전자교탁의 잠금을 해제할 수 있다.
전자교탁은 상술한 바와 같이 IoT 기술을 적극 이용함으로써, 전자교탁의 보안을 강화할 수 있다.
더하여, 전자교탁은 디스플레이에 표시한 강의자료 일부를 외부 디스플레이에 전송함에 있어서, 해당 강의 클래스의 지정된 학생의 장치 디스플레이를 통하여 출력하도록 처리할 수 있다.
이때, 전자교탁은 강의자료를 전송한 각각의 학생의 장치로부터 학생이 강의자료를 보고 있는지에 대한 데이터를 수신할 수 있다.
예를 들면, 학생의 장치 각각은 카메라를 포함하고, 학생의 눈동자를 촬영할 수 있다. 학생의 장치는 눈동자의 움직임을 트래킹(tracking)하여 디스플레이에 출력된 강의자료를 응시하는지 여부를 결정하고, 응시하는지 여부에 대한 데이터를 전자교탁에 전송할 수 있다.
전자교탁은 학생의 장치로부터 수신한 데이터에 기반하여 강의자료를 응시하는 학생 및 응시하지 않는 학생에 대한 정보를 전자교탁의 디스플레이에 표시할 수 있다.
더하여, 전자교탁은 IoT 기술을 통해 강의자료를 출력하는 외부 디스플레이에 따라서 강의실의 조명을 조절할 수 있다. 예를 들면, 전자교탁은 강의실 앞에 있는 전자칠판을 통하여 강의자료를 출력하는 경우, 전자칠판 주변의 조명을 어둡게 조절할 수 있다.
이때, 조명의 밝기는 채광상태 및 강의실의 밝기에 기반하여 전자교탁의 인공지능 알고리즘을 통하여 처리될 수 있다. 예를 들면, 강의실 창문 주변, 전자칠판 주변 및 천정 일부에는 조도를 측정할 수 있는 조도센서가 설치될 수 있다.
전자교탁은 조도센서로부터 수신한 데이터에 기반하여 강의실 내부 위치에 따른 조도를 확인할 수 있다. 전자교탁은 강의 자료를 출력하는 학생 장치의 디스플레이 및/또는 전자칠판과 같은 디스플레이 주변 조도를 확인하고, 인공지능 알고리즘에 기반하여 학생들이 디스플레이에 표시된 강의자료를 선명하고 피로감 없이 시청할 수 있는 적절한 조도로 강의실 조명 일부의 밝기를 조절할 수 있다.
전자교탁은 키보드, 마우스 중 적어도 하나의 입력부를 더 포함하여 구성되며, 터치 디스플레이 외 다양한 장치를 통하여 전자교탁을 제어하도록 처리할 수 있다.
더하여, 전자교탁은 스피커를 더 포함하고, 강사의 제어입력에 따라 처리되는 오디오를 출력할 수 있다. 전자교탁은 이러한 오디오 처리를 위한 장치를 포함할 수 있다.
상술한 바와 같이, 전자장치(100)는 강의의 품질을 향상시킬 수 있는 멀티미디어 장치로 제공되며, 더하여, 사물인터넷 기술에 기반하여 강의실에 포함된 다양한 장치들을 제어할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 디스플레이에 표시된 적어도 하나의 객체에 대한 제어입력에 기반하여 상기 객체의 적어도 일부 영역의 비율을 조절하는 단계; 상기 적어도 일부 영역과 관련된 정보를 결정하는 단계; 및 상기 적어도 일부 영역 및 상기 관련된 정보를 출력하는 단계;를 포함하는, 디스플레이의 터치를 처리하는 전자교탁의 동작방법을 개시한다.
여기서, 상기 디스플레이에 표시된 적어도 하나의 객체에 대한 제어입력에 기반하여 상기 객체의 적어도 일부 영역의 비율을 조절하는 단계는, 상기 객체의 특정 위치를 선택하는 상기 제어입력에 기반하여 상기 특정 위치에 대응되는 특정 구조의 하위구조를 식별하는 지정된 사이즈로 확대하는 단계;를 포함하고, 상기 적어도 일부 영역과 관련된 정보를 결정하는 단계는, 상기 하위구조와 관련된 텍스트 및 이미지 중 적어도 일부 정보를 확인하는 단계;를 포함할 수 있다.
여기서, 상기 디스플레이의 터치를 처리하는 전자교탁의 동작방법은, 강의 클래스를 확인하는 단계;를 더 포함하고, 상기 적어도 일부 영역과 관련된 정보를 결정하는 단계는, 상기 강의 클래스에 대한 레벨, 강의진도 중 적어도 하나의 상태에 기반하여 상기 적어도 일부 영역과 관련된 정보를 결정하는 단계;를 포함할 수 있다.
여기서, 상기 강의 클래스를 확인하는 단계는, 상기 강의 클래스와 관련하여 지정된 온라인 정보에 등록된 강의시간표, 강사이름, 강의계획, 상기 디스플레이에 표시된 강의자료, 상기 디스플레이에 표시된 적어도 하나의 객체 중 적어도 일부 정보에 기반하여 상기 강의 클래스에 대한 강의진도, 학업성취도, 및 클래스 레벨 중 적어도 하나의 상태를 결정하는 단계;를 포함할 수 있다.
여기서, 상기 적어도 일부 영역과 관련된 정보를 결정하는 단계는, 상기 강의 클래스에 대한 레벨, 강의진도 중 적어도 하나의 상태에 기반하여 상기 적어도 일부 영역과 관련된 문제를 생성하는 단계;를 포함할 수 있다.
여기서, 상기 적어도 일부 영역 및 상기 관련된 정보를 출력하는 단계는, 상기 디스플레이에 상기 적어도 하나의 객체, 적어도 하나의 다른 객체, 상기 적어도 일부 영역 및 상기 관련된 정보를 표시하고, 상기 전자교탁과 연결된 외부 디스플레이를 통하여 상기 비율이 조절된 상기 적어도 일부 영역을 표시할 수 있다.
여기서, 디스플레이의 터치를 처리하는 전자교탁의 동작방법은, 상기 디스플레이를 통하여 식별된 강사의 텍스트 입력을 확인하는 단계;를 더 포함하고, 상기 적어도 일부 영역과 관련된 정보를 결정하는 단계는, 상기 텍스트 입력 및 상기 적어도 일부 영역에 기반하여 상기 관련된 정보를 결정하는 단계;를 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 터치 조작이 가능한 디스플레이; 적어도 하나의 다른 전자장치와 통신하는 통신부; 및 상기 디스플레이에 표시된 적어도 하나의 객체에 대한 제어입력에 기반하여 상기 객체의 적어도 일부 영역의 비율을 조절하고, 상기 적어도 일부 영역과 관련된 정보를 결정하며, 및 상기 적어도 일부 영역 및 상기 관련된 정보를 출력하도록 처리하는 처리부;를 포함하는, 디스플레이의 터치를 처리하는 전자교탁을 개시한다.
본 발명의 다양한 실시 예에 따르면, 적어도 하나의 마이크를 통해서 입력되는 제1 제어입력에 기반하여 강사를 식별하는 단계; 상기 식별된 강사의 권한에 기반하여 상기 전자교탁의 잠금을 해제 및 지정된 강의자료를 결정하는 단계; 및 입력되는 제2 제어입력에 기반하여 상기 강의자료 중 적어도 하나의 객체를 출력하는 단계;를 포함하는, 음성입력을 처리하는 전자교탁의 동작방법을 개시한다.
여기서, 제2 제어입력은 제1 제어입력과 시간의 차이를 두고 입력된 다른 음성입력으로 정의할 수 있다. 이때, 제1 제어입력은 제2 제어입력보다 먼저 설명하여 결정된 순서일 뿐, 시간적으로 제2 제어입력이 제1 제어입력보다 먼저 입력된 음성입력 일 수 있고, 또는 나중에 입력된 음성입력 일 수 있다.
여기서, 상기 식별된 강사의 권한에 기반하여 상기 전자교탁의 잠금을 해제 및 지정된 강의자료를 결정하는 단계는, 상기 강사가 강의시간표에 기반하여 현재 시각에 대응되는 강의 클래스에 권한을 가진 강사인 경우 상기 전자교탁의 잠금을 해제하는 단계;를 포함할 수 있다.
여기서, 상기 식별된 강사의 권한에 기반하여 상기 전자교탁의 잠금을 해제 및 지정된 강의자료를 결정하는 단계는, 강의 클래스를 확인하는 단계; 및 상기 강의 클래스에 대한 레벨, 강의진도 중 적어도 하나의 상태에 기반하여 레벨 및 분량 중 적어도 일부에 따라서 구분된 복수의 강의자료 중 상기 지정된 강의자료를 결정하는 단계;를 포함할 수 있다.
여기서, 상기 입력되는 제2 제어입력에 기반하여 상기 강의자료 중 적어도 하나의 객체를 출력하는 단계는, 상기 지정된 강의자료 및 상기 제2 제어입력에 기반하여 강의 클래스의 강의진도를 결정하고, 적어도 하나의 서버, 인터넷 중 적어도 일부를 통하여 상기 제2 제어입력 및 상기 강의진도에 관련된 정보를 검색하는 단계;를 포함할 수 있다.
여기서, 상기 입력되는 제2 제어입력에 기반하여 상기 강의자료 중 적어도 하나의 객체를 출력하는 단계는, 제3 제어입력을 확인하는 단계; 및 연결된 적어도 하나의 외부 디스플레이를 통하여 입력되는 텍스트, 상기 제3 제어입력, 및 상기 강의 클래스에 대한 레벨에 기반하여 상기 강의진도와 관련된 문제를 생성하는 단계;를 더 포함할 수 있다.
여기서, 제3 제어입력은 제1 제어입력 및 제2 제어입력과 시간의 차이를 두고 입력된 다른 음성입력으로 정의할 수 있다. 이때, 상술한 바와 마찬가지로, 제3 제어입력은 시간적으로 제1 제어입력이나 제2 제어입력보다 먼저 입력된 음성입력 일 수 있고, 또는 나중에 입력된 음성입력 일 수 있다.
여기서, 제1 제어입력, 제2 제어입력, 및 제3 제어입력 각각은 터치 조작이 가능한 디스플레이를 통해서 입력되는 터치입력일 수 있고, 또는 마이크를 통해서 입력되는 음성입력일 수 있다.
여기서, 상기 입력되는 제2 제어입력에 기반하여 상기 강의자료 중 적어도 하나의 객체를 출력하는 단계는, 제3 제어입력을 확인하는 단계; 상기 제3 제어입력에 기반하여 상기 강의진도의 적어도 일부에 대한 상기 강의 클래스의 레벨을 결정하는 단계; 및 연결된 적어도 하나의 외부 디스플레이를 통하여 입력되는 텍스트, 상기 제3 제어입력, 및 상기 강의진도의 적어도 일부에 대한 상기 강의 클래스의 레벨에 기반하여 상기 강의진도와 관련된 문제를 생성하는 단계;를 더 포함할 수 있다.
여기서, 상기 입력되는 제2 제어입력에 기반하여 상기 강의자료 중 적어도 하나의 객체를 출력하는 단계는, 상기 강사의 자료를 포함하는 객체는 상기 전자교탁의 디스플레이를 통하여 출력하고, 수강생을 위한 자료는 연결된 적어도 하나의 외부 디스플레이를 통하여 출력하도록 처리하는 단계;를 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 음성을 수신하는 적어도 하나의 마이크; 적어도 하나의 다른 전자장치와 통신하는 통신부; 및 상기 적어도 하나의 마이크를 통해서 입력되는 제1 제어입력에 기반하여 강사를 식별하고, 상기 식별된 강사의 권한에 기반하여 상기 전자교탁의 잠금을 해제 및 지정된 강의자료를 결정하며, 및 입력되는 제2 제어입력에 기반하여 상기 강의자료 중 적어도 하나의 객체를 출력하도록 처리하는 처리부;를 포함하는, 음성입력을 처리하는 전자교탁을 개시한다.
본 발명의 다양한 실시 예에 따르면, 디스플레이 및/또는 마이크를 통한 제어명령에 기반하여 디스플레이에 표시된 강의자료를 확대 또는 축소하며, 강의자료의 품질이 확대 또는 축소에 적절하지 못하는 것으로 결정하는 경우 동일 또는 유사한 고품질 자료로 대체함으로써 고품질의 강의자료를 제공하고, 따라서 강의의 품질을 향상시킬 수 있다.
본 발명의 다양한 실시 예에 따르면, 강사의 입력에 기반하여 디스플레이에 표시된 강의자료와 관련된 자료를 검색/획득하여 제공하고, 인공신경망과 같은 AI에 기반하여 강의 클래스의 수준을 고려하고 학생의 테스트를 위한 문제를 생성하는 등 강의자료를 재생성함으로써 강의의 가치를 향상시킬 수 있다.
본 발명의 다양한 실시 예에 따르면, 강사의 음성입력에 기반하여 권한을 식별하고, 식별된 음성에 포함된 단어들에 기반하여 장치의 잠금을 해제하고, 강의를 위한 데이터를 처리함으로써, 강사의 강의가 끊김없이 자연스럽게 진행될 수 있도록 보조하고, 강의의 품질을 향상시킬 수 있다.
본 발명의 다양한 실시 예에 따르면, 강사의 음성입력에 기반하여 디스플레이에 표시된 강의자료를 가공하고 재생성함으로써, 강의자료를 풍부하게 활용할 수 있고, 따라서 강의의 품질을 향상시킬 수 있다.
본 발명의 다양한 실시 예에 따르면, 전자교탁을 통하여 출력하는 강의자료와 재생성된 강의자료의 출력을 지정된 조건에 기반하여 네트워크를 통하여 연결된 다양한 외부장치를 통하여 제공하고 조명 등 연결된 장치들을 인공지능에 기반하여 제어함으로써, 학생들의 강의 집중도를 높이고 사물인터넷(IoT) 기술의 가치를 효과적으로 사용할 수 있다.
본 발명의 상세한 설명에 따르면, 전자장치(100)가 수행하는 것으로 설명하는 다양한 실시 예의 기능들은 전자장치(100)의 처리부(110)를 통하여 처리되는 동작으로 전자장치(100)의 구성요소들과 유기적으로 연결되어 수행될 수 있다.
이상과 같이 실시 예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다.
예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시 예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다 해야 할 것이다.
100: 전자장치
110: 처리부
120: 저장부
130: 통신부
140: 입출력부

Claims (8)

  1. 전자교탁의 동작방법에 있어서,
    입력되는 제1 제어입력에 기반하여 강사를 식별하는 단계;
    상기 식별된 강사의 권한에 기반하여 상기 전자교탁의 잠금을 해제 및 지정된 강의자료를 결정하고 디스플레이에 출력하는 단계;
    상기 강의자료 중 적어도 하나의 객체의 특정 위치를 선택하는 제2 제어입력에 기반하여 상기 특정 위치에 대응되는 특정 구조의 상위구조 또는 하위구조를 식별하도록 상기 특정 구조를 지정된 사이즈로 조절하는 단계;
    상기 상위구조 또는 하위구조와 관련된 텍스트 및 이미지 중 적어도 일부 정보를 결정하는 단계; 및
    상기 사이즈가 조절된 특정 구조 및 상기 적어도 일부 정보를 상기 디스플레이에 출력하는 단계;를 포함하는, 전자교탁의 동작방법.
  2. 제1항에 있어서,
    상기 식별된 강사의 권한에 기반하여 상기 전자교탁의 잠금을 해제 및 지정된 강의자료를 결정하고 디스플레이에 출력하는 단계는,
    상기 식별된 강사가 기 설정된 강의시간표에 기반하여 현재 시각에 대응되는 강의 클래스에 권한을 가진 강사인 것을 확인하면 상기 전자교탁의 잠금을 해제하는 단계;를 포함하는, 전자교탁의 동작방법.
  3. 제1항에 있어서,
    상기 식별된 강사의 권한에 기반하여 상기 전자교탁의 잠금을 해제 및 지정된 강의자료를 결정하고 디스플레이에 출력하는 단계는,
    강의 클래스를 확인하는 단계; 및
    레벨 및 분량 중 적어도 일부에 따라서 구분된 복수의 강의자료 중에서 상기 강의 클래스에 대한 레벨, 강의진도 중 적어도 하나의 상태에 대응되는 상기 지정된 강의자료를 결정하는 단계;를 포함하는, 전자교탁의 동작방법.
  4. 제1항에 있어서,
    상기 강의자료 중 적어도 하나의 객체의 특정 위치를 선택하는 제2 제어입력에 기반하여 상기 특정 위치에 대응되는 특정 구조의 상위구조 또는 하위구조를 식별하도록 상기 특정 구조를 지정된 사이즈로 조절하는 단계는,
    상기 지정된 강의자료 및 상기 제2 제어입력에 기반하여 강의 클래스의 강의진도를 결정하고, 적어도 하나의 서버, 인터넷 중 적어도 일부를 통하여 상기 제2 제어입력 및 상기 강의진도에 관련된 정보를 검색하는 단계;를 포함하는, 전자교탁의 동작방법.
  5. 제3항에 있어서,
    상기 식별된 강사의 권한에 기반하여 상기 전자교탁의 잠금을 해제 및 지정된 강의자료를 결정하고 디스플레이에 출력하는 단계는,
    제3 제어입력을 확인하는 단계; 및
    연결된 적어도 하나의 외부 디스플레이를 통하여 입력되는 텍스트, 상기 제3 제어입력, 및 상기 강의 클래스에 대한 레벨에 기반하여 상기 강의진도와 관련된 문제를 생성하는 단계;를 더 포함하는, 전자교탁의 동작방법.
  6. 삭제
  7. 삭제
  8. 전자교탁에 있어서,
    음성을 수신하는 적어도 하나의 마이크;
    적어도 하나의 다른 전자장치와 통신하는 통신부; 및
    상기 적어도 하나의 마이크를 통해서 입력되는 제1 제어입력에 기반하여 강사를 식별하고, 상기 식별된 강사의 권한에 기반하여 상기 전자교탁의 잠금을 해제 및 지정된 강의자료를 결정하고 디스플레이에 출력하며, 상기 강의자료 중 적어도 하나의 객체의 특정 위치를 선택하는 제2 제어입력에 기반하여 상기 특정 위치에 대응되는 특정 구조의 상위구조 또는 하위구조를 식별하도록 상기 특정 구조를 지정된 사이즈로 조절하고, 상기 상위구조 또는 하위구조와 관련된 텍스트 및 이미지 중 적어도 일부 정보를 결정하며, 및 상기 사이즈가 조절된 특정 구조 및 상기 적어도 일부 정보를 상기 디스플레이에 출력하도록 처리하는 처리부;를 포함하는, 전자교탁.
KR1020220017189A 2022-02-09 2022-02-09 인공지능을 기반으로 하는 음성 인식 기능 및 사물인터넷에 기반하는 원격제어를 융합한 전자교탁 및 그 동작방법 KR102402034B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020220017189A KR102402034B1 (ko) 2022-02-09 2022-02-09 인공지능을 기반으로 하는 음성 인식 기능 및 사물인터넷에 기반하는 원격제어를 융합한 전자교탁 및 그 동작방법
KR1020220060710A KR102424139B1 (ko) 2022-02-09 2022-05-18 인공지능 기능 및 사물인터넷 기능을 융합한 보안성이 향상된 디지털 전자교탁 및 그 동작방법
KR1020220060700A KR102424138B1 (ko) 2022-02-09 2022-05-18 인공지능 기능에 기반하는 강의 진행 및 사물인터넷 기능에 기반하는 원격제어를 융합한 디지털 전자교탁 및 그 동작방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220017189A KR102402034B1 (ko) 2022-02-09 2022-02-09 인공지능을 기반으로 하는 음성 인식 기능 및 사물인터넷에 기반하는 원격제어를 융합한 전자교탁 및 그 동작방법

Related Child Applications (2)

Application Number Title Priority Date Filing Date
KR1020220060710A Division KR102424139B1 (ko) 2022-02-09 2022-05-18 인공지능 기능 및 사물인터넷 기능을 융합한 보안성이 향상된 디지털 전자교탁 및 그 동작방법
KR1020220060700A Division KR102424138B1 (ko) 2022-02-09 2022-05-18 인공지능 기능에 기반하는 강의 진행 및 사물인터넷 기능에 기반하는 원격제어를 융합한 디지털 전자교탁 및 그 동작방법

Publications (1)

Publication Number Publication Date
KR102402034B1 true KR102402034B1 (ko) 2022-05-26

Family

ID=81809672

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020220017189A KR102402034B1 (ko) 2022-02-09 2022-02-09 인공지능을 기반으로 하는 음성 인식 기능 및 사물인터넷에 기반하는 원격제어를 융합한 전자교탁 및 그 동작방법
KR1020220060700A KR102424138B1 (ko) 2022-02-09 2022-05-18 인공지능 기능에 기반하는 강의 진행 및 사물인터넷 기능에 기반하는 원격제어를 융합한 디지털 전자교탁 및 그 동작방법
KR1020220060710A KR102424139B1 (ko) 2022-02-09 2022-05-18 인공지능 기능 및 사물인터넷 기능을 융합한 보안성이 향상된 디지털 전자교탁 및 그 동작방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020220060700A KR102424138B1 (ko) 2022-02-09 2022-05-18 인공지능 기능에 기반하는 강의 진행 및 사물인터넷 기능에 기반하는 원격제어를 융합한 디지털 전자교탁 및 그 동작방법
KR1020220060710A KR102424139B1 (ko) 2022-02-09 2022-05-18 인공지능 기능 및 사물인터넷 기능을 융합한 보안성이 향상된 디지털 전자교탁 및 그 동작방법

Country Status (1)

Country Link
KR (3) KR102402034B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10290717A (ja) * 1997-04-18 1998-11-04 Fujitsu General Ltd 演台システム
KR101597722B1 (ko) * 2015-02-23 2016-02-26 (주)피케이엘앤에스 전자인증에 의해 시동되는 전자교탁
KR20210154564A (ko) * 2020-06-12 2021-12-21 주식회사 아하정보통신 음성 인식 기반의 인공지능 모듈이 탑재된 전자 교탁

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100916365B1 (ko) * 2009-01-13 2009-09-11 코리아판서시스템(주) 듀얼 디스플레이 장치를 구비한 멀티미디어 강의대
KR20150052945A (ko) * 2013-11-07 2015-05-15 주식회사 인프라웨어 보안등급을 적용하여 공유한 전자문서의 출력제한 방법 및 장치
KR102277087B1 (ko) * 2014-08-21 2021-07-14 삼성전자주식회사 콘텐츠 분류 방법 및 전자 장치
CN113052041B (zh) * 2021-03-17 2024-04-30 广东骏杰科技有限公司 一种具备智能化教学***和监测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10290717A (ja) * 1997-04-18 1998-11-04 Fujitsu General Ltd 演台システム
KR101597722B1 (ko) * 2015-02-23 2016-02-26 (주)피케이엘앤에스 전자인증에 의해 시동되는 전자교탁
KR20210154564A (ko) * 2020-06-12 2021-12-21 주식회사 아하정보통신 음성 인식 기반의 인공지능 모듈이 탑재된 전자 교탁

Also Published As

Publication number Publication date
KR102424139B1 (ko) 2022-07-22
KR102424138B1 (ko) 2022-07-22

Similar Documents

Publication Publication Date Title
US20190340944A1 (en) Multimedia Interactive Teaching System and Method
Vinu et al. Towards pervasive mobile learning–the vision of 21st century
CN107798931A (zh) 一种智能幼教学习***及方法
JP6925469B2 (ja) スマートマイク制御サーバー及びシステム
JP2014085998A (ja) 電子ノート作成支援装置および電子ノート作成支援装置用プログラム
KR102446676B1 (ko) AI와 IoT 기능을 융합하여 음성인식과 원격제어를 처리하는 스마트테이블 및 그 동작방법
KR102402034B1 (ko) 인공지능을 기반으로 하는 음성 인식 기능 및 사물인터넷에 기반하는 원격제어를 융합한 전자교탁 및 그 동작방법
KR101753731B1 (ko) 전자칠판에서 문서공유를 위한 파일변환장치
KR102082245B1 (ko) 멀티뷰 방식의 학습서비스제공장치
KR20140062247A (ko) 이동 통신 단말기에서의 강좌 텍스트 데이터 생성 방법과 이를 이용한 이동 통신 단말기
KR20140106479A (ko) 이동 통신 단말기에서의 강좌 텍스트 데이터 생성 방법과 이를 이용한 이동 통신 단말기
Uskov et al. Software/hardware systems and technology for smart engineering education
WO2021131954A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11363084B1 (en) Methods and systems for facilitating conversion of content in public centers
KR20230085333A (ko) 인공지능 어린이 교육 솔루션 장치
KR20090002136A (ko) 사용자 맞춤형 실시간 평가 및 학습 시스템 및 그 방법
Bakken et al. Text-to-voice and voice-to-text software systems and students with disabilities: a research synthesis
KR20130007055A (ko) 통신망에서의 강의 시스템
CN107767713A (zh) 一种集成语音操作功能的智能教学***
KR102639477B1 (ko) Chat GPT를 활용한 실시간 번역 및 전자 회의록 작성 방법 및 이를 위한 전자 칠판
CN110070768A (zh) 电子显示屏及教学***
Wald A research agenda for transforming pedagogy and enhancing inclusive learning through synchronised multimedia captioned using speech recognition
KR102343823B1 (ko) 체화 학습 보조 시스템
KR102639472B1 (ko) Chat GPT를 활용하여 출력 정책을 실시간으로 수립하는 전자 칠판 및 이의 제어 방법
Zhao Designing TADA: Touch-and-Audio-based Diagram Access for People with Visual Impairments

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant