KR20180105693A - 디지털 미디어 컨텐츠 추출 및 자연어 프로세싱 시스템 - Google Patents

Abstract

자동화된 레슨 생성 학습 시스템은 디지털 프로그래밍 파일에서 텍스트-기반 컨텐츠를 추출한다. 시스템은 추출된 컨텐츠를 구문 분석하여 컨텐츠 내의 하나 이상의 토픽들, 품사, 명명된 엔티티 및/또는 다른 자료를 식별한다.　시스템은 그 후 디지털 프로그래밍 파일에서 추출되었던 컨텐츠와 관련된 콘텐츠를 포함하는 레슨을 자동으로 생성하여 출력한다.

Description

디지털 미디어 컨텐츠 추출 및 자연어 프로세싱 시스템

관련 출원간 상호 참조

이 특허 문헌은 (1) 2016년 1월 25일자로 제출된 미국 가출원 제62/286,661호; (2) 2016년 5월 4일자로 출원된 미국 가출원 제62/331,490호; (3) 2016년 11월 30일자로 제출된 미국 가출원 제62/428,260호에 대한 우선권을 주장한다. 각 우선권 출원의 개시는 본 명세서에 참조로 포함된다.

스킬(skilll) 개발 컨텐츠를 제작으로 작성하기 위한 비용적으로 효과적이고 고품질의 문화적으로 민감하고 효율적인 시스템들은 스킬 개발 시스템들에 대한 세계 시장을 피했었다. 스킬 개발 시스템들을 위한 컨텐츠를 생성하기 위한 기존 시스템들은 상당한 시간과 노력을 필요로 한다. 특정한 학습자와 관련된 컨텐츠를 만들기 위해 개발자들은 엄청난 양의 데이터를 수동으로 검토해야만 한다. 추가로, 이러한 시스템들과 연관된 기술적 제한들은 상기 시스템들을 전국 또는 전세계의 많은 수의 학습자들에게 유용하도록 확장할 수 없게 하며 실시간으로 컨텍스트적으로 관련있는 기술 개발 컨텐츠를 개발함을 허용하지 않는다.

예를 들어, 기업과 정부는 그들의 고용인들로부터 컨텍스트적으로 관련있는 언어 스킬들을 필요로하며 레저 여행자들은 세계를 여행하기 위해 이러한 스킬들을 필요로 한다. 현재, 언어 습득과 언어 숙련도는 교실 수업, 개인 교사, 독서, 작문 및 컨텐츠 몰입을 포함하는 그러나 이제 제한되지는 않는 다양하고 이질적인 방법들로 성취된다. 그러나 언어 학습을 위해 고안된 대부분의 컨텐츠 (예를 들어, 교과서)는 언어 학습자의 관심을 끌지 못하거나 언어 학습자에게 특정한 관심이 없으며 개인 교사들을 고용하는 것과 같은 다른 형식들은 많은 비용이 들 수 있다. 추가로, 현재 기술의 제한들은 컨텍스트적으로 관련있는 언어 학습 컨텐츠의 자동 개발을 실시간으로 필요로 하지 않는다. 예를 들어, 현재의 컨텐츠 개발 시스템들은 두 가지 가능한 의미들이 있는 단어의 옳은 의미를 정확하게 구분할 수 없다 (예를 들어, "베스(bass)"가 물고기 또는 악기를 지칭하는지 여부). 유사하게, 현재의 시스템들은 다수의 정의들이 사용 가능할 때 단어의 뜻을 표준 정의로 해결(resolve)할 수 없으며, 현재 시스템들이 자동으로 단어의 표제어결정(lemmatization)을 수행할 수 없다 (즉, 단어를 기본 형식으로 해결).

본 명세서는 상술한 문제점들 중 적어도 일부를 해결하기 위한 방법들 및 시스템들을 설명한다.

일 실시예에서, 레슨 생성 및 프리젠테이션 시스템은 디지털 프로그래밍 파일들을 사용자의 미디어 프리젠테이션 디바이스에 서비스하는 디지털 미디어 서버를 포함한다. 각 프로그래밍 파일들은 뉴스 보고서, 기사, 비디오 또는 다른 컨텐츠 아이템과 같은 디지털 미디어 자산에 대응한다. 시스템은 또한 명명된 엔티티들, 이벤트들, 주요 어휘 단어들, 문장들 또는 디지털 미디어 자산에 포함된 다른 아이템들과 관련된 레슨들을 생성하는 프로세서를 또한 포함한다. 시스템은 이벤트와 관련된 템플릿을 선택하고 그리고 명명된 엔티티와 관련 있고 선택적으로 사용자의 하나 이상의 속성들과 또한 관련 있는 컨텐츠로 템플릿을 자동으로 채움으로써 각각의 레슨을 생성한다. 시스템은 분석된 컨텐츠에서 명명된 엔티티를 추출하기 위해 명명된 엔티티 인식을 사용하고 컨텐츠로부터 이벤트를 또한 추출함으로써 템플릿을 컨텐츠로 채우기 위해 컨텐츠를 식별할 수 있다. 시스템은 디지털 미디어 자산의 사용자 소비와 일시적으로 관련이 있는 시간 프레임에서 사용자의 미디어 프리젠테이션 디바이스에 레슨을 서비스한다. 일부 실시예들에서, 시스템은 특정한 디지털 미디어 자산으로부터 명명된 엔티티 및 이벤트만을 추출하고, 컨텐츠가 하나 이상의 심사 기준을 만족하면 레슨 생성에서 그 자산의 컨텐츠를 사용할 수 있다.

다른 대안적인 실시예에서, 레슨 생성 및 프리젠테이션 시스템은 하나 이상의 디지털 미디어 서버들로부터 사용자의 미디어 프리젠테이션 디바이스에 서비스되는 디지털 프로그래밍 파일들을 분석하는 프로세서를 포함한다. 각 프로그래밍 파일들은 뉴스 보고서, 기사, 비디오 또는 다른 컨텐츠 아이템과 같은 디지털 미디어 자산에 대응한다. 시스템은 명명된 엔티티들, 이벤트들, 주요 어휘 단어들, 문장들 또는 디지털 미디어 자산에 포함된 다른 아이템들과 관련된 레슨들을 생성한다. 시스템은 이벤트와 관련된 템플릿을 선택하고 그리고 명명된 엔티티들, 이벤트들 및/또는 명명된 엔티티와 관련 있고 사용자의 하나 이상의 속성들과 또한 관련 있는 다른 컨텐츠로 템플릿을 자동으로 채움으로써 각각의 레슨을 생성한다. 시스템은 디지털 미디어 자산의 사용자 소비와 일시적으로 관련이 있는 시간 프레임에서 사용자의 미디어 프리젠테이션 디바이스에 레슨을 서비스한다. 일부 실시예들에서, 시스템은 특정한 디지털 미디어 자산으로부터 명명된 엔티티 및 이벤트만을 추출하고, 컨텐츠가 하나 이상의 심사 기준을 만족하면 레슨 생성에서 그 자산의 컨텐츠를 사용할 수 있다.

대안적인 실시예에서, 시스템은 스트리밍 비디오 및 연과된 오디오 또는 텍스트 채널을 분석하고 채널로부터 추출된 데이터에 기초하여 학습 연습 문제를 자동으로 생성한다. 시스템은 디스플레이 디바이스로 하여금 비디오 서버, 프로세싱 디바이스, 컨텐츠 분석 엔진 및 레슨 생성 엔진에 의해 서비스되는 비디오를 출력하게 하도록 구성된 비디오 프리젠테이션 엔진을 포함할 수 있다. 컨텐츠 분석 엔진은 프로세싱 디바이스로 하여금 채널에서 발화되거나 자막이 넣어진(captioned) 단어들에 대응하는 텍스트를 추출하게 하고 (i) 추출된 텍스트의 언어; (ii) 하나 이상의 토픽들; 및 (iii) 하나 이상의 명명된 엔티티들 또는 주요 어휘 단어들, 하나 이상의 품사들, 또는 둘 모두 (또는 위의 임의의 조합)을 포함하는 하나 이상의 문장 특성들을 식별한다. 레슨 생성 엔진은 프로세싱 디바이스로 하여금 언어와 연관된 학습 연습 문제를 자동으로 생성하게 하도록 구성된 프로그래밍 명령어들을 포함한다. 학습 활동은 식별된 토픽과 관련된 적어도 하나의 질문 및 문장 특성에 관한 정보를 포함하는 적어도 하나의 질문 또는 연관된 대답을 포함한다.　예를 들어, 질문 또는 연관된 엔티티는 식별된 명명된 엔티티, 주요 어휘 단어들 및/또는 하나 이상의 품사들 중 하나 이상을 포함할 수 있다. 시스템은 사용자 인터페이스로 하여금 학습 연습 문제를 한 번에 한 가지 질문 형식으로 사용자에게 출력하게 할 것이다. 이러한 방식으로, 시스템은 먼저 질문을 제시하고, 사용자는 질문에 대한 응답을 입력할 수 있으며, 사용자 인터페이스는 각 응답을 수신한 후 다음 질문을 출력한다.

상술한 바와 같이, 컨텐츠 분석 엔진은 비디오에서 발화된 단어들에 대응하는 텍스트를 추출할 수 있다. 이렇게 하기 위해, 시스템은 텍스트 출력을 산출(yield)하기 위해 음성-텍스트 변환 엔진을 사용하여 비디오의 오디오 컴포넌트를 프로세싱할 수 있으며 텍스트 출력의 언어, 명명된 엔터티 및/또는 하나 이상의 품사들을 식별하기 위하여 텍스트 출력을 구문 분석할 수 있다. 추가로 또는 대안적으로, 시스템은 비디오에 대한 인코딩된 폐쇄 자막들을 포함하는 비디오의 데이터 컴포넌트를 프로세싱하고, 텍스트 출력을 산출하기 위해 인코딩된 폐쇄 자막들을 디코딩할 수 있으며 텍스트 출력의 언어, 명명된 엔터티 및/또는 하나 이상의 품사들을 식별하기 위하여 텍스트 출력을 구문 분석할 수 있다.

선택적으로, 레슨 생성 엔진이 질문들 집합 내의 질문이 선다형 문제가 될 것임을 결정하면, 명명된 엔티티를 질문에 대한 정답으로 지정할 수 있다. 그 후 하나 이상의 호일(foil)들을 생성하여 각 호일은 상기 명명된 엔티티가 카테고리화 되어있는 엔티티 카테고리와 연관된 단어인 오답인 것으로 할 수 있다. 시스템은 상기 선다형 질문에 대한 후보 대답들을 생성하여 상기 후보 대답들이 명명된 엔티티 및 하나 이상의 호일들을 포함하도록 할 수 있다. 시스템은 그 후 상기 선다형 질문을 출력할 때 상기 사용자 인터페이스로 하여금 상기 후보 대답들을 출력하게 할 수 있다.

레슨 생성 엔진은 어휘 단어들에 대한 호일들을 또한 생성할 수 있다. 예를 들어, 레슨 생성 엔진은 올바른 정의 및 그룻된 정의들이고, 각 호일이 컨텐트로부터 추출되었던 주요 어휘 단어와 연관된 단어를 포함하는 오답인 하나 이상의 호일들을 생성할 수 있다.

선택적으로, 레슨 생성 엔진은 질문들의 집합 내의 질문이 참-거짓 질문일 것임을 결정할 수 있다. 그렇다면 레슨 생성 엔진은 참-거짓 질문에 명명된 엔티티를 포함할 수 있다.

선택적으로, 시스템은 레슨 관리 엔진을 또한 포함할 수 있는데, 레슨 관리 엔진은, 빈칸 채우기 질문인 임의의 질문에 대해, 시스템으로 하여금 상기 빈칸 채우기 질문에 대해 수신된 상기 응답이 옳은 응답과 정확히 일치하는지 여부를 결정하게 한다. 빈칸 채우기 질문에 대해 수신된 응답이 옳은 응답과 정확히 일치하는 경우 시스템은 옳음의 표시를 출력하고 다음 질문으로 진행할 수 있다. 상기 빈칸 채우기 질문에 대해 수신된 상기 응답이 옳은 응답과 정확히 일치하지 않는 경우, 그 후 시스템은 상기 수신된 응답이 상기 옳은 응답과 의미론적으로 관련된 일치인지 여부를 결정한다. 상기 수신된 응답이 상기 옳은 응답과 의미론적으로 관련된 일치인 경우, 시스템은 옳음의 표시를 출력하고 다음 질문으로 진행하고, 그렇지 않으면 옳지 않음의 표시를 출력할 수 있다.

선택적으로, 시스템은 사용자에 대한 언어 숙련도 스코어를 결정하기 위해 상기 사용자로부터의 응답들의 집합을 분석하도록 또한 프로그래밍될 수 있다. 그렇다면, 시스템은 상기 원격 비디오 서버에서 사용 가능하고 상기 언어 숙련도 스코어에 대응하는 언어 레벨을 갖는 추가적인 비디오를 식별할 수 있다. 시스템은 비디오 프리젠테이션 엔진으로 하여금 상기 디스플레이 디바이스가 상기 원격 비디오 서버에 의해 서비스되는 상기 추가적인 비디오를 출력하게 할 수 있다.

시스템은 사용자에 대한 언어 숙련도 스코어를 결정하고, 언어 숙련도 스코어에 대응하는 언어 레벨을 갖는 새로운 질문을 생성하며, 사용자 인터페이스로 하여금 새로운 질문을 출력하기 위해 언어 숙련도 스코어를 출력하게 하기 위해 사용자로부터의 응답들의 집합을 분석하도록 프로그래밍될 수 있다.

일부 실시예들에서, 명명된 엔티티를 추출할 때, 시스템은 텍스트, 오디오 및/또는 비디오로부터 다수의 추출 방법들을 수행할 수 있고 메타 결합기를 사용하여 추출된 명명된 엔티티를 출력할 수 있다.

일부 실시예들에서, 학습 연습 문제를 생성할 때,　시스템은 컨텐츠가 유해(objectionable) 컨텐츠에 대한 하나 이상의 심사 기준을 만족하는 경우에만 학습 활동을 생성하기 위해 채널로부터 컨텐츠를 사용 할 것이고, 그렇지 않으면 학습 연습 문제를 생산하기 위해 컨텐츠 자산을 사용하지 않을 것이다.

대안적인 실시예에서, 스트리밍 비디오를 분석하고 상기 스트리밍 비디오로부터 추출된 데이터에 기초하여 레슨을 자동으로 생성하는 시스템이 디스플레이 디바이스로 하여금 원격 비디오 서버, 프로세싱 디바이스, 컨텐츠 분석 엔진 및 레슨 생성 엔진에 의해 서비스되는 비디오를 출력하게 하도록 구성된 비디오 프리젠테이션 엔진을 포함한다. 컨텐츠 분석 엔진은 비디오 내의 발화된 단어들의 단일 문장을 식별하게 하도록 프로그래밍된다. 레슨 생성 엔진은 언어와 연관된 레슨에 대한 질문들의 집합을 자동으로 생성하도록 프로그래밍된다. 질문들의 집합은 식별된 단일 문장의 컨텐츠가 질문의 일부이거나 질문에 대한 대답인 하나 이상의 질문들을 포함한다. 시스템은 사용자 인터페이스가 질문들을 하나씩 출력하고, 사용자는 각 질문에 대한 응답을 입력하며 그리고 사용자 인터페이스가 각 응답을 수신한 후 다음 질문을 출력하는 형식으로 사용자 인터페이스로 하여금 사용자에게 질문들의 집합을 출력하게 할 것이다.

선택적으로, 비디오에서 발화된 단어들의 단일 문장을 식별하기 위해, 시스템은 길이 임계치와 적어도 동일한 길이를 갖는 오디오 트랙의 정지들을 식별할 수 있다. 각각의 정지는 데시벨 임계치 또는 그 이하인 데시벨 레벨을 갖는 오디오 트랙의 세그먼트 또는 어떤 단어들도 발화되고 있지 않은 오디오 트랙의 세그먼트에 대응할 수 있다. 시스템은 오디오 트랙에서 정지들 중 하나 및 바로 다음 정지를 선택하고 그리고, 컨텐츠와 연관된 텍스트를 식별하고 상기 식별된 텍스트를 단일 문장으로 선택하기 위해, 선택된 정지와 바로 다음 정지 사이에 존재하는 오디오 트랙의 컨텐츠를 프로세싱할 수 있다.

도 1은 디지털 미디어로부터의 컨텐츠에 기초하여 언어 학습 레슨들을 생성하는데 사용될 수 있는 시스템을 도시한다.
도 2는 레슨 프리젠테이션 시스템의 실시예의 다양한 요소들의 프로세스 흐름도이다.
도 3 및 도 4는 디지털 비디오들로부터 컨텐츠가 어떻게 제작될 수 있는지의 예시들을 도시한다.
도 5는 추가적인 프로세스 흐름 예시들을 도시한다.
도 6은 자동화된 레슨 생성 프로세스의 추가 세부 사항들을 도시한다.
도 7은 디지털 프로그래밍 파일로부터의 컨텐츠의 예시를 도시한다.
도 8 및 도 9는 어휘 프로세싱의 예시적인 요소들을 도시한다.
도 10은 어휘 프로세싱 프로세스의 내로우잉 다운(narrowing down)을 도시한다.
도 11은 카테고리에 대응하는 단어들을 선택하는 프로세스를 도시한다.
도 12는 다양한 실시예들에서 사용될 수 있는 하드웨어의 다양한 예시들을 도시한다.

본원에서 사용된 바와 같이, 단수 형태인 "단수(a)", "단수(an)"및 "상기(the)"는 컨텍스트에 달리 명시되어 있지 않는 한 복수 참조들을 포함한다. 다르게 정의되지 않는 한, 본원에서 사용된 모든 기법 및 과학 용어들은 통상의 기술자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 본원에서 사용된 바와 같이, "포함하는"이라는 용어는 "포함하지만 이에 제한되지 않는"을 의미한다.

본원에서 사용된 용어들 "디지털 미디어 서비스" 및 "비디오 전달(delivery) 서비스"는 전송 하드웨어 및 하나 이상의 비 일시적인 데이터 저장 미디어를 포함하여, 서비스의 하나 이상의 사용자들에게, 인터넷과 같은 통신 네트워크, 셀룰러 네트워크 또는 광대역 무선 네트워크와 같은 무선 데이터 네트워크, 디지털 텔레비전 방송 채널 또는 케이블 텔레비전 서비스를 통해, 디지털 컨텐츠를 전송하도록 구성된 시스템을 의미한다. 디지털 컨텐츠는 (웹 페이지들 또는 전자 문서들과 같은) 정적 컨텐츠, (원격 서버에 호스팅된 컨텐츠에 대한 하이퍼 링크가 있는 웹 페이지들 또는 문서 템플릿들과 같은) 동적 컨텐츠, 디지털 오디오 파일들 또는 디지털 비디오 파일들을 포함할 수 있다. 예를 들어, 디지털 미디어 서비스는 비디오 및/또는 오디오 형식 및/또는 텍스트 형식의 현재 이벤트들에 관한 라이브 및/또는 최근에 기록된 컨텐츠를 선택적으로 이미지들 및/또는 폐쇄 자막들과 함께 전달하는 뉴스 및/또는 스포츠 프로그래밍 서비스일 수 있다. 디지털 비디오 파일들은 오디오 채널과 같은 비디오와 연관된 하나 이상의 트랙들을 포함할 수 있으며 선택적으로 폐쇄 자막과 같은 하나 이상의 텍스트 채널들을 포함할 수 있다.

본원에서 사용된 바와 같이, "디지털 프로그래밍 파일" 및 "디지털 미디어 자산"이라는 용어들은 하나 이상의 오디오의 유닛들을 포함하는 디지털 파일 및/또는 시청자 멤버가 컨텐츠 프리젠테이션 디바이스 상에서 디지털 미디어 서비스로부터 수신하고 소비(듣고 및/또는 보는)할 수 있는 시각적 컨텐츠를 각각 지칭한다. 디지털 파일은 다운로드 가능한 파일로 또는 스트리밍 형식으로 전송될 수 있다. 따라서, 디지털 미디어 자산은 스트리밍 미디어 및 웹 브라우저와 같은 하나 이상의 클라이언트 디바이스 애플리케이션들을 통해 시청되는 미디어를 포함할 수 있다. 디지털 미디어 자산들의 예시들은 비디오, 팟캐스트(podcast), 인터넷 웹 페이지에 삽입될 뉴스 보고서 등을 포함한다.

본원에서 사용된 바와 같이, "디지털 비디오 파일"이라는 용어는 시청자 멤버가 디지털 비디오 서비스로부터 수신하고 컨텐츠 프리젠테이션 디바이스 상에서 시청할 수 있는 오디오 및/또는 폐쇄 자막 채널들과 함께, 하나 이상의 비디오들를 포함하는 디지털 프로그래밍 파일 유형을 지칭한다.　디지털 비디오 파일은 다운로드 가능한 파일 또는 스트리밍 형식으로 전송될 수 있다. 예시들은 비디오, 팟캐스트, 인터넷 웹 페이지에 삽입될 뉴스 보고서 등을 포함한다. 디지털 비디오 파일들은 전형적으로 시각적 (비디오) 트랙들과 오디오 트랙들을 포함한다. 디지털 비디오 파일들은 폐쇄 자막 트랙과 같은 인코딩된 데이터 컴포넌트를 또한 포함할 수 있다. 일부 실시예들에서, 인코딩된 데이터 컴포넌트는 디지털 비디오 파일에 동반되는 사이드카 파일에 있을 수 있으므로, 비디오 재생 중에, 사이드카 파일 및 디지털 비디오 파일이 다중화되어(multiplexed), 폐쇄 자막이 비디오와 동기화하여 디스플레이 디바이스 상에 나타난다.

본원에서 사용된 바와 같이, "레슨"은 디지털 프로그래밍 파일 또는 데이터베이스 또는 다른 전자 형식으로 저장된, 스킬 개발에 사용하기 위한 컨텐츠를 포함하는 디지털 미디어 자산이다.　예를 들어, 레슨은 사용자의 모국어가 아닌 언어로 사용자를 교육 또는 트레이닝하는 언어 학습 컨텐츠를 포함할 수 있다.

"미디어 프리젠테이션 디바이스"는 프로세서, 컴퓨터 판독가능 메모리 디바이스 및 디지털 미디어 서비스로부터의 오디오, 비디오, 인코딩된 데이터 및/또는 텍스트 컴포넌트들을 제시하기 위한 출력 인터페이스를 포함하는 전자 디바이스를 지칭한다.　출력 인터페이스의 예시들은 디지털 디스플레이 디바이스들 및 오디오 스피커들을 포함한다. 디바이스의 메모리는 소프트웨어 애플리케이션의 형태로 프로그래밍 명령어들을 포함할 수 있으며, 프로그래밍 명령어들은, 프로세서에 의해 실행시, 디바이스 하여금 프로그래밍 명령어들에 따라 하나 이상의 동작들을 수행하게 한다. 미디어 프리젠테이션 디바이스의 예시들은 개인용 컴퓨터, 랩탑, 태블릿, 스마트폰, 미디어 플레이어, 음성 활성화식 디지털 홈 도움장치 및 다른 사물 인터넷 디바이스, 웨어러블 가상 현실 헤드셋 등을 포함한다.

본원은 언어 학습과 같은 컨텐츠 기반 학습에 사용할 자료를 개발하기 위한 혁신적인 시스템 및 기술적 프로세스들을 설명한다. 컨텐츠 기반 학습은 학습자가 소비하는 컨텐츠를 중심으로 구성된다. 학습 유도를 위해, 컨텐츠 예를 들어, 방송을 위해 의도된 뉴스를 재목적화함으로써, 시스템은 습득의 효율성을 개선하고 시스템이 타겟팅하는 스킬의 수행에 대한 숙련도를 개선할 수 있다.

도 1은 하나 이상의 디지털 프로그래밍 파일들로부터 컨텐츠와 컨텍스트적으로 관련 있는 레슨들을 생성하는데 사용될 수 있는 시스템을 도시한다. 시스템은 중앙 프로세싱 디바이스(101)를 포함할 수 있으며, 중앙 프로세싱 디바이스(101)는 본 설명의 기능들을 수행하기 위해 프로세싱 디바이스(들)가 실행하는 하나 이상의 소프트웨어 프로그래밍 모듈들 또는 하나 이상의 프로세싱 디바이스들의 세트이다. 스마트 텔레비전들(111) 또는 컴퓨팅 디바이스들(112)과 같은 다수의 미디어 프리젠테이션 디바이스들은 하나 이상의 통신 네트워크(120)를 통해 프로세싱 디바이스(101)와 직접 또는 간접적으로 통신한다. 미디어 프리젠테이션 디바이스들은 다운로드 또는 스트리밍 형식의 디지털 프로그래밍 파일들을 수신하고 이러한 디지털 파일들과 연관된 컨텐츠를 서비스의 사용자들에게 제시한다. 선택적으로, 비디오를 보거나 오디오 컨텐츠를 듣기 위해, 각각의 미디어 프리젠테이션 디바이스는 미디어 프리젠테이션 디바이스의 디스플레이 디바이스로 하여금 원격 비디오 서버에 의해 서비스되는 비디오를 출력하게 하도록 구성된 비디오 프리젠테이션 엔진을 포함할 수 있으며 및/또는 미디어 프리젠테이션 디바이스의 스피커로 하여금 원격 오디오 파일 서버에 의해 서비스되는 오디오 스트림을 출력하게 하도록 구성된 오디오 컨텐츠 프리젠테이션 엔진을 포함할 수 있다.

임의의 수의 미디어 전달 서비스들은 프로세서들, 통신 하드웨어 및 서버들이 네트워크(120)를 통해 미디어 프리젠테이션 디바이스들로 송신하는 디지털 프로그래밍 파일들의 라이브러리를 포함하는 하나 이상의 디지털 미디어 서버들(130)을 포함할 수 있다. 디지털 프로그래밍 파일들은 하나 이상의 데이터 저장 시설들(135)에 저장 될 수 있다. 디지털 미디어 서버(130)는 디지털 프로그래밍 파일들을 스트리밍 포맷으로 전송할 수 있어, 미디어 프리젠테이션 디바이스들이 파일들이 서버(130)에 의해 스트리밍됨에 따라 디지털 프로그래밍 파일들로부터 컨텐츠를 제시한다. 대안적으로, 디지털 미디어 서버(130)는 디지털 프로그래밍 파일들을 미디어 프리젠테이션 디바이스로 다운로드되도록 사용 가능하게 할 수 있다.

시스템은 프로세서로 하여금 컨텐츠 분석 엔진으로써 서비스하도록 구성되는 컨텐츠 분석 프로그래밍 명령어들(140)을 포함하는 데이터 저장 시설을 또한 포함할 수 있다. 컨텐츠 분석 엔진은 디지털 비디오 또는 오디오 파일의 비디오 또는 오디오에서 발화된 단어들 또는 웹 페이지와 같은 디지털 문서에 나타나는 단어들에 대응하는 텍스트를 추출할 것이다.　일부 실시예들에서, 컨텐츠 분석 엔진은 추출된 텍스트의 언어, 추출된 텍스트의 명명된 엔티티 및 추출된 텍스트 내의 하나 이상의 품사들을 식별할 것이다.

일부 실시예들에서, 컨텐츠 분석 엔진은 추출된 텍스트로부터 하나 이상의 개별 문장들 (각각의 단일 문장)을 식별하고 추출할 것이며 그리고 구문들, 절들 및 다른 하위 문장 유닛들뿐만 아니라 대화 턴들, 단락들 등과 같은 초월(super) 문장 유닛들을 추출할 수 있다. 이렇게 하기 위해, 파일이 디지털 문서 파일인 경우, 시스템은 텍스트의 연속된 문자열들을 구문분석하고 (문장이나 단락의 시작을 알릴 수 있는 마침표 뒤에 오는 대문자 단어와 같은) 시작 표시기 및 (캐리지 리턴(carriage return)이 뒤에 오는 경우 단락의 끝을 알릴 수 있는, 문장을 끝내기 위한 마침표, 느낌표 또는 물음표와 같은 종료 구두점과 같은) 종료 표시기를 찾는다. 디지털 오디오 파일 또는 디지털 비디오 파일에서, 시스템은 적어도 길이 임계치와 같은 길이를 갖는 오디오 트랙에서 정지들을 식별하기 위해 비디오 파일의 오디오 트랙을 분석할 수 있다. 일 실시예에서 "정지"는 지정된 임계 데시벨 레벨 또는 그 이하의 데시벨 레벨을 갖는 오디오 트랙의 세그먼트일 것이다. 시스템은 오디오 트랙에서 정지들 중 하나와 바로 다음 정지를 선택한다. 다른 실시예들에서, 세분화(segmentation)는 비 음성 영역들 (예를 들어, 음악 또는 배경 잡음) 또는 다른 그러한 수단들을 통해 발생할 수 있다. 시스템은 컨텐트와 연관된 텍스트를 식별하기 위해 선택된 정지와 바로 다음 정지 사이에 존재하는 오디오 트랙의 컨텐츠를 프로세싱할 것이며 식별된 텍스트를 단일 문장으로 선택할 것이다. 대안적으로, 컨텐츠 분석 엔진은 인코딩된 데이터 컴포넌트로부터 개별적인 문장들을 추출할 수 있다. 그렇다면 컨텐츠 분석 엔진은 텍스트를 구문 분석하고 위에서 상술한 바와 같은 문장 서식 규칙들(sentence formatting convention)에 기초하여 개별 문장들을 식별할 수 있다. 예를 들어, 두 마침표들 사이에 있는 단어들의 그룹은 문장으로 고려될 수 있다.

시스템은 프로세서로 하여금 레슨 생성 엔진으로써 서비스하게 하도록 구성된 레슨 생성 프로그래밍 명령어들(145)을 포함하는 데이터 저장 시설을 또한 포함할 수 있다. 레슨 생성 엔진은 언어와 연관된 수업에 대한 질문들의 집합을 자동으로 생성할 것이다.

다양한 실시예들에서 레슨은 프롬프트들의 집합을 포함할 수 있다. 프롬프트들 중 적어도 하나에 대해, 컨텐츠로부터 추출되었던 명명된 엔터티는 프롬프트의 일부 또는 프롬프트에 대한 응답이 될 것이다. 마찬가지로, 추출된 품사들에 대응하는 하나 이상의 단어들은 프롬프트에 포함되거나 프롬프트에 대한 응답으로 포함될 수 있다. 다른 실시예들에서, 프롬프트들의 집합은 단일 문장의 컨텐츠가 프롬프트의 일부이거나 프롬프트에 대한 예상 대답인 프롬프트를 포함한다.

일부 실시예들에서, 텍스트 추출을 수행하기 전에, 컨텐츠 분석 엔진은 디지털 프로그래밍 파일이 유해 컨텐츠에 대한 하나 이상의 심사 기준을 만족시키는지 여부를 먼저 결정할 수 있다. 시스템은 텍스트를 추출하기 전에 디지털 프로그래밍 파일이 심사 기준을 만족하도록 요청할 수 있으며 및/또는 레슨 생성시 상기 디지털 프로그래밍 파일을 사용할 수 있다.　디지털 프로그래밍 파일이 심사 기준을 만족시키는지의 여부를 결정하기 위한 예시적인 절차들은 도 2의 논의에서 아래에 기술될 것이다.

선택적으로, 시스템은 레슨이 사용자에게 제시되기 전에 레슨의 임의의 컴포넌트를 보고 편집하기 위한 사용자 인터페이스를 포함하는 관리자 컴퓨팅 디바이스(150)를 포함할 수 있다. 궁극적으로, 시스템은 (컴퓨팅 디바이스(112)의 사용자 인터페이스와 같은) 사용자의 미디어 프리젠테이션 디바이스의 사용자 인터페이스로 하여금 사용자에게 레슨을 출력하게 할 것이다.　하나의 가능한 형식은 사용자 인터페이스가 프롬프트들을 한 번에 하나씩 출력하고, 사용자가 각 프롬프트에 대한 응답을 입력하며 사용자 인터페이스는 각 응답을 수신한 후 다음 프롬프트를 출력하는 형식이다.

도 2는 시청자 멤버가 보고 있거나 최근에 보았던 디지털 미디어 자산과 관련된 학습 레슨을 자동으로 생성하여 제시하는 학습 시스템의 실시예의 다양한 요소들의 프로세스 흐름도이다.　이 예시에서 레슨은 언어 학습 레슨이다.　실시예에서, 디지털 미디어 서버가 시청자 멤버의 미디어 프리젠테이션 디바이스에 디지털 프로그래밍 파일 ("디지털 미디어 자산"이라고도 지칭함)을 서비스(201)하는 경우 (또는 디지털 미디어 서버가 서비스하기 전에), 시스템은 디지털 프로그래밍 파일의 컨텐츠를 분석(202)하여 레슨에서 사용하기에 적절한 정보를 식별할 것이다. 정보는 예를 들어, 하나 이상의 토픽들, 명명된 엔티티 인식 (아래에 더 자세히 기술됨)에 의해 식별되는 하나 이상의 명명된 엔티티들 및/또는 분석된 컨텐츠로부터의 이벤트를 포함할 수 있다. 분석은 디지털 미디어 서버의 시스템 또는 디지털 미디어 서버와 연관된 시스템에 의해 수행될 수 있거나, (미디어 프리젠테이션 디바이스 상의 서비스 또는 미디어 프리젠테이션 디바이스와 통신하는 제3 자 서비스와 같은) 디지털 미디어 서버와 연관되거나 연관되지 않을 수 있는 독립적 서비스에 의해 수행될 수 있다.

시스템은 임의의 적절한 컨텐츠 분석 방법을 사용하여 컨텐츠로부터 이 정보를 추출(203)할 수 있다. 예를 들어, 시스템은 텍스트 출력을 산출하기 위해 음성-텍스트 변환 엔진으로 비디오의 오디오 트랙을 프로세싱할 수 있고, 그 후 텍스트 출력의 언어, 토픽, 명명된 엔티티 및/또는 하나 이상의 품사들을 식별하기 위해 텍스트 출력을 구문 분석한다. 대안적으로, 시스템은 텍스트 출력의 언어, 토픽, 명명된 엔티티 및/또는 하나의 품사를 식별하기 위해 인코딩된 데이터 컴포넌트를 디코딩하고, 폐쇄 자막들을 추출하고, 폐쇄 자막들을 구문 분석함으로써 폐쇄 자막들을 포함하는 인코딩된 데이터 컴포넌트를 프로세싱할 수 있다. 이러한 작업들을 돕는데 적절한 엔진들은 Stanford Parser, Stanford CoreNLP Natural Language Processing ToolKit (명명된 엔티티 인식 또는 "NER"를 수행할 수 있음), 사전 API 인 Stanford Log-Linear Part-of-Speech Tagger　 (예를 들어 Pearson에서 사용 가능)을 포함한다. 대안적으로, NER는 LSTM (Long Term Memory) 구성에서 유한 상태 변환기들, 조건부 랜덤 필드들 또는 심층 신경 네트워크들과 같이 필드에서 알려진 다양한 방법들을 통해 직접 프로그래밍될 수 있다. NER 추출에 대한 하나의 신기한(novel) 기여는 텍스트에 대응하는 오디오 또는 비디오가 NER에 대한 음성 억양들, 인간 얼굴들, 맵들 등과 같은, 후보 텍스트와 시간 정렬된 추가적인 피처들을 제공할 수 있다는 것이다. 이러한 시간 정렬된 피처들은 숨겨진 마르코프 모델들, 조건부 랜덤 필드들, 심층 신경 네트워크들 또는 다른 방법들로 구현된 공간 및 시간 정보에 기초하여 두 번째 인식기에서 사용된다. (텍스트, 비디오 및 오디오에서) 하위 인식기들의 강도에 기초하여 투표하는 메타 결합기는 최종 NER 출력 인식을 생산할 수 있다. 추가 세부 사항을 제공하기 위해 조건부 랜덤 필드는 다음 형식을 취한다:

는 벡터 x로 입력 피처들이 주어진 특정한 NER y가있을 확률을 산출한다. 그리고 메타 결합기는 다음과 같이 개별 추출기들로부터 가중된 투표를 한다:

, w는 각 추출기의 가중치(신뢰도)이다.

선택적으로, 시스템은 시스템이 디지털 미디어 자산을 제시 했었던 시청자 멤버에 대한 프로필에 또한 액세스할 수 있고 시청자 멤버의 하나 이상의 속성들을 또한 식별(205)할 수 있다. 이러한 속성들은 예를 들어, 지리적 위치, 모국어, 선호 카테고리들 (관심 있는 토픽들), 사용자가 가입하는 서비스들, 소셜 연결들 및 다른 속성들을 포함할 수 있다. 레슨 템플릿을 선택(206)할 때, 이벤트를 위해 다수의 템플릿들이 사용 가능한 경우, 시스템은 관심 있는 토픽과 같은 시청자 멤버의 속성들에 대응하는 컨텐츠를 갖는 템플릿들 중 하나를 선택할 수 있다. 대응의 측정은 시청자 멤버의 속성들 대부분과 일치하는 메타 데이터를 갖는 템플릿의 선택과 같은, 임의의 적절한 알고리즘을 사용하여 수행될 수 있다.　선택적으로, 일정 속성들은 더 큰 가중치들을 할당 받을 수 있으며, 시스템은 가중된 대응의 측정치를 계산할 수 있다.

언어 학습 템플릿(206)을 선택한 후, 시스템은 자동으로 질문들 또는 다른 연습 문제들을 생성함으로써 레슨을 자동으로 생성(207)하고, 연습 문제는 토픽과 관련이 있으며 및/또는 명명된 엔티티 또는 품사는 질문, 대답 또는 연습 문제의 다른 컴포넌트의 일부이다. 시스템은 (1) 질문들 및 연관된 대답들, (2) 빠진 단어 연습 문제들, (3) 문장 스크램블 연습 문제들 및 (4) 객관식 선다형 질문들과 같은 후보 연습 문제들을 포함하는 데이터 저장 시설에서 연습용 템플릿을 획득할 수 있다.　각 연습 문제의 컨텐츠는 명명된 엔티티들, 품사 또는 토픽과 관련된 단어들이 추가될 수 있는 빈칸들을 포함할 수 있다. 선택적으로, 다수의 후보 질문들 및/또는 대답들이 사용 가능한 경우, 시스템은 디지털 레슨이 제시될 (관심 있는 토픽과 같은) 사용자에 대한 프로필의 속성에 대응하는 하나 이상의 속성들을 갖는 질문/대답 그룹을 또한 선택할 수 있다.

선택적으로, 일부 실시예들에서, 사용자에게 레슨을 서비스하기 전에, 시스템은 관리자가 레슨 (또는 레슨 일부)를 보고 편집할 수 있게 하는 사용자 인터페이스 상의 관리자 컴퓨팅 디바이스에 레슨 (또는 레슨 내에 설정된 임의의 질문/대답)을 제시할 수 있다.

시스템은 그 후 디지털 미디어 서버로 하여금 시청자 멤버의 미디어 프리젠테이션 디바이스에 레슨을 서비스(209)하게 할 것이다. 레슨을 서비스하는 디지털 미디어 서버는 디지털 비디오 자산을 서비스했던 디지털 미디어 서버이거나 또는 다른 서버일 수 있다.

상술한 바와 같이, 디지털 프로그래밍 파일의 컨텐츠를 분석할 때, 시스템은 디지털 프로그래밍 파일이 유해 컨텐츠에 대한 하나 이상의 심사 기준을 만족시키는지 여부를 결정할 수 있다. 시스템은 텍스트를 추출하기 전에 디지털 프로그래밍 파일이 심사 기준을 만족하도록 요청할 수 있으며 및/또는 레슨 생성시 상기 디지털 프로그래밍 파일을 사용할 수 있다.　디지털 프로그래밍 파일이 심사 기준을 만족시키지 못하면 - 예를 들어, 하나 이상의 심사 파라미터들의 분석에 기초하여 생성된 심사 스코어가 임계치를 초과하는 경우 - 시스템은 그 디지털 프로그래밍 파일을 스킵하고 레슨 생성시 그 컨텐츠를 사용하지 않을 수 있다.　그러한 심사 파라미터들의 예시들은 다음과 같은 파라미터들을 포함할 수 있다:

- 디지털 프로그래밍 파일이 알려진 뉴스 보고 서비스 또는 알려진 저널리스트와 같이 (소스들의 라이브러리에 저장된) 알려진 합법적 소스인 소스로부터 유래할 것을 요청하는 파라미터;

- 디지털 프로그래밍 파일이 알려진 "가짜 뉴스" 게시자와 같은, (소스들의 라이브러리에 저장된) 블랙리스트 또는 그렇지 않으면 용의자로 지정된 소스로부터 유래하지 않을 것을 요청하는 파라미터;

- 디지털 프로그래밍 파일이 적어도 임계 나이인 소스로부터 유래할 것을 요청하는 파라미터;

- 디지털 프로그래밍 파일이 하나 이상의 필터링 규칙들에 따라 외설적이거나 모독적이거나 유해한 것으로 고려되는 임의의 컨텐츠를 포함하지 않을 것(예를 들어, 시스템 태그들 내의 라이브러리에 모독적인 하나 이상의 단어들을 포함하는 컨텐츠를 필터링하는 것과 같은)을 요청하는 파라미터;

- 하나 이상의 등록된 사용자들 또는 관리자들에 의해 디지털 프로그래밍 파일의 컨텐츠가 검증될 것을 요청하는 파라미터.

시스템은 임의의 적절한 알고리즘 또는 트레이닝된 모델을 사용하여 전체 심사 스코어를 개발할 수 있다. 간단한 예시로서, 시스템은 디지털 프로그래밍 파일이 만족하지 못하는 위에 열거된 파라미터들 (및/또는 다른 파라미터들) 각각에 대한 포인트 스코어를 할당하고, 포인트 스코어를 합산하여 전체 심사 스코어를 산출하고, 　 전체 심사 스코어가 임계 수보다 적은 경우 디지털 프로그래밍 파일만을 레슨 생성을 위해 사용할 수 있다.　Laks 등이 출원한 미국 특허 출원 공개 공보 제 2016/0350675호 및 Galuten이 출원 한 미국 특허 출원 공보 제 2016/0328453호에 개시된 기계 학습 방법들과 같은 다른 방법들이 사용될 수 있으며, 이들의 개시들은 참조로 본원에 완전히 통합된다.

도 3은 디지털 비디오(301)가 미디어 프리젠테이션 디바이스의 디스플레이 디바이스를 통해 사용자에게 제시되는 예시를 도시한다. 시스템은 그 후 언어 학습 및/또는 다른 레슨들(302)을 생성하고 그들을 디스플레이를 통해 사용자에게 제시한다. 도 3의 예시에서, 디지털 비디오(301)는 뉴스 웹 사이트의 비지니스 섹션으로부터의 비디오이다. 시스템은 음성-텍스트 분석을 사용하여 비디오에서 발화된 텍스트를 분석하고, 동반된 폐쇄 자막 트랙을 프로세싱하거나 또는 토픽(기술)을 추출하고, 텍스트로부터 하나 이상의 명명된 엔티티들(예를 들어, Facebook 또는 Alphabet)를 추출하며 그리고 하나 이상의 품사들 (예를 들어, 명사인 급여)를 추출하기 위해 다른 분석 방법들을 사용할 수 있다. 시스템은 그 후 명명된 엔티티 또는 품사를 하나 이상의 질문/대답 집합들 또는 다른 연습 문제들에 통합할 수 있다.　레슨(302)에서 질문/대답 쌍을 사용할 수 있다. 선택적으로, 시스템은 사용자 속성들 및/또는 스토리의 토픽에 기초하여 시스템이 사용자와 관련될 것으로 결정한 컨텐츠를 또한 포함하는 레슨 학습 연습 문제들을 생성할 수 있다. 이 예시에서 시스템은 품사(급여, 명사)가 프롬프트에서 빈칸으로 변환되는 선다형 질문을 생성한다.

다른 예시로써, 명명된 엔티티는 선다형 질문에 대한 대답으로 사용될 수 있다.　도 4는 선다형 질문을 포함하는 레슨(402)을 생성하기 위해 비디오(401)가 구문 분석되었던 예시를 도시한다. 명명된 엔티티 (사우디 아라비아)가 프롬프트 (즉, 질문)에서 빈칸으로 대체되었었다.　명명된 엔티티는 질문에 대한 정답들 중 하나이다. 다른 후보 대답들은 호일들로 선택되며, 상기 호일들은 명명된 엔티티가 카테고리화되는 엔티티 카테고리와 연관된 다른 단어들 (이 예시에서는 다른 명명된 엔티티)이다　(이 예시에서 카테고리는 "nation"이다).

레슨 생성 엔진은 어휘 단어들에 대한 호일들을 또한 생성할 수 있다. 예를 들어,　레슨 생성 엔진은 옳은 정의와 거짓 정의들인 하나 이상의 파일들을 생성할 수 있으며, 각 호일은 컨텍스트로부터 추출되었던 주요 어휘 단어와 연관된 단어를 포함하는 오답이다. 호일들을 생성하기 위해, 시스템은 복수 명사, 형용사(최상급), 동사(시제) 또는 다른 기준과 같은 정의 내의 단어의 품사에 기초하여 컨텐츠 소스로부터 하나 이상의 단어들을 선택하고, 그 단어들을 호일 정의에 포함할 수 있다.

도 2로 돌아가면, 시청자 멤버에게 레슨을 제시할 때 또는 그 전에, 선택적으로, 시스템은 먼저 레슨이 디지털 프로그래밍 파일과 여전히 관련이 있는지 여부를 결정하기 위한 타임아웃 기준(208)을 적용할 수 있다. 타임아웃 기준은 시청자 멤버의 미디어 프리젠테이션 디바이스가 시청자 멤버에게 레슨을 출력한 이후의 임계 시간 간격, 시청자 멤버가 디지털 프로그래밍 파일을 보고 및/또는 들은 이후의 임계 시간 간격, 디지털 프로그래밍 파일의 컨텐츠가 관련된 뉴스 이벤트 발생 이후의 시간 길이에 대응하는 임계 시간 간격 또는 다른 임계 기준일 수 있다. 임계치가 초과되었던 경우, 시스템은 그 후 새로운 디지털 프로그래밍 파일을 분석(211)하고 상술한 것과 같은 프로세스들을 사용하여 새로운 디지털 프로그래밍 파일의 컨텐츠와 관련된 새로운 레슨 컴포넌트를 생성할 수 있다. 시스템은 사용자의 응답을 분석하고 이전에 제시되었던 임의의 레슨 컴포넌트들에 대한 사용자의 응답들에 기초하여 새로운 레슨 컴포넌트를 또한 생성할 수 있다.　예를 들어,

시스템은 사용자에 대한 언어 (또는 다른 스킬) 숙련도 스코어를 결정하기 위해 사용자로부터의 응답들의 집합을 분석할 수 있고, 숙련도 스코어에 대응하는 기술 레벨을 갖는 새로운 질문을 생성하여 사용자에게 제시할 수 있다.

그러므로, 본원에 기술된 시스템들 및 방법들은 컨텐츠를 사용자들의 글로벌 커뮤니티와 통합하는 글로벌 플랫폼 상에서 언어 및/또는 다른 스킬들을 학습하고 실습하기 위한 목적으로 짧고, 교육적으로 체계화된, 시사적이고, 유용하며, 관련 있는 레슨들로 컨텐츠를 레버리징(leverage) 및 재목적화할 수 있다. 일부 실시예들에서, 시스템은 텍스트 채팅, 오디오 채팅 및 비디오 채팅을 포함하지만 이에 제한되지 않는 사용자들 간의 통신 능력을 포함할 수 있다. 일부 경우들에서, 레슨들은 듣고 받아쓰기, 어휘 공부를 위한 키워드들의 선택, 주요 문법적 구성들 (또는 매우 빈번한 연어들(collocations))을 통한 교육의 기능성을 포함할 수 있다.

도 5는 추가적인 프로세스 흐름을 도시한다. (현재 뉴스 이벤트들, 비즈니스, 스포츠, 여행, 엔터테인먼트 또는 다른 소비 가능한 정보에 관한 정보를 제공하는 텍스트 및/또는 오디오를 포함하는) 비디오의 컨텐츠(501) 또는 다른 디지털 프로그래밍 파일은 단어들, 문장들, 단락들 등을 포함할 것이다. 추출된 텍스트는 NER, 이벤트들의 인식 및 키워드 추출을 포함할 수 있는 자연 언어 프로세싱 분석 방법론(502)에 통합될 수 있다. NER은 사람, 장소 또는 사물을 식별하기 위해 사용되는, 미리 정의된 카테고리들(각각 "엔티티")로 텍스트의 요소들을 위치시키고 분류함으로써 작동하는 정보 추출 방법이다. 엔티티들의 예시들은 사람들, 조직들, 위치들, 시간 표현들, 수량, 화폐 가치, 백분율 등이 있다. 이벤트들은 활동들 또는 스포츠 이벤트들 (예를 들어, 농구 또는 축구 경기들, 자동차 또는 말 경주들 등), 뉴스 이벤트들 (선거, 기상 현상, 기업 보도 자료 등) 또는 문화 행사 (예를 들어, 콘서트, 연극 등)과 같은 발생했거나 발생하게될 것들이다. 키워드의 추출은 시스템이 문서 분류 및/또는 카테고리화 및 단어 빈도수 차이와 같은 현재 또는 이후에 알려진 식별 프로세스에 의해 "핵심"으로 식별하는 키워드들(단일 단어들 또는 단어들의 그룹들 - 즉 구문들)의 식별이다. 키워드 추출 프로세스는 다른 단어들보다 자주 나타나는 단일 단어들뿐만 아니라 시스템이 함께 그룹화하고 단일 키워드의 식별에 포함되도록 고려하는 의미론적으로 관련 있는 단어들에서도 볼 수 있다.

(정보(503)에서 추출된) 결과 출력은, 자동 질문 생성기(504), (추출된 정보 및/또는 의미론적으로 관련된 정보로 채워질 빈칸들과 함께 질문들 및 대답들의 루브릭(rubric)과 같은) 레슨 템플릿(505) 및 하나 이상의 저작 도구들(506)과 같은, 컴포넌트들을 포함할 수 있는 레슨 생성기의 많은 컴포넌트들로 통합될 수 있다. 선택적으로, 레슨을 생성하기 위한 임의의 자료를 사용하기 전에, 컨텐츠 분석 엔진이 자료가 유해 컨텐츠에 대한 하나 이상의 심사 기준을 충족함을 가장 먼저 보장했었음을 레슨 생성기는 상술한 것과 같은 심사 프로세스들을 사용하여 보장할 수 있다.

자동 질문 생성기(504)는 디지털 미디어 자산의 컨텐츠에 기초하여 레슨들에서 사용하기 위한 프롬프트들을 제작한다 (이 컨텍스트에서 질문은 실제 질문일 수 있으며, 빈칸 채우기나 참/거짓 문장과 같은 프롬프트일 수 있다).　예를 들어, 시스템은 디지털 프로그래밍 파일의 컨텐츠로부터 엔티티들 및 이벤트들을 추출한 후:　(1) 이벤트들이 컨텐츠의 중앙에 위치하는 방식으로 이벤트들을 랭킹 (예를 들어, 두 번 이상 언급되거나 또는 리드 단락에 있는 이벤트들이 더 중앙에 위치하여 더 높게 랭킹되는 것); (2) 종속성 구문 분석 또는 유사한 프로세스를 통해 표준 템플릿에 이벤트들을 캐스팅하여: 예를 들면, (a) 엔티티 A는 위치 D에서 엔티티 C에 대한 액션 B를 하였거나, 또는 (b) 엔티티 A는 결과 E를 결과로 하는 액션 B를 하였다는 것을 생산한다. 시스템은 그 후 (3) 표준 템플릿에 기초하로 빈칸 채우기, 선다형 선택 또는 다른 질문을 자동으로 제작할 수 있다. 예를 들어, 디지털 미디어 자산 컨텐츠가 텍스트가 있는 관련된 뉴스 스토리였다면: "러시아는 아사드의 공격을 지원하기 위해 시리아의 투르크맨(Turkmen) 개최 지역 근처의 알 하다드(Al Haddad) 마을까지 폭격 작전을 연장하였었다”, 그 후 선다형 또느 빈칸 채우기는: “러시아가 시리아의 _____을 폭격하였었다” 는 질문을 자동으로 생성하였었다. 질문에 대한 가능한 대답들은: (a) 아사드; (b) 알 하다드; (c) 투르크멘; 및/또는 (d) ISIS를 포함하며, 대답들 중 하나는 옳은 명명된 엔티티이고 다른 대답들은 호일들이다.　적어도 일부 실시예들에서, 이 방법은 표준 이벤트 템플릿에 자동으로 매핑될 수 없는 텍스트 부분들에 대한 질문들을 생성하지 않을 것이다.

레슨 템플릿(505)은 디폴트 컨텐츠, 구조 규칙들 및 언어 학습을 위해 교육적으로 구조화되고 형식화된 하나 이상의 가변 데이터 필드들을 포함하는 디지털 파일이다.　템플릿은 명명된 엔티티들, 품사들 또는 비디오로부터 추출된 문장 단편들로 채워질 수 있는 가변 데이터 필드들과 함께 어휘, 문법, 구문들, 문화적 유의사항들 및 다른 레슨의 컴포넌트들과 같은 일정 정적 컨텐츠를 포함할 수 있다.

저작 도구(506)는 레슨들을 위한 품질 제어 요청들에 기초하여 출력을 정제하기 위한 사후 편집 능력을 제공한다. 저작 도구(506)는 관리자가 임의의 레슨 컨텐츠를 수정, 삭제, 추가 또는 대체할 수 있도록 하는 입력 능력들과 함께, 컴퓨팅 디바이스의 사용자 인터페이스 (예를 들어, 디스플레이)를 통해 관리자에게 레슨의 컨텐츠를 출력하는 프로그래밍 명령어들 및 프로세서를 포함할 수 있다. 수정 된 레슨은 그 후 시청자 멤버(508)에게 추후에 제시되도록 데이터 파일에 저장될 수 있다.

레슨 생산은 최종 편집들을 위해 완전히 자동화되거나 부분적으로 성숙한(seeded) 레슨들(507)을 산출한다.

시스템은 그 후 소비자/사용자 프로필 데이터에 일치 알고리즘들을 적용하고 언어 학습 및 언어 실습을 위해 타켓 개별 사용자에게 레슨들을 라우팅할 수 있다.　예시 알고리즘들은 Carbonell et 등에 의해 출원되고 2014년 8월 7일에 공개된 "Matching Users of a Network Based on Profile Data"이라는 제목의 미국 특허 출원 공보 제 2014/0222806호에 기술된 알고리즘들을 포함한다.

도 6은 자동화된 수업 생성 프로세스들의 예시에 대한 추가 세부 사항들을 도시하며, 이 경우 시스템이 자동으로 레슨을 생성하기 위해 취할 수 있는 액션들에 초점을 맞춘다.　이전의 도면에서와 같이, 시스템은 텍스트, 오디오 및/또는 비디오 컨텐츠를 포함할 수 있는 컨텐츠(601)를 수신할 수 있다.　일 실시예에서, 이러한 컨텐츠는 뉴스 스토리들을 포함한다.　다른 실시예들에서, 컨텐츠는 이야기들과 같은 내러티브들(narrative)을 포함할 수 있고, 다른 실시예에서는 컨텐츠는 특별히 생산된 교육 자료들를 포함할 수 있으며, 다른 실시예들에서는 컨텐츠가 상이한 주제를 포함할 수 있다.

도 6은 "스포츠" 또는 "정치"와 같은 토픽들 또는 "월드 시리즈" 또는 "민주당 경선"과 같은 보다 정제된 토픽들을 추출하기 위한 분류/카테고리화와 같은 자동화된 텍스트 분석 기법들(602)을 사용한다. 자동화된 토픽 카테고리화를 위해 사용되는 방법들은 키워드들 및 핵심 구문들의 존재에 기초할 수 있다. 추가로 또는 대안적으로, 방법들은 의사 결정 트리들, 지원-벡터 기계들, 신경 네트워크들, 논리적 회귀분석(regression) 또는 다른 감독 또는 감독되지 않는 기계 학습 방법을 포함하여 토픽으로 라벨링된 텍스트들로부터 트레이닝된 기계 학습 방법들일 수 있다. 텍스트 분석의 다른 부분은 사람들, 조직들 및 장소들과 같이 텍스트에서 명명된 엔티티들을 자동으로 식별하는 것을 포함할 수 있다. 이 기법들은 유한 상태 변환기들, 은닉 마르코프 모델들, 조건부 랜덤 필드들, LSTM 방법들 또는 통상의 기술자가 이해할 수 있는 다른 기법들을 사용한 심층 신경 네트워크들 또는 위에서 논의된 것 또는 기계 학습으로부터의 프로세스들 및 알고리즘들과 유사한 프로세스들 및 알고리즘들에 기초할 수 있다. 텍스트 분석의 다른 부분은 who-did-what-to-whom (예를 들어, 대통령을 선출하는 투표자들 또는 소비자들 X에게 제품 Y를 판매하는 회사 Z)와 같은 텍스트의 이벤트들을 자동으로 식별하고 추출하는 것을 포함할 수 있다. 이러한 방법들은 예를 들어 명명된 엔티티를 식별하고 추출하는데 사용되는 방법들을 포함할 수 있으며 그리고 구문 구조 구문분석기들, 종속성 구문분석기 및 의미론적 구문분석기와 같은 자연어 구문 분석 방법들을 또한 포함할 수 있다.

(604)에서, 시스템은 추출된 정보에 기초하여 레슨들 및 평가들의 제작을 해결한다. 이 레슨들은 추출된 컨텐츠를 강조/반복/다시 말하기를 포함할 수 있다. 레슨들은 컨텐츠에 기초한 자기 공부 안내서를 또한 포함할 수 있다.　레슨들은 추출된 정보에 기초하여 ("누가 대통령에 당선되었는지", "누가 대통령 선거에서 이겼는가"와 같은) 자동으로 생성된 질문들을 또한 포함할 수 있으며, 상기 질문들은 선다형 선택들로, 문장 스크램블로, 빈칸 채우기 프롬프트로 또는 학생이 이해할 수 있는 다른 형식으로써, 자유 형태로 제시되었다. 레슨들은 입력 자료 및 난이도에 따라 정보의 종류, 양, 형식 및/또는 순서 및 프리젠테이션 모드를 특정하는 레슨 템플릿들로 안내된다.　일 실시예에서, 선생님 또는 교사는 추출된 정보(603)와 인터랙팅하고, 고급 저작 도구들을 사용하여 레슨을 제작한다. 다른 실시예에서, 레슨 템플릿들을 채우고 학생들에게 질문들을 제작하기 위해 컨텐츠를 선택하고 순서화하는 알고리즘들에 더하여, 선생님이 사용 가능한 리소들과 동일한 리소스들을 사용하여 레슨 제작이 자동화된다.　이러한 알고리즘들은 프로그래밍된 단계들과 관찰된 선생님들의 프로세스들을 복제(replicate)하는 관찰 방법들에 의해 학습하는 기계에 기초한다.　이러한 알고리즘들은 그래픽 모델, 심층 신경 네트워크들, 반복되는 신경 네트워크 알고리즘들 또는 다른 기계 학습 방법들에 기초할 수 있다.

마지막으로, 레슨들은 추출된 토픽들과 결합되어 사용자들(606) (학생들)의 프로필과 일치하므로 적합한 레슨들이 적합한 사용자들에게 라우팅될 수 있다(605). 일치 프로세스는 내적(dot product), 코사인 유사성, 역 유클리드 거리, 또는 예를 들어, 미국 특허 출원 공개 번호Carbonell 등에 의해 출원되고 2014년 8월 7일에 공개된 "Matching Users of a Network Based on Profile Data "이라는 제목의 미국 특허 출원 공보 제 2014/0222806호에 교시된 다른 임의의 잘 정의된 토픽들과 관심들을 일치시키는 방법들과 같은, 유사성 메트릭에 의해 이행될 수 있다. 각 레슨은 그 후 사용자의 미디어 프리젠테이션 디바이스의 사용자 인터페이스 (예를 들어, 디스플레이 디바이스)를 통해 사용자(607)에게 제시될 수 있어, 사용자는 레슨에 의해 커버되는 스킬을 학습함에 있어 도움을 받는다(608).

도 7 내지 도 11은 시스템이 도 6에 상술한 단계들을 어떻게 구현할 수 있는지의 예시를 도시한다. 도 7은 디스플레이될 수 있는 디지털 프로그래밍 파일로부터의 컨텐츠(701)의 예시를 도시하며, 이 경우 위키피디아의 페이지는 비틀즈에 관한 정보를 포함한다.　도 8 및 도 9를 참조하면, 어휘 프로세싱 프로세스에서, 시스템은 품사 태그를 사용하고 로컬 또는 온라인 데이터베이스에서 정의들을 검색함으로써, 컨텐츠에서 가장 빈번히 나타나는 단어들(801)의 항목을 생성할 수 있고 항목의 각 단어에 품사(POS) (802) 및 정의(803)를 첨부할 수 있다. 시스템은,　항목이 미리 결정된 수의 가장 빈번하게 나타나는 단어들을 포함하고, 항목이 컨텐츠에서 적어도 임계 횟수만큼 나타나는 단어들만을 포함하고, 항목이 다른 적합한 기준 또는 이들 중 하나의 조합을 만족할 것을 요청할 수 있다.　인간 관리자가 잠재적인 레슨을 평가하는 것을 돕기 위해, 시스템은 각각의 식별된 단어가 나타나는 문장들의 일부 또는 전부를 추출할 수 있다(903).

도 10에 도시된 바와 같이, 시스템은 가장 빈번하게 발생하는 단어들의 집합을 특정한 카테고리, 이 예시에서는 위치(1001)을 나타내는(denote) 단어들 (또는 사람, 장소 또는 사물의 다른 형태)에 대응하는 단어들만을 포함하도록 좁힐 수 있다.　시스템은 이전의 예시에 기술한 바와 같이 각 단어에 카테고리 유형(1003) 및 정의 또는 요약(1004)을 할당할 수 있으며, 선택적으로 각 단어가 카테고리에 적절하게 포함되는 신뢰도의 척도를 표시하는 신뢰도 표시기(1002)를 또한 선택적으로 할당할 수 있다.

도 11은 카테고리에 대응하는 단어들의 추가 선택을 도시하고, 이 경우 단어들은 사람, 장소 또는 사물(1101)에 대응한다.　시스템은 이전의 예시에서 기술된 바와 같이 카테고리 유형(1103) 및 정의(1104)를 각 단어에 할당할 수 있으며, 각 단어가 카테고리에 적절하게 포함되는 신뢰도의 척도를 표시하는 신뢰도 표시기(1102)를 선택적으로 또한 할당할 수 있다.

예를 들어, 컨텐츠로부터 어휘 단어들, 명명된 엔티티들 또는 다른 피처들을 추출하기 위해, 시스템은 Dandelion과 같은 애플리케이션 프로그래밍 인터페이스(API)를 사용할 수 있어 컨텐츠 아이템으로부터 명명된 엔티티들뿐만 아니라 추출된 각각의 명명된 엔티티와 연관된 정보 및/또는 이미지들을 추출할 수 있다.　시스템은 그 후 명명된 엔티티 유형에 기초한 호일들과 함께 질문들을 생성하기 위해 이 정보를 사용할 수 있다.

다른 예시로서, 도 8 및 도 9에 도시된 것과 같이 정보를 생성하기 위해, 시스템은 Stanford CoreNLP 툴킷과 같은 임의의 적절한 도구를 사용하여 컨텐츠를 문장들 및 단어들로 나눌 수 있다. 시스템은 컨텐츠의 각 단어에 품사를 태그할 수 있다. 다수의 가능한 정의들을 갖는 각각의 명사 또는 동사에 대해, 시스템은 (프린스턴 대학의) WordNet 또는 Super Senses와 같은 도구들을 사용하여 단어 의미(word sense) 결정을 수행 - 즉 각 명사 및 동사의 가능성 있는 의미를 결정할 수 있다.　단어에 할당될 수 있는 예시적인 의미들은 명사.식물, 명사.동물, 명사.이벤트, 동사.모션 또는 동산.제작이다.　시스템은 그 후 "단수(a)", "상기(the)", "나(me)" 등과 같은 일반 단어들을 폐기할 수 있다.

시스템은 로컬 레슨 감사관 데이터베이스와 같은 로컬 또는 외부 데이터베이스에서 단어를 찾고 데이터베이스에서 정의를 추출하는 것과 같은 임의의 적절한 프로세스를 통해 각각의 나머지 단어의 정의를 획득할 수 있다.

시스템은 단어들을 적절한 표제어 (기본 형식)로 또한 해결할 수 있다. 예를 들어, runner 및 running의 기본 형식은 "run"이다. "accord"와 같은 단어 문제가 되는데, 그 이유는 according의 기본 형식인 accord가 "according to"라는 구문에서 사용될 때 완전히 상이한 의미를 가지기 때문이다. 표제어에 대한 형태학적 정규화는 예를 들어, 시스템이 각 단어에서 접미사를 식별하고 제거하며 하나 이상의 규칙들에 따라 기초 레벨 종료들을 추가하는 알고리즘에 의해 이행될 수 있다. 기초 레벨 종료 규칙들의 예시는 다음과 같다:

(1) -s 규칙(즉, 끝 "s" 제거); 예시: "pencils"-s -> "pencil",

(2) -ies+y 규칙(즉, 끝 "ies"를 "y"로 대체); 예시: "conutries"-ies+y -> "country",

(2) -ed 규칙(즉, 끝 "ed'를 "e"로 대체); 예시: "evaporated"-ed -> "evaporate"

상기 시스템은 대체들에 의해 처리되는 비교적 적은 수의 불규칙한 단어 형태들에 대한 예외 테이블을 메모리에 또한 저장할 수 있다 (예를 들어, "threw"->"throw", "forgotten"-> "forget" 등). 실시예에서, 시스템은 우선 예외 테이블을 체크할 수 있고, 그 단어가 그곳에 없다면 그 후 고정된 순서로 다른 규칙들을 프로세싱하며 그 단어와 일치하는 기준(예를 들어, "s"으로 끝나는)을 갖는 제1 규칙을 사용할 수 있다. 단어와 일치하는 규칙의 기준이 없다면 단어는 변경되지 않을 것이다.

시스템은 다음에 기초하여 각 단어에 관련성을 할당할 수 있다:　(i) (이전 단계에서) 시스템이 그것을 정의할 수 있었는지 여부; (ii) 단어가 소스 자료에 나타난 횟수; 및　(iii) 상대적으로 적은 음절들을 갖는 단어들보다 일반적으로 더 중요한 것으로 고려되는 더 큰 단어들-즉, 더 많은 음절들을 갖는 단어들- 내의 음절들의 수. 시스템이 이를 이행할 수 있는 예시적 프로세스는 다음과 같다:

(1) 소스 컨텐츠 내의 각 단어에 대한 표제어 (기본 형식)을 획득하고 (선택적으로 "단수(a)"및 "상기(the)"와 같은 일반 용어들로 지정된 것들을 폐기한 이후).

(2) 시스템에서 고유 표제어의 수를 카운팅하고(lc);

(3) 최대 표제어 카운트 max(lc)를 식별하며 (즉, 가장 빈번하게 발생하는 표제어가 나타나는 횟수);

(4) 관련성이 할당된 단어의 음절들 수를 카운팅하고(sc) (분석을 통해 또는 룩업 데이터 집합을 사용함으로써);

(5) 최대 음절 카운트 max(sc)를 카운팅하며 (즉, 소스의 임의의 단어에 나타나는 음절들의 최대 수); 그리고

(6) 각 단어에 대한 관련성을:

관련성=0.7(lc/max(lc))+0.3(sc/max(sc))로 결정

각 비율에 대해 다른 가중치들이 사용될 수 있고, 다른 알고리즘들이 관련성을 결정하는데 사용될 수 있다.

선택적으로, 시스템이 레슨을 생성할 때 추가 피처들을 포함할 수 있다.　예를 들어, 시스템은 학생 사용자에게 스포츠, 세계 뉴스 또는 예술과 같은 카테고리들의 집합을 제시할 수 있으며 사용자가 카테고리를 선택할 수 있도록 한다. 시스템은 그 후 선택된 카테고리로 태그된 하나 이상의 디지털 프로그래밍 파일들을 식별하기 위해 컨텐츠 서버 또는 다른 데이터 집합을 검색할 수 있다.　사용자가 보기 및/또는 레슨 생성을 위한 프로그래밍 파일들 중 임의의 것을 선택할 수 있기 위해, 시스템은 각각의 검색된 디지털 프로그래밍 파일의 표시를 사용자에게 제시할 수 있다. 시스템은 그 후 선택된 디지털 프로그래밍 파일들을 상술한 프로세스들을 사용하여 레슨 생성용 컨텐츠 소스들로 사용할 것이다.

시스템이 생성할 수 있는 예시적인 레슨들은 다음을 포함한다:

(1) 어휘 레슨들, 상기 어휘 레슨들에서 텍스트에서 추출된 단어들 (또는 단어의 상이한 시제와 같은 단어의 변형들)이 옳은 정의 및 하나 이상의 디스트렉터(distractor) 정의들("호일 정의들"로 또한 지칭됨)과 함께 사용자에게 제시되어 사용자가 프롬프트에 대한 응답으로 옳은 정의를 선택할 수 있다. 디스트렉터 정의들은 텍스트와 관련 있거나 텍스트에서 추출된 컨텐츠를 선택적으로 포함할 수 있다.

(2) 빈칸 채우기 프롬프트들, 상기 빈칸 채우기 프롬프트들에서 시스템은 사용자에게 단락, 문장 또는 문장 단편을 제시한다. 텍스트에서 추출된 단어들 (또는 단어의 상이한 시제와 같은 단어의 변형들)이 빈칸들을 채우기 위해 반드시 사용되어야 한다.

(3) 단어 패밀리 질문들, 상기 단어 패밀리 질문들에서 시스템은 디지털 프로그래밍 파일로부터 하나 이상의 단어들을 취하고 (시제들과 같은) 단어의 다른 형태들을 생성한다. 시스템은 그 후 (예를 들어, 데이터 저장소에서 정의를 검색함으로써) 단어의 각 형태에 대한 정의를 및 선택적으로 하나 이상의 디스트렉터 정의들을 식별하고 사용자에게 단어의 각 변형을 옳은 정의와 일치 시키도록 요청할 수 있다.

(4) 반대들, 상기 반대들에서 시스템은 텍스트로부터 단어를 출력하고 사용자에게 제시된 단어의 반대 단어를 입력 또는 선택하도록 촉구한다. 대안적으로, 시스템은 사용자가 제시된 단어의 반대 단어를 컨텐츠로부터 입력하도록 요청할 수 있다.

(5) 문장 스크램블들, 상기 문장 스크램블들에서 시스템은 사용자가 논리적인 문장으로 재배열해야 하는 단어들의 집합을 제시한다. 선택적으로, 단어들의 일부 또는 모두가 컨텐츠로부터 추출될 수 있다.

도 12는 시스템, 전자 디바이스 또는 원격 서버의 임의의 전자 컴포넌트들에 포함될 수 있는 내부 하드웨어의 예시를 도시한다. 전기 버스(1200)는 하드웨어의 다른 도시된 컴포넌트들을 상호 연결하는 정보 하이웨이로써 서비스한다. 프로세서(1205)는 시스템의 중앙 프로세싱 디바이스, 즉 프로그래밍 명령어들을 실행하는데 필요한 계산들 및 논리 연산들을 수행하도록 구성된 컴퓨터 하드웨어 프로세서이다. 본 명세서 및 청구항에서 사용된 바와 같이,　"프로세서" 및 "프로세싱 디바이스"라는 용어들은 단일 프로세싱 디바이스 실시예들 및 다수의 프로세싱 디바이스들이 함께 또는 집합적으로 프로세스를 수행하는 실시예들 모두를 포함하도록 의도된다.　유사하게, 서버는 단일 프로세서 포함 디바이스 또는 프로세스를 함께 수행하는 다수의 프로세서 포함 디바이스들의 모음을 포함할 수 있다. 프로세싱 디바이스는 물리적 프로세싱 디바이스, (가상 기계와 같은) 다른 프로세싱 디바이스 내에 포함된 가상 디바이스 또는 프로세싱 디바이스 내에 포함된 컨테이너일 수 있다.

판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 플래시 메모리, 하드 드라이브들 및 전자 데이터를 저장할 수 있는 다른 디바이스들이 메모리 디바이스들(1220)의 예시들을 구성한다. 달리 구체적으로 언급되지 않는 한, 본원의 "메모리", "메모리 디바이스", "데이터 저장소", "데이터 저장 시설"등의 용어들은 단일 디바이스 구현들, 다수의 메모리 디바이스들이 데이터 또는 명령어들의 집합을 함께 또는 집합적으로 저장하는 구현들뿐만 아니라, 그러한 디바이스들 내의 개별 섹터들을 포함하도록 의도된다.

선택적 디스플레이 인터페이스(1230)는 버스(1200)로부터의 정보가 시각적, 그래픽 또는 영숫자 형식들로 디스플레이 디바이스(1235) 상에 디스플레이되도록 할 수 있다. 오디오 인터페이스 및 (스피커와 같은) 오디오 출력이 또한 제공될 수 있다. 외부 디바이스들과의 통신은 송신기 및/또는 수신기, 안테나, RFID 태그 및/또는 단거리 또는 근거리 통신 회로와 같은 다양한 통신 디바이스들(1240)을 사용하여 발생할 수 있다. 통신 디바이스(1240)는 인터넷, 로컬 영역 네트워크 또는 셀룰러 전화 데이터 네트워크와 같은 통신 네트워크에 부착될 수 있다.

하드웨어는 키보드(1250), 마우스, 조이스틱, 터치스크린, 원격 제어, 포인팅 디바이스, 비디오 입력 디바이스 및/또는 오디오 입력 디바이스와 같은 입력 디바이스로부터 데이터를 수신할 수 있게 하는 사용자 인터페이스 센서(1245)를 또한 포함할 수 있다. 데이터는 비디오 캡처 디바이스(1225)로부터 또한 수신될 수 있다.　위치 센서(1265) 및 모션 센서(1210)는 디바이스의 위치 및 움직임을 검출하기 위해 포함될 수 있다.　모션 센서들(1210)의 예시들은 자이로스코프 또는 가속도계를 포함한다. 위치 센서들(1265)의 예시들은 외부 GPS 네트워크로부터 위치 데이터를 수신하는 GPS 센서 디바이스를 포함한다.

상술한 구성들 및 기능들뿐만 아니라 대안들은 많은 다른 상이한 시스템들 또는 애플리케이션들로 결합될 수 있다.　현재 다양한 예측할 수 없는 또는 예상하지 못한 대안들, 수정들, 변형들 또는 개선들이 통상의 기술자에 의해 이루어질 수 있으며, 이들 각각은 개시된 실시예들에 의해 포함되도록 또한 의도된다.

Claims (23)

1. 디지털 미디어 컨텐츠 추출, 레슨(lesson) 생성 및 프리젠테이션 시스템에 있어서:
   각각이 디지털 미디어 자산을 포함하는 디지털 프로그래밍 파일들을 포함하는 데이터 저장부;
   학습 템플릿들의 라이브러리를 포함하는 데이터 저장부;
   통신 네트워크를 통해 적어도 상기 디지털 프로그래밍 파일들의 서브셋을 미디어 프리젠테이션 디바이스들로 전송하도록 구성된 디지털 미디어 서버; 및
   상기 프로세서로 하여금 자동으로 레슨을 생성하게 하도록 구성된 프로그래밍 명령어들을 포함하는 컴퓨터-판독가능 미디어를 포함하며, 상기 프로세서는:
   제시되고 있는 디지털 미디어 자산의 컨텐츠 또는 상기 디지털 미디어 서버가 사용자에게 제시하기 위해 상기 사용자의 미디어 프리젠테이션 디바이스에 제시할 디지털 미디어 자산의 컨텐츠를 자동으로 분석하고, 상기 분석은:
   명명된 엔티티를 상기 분석된 컨텐츠로부터 추출하기 위해 명명된 엔티티 인식을 사용하는 것, 및
   상기 분석된 컨텐츠로부터 이벤트를 추출하는 것을 포함하며;
   상기 학습 템플릿들의 라이브러리에 액세스하고 상기 이벤트와 연관된 템플릿을 선택하고,
   레슨을 생성하기 위해 상기 명명된 엔티티와 연관된 텍스트로 상기 학습 템플릿을 채우며, 및
   상기 디지털 미디어 서버로 하여금 상기 사용자에게 제시하기 위해 상기 사용자의 미디어 프리젠테이션 디바이스로 상기 레슨을 전송하게 함으로써 상기 레슨을 생성하는 것을 특징으로 하는 디지털 미디어 컨텐츠 추출, 레슨 생성 및 프리젠테이션 시스템.
2. 청구항 1에 있어서:
   복수의 사용자들에 대한 프로필들을 포함하는 데이터 저장부를 더 포함하며; 및
   상기 이벤트와 연관된 상기 학습 템플릿을 선택하기 위한 상기 명령어들은 상기 프로세서로 하여금 상기 레슨이 제시될 상기 사용자에 대한 상기 프로필 내의 속성에 대응하는 하나 이상의 속성들을 갖는 학습 템플릿을 선택하게 하도록 구성된 것을 특징으로 하는 디지털 미디어 컨텐츠 추출, 레슨 생성 및 프리젠테이션 시스템.
3. 청구항 1에 있어서:
   복수의 사용자들에 대한 프로필들을 포함하는 데이터 저장부를 더 포함하며; 및
   상기 이벤트와 연관된 상기 학습 템플릿을 선택하기 위한 상기 명령어들은 상기 프로세서로 하여금 상기 레슨이 제시될 상기 사용자에 대한 상기 프로필 내의 속성에 대응하는 하나 이상의 속성들을 갖는 텍스트로 상기 학습 템플릿을 채우게 하도록 구성된 것을 특징으로 하는 디지털 미디어 컨텐츠 추출, 레슨 생성 및 프리젠테이션 시스템.
4. 청구항 1에 있어서, 상기 디지털 미디어 서버로 하여금 상기 레슨을 전송하게하는 상기 명령어들은 상기 사용자의 미디어 프리젠테이션 디바이스가 상기 디지털 미디어 자산을 상기 사용자에게 출력한 이후에 임계 시간간격(period of time)보다 더 늦지 않도록 상기 디지털 미디어 서버로 하여금 상기 레슨을 전송하게 하도록 구성되는 것을 특징으로 하는 디지털 미디어 컨텐츠 추출, 레슨 생성 및 프리젠테이션 시스템.
5. 청구항 1에 있어서, 상기 프로세서로 하여금 상기 디지털 미디어 자산의 컨텐츠를 분석하게 하는 상기 명령어들은:
   컨텐츠가 분석되는 각각의 디지털 미디어 자산에 대해, 상기 명명된 엔티티 및 이벤트를 추출하기 전에, 그 디지털 미디어 자산의 상기 컨텐츠를 분석하여 상기 컨텐츠가 유해(objectionable) 컨텐츠에 대한 하나 이상의 심사 기준을 만족하는지 여부를 결정하고; 및
   상기 컨텐츠가 상기 하나 이상의 심사 기준을 만족한다면, 상기 디지털 미디어 자산으로부터 상기 명명된 엔티티 및 이벤트를 추출하며, 그렇지 않으면 그 디지털 미디어 자산을 사용하여 상기 레슨을 생성하는 명령어들을 또한 포함하는 것을 특징으로 하는 디지털 미디어 컨텐츠 추출, 레슨 생성 및 프리젠테이션 시스템.
6. 디지털 미디어 컨텐츠 추출 및 레슨 생성 시스템으로서:
   학습 템플릿들의 라이브러리를 포함하는 데이터 저장부;
   프로세서; 및
   상기 프로세서로 하여금 자동으로 레슨을 생성하게 하도록 구성된 프로그래밍 명령어들을 포함하는 컴퓨터 판독가능 미디어를 포함하며, 상기 프로세서는:
   디지털 미디어 서버가 사용자에게 제시하기 위해 상기 사용자의 미디어 프리젠테이션 디바이스에 제시되고 있는 또는 제시했었던 디지털 미디어 자산의 컨텐츠를 자동으로 분석하고, 상기 분석은:
   명명된 엔티티를 상기 분석된 컨텐츠로부터 추출하기 위해 명명된 엔티티 인식을 사용하는 것, 및
   상기 분석된 컨텐츠로부터 이벤트를 추출하는 것을 포함하며;
   상기 학습 템플릿들의 라이브러리에 액세스하고 상기 이벤트와 연관된 템플릿을 선택하고,
   레슨을 생성하기 위해 상기 명명된 엔티티와 연관된 텍스트로 상기 학습 템플릿을 채우며, 및
   상기 레슨으로 하여금 상기 사용자의 미디어 프리젠테이션 디바이스로 제시 또는 전송되게 함으로써 상기 레슨을 생성하는 것을 특징으로 하는 디지털 미디어 컨텐츠 추출 및 레슨 생성 시스템.
7. 청구항 6에 있어서:
   복수의 사용자들에 대한 프로필들을 포함하는 데이터 저장부를 더 포함하며; 및
   상기 이벤트와 연관된 상기 학습 템플릿을 선택하기 위한 상기 명령어들은 상기 프로세서로 하여금 상기 레슨이 제시될 상기 사용자에 대한 상기 프로필 내의 속성에 대응하는 하나 이상의 속성들을 갖는 학습 템플릿을 선택하게 하도록 구성된 것을 특징으로 하는 디지털 미디어 컨텐츠 추출 및 레슨 생성 시스템.
8. 청구항 6에 있어서:
   복수의 사용자들에 대한 프로필들을 포함하는 데이터 저장부를 더 포함하며; 및
   상기 이벤트와 연관된 상기 학습 템플릿을 선택하기 위한 상기 명령어들은 상기 프로세서로 하여금 상기 레슨이 제시될 상기 사용자에 대한 상기 프로필 내의 속성에 대응하는 하나 이상의 속성들을 갖는 텍스트로 상기 학습 템플릿을 채우게 하도록 구성된 것을 특징으로 하는 디지털 미디어 컨텐츠 추출 및 레슨 생성 시스템.
9. 청구항 6에 있어서, 상기 레슨으로 하여금 상기 사용자의 미디어 프리젠테이션 디바이스로 제시 또는 전송되게하는 상기 명령어들은 상기 사용자의 미디어 프리젠테이션 디바이스가 상기 디지털 미디어 자산을 상기 사용자에게 출력한 이후에 임계 시간간격보다 더 늦지 않도록 상기 레슨으로 하여금 제시 또는 전송되게 하도록 구성되는 것을 특징으로 하는 디지털 미디어 컨텐츠 추출 및 레슨 생성 시스템.
10. 청구항 6에 있어서, 상기 프로세서로 하여금 상기 디지털 미디어 자산의 컨텐츠를 분석하게 하는 상기 명령어들은:
    컨텐츠가 분석되는 각각의 디지털 미디어 자산에 대해, 상기 명명된 엔티티 및 이벤트를 추출하기 전에, 그 디지털 미디어 자산의 상기 컨텐츠를 분석하여 상기 컨텐츠가 유해 컨텐츠에 대한 하나 이상의 심사 기준을 만족하는지 여부를 결정하고; 및
    상기 컨텐츠가 상기 하나 이상의 심사 기준을 만족한다면, 상기 디지털 미디어 자산으로부터 상기 명명된 엔티티 및 이벤트를 추출하며, 그렇지 않으면 그 디지털 미디어 자산을 사용하여 상기 레슨을 생성하는 명령어들을 또한 포함하는 것을 특징으로 하는 디지털 미디어 컨텐츠 추출 및 레슨 생성 시스템.
11. 스트리밍 비디오 및 연관된 오디오 또는 텍스트 채널을 분석하고 상기 채널로부터 추출된 데이터에 기초하여 학습 연습 문제(exercise)을 자동으로 생성하는 시스템에 있어서:
    비디오 프리젠테이션 엔진, 상기 비디오 프리젠테이션 엔진은 디스플레이 디바이스로 하여금 비디오 서버에 의해 서비스되는 비디오를 출력하게 하도록 구성되고;
    프로세싱 디바이스;
    컨텐츠 분석 엔진, 상기 컨텐츠 분석 엔진은 상기 프로세싱 디바이스로 하여금 상기 채널에서 발화되거나 자막이 넣어진(captioned) 단어들에 대응하는 텍스트를 추출하게 하도록 구성된 프로그래밍 명령어들을 포함하고 상기 추출된 텍스트의 언어, 토픽 및 명명된 엔티티 또는 하나 이상의 품사들을 포함하는 문장 특성을 식별하고;
    레슨 생성 엔진을 포함하며, 상기 레슨 생성 엔진은 프로그래밍 명령어들을 포함하고, 상기 프로그래밍 명령어들은 상기 프로세싱 디바이스 하여금:
    상기 언어와 연관된 학습 연습 문제를 자동으로 생성하고, 상기 학습 연습 문제는:
    상기 토픽과 관련된 적어도 하나의 질문, 및
    상기 문장 특성에 관한 정보를 포함하는 적어도 하나의 질문 또는 연관된 답변을 포함하며, 및
    사용자 인터페이스로 하여금 상기 사용자 인터페이스가 상기 질문들을 하나씩 출력하고, 사용자는 각 질문에 대한 응답을 입력하며 그리고 상기 사용자 인터페이스가 각 응답을 수신한 후 다음 질문을 출력하는 형식으로 상기 사용자에게 학습 연습 문제 출력하게 하는 것을 특징으로 하는 시스템.
12. 청구항 11에 있어서, 상기 프로세싱 디바이스로 하여금 단어들에 대응하는 텍스트를 추출하게 하도록 구성된 프로그래밍 명령어들을 포함하는 상기 컨텐츠 분석 엔진은:
    텍스트 출력을 산출(yield)하기 위해 음성-텍스트 변환 엔진으로 상기 비디오의 오디오 컴포넌트를 프로세싱하고; 및
    상기 텍스트 출력, 상기 토픽 및 상기 문장 특성의 상기 언어를 식별하기 위해 상기 텍스트 출력을 구문 분석(parse)하기 위한 프로그래밍 명령어들을 포함하는 것을 특징으로 하는 시스템.
13. 청구항 11에 있어서, 상기 프로세싱 디바이스로 하여금 단어들에 대응하는 텍스트를 추출하게 하도록 구성된 프로그래밍 명령어들을 포함하는 상기 컨텐츠 분석 엔진은:
    상기 비디오에 대한 인코딩된 폐쇄자막들(closed caption)을 포함하는 상기 비디오의 데이터 컴포넌트를 프로세싱하고;
    상기 인코딩된 폐쇄자막들을 디코딩하여 텍스트 출력을 산출하며; 및
    상기 텍스트 출력, 상기 토픽 및 상기 문장 특성의 상기 언어를 식별하기 위해 상기 텍스트 출력을 구문 분석 하기 위한 프로그래밍 명령어들을 포함하는 것을 특징으로 하는 시스템.
14. 청구항 11에 있어서, 상기 레슨 생성 엔진은 프로그래밍 명령어들을 또한 포함하고, 상기 프로그래밍 명령어들은 상기 프로세싱 디바이스가:
    상기 질문들의 집합에서 선다형(multiple choice) 질문인 질문을 식별하고;
    상기 명명된 엔티티를 상기 질문에 대한 정답으로 지정하고;
    하나 이상의 호일(foil)들을 생성하여 각 호일은 상기 명명된 엔티티가 카테고리화 되어있는 엔티티 카테고리와 연관된 단어인 오답인 것으로 하고;
    상기 선다형 질문에 대한 복수의 후보 대답들을 생성하여 상기 후보 대답들이 상기 명명된 엔티티 및 상기 하나 이상의 호일들을 포함하도록 하며; 및
    상기 선다형 질문을 출력할 때 상기 사용자 인터페이스로 하여금 상기 후보 대답들을 출력하게 하도록 구성된 것을 특징으로 하는 시스템.
15. 청구항 11에 있어서, 상기 레슨 생성 엔진은 프로그래밍 명령어들을 또한 포함하고, 상기 프로그래밍 명령어들은 상기 프로세싱 디바이스가:
    일련의 질문들에서 참-거짓 질문인 질문을 식별하고; 및
    상기 참-거짓 질문에 상기 명명된 엔티티를 포함하게 하도록 구성된 것을 특징으로 하는 시스템.
16. 청구항 11에 있어서, 레슨 관리 엔진을 더 포함하고, 상기 레슨 관리 엔진은 프로그래밍 명령어들을 포함하며 상기 프로그래밍 명령어들은 빈칸 채우기 질문인 임의의 출력 질문을 위해 상기 프로세싱 디바이스로 하여금:
    상기 빈칸 채우기 질문에 대해 수신된 상기 응답이 옳은 응답과 정확히 일치하는지 여부를 결정하고;
    상기 빈칸 채우기 질문에 대해 수신된 상기 응답이 옳은 응답과 정확히 일치하는 경우, 옳음의 표시를 출력하고 다음 질문으로 진행하며; 및
    상기 빈칸 채우기 질문에 대해 수신된 상기 응답이 옳은 응답과 정확히 일치하지 않는 경우:
    상기 수신된 응답이 상기 옳은 응답과 의미론적으로 관련된 일치인지 여부를 결정하고, 및
    상기 수신된 응답이 상기 옳은 응답과 의미론적으로 관련된 일치인 경우, 옳음의 표시를 출력하고 다음 질문으로 진행하고, 그렇지 않으면 옳지 않음의 표시를 출력하게 하는 것을 특징으로 하는 시스템.
17. 청구항 11에 있어서, 추가적인 프로그래밍 명령어들을 더 포함하며, 상기 추가적인 프로그래밍 명령어들은 상기 프로세싱 디바이스가:
    사용자에 대한 언어 숙련도 스코어를 결정하기 위해 상기 사용자로부터의 응답들의 집합을 분석하고;
    상기 원격 비디오 서버에서 사용 가능하고 상기 언어 숙련도 스코어에 대응하는 언어 레벨을 갖는 추가적인 비디오를 식별하며; 및
    상기 비디오 프리젠테이션 엔진은 상기 디스플레이 디바이스가 상기 추가적인 비디오를 상기 원격 비디오 서버에 의해 서비스되는 것으로서 출력하게 하도록 하는 것을 특징으로 하는 시스템.
18. 청구항 11에 있어서, 추가적인 프로그래밍 명령어들을 더 포함하며, 상기 추가적인 프로그래밍 명령어들은 상기 프로세싱 디바이스가:
    사용자에 대한 언어 숙련도 스코어를 결정하기 위해 상기 사용자로부터의 응답들의 집합을 분석하고;
    상기 언어 숙련도 스코어에 대응하는 언어 레벨을 갖는 새로운 질문을 생성하며; 및
    상기 사용자 인터페이스로 하여금 상기 새로운 질문을 출력하도록 하게 하는 것을 특징으로 하는 시스템.
19. 청구항 11에 있어서, 다수의 추출 방법들을 수행함으로써 텍스트, 오디오 및/또는 비디오로부터 상기 명명된 엔티티를 추출하고 메타 결합기를 사용하여 상기 명명된 엔티티를 추출하기 위한 명령어들을 더 포함하는 것을 특징으로 하는 시스템.
20. 청구항 11에 있어서:
    상기 식별된 문장 특성은 상기 명명된 엔티티와 하나 이상의 품사들 둘 모두를 포함하고; 및
    상기 학습 연습 문제는:
    상기 명명된 엔티티를 포함하는 질문 또는 연관된 대답 및
    상기 하나 이상의 품사들을 포함하는 질문 또는 연관된 대답을 포함하는 것을 특징으로 하는 시스템.
21. 청구항 11에 있어서, 상기 레슨 생성 엔진은 명령어들을 또한 포함하며, 상기 명령어들은 상기 학습 연습 문제를 생성할 때, 상기 프로세싱 디바이스로 하여금 컨텐츠가 유해 컨텐츠에 대한 하나 이상의 심사 기준을 만족시키는 경우에만 상기 채널로부터의 상기 컨텐츠를 사용하게 하고, 그렇지 않으면 상기 학습 연습 문제를 생성하기 위해 그 디지털 미디어 자산을 사용하지 않게 하도록 구성된 것을 특징으로 하는 시스템.
22. 스트리밍 비디오를 분석하고 상기 스트리밍 비디오로부터 추출된 데이터에 기초하여 레슨을 자동으로 생성하는 시스템에 있어서:
    비디오 프리젠테이션 엔진, 상기 비디오 프리젠테이션 엔진은 디스플레이 디바이스로 하여금 비디오 서버에 의해 서비스되는 비디오를 출력하게 하도록 구성되고;
    프로세싱 디바이스;
    컨텐츠 분석 엔진, 상기 컨텐츠 분석 엔진은 상기 프로세싱 디바이스로 하여금 상기 비디오 내의 발화된 단어들의 단일 문장을 식별하게 하도록 구성된 프로그래밍 명령어들을 포함하고; 및
    레슨 생성 엔진을 포함하며, 상기 레슨 생성 엔진은 프로그래밍 명령어들을 포함하고, 상기 프로그래밍 명령어들은 상기 프로세싱 디바이스 하여금:
    레슨에 대한 질문들의 집합을 자동으로 생성하고, 상기 질문들의 집합은 상기 식별된 단일 문장의 컨텐츠가 상기 질문의 일부이거나 상기 질문에 대한 상기 대답인 복수의 질문들을 포함하며, 및
    사용자 인터페이스로 하여금 상기 사용자 인터페이스가 상기 질문들을 하나씩 출력하고, 사용자는 각 질문에 대한 응답을 입력하며 그리고 상기 사용자 인터페이스가 각 응답을 수신한 후 다음 질문을 출력하는 형식으로 상기 사용자에게 학습 연습 문제 출력하게 하는 것을 특징으로 하는 시스템.
23. 청구항 22에 있어서, 상기 프로세싱 디바이스로 하여금 상기 비디오에서 내의 발화된 단어들의 단일 문장을 식별하게 하도록 구성된 상기 컨텐츠 분석 엔진의 상기 명령어들은:
    적어도 길이 임계치와 동일한 길이를 갖는 오디오 트랙 내의 복수의 정지(pause)들을 식별하기 위해 상기 비디오의 상기 오디오 트랙을 분석하고, 각각의 정지는 데시벨 임계치 또는 그 이하인 데시벨 레벨을 갖는 상기 오디오 트랙의 세그먼트를 포함하고;
    상기 오디오 트랙 내의 상기 정지들 중 하나 및 바로 다음 정지를 선택하며; 및
    상기 컨텐츠와 연관된 텍스트를 식별하고 상기 식별된 텍스트를 단일 문장으로 선택하기 위해 상기 선택된 정지와 바로 다음 정지 사이에 존재하는 상기 오디오 트랙의 상기 컨텐츠를 프로세싱하기 위한 명령어들을 포함하는 것을 특징으로 하는 시스템.

Images