KR20150132860A - 지식으로의 원-스텝 액세스를 제공하는 적응적 사용자 인터페이스를 갖춘 지능형 인터넷 시스템 - Google Patents

Abstract

사용자의 관심대상의 사물에 대한 지식을 발견, 취득, 조직화, 저장, 및 액세스가능하게 하고 다양한 풍부한 방식으로 이들 사물과 더욱 효율적으로 상호작용하도록 사용자를 돕는 능력을 갖는 지능형 인터넷 시스템이 개시된다. 지능형 인터넷 시스템은 사용자에게 각 사용자의 관심 및 정황에 맞게 동적으로 구성되는 개인맞춤화된 인터페이스를 제공한다. 이 인터페이스는, 실제이든 상상이든, 인간 또는 머신이 고유하게 감지, 인식, 명명, 이해, 상호작용할 수 있는 사물에 대한 "지식"으로의 직접적 액세스를 제공한다. 사용자들은, 제품 및 서비스를 발견, 이에 대해 학습, 및 선택하기 위해 지능형 인터넷 시스템에 저장된 지식에 액세스할 수 있고; 가족, 친구, 동료, 급우, 고객 및 공급자와 통신하며; 그들이 그들의 환경에서 조우하는 사물에 대해 학습하고, 이들에 대해 결정하며, 이들에 관련된 콘텐츠를 소비 및 공유하고 트랜잭션을 수행하기 위해, 지능형 인터넷 시스템에 저장된 지식에 액세스할 수 있다.

Description

지식으로의 원-스텝 액세스를 제공하는 적응적 사용자 인터페이스를 갖춘 지능형 인터넷 시스템{INTELLIGENT INTERNET SYSTEM WITH ADAPTIVE USER INTERFACE PROVIDING ONE-STEP ACCESS TO KNOWLEDGE}

관련 출원에 대한 상호참조

본 출원은, 참조에 의해 그 전체 내용이 본 명세서에 포함되는, 2013년 3월 15일 출원된, 발명의 명칭이 "INTELLIGENT INTERNET SYSTEM WITH ADAPTIVE USER INTERFACE PROVIDING ONE-STEP ACCESS TO KNOWLEDGE"인 미국 가출원 번호 제61/800,302호의 우선권 혜택을 주장한다.

발명의 분야

개시된 실시예는 대체로 디지털 보조도구에 관한 것으로, 더 구체적으로는 사용자가 사물에 대해 학습하고 사물과 상호작용하는 것을 돕는 보조도구를 지능적으로 제공한다.

모든 인간 활동은, "엔티티들", 즉, 우리의 내부 및 외부 환경에서의 실제의 및 상상의 사물과의 상호작용을 수반한다. 엔티티들의 예로서는 : 사람, 장소, 조직, 회사, 식당, 영화, 서적, 제품, 사상, 신념, 이론, 이벤트, ... 우리가 고유하게 인지하고, 이해하고, 명명할 수 있는 수천가지 유형의 사물이 포함된다. 이들 엔티티들 중 소수만이 현재 인터넷에 의해 직접 어드레싱가능하다. 방대한 대다수는 그렇지 않다.

사람들이 엔티티들과 상호작용할 때, 인간 두뇌는 이들에 대한 지식을 취득하여, 미래의 상호작용이 더욱 효율적이도록 허용한다. 이 지식 중 일부는 미래 세대에 전달된다. 따라서, 인간에 있어서 인코딩된 2개의 널리 알려진 지식의 저장소가 있다: (우리의 선조들로부터 계승된 지식을 인코딩하는) DNA 및 (엔티티들과의 우리의 개인적 상호작용을 통해 얻는 지식을 뇌의 뉴런에 대한 세포적 변경 형태로 인코딩하는) 기억. 이들 지식 구조는 우리가 우리의 환경 내의 사물과 더욱 효율적으로 상호작용하는 것을 돕는다.

후술되는 바와 같이, 지능형 인터넷 시스템은, 한 예에 따르면, 가상 네트워킹된 시스템에, 인간 및 머신에게 알려진 많은 유형의 집합적 지식을 취득, 인코딩, 저장, 액세스, 이용 및 공유하는 능력을 제공함으로써, 이들 2개의 저장소를 증강한다.

인터넷은, 원래, 컴퓨터 서버들, 단말기라 불리는 장치들, 콘텐츠 파일들 및 소프트웨어 애플리케이션들을 접속하기 위한 메커니즘인, 네트워크들의 네트워크로서 설계되었다. 인터넷에 의해 접속된 각각의 장치는, 통신을 위해 인터넷 프로토콜을 이용하는 컴퓨터 네트워크들에 참여하는 각각의 장치에 종종 동적으로 할당되는 수치 라벨인, 그 자신의 "인터넷 프로토콜 주소"(IP 주소)를 할당받는다. 시간의 경과에 따라, 인터넷은 수십억개의 장치들을 접속하도록 진보되었고, 각각의 이러한 장치는 그 자신의 할당받은 IP 주소를 가지며, 각각은 할당받은 IP 주소를 갖는 다른 장치들과 인터넷을 통해 효율적으로 통신할 수 있다.

오늘날의 인터넷은 2개의 주요 단점을 가진다: 1) 접속하는 엔티티들에 대한 지식을 취득하고 적용하는 고유 능력이 없고, 2) 사용자가 현재 할당된 IP 주소를 갖지 않는 방대한 수의 엔티티들 : 예를 들어, 사람, 장소, 이벤트, 및 인간 두뇌가 인식하고, 이해하며, 상호작용할 수 있는 기타의 사물에 직접 접속하고 상호작용하는 것을 허용하지 않는다. 이들 단점들에 대해 상업적으로 가능한 해결책이 현재 결여되어 있다.

그 결과, 할당된 IP 주소를 갖는 사물들(장치, 파일 및 애플리케이션들)을 위치파악하고 이와 통신하는 법만을 알고 있는 시스템과, 많은 사용자들의 관심대상이며, 할당된 IP 주소를 갖지 않는 사물을 위치파악, 접속, 학습 및 이와 상호작용하려는 많은 사용자들의 기본적 필요성과의 사이에는 주요한 단절이 존재한다. 오늘날의 인터넷과 인간 두뇌는 본질적으로 2개의 상이한 언어를 사용한다.

지금까지, 월드 와이드 웹은 이러한 단절을 가교하려는 가장 성공적인 시도였다. 웹은 본질적으로 파일 내의 태깅된 객체와 관련된 어드레싱가능한 파일 사이의 2차원 "하이퍼텍스트" 접속을 생성하는 것을 허용하고, 매우 중요하게도 하이퍼텍스트 태그는 단일의 IP 주소 또는 IP 주소와 연관된 URL만을 포인팅할 수 있다. 그러나, 웹은 "파일"만을 이해하는 반면 인간 두뇌는 "사물", 즉, 엔티티를 이해한다. 인터넷과 웹 양쪽 모두는 인간 두뇌가 암호해독하기 어려운 언어를 사용한다. 웹은 그 사용자들에게 자신이 접속할 수 있는 파일을 이해하는 부담을 주고 있다. 이것은 사용자가 할당된 IP 주소를 갖는 "사물"에 접속하는 것만을 돕는다. 일단 이들 "사물"과 접속되면, 사용자는 그 후 대부분의 작업을 수행해야 한다.

웹은 제어 및 위험에 관련된 다수의 다른 중요한 결함을 가진다. 하이퍼텍스트 링크는, 사용자가 아니라 웹사이트 소유자에 의해 제어된다. 하이퍼링크된 객체를 클릭하거나 터치하는 사용자는 통상적으로 그들이 어디로 데려가질지에 대한 생각을 거의 갖지 못하고, 사실상 위험한 파일에 액세스하는 것으로 끝날 수도 있다. 월드 와이드 웹 패러다임은, 평판이 알려지지 않은 소유자 또는 운영자에 의해 통제되는 수억개의 웹사이트의 생성으로 이어졌고, 각각의 웹 사이트는 그 자신의 맞춤형 사용자 인터페이스를 가진다.

"의미론적 웹(S

emantic Web)"이라 불리는 더욱 최근의 패러다임은 "사물"을 이해하는 웹의 무능력을 부분적으로 해결했다. 의미론적 웹은 사물에 대한 2개의 주요 종류의 지식(사실 및 관계)을 컴퓨터가 이해할 수 있는 파일 구조로 조직화하고 저장한다. 의미론적 웹은 일반적으로 지식을 작은 조각들로 분해하는 "자원 설명 프레임워크"(RDF)라 불리는 파일 구조를 이용한다. 오늘날 인터넷에 접속된 장치에 의해 액세스가능한 지식의 단편들을 포함하는 Wikipedia 및 The New York Times 등의 자원으로부터의 수십억개의 RDF 파일이 있다.

그러나, 의미론적 웹은, 1) 가장 중요하게는, 인터넷 및 월드 와이드 웹처럼, 지식을 취득하고 적용하는 고유한 능력이 결핍되어 있고; 2) 그 콘텐츠를 사람이 아니라 컴퓨터가 이해할 수 있게 설계되었고; 3) 우리 인간이 우리의 환경에서 우리의 관심대상이 되는 사물과 상호작용하는데 유용하거나 심지어 필수적이라고 생각하는 몇 개의 간단한 유형의 지식만을 저장한다는 것을 포함한, 그 자신의 주요한 단점을 가진다.

"지능"의 널리 접근할 수 있는 정의는 : "지식을 취득하고 적용하는 능력"이다(예를 들어, American Heritage 영어 사전 참조). 여기서 설명될 때, 지능형 인터넷 시스템은, 한 예에 따르면, 인터넷에 의해 현재 접속된 엔티티들 뿐만 아니라 인터넷에 의해 현재 접속되지 않은 엔티티들에 대한 많은 타입의 지식을 취득, 조직화, 인코딩, 저장, 액세스, 적용 및 공유하는 능력을 갖춘 네트워킹된 시스템을 생성함으로써 오늘날의 인터넷의 능력을 증강한다.

지능형 인터넷 시스템은, 한 예에 따르면, 사용자가 엔티티들과 직접 상호작용하는 것을 허용하는 단일의 통일된 시스템이기 때문에, 인간 거동에 대한 지식을 직접 취득하는 능력을 가진다. 이것은, 사용자 인터페이스, 엔티티들과의 사용자 상호작용, 및 지식과 자원으로의 액세스를 갖는 운영 체제를 조직적으로 통합하여, 이들간의 복잡한 접합점을 제거한다. 월드 와이드 웹, 의미론적 웹, 및 모바일 앱 등의 대안적 패러다임들 모두는, 사용자 인터페이스, 애플리케이션, 운영 체제 및 다양한 카오틱 자원들간의 복잡한 접합점을 가진다.

엔티티들은 인간과 머신 양쪽 모두가 인식하고 구분하기(disambiguate)에 어려울 수 있다. 엔티티들을 인식하고 이들간을 구분하는데 있어서 주요 해결과제는, 특정한 엔티티가 상이한 "심볼 객체(symbolic objects)"에 의해 표현될 수도 있다는 사실이다. 이들 심볼 객체는 우리의 환경 내의 어디에서나: 장치의 디스플레이 스크린 상에, 우리가 눈으로 보고 귀로 듣는 사물들에서 나타난다. 이들은, 명칭("Tim Berners Lee"), 닉네임, 별명(aliases), 이미지, 비디오, ID, 코드를 포함할 수 있다. 이들은, 뉴스, 트위트, 메시지, 인용(quotation) 등의 수백 종류의 컴퓨터 판독가능한 콘텐츠에서 나타날 수 있다.

지능형 인터넷 시스템의 사용자는, 한 실시예에서, 월드 와이드 웹의 도움없이 이들 심볼 객체와 엔티티들에 대해 직접, 예를 들어, 스마트폰, 태블릿, PC, 스마트 TV 또는 기타의 컴퓨팅 및 통신 장치를 이용해 관심대상의 엔티티를 선택하거나 명시함으로써, 또는 디지털 카메라 또는 기타의 촬상 장치를 이용해 엔티티들의 이미지 또는 비디오를 캡처함으로써 학습할 수 있다.

한 예에서, 지능형 인터넷은, "지식 셀"이라 불리는 새로운 유형의 다차원 디지털 구조로 엔티티들에 대한 지식을 조직화, 인코딩, 및 저장한다. 이들 지식 셀들 각각은 적어도 엔티티와 콘텐츠 객체의 교차점을 나타낸다. 예를 들어, 지식 셀은, 단일의 사람, 장소, 회사, 이벤트, 신념 또는 다른 유형의 엔티티와, 뉴스 아티클, 트위트, 또는 다른 유형의 엔티티 등의 단일 콘텐츠 객체의 교차점을 나타낼 수 있다. 이 예에서, 지능형 인터넷은 지식 셀들을 다차원 디지털 구조로서 구현하고, 그 각각은, 이 엔티티에 대한 사실적 지식; 이 엔티티와 다른 엔티티들간의 관계에 대한 지식; 인간과 머신에 의해 이 엔티티와 상호작용하기 위한 유효한 메소드들에 대한 지식; 평가, 리뷰, 및 옵션에 대한 지식; 이 엔티티와 상호작용하기 위한 안내, 가이드라인 및 절차에 대한 지식을 포함한, 특정한 엔티티에 대한 풍부한 지식 세트를 인코딩한다.

한 실시예에서, 인코딩된 사실적 지식은, 엔티티를 고유하게 기술하는 능력을 집합적으로 가져, 인간과 머신이 엔티티들간을 더욱 효율적으로 구분하는 것을 허용하는, "지식 마커"로서 분류된 속성을 포함한다.

본 발명의 한 예에서, 지능형 인터넷은, 엔티티들과 상호작용하기 위한 표준화된 메소드를 구현하는 "스마트 상호작용 모듈(Smart Interaction Modules)"("SIM")들의 풍부한 라이브러리를 제공한다. 터치-가능형 모바일 장치 또는 태블릿으로 지능형 인터넷에 액세스하는 사용자들은, 뉴스 아티클, 트위트, 이미지, 비디오 또는 웹사이트 상에서, 임의의 심볼 객체를 조우할 때 단순히 그것을 터치함으로써 이들 스마트 상호작용 모듈을 직접 액세스할 수 있다. 다른 유형의 장치들로 인터넷을 액세스하는 사용자들은, 포인트 앤 클릭 메커니즘을 이용하거나 엔티티를 선택 또는 명시하도록 발성함으로써 이들 스마트 상호작용 메소드들에 직접 액세스할 수 있다.

본 발명의 한 양태는, 예를 들어, 1) 모든 유형의 엔티티들을 고유하게 식별하기 위한 일관적 방식(예를 들어, 고유 엔티티 ID); 2) 엔티티들에 대한 우리의 집합적 지식을 인코딩, 조직화 및 저장하기 위한 효율적인 다차원 구조; 3) 개인적 관심대상의 엔티티들에 대한 유용한 지식으로의 원-스텝(one-step) 액세스; 4) 엔티티들과 상호작용하기 위한 스마트 메소드의 표준화된 라이브러리; 5) 엔티티들에 관한 업데이트를 학습하는 간소화된 방식; 및 6) 사용자들, 사용자들의 정황 및 그들의 관심대상의 엔티티들을 이해하고, 사용자들이 이들 엔티티들과 상호작용하는 것을 돕도록 동적으로 구성되는 간단하고 적응적인 사용자 인터페이스; 및 7) 모든 유형의 메시지를 전달하는 간단하고 더욱 효율적이며 안전한 방식을 포함한, 사용자들이 사용자들의 개인적 관심대상의 엔티티들과 상호작용하는 것을 돕는 새로운 통일된 패러다임을 구현한다.

한 양태와 예에서, 지능형 인터넷 시스템은, 엔티티들 및 이들 엔티티들을 나타내는 심볼 객체에 대한 지식을 취득하고, 축적하고, 효율적으로 저장하며, 이 지식을 사용자들에게 용이하게 이용가능하게 하는 보편적인 네트워킹된 시스템이다.

또 다른 양태 및 예에서, 지능형 인터넷 시스템은, 뉴스 피드, 트위트, 웹 서비스, 오픈 링크된 콘텐츠, 웹사이트, 디지털 간행물, 컴퓨터 파일, 오피스 문서, 및 사용자 거동과 입력을 포함한, 수많은 다양한 자원들로부터 엔티티들에 대한 지식을 취득하고 축적하는 능력을 가진다.

또 다른 양태 및 예에서, 지능형 인터넷 시스템은, 사용자들이, 스마트폰, 태블릿, PC 또는 기타의 스마트 장치의 스크린 상에서 그들이 보는 심볼 객체에 대한 지식을, 심볼 객체를 터치함으로써, 직접 액세스할 수 있게 한다.

본 출원은, 유사한 부분이 유사한 번호에 의해 참조되는 첨부된 도면과 연계하여 취해지는 이하의 설명을 참조함으로써 최상으로 이해될 수 있다.
도 1은 콘텐츠 및 지식을 취득, 관리, 저장 및 액세스가능하게 하기 위한 메소드를 갖는 본 발명의 제1 실시예의 블록도를 도시한다.
도 2는 메타데이터 컴포넌트를 저장하기 위한 메소드를 갖는 실시예의 블록도를 도시한다.
도 3은 복수의 타입의 콘텐츠 자원으로부터 콘텐츠와 서비스를 취득하기 위한 메소드를 갖는 실시예를 도시한다.
도 4는 콘텐츠 자원을 합리화하고(rationalize) 이들을 지능형 인터넷 시스템에 이용가능하게 하기 위한 메소드를 갖는 실시예를 도시한다.
도 5는 RSS 콘텐츠 자원을 처리하기 위한 메소드를 갖는 실시예의 블록도를 도시한다.
도 6은 RDF 콘텐츠 자원에 대한 메소드를 갖는 실시예의 블록도를 도시한다.
도 7은 웹 서비스 자원으로부터의 콘텐츠를 처리하기 위한 메소드를 갖는 실시예를 도시하는 블록도이다.
도 8은 웹 페이지 콘텐츠 자원을 처리하는 메소드를 갖는 실시예의 블록도를 도시한다.
도 9는 오피스 문서 콘텐츠 자원을 처리하기 위한 메소드를 갖는 실시예의 블록도를 도시한다.
도 10은 심볼 객체를 인식하고 심볼 객체에 지식 태그를 추가하기 위한 메소드를 갖는 실시예의 블록도를 도시한다.
도 11은 텍스트 콘텐츠 자원에 임베딩된 심볼 객체를 인식 및 처리하기 위한 메소드를 갖는 실시예의 블록도를 도시한다.
도 12는 이미지 콘텐츠 자원에 임베딩된 심볼 객체를 인식 및 처리하기 위한 메소드를 갖는 실시예의 블록도를 도시한다.
도 13은 비디오 콘텐츠 자원에 임베딩된 심볼 객체를 인식 및 처리하기 위한 메소드를 갖는 실시예의 블록도를 도시한다.
도 14는 비디오 방송 콘텐츠 자원에 임베딩된 심볼 객체를 인식 및 처리하기 위한 메소드를 갖는 실시예의 블록도를 도시한다.
도 15는 인쇄된 콘텐츠 자원에 임베딩된 심볼 객체를 인식하기 위한 메소드 처리를 갖는 실시예의 블록도를 도시한다.
도 16은 엔티티들에 대한 명시적인 사실적 지식을 취득하기 위한 메소드를 갖는 구현을 도시하는 플로차트이다.
도 17은 엔티티들간의 명시적 관계에 대한 지식을 취득하기 위한 메소드를 갖는 구현을 도시하는 플로차트이다.
도 18은 엔티티들간의 관계에 대한 정황 지식을 취득하기 위한 메소드를 갖는 구현을 도시하는 플로차트이다.
도 19는 엔티티들과의 사용자 상호작용을 모니터링 및 처리하기 위한 메소드를 갖는 실시예를 도시하는 플로차트이다.
도 20은 사용자가 기여한 지식을 처리 및 저장하기 위한 메소드를 갖는 실시예의 블록도를 도시한다.
도 21은 스마트 콘텐츠 레코드에 대한 메타데이터를 조직화하기 위한 메소드를 갖는 실시예의 블록도를 도시한다.
도 22는 지식 그래프에서 메타데이터-정의된 요소들과 구조들을 구현하기 위한 메소드를 갖는 실시예의 블록도를 도시한다.
도 23은 "엔티티 타입" 노드 템플릿에 기초하여 엔티티 노들들의 생성을 관리하는 기능을 갖는 실시예를 도시한다.
도 24는 지식 그래프 내의 엔티티들에 대한 지식의 검색을 최적화하는 기능을 갖는 실시예를 도시한다.
도 25는 스마트 메시지를 처리하기 위한 메소드를 갖는 실시예를 도시하는 블록도이다.
도 26은 메시지 소스로부터의 메시지를 처리하기 위한 메소드를 갖는 실시예를 도시하는 블록도이다.
도 27은 스마트 메시지를 스마트 메시지 컴포넌트들로 분할하기 위한 메소드를 갖는 구현을 도시하는 블록도이다.
도 28은 iPv6-어드레싱가능한 스토리지 시스템에 스마트 메시지 요약을 저장하기 위한 메소드를 갖는 실시예를 도시하는 블록도이다.
도 29는 URI-기반의 시스템에서 스마트 메시지 요약을 저장하는 대안적 실시예를 구현하기 위한 메소드를 보여주는 블록도이다.
도 30은 스마트 메시지 요약을 구독하기 위한 메소드를 갖는 실시예를 도시하는 블록도이다.
도 31은 임의의 엔티티에 대한 스마트 메시지를 "추종"하는 메소드를 갖는 실시예의 블록도를 도시한다.
도 32는 사용자와 공급자가 실시간으로 1대1 통신하는 것을 허용하는 메소드를 갖는 실시예를 도시하는 블록도이다.
도 33은 상호작용을 위한 엔티티를 선택하기 위한 메소드를 갖는 실시예의 블록도를 도시한다.
도 34는 엔티티 지식 마커에 의해 보조되는, 엔티티를 검색하는 메소드를 갖는 실시예를 도시하는 블록도이다.
도 35는 심볼 객체들의 목록으로부터 관심대상의 엔티티를 선택하기 위한 메소드를 갖는 실시예를 도시하는 블록도이다.
도 36은 심볼 객체들의 갤러리로부터 엔티티를 선택하기 위한 메소드를 갖는 실시예를 도시하는 블록도이다.
도 37은 스마트 텍스트 콘텐츠에 임베딩된 태깅된(tagged) 심볼 객체를 선택하기 위한 메소드를 갖는 실시예를 도시하는 블록도이다.
도 38은 스마트 텍스트 콘텐츠에 임베딩된 태깅해제된(untagged) 심볼 객체를 선택하기 위한 메소드를 갖는 실시예를 도시하는 블록도이다.
도 39는 이미지 객체에 임베딩된 태깅해제된 심볼 객체를 선택하기 위한 메소드를 갖는 실시예를 도시하는 블록도이다.
도 40은 인쇄된 콘텐츠에 임베딩된 태깅해제된 심볼 객체를 선택하기 위한 메소드를 갖는 실시예를 도시하는 블록도이다.
도 41은 비디오 콘텐츠에 임베딩된 태깅해제된 심볼 객체를 선택하기 메소드를 갖는 실시예를 도시하는 블록도이다.
도 42는 엔티티들에 대한 적용가능한 상호작용에 대한 지식에 액세스하기 위한 메소드를 갖는 구현을 도시하는 플로차트이다.
도 43은, 사용자가 엔티티를 선택함으로써 개시되는, 엔티티들과의 사용자 상호작용을 관리하는 메소드를 갖는 실시예를 도시하는 블록도이다.
도 44는 사용자가 상호작용 메소드를 선택함으로써 개시되는, 엔티티들과의 사용자 상호작용을 관리하는 메소드를 갖는 실시예를 도시하는 블록도이다.
도 45는 엔티티들과의 사용자 상호작용을 관리하기 위한 메소드를 갖는 실시예를 도시하는 결정 행렬이다.
도 46은 상호작용을 위한 스마트 콘텐츠 레코드를 선택하기 위해 아이콘을 이용하기 위한 메소드를 갖는 실시예를 도시하는 예시이다.
도 47은 스마트 콘텐츠와 상호작용하기 위한 메소드를 갖는 구현의 예를 도시하는 블록도이다.
도 48은 "스마트 상호작용 모듈"("SIM")을 이용하여 엔티티들과 상호작용하기 위한 메소드를 갖는 구현을 도시하는 블록도이다.
도 49는 심볼 객체 및/또는 엔티티의 사용자 선택에 응답하여 적응적 사용자 인터페이스를 관리하기 위한 메소드를 갖는 구현을 도시하는 설계를 예시한다.
도 50은 하나의 페이지 상의 적응적 사용자 인터페이스를 관리하기 위한 메소드를 갖는 구현을 도시하는 설계를 예시한다.
도 51은 보편적 상호작용의 사용자 선택에 응답하여 적응적 사용자 인터페이스를 관리하기 위한 메소드를 갖는 구현을 도시하는 논리적 플로차트를 나타낸다.

이하의 설명은 통상의 기술자가 다양한 실시예를 구성하고 이용할 수 있게 하기 위해 제공된다. 특정한 장치, 기술, 및 응용의 상세사항은 오로지 예로서 제공되는 것이다. 여기서 설명된 예에 대한 다양한 수정이 통상의 기술자에게는 명백할 것이며, 여기서 정의된 일반 원리는 본 기술의 사상과 범위를 벗어나지 않고 다른 예들 및 응용들에 적용될 수도 있다. 따라서, 개시된 기술은 여기서 설명된 예로 제한되고자 하는 것은 아니며, 청구항들과 일치하는 범위에 따라야 한다.

본 발명의 실시예는 "엔티티"에 관한 지식에 대한 단순화된 접근을 사용자에게 제공한다. 엔티티는, 예를 들어: 사람, 장소, 회사, 학교, 식당, 이벤트, 아이디어 및 기타의 것들을 포함한, 인간이 고유하게 인식할 수 있고, 명명하며 상호작용할 수 있는 모든 사물을 포함한다. 엔티티는, 보고, 듣고, 터치하고, 느끼거나 상상할 수 있는 모든 것을 포함할 수 있다.

실시예는, 엔티티와 상호작용하기 위한 "스마트 상호작용 모듈"("SIM"), 모듈식의 통합된 컴퓨터-구현된 메소드를 이용하여, 사용자가 관심대상의 엔티티를 발견 및 선택하고, 이들과 상호작용하는 것을 허용한다.

본 발명의 실시예는, 복수 타입의 엔티티에 대한 복수의 소스로부터 복수 타입의 지식을 발견, 조직, 저장, 관리, 이용 및 액세스가능하게 한다.

이들 실시예들은 "콘텐츠"라 불리는 특정한 엔티티 그룹을 생성 및 관리하기 위한 메소드를 가지며, 이러한 콘텐츠는 인간이 경험하고, 상호작용하며 소비할 수 있는 단어, 이미지, 및 시청각 매체의 집합으로 구성된다. 콘텐츠 엔티티의 예로서는, 예를 들어, 뉴스 아티클, 트위트, 블로그, 오피스 문서, eBook, 이미지 및 비디오가 포함된다. 콘텐츠 엔티티는 복합 구조일 수 있고, 항상 단일 엔티티(unitary entity)의 하나 이상의 인스턴스(instance)와 관련된다.

임의의 엔티티는 그 엔티티를 나타내는 심볼 객체를 가질 수 있다(예를 들어, 엔티티 "Abraham Lincoln"은 기재되거나 발성된 단어 또는 문구, 별명, ID, 코드, 이미지 또는 비디오 등에 의해 표현될 수 있다).

본 발명의 실시예에서, 사용자는 단순히 그 엔티티를 나타내는 임의의 심볼 객체를 터치함으로써 관심대상의 엔티티를 선택하고 이와 상호작용할 수 있다. 다른 실시예에서, 사용자는 심볼 객체 또는 엔티티의 이름을 클릭하거나 발성하여 추가 상호작용을 위해 이것을 선택할 수 있다. 이들 실시예는 사용자에게 엔티티에 관한 지식에 액세스하기 위한 간단한 원 스텝 프로세스를 제공하고 사용자에게 ".... 를 터치 및 알기" 또는 "... 를 말하기 및 알기" 경험을 제공한다.

실시예는 심볼 객체들의 목록 또는 갤러리를 브라우징한 다음 목록이나 갤러리로부터 관심대상의 심볼 객체를 선택함으로써 관심대상의 엔티티를 선택하는 것을 허용하며, 각각의 심볼 객체는 엔티티를 나타낸다.

실시예는 사용자가 사용자 인터페이스에서 검색 요청을 입력하고 지능형 에이전트(Intelligent Agent)와 상호작용함으로써 엔티티를 선택하는 것을 허용한다. 사용자가 검색 요청 입력을 시작할 때, 메소드(methods)는 검색 요청 분석을 시작하고, 엔티티들에 대한 인코딩된 공유가능한 지식을 갖는 네트워킹형 데이터베이스인 "지식 그래프(knowledge graph)"와의 직접적인 양방향 통신을 개시하는 지능형 검색 에이전트를 활성화시킨다. 지식 그래프가 사용자 검색 요청 파라미터를 만족하는 하나보다 많은 엔티티를 포함한다고 지능형 검색 에이전트가 판정하면, 지능형 검색 에이전트는 사용자 인터페이스에서 시각적 패널을 오픈하고 이러한 가능한 엔티티들의 목록을, 가능하게는 매칭하는 매칭 엔티티에 대한 넓은 범주를 나타내는 그 "엔티티 그룹", 예를 들어, "사람"; 가능하게는 매칭하는 더 좁은 범주를 나타내는 그 "엔티티 타입", 예를 들어, "배우"; 및 사용자가 보았을 때, 사용자가 관심대상의 특정한 엔티티를 선택하는 것을 도울 수 있는, 특정한 속성인 "지식 마커"를 포함한, 이들에 대한 지식과 함께 디스플레이한다. 검색 요청을 만족하는 각각의 가능한 엔티티에 대한 이러한 특정한 지식을 볼 수 있도록 인에이블되면, 사용자는 이들간을 분명히 구분할 수 있고 그것을 터치하거나 클릭하거나 그 이름을 말함으로써 관심대상의 특정한 엔티티를 선택할 수 있다.

실시예는 사용자가 사용자 인터페이스에 디스플레이되거나 사용자에게 제시된 임의의 콘텐츠에 임베딩된 심볼 객체를 발성된 단어를 통해 선택하는 것을 허용한다. 임의의 이러한 심볼 객체를 선택하는 것은, 선택된 심볼 객체 및 이것이 나타내는 엔티티에 대한 지식 그래프 내의 지식으로의 직접-네트워킹된 액세스를 갖는 "지능형 상호작용 에이전트"를 활성화시킨다. 지능형 상호작용 에이전트는, 활성화되면, 사용자가 이 엔티티와 상호작용하기 위한 유효한 메소드에 대한 지식을 검색하는 것, 사용자가 이 엔티티와 상호작용하기 위해 희망하는 메소드를 선택할 수 있는 메뉴를 사용자 인터페이스에 프리젠팅하는 것, 및 이 특정한 엔티티에 적용되는 유효한 상호작용 옵션으로 메뉴를 채우는 것을 포함한, 사용자에 대한 몇 개의 태스크를 자동으로 수행한다.

실시예는, 사용자가, 예를 들어, 뉴스를 읽고 상호작용하는 것; 이미지 및 비디오를 업로드, 조직화, 관리, 보고 상호작용하는 것; eBook을 읽고 상호작용하는 것; 오피스 문서를 보고 상호작용하는 것; 테이블을 예약하기 위해 식당과 상호작용하는 것; 이벤트를 발견하고 이와 상호작용하는 것; 트위트를 포스팅하는 것; 관심대상의 엔티티에 대한 트위트를 수신하고 보며 이들과 상호작용하는 것; 소셜 네트워크에 업데이트를 포스팅하는 것; 소셜 네트워크로부터의 업데이트와 많은 다른 타입의 엔티티들과의 상호작용을 수신하고, 보며 상호작용하는 것을 허용하는 "스마트 상호작용 모듈"(SIM)의 대규모 라이브러리를 포함한다.

본 발명의 실시예는, 사물에 대한 학습; TV를 시청하며, TV 프로그램에 보여진 사람, 장소, 이벤트 및 아이디어와 상호작용하는 것; 라디오를 청취하며 발성되거나 재생된 임의의 것과 상호작용하는 것; 여행을 계획하는 것; 물건을 사거나 파는 것; 개인 및 비지니스 서비스를 얻고 제공하는 것; 투자하고 투자를 관리하는 것; 임의의 것에 대한 메시지를 생성하고, 전송하며, 수신하고 상호작용하는 것; 네트워크 접속된 장치를 관리하고 이와 상호작용하며 이들이 생성하고 전송하는 신호에 응답하는 것; 콘텐츠, 상호작용 및 분석 능력을 통합하는 메소드로부터 생기는 "빅 데이터"를 분석하는 것; 및 많은 더 많은 활동들을 포함한, 광범위한 사용자 활동을 지원하기 위한 유틸리티를 가진다.

본 발명의 실시예에서, 사용자가 엔티티를 선택하고 이와 상호작용하는 것을 허용하는 사용자 인터페이스는, 사용자가 추구하는 사용자 지식, 콘텐츠 및 기타의 자원을 가져 오도록 동적으로 구성된 패널들을 갖는, 단일 페이지로 구성된다.

도 1은 콘텐츠 및 지식을 취득, 관리, 저장 및 액세스가능하게 하기 위한 메소드를 갖는 본 발명의 제1 실시예의 블록도를 도시한다. 본 발명의 모든 컴포넌트들은 대규모 네트워크로 접속된다.

실시예에서, "메타데이터"(1)는 일관성과 무결성을 보장하는 데이터 구조의 MySQL 등의 데이터베이스에 저장된다. 메타데이터는 지식 및 "스마트 콘텐츠"를 범주화하고 관리하는 것을 돕거나 이에 필요한 목록(9)과 테이블(10)을 포함한다.

실시예에서, 메소드는 다양한 콘텐츠 자원(2)을 전처리하고, 상기 메소드는 이러한 콘텐츠 자원을 "스마트 콘텐츠"(6), 즉, 각각의 스마트 콘텐츠 레코드의 특정한 컴포넌트 내에 자신에 대한 임베딩된 지식을 포함하는 일관적이고 합리화된 콘텐츠(coherent rationalized content)로 변환한다.

실시예에서, 사용자는, 사용자 입력; 지리적-위치, 움직임, 배향 등의, 사용자의 장치에 저장되거나 사용자의 장치에 이용가능한 변수들; 지식 그래프 및 사용자의 장치에 저장된 사용자의 관심대상에 관한 지식; 및 다양한 엔티티들과의 사용자의 과거 상호작용에 대한 지식에 응답하여 구성되는 사용자 인터페이스를 갖는 터치스크린 가능형 장치를 이용하여 지식 그래프와 스마트 콘텐츠 데이터베이스에 저장된 변수들과 상호작용한다. 이 시스템은 이들 사용자 상호작용(3)을 거동 지식으로서 지식 그래프에 인코딩한다.

실시예에서, 사용자는 시스템(4)으로의 입력에 직접 기여함으로써 지능형 인터넷 시스템으로의 다양한 타입의 지식에 기여한다. 사용자들은, 예를 들어: 질문과 답변, 의견, 메소드, 절차, 가이드라인, 긍정적 및 부정적 반응, 제공하기를 원하거나 제공해야 하는 항목 또는 서비스의 상세사항을 포함한, 지능형 인터넷 시스템으로의 많은 타입의 지식에 개별적으로 및 집합적으로 기여할 수 있다. 지능형 인터넷 시스템은 이 지식을 평가하고, 이것을 다른 지식과 상관시켜 그 신뢰성의 확립을 도울 수 있다. 예를 들어, 사용자는 식당에 대한 리뷰를 기여할 수 있고, 시스템은 이것을 방문 횟수와 함께 사용자가 이 식당을 방문했다는 것을 나타내는 지식 그래프 내의 다른 곳에 저장된 지식과 상관시킬 수 있다.

실시예에서, 메소드는 콘텐츠 자원(2)으로부터의 콘텐츠를 전처리하고 이 콘텐츠를 스마트 콘텐츠 데이터베이스(6)에 저장되는 스마트 콘텐츠로 변환하며, 이 메소드는 : 콘텐츠의 파일 타입을 표준화 및 정규화하는 것, 다양한 파일 타입들을 시스템에 의해 효율적으로 지원되는 "표준화된 파일 타입"으로 변환하는 것; 콘텐츠 속성에 대한 명칭을 표준화 및 정규화하는 것; 및 Spring data와 같은 다양한 상업적 오픈 소스 툴로 구현되는 것과 같은, 데이터 변환 메소드를 이용하여 데이터 타입들을 표준 데이터 타입들로 표준화 및 정규화하는 것을 포함한다.

이 실시예에서, 메소드는 자원 파일 타입들, 예를 들어, PDF 포멧팅된 파일들을, HTML, XML, ePub3 또는 기타의 널리 이용되고 용이하게 관리되며 용이하게 디스플레이가능한 표준 파일 포멧 등의, 시스템에 의해 쉽게 이해되는 표준 파일 타입들로 변환한다.

실시예에서, 메소드는, Word, Excel 및 PowerPoint 파일 등의 Microsoft Office 자원 파일들을, 스마트 콘텐츠 데이터베이스(6)에 의해 쉽게 이해되는 표준 파일 타입들로, ePub3 등의 파일 타입들로 변환한다.

실시예에서, 메소드는 "스마트 콘텐츠" 레코드를 생성하고 이들 레코드를 MongoDB 등의 상업적 또는 오픈 소스 문서 데이터베이스의 향상된 버전으로 저장한다. 이 실시예는 구조화된 또는 구조화되지 않은 포멧, 또는 이들의 임의의 혼합으로의 스마트 콘텐츠의 저장을 지원한다.

실시예에서, 메소드는 콘텐츠 레코드를 스마트 콘텐츠 레코드로 조직화함으로써 콘텐츠를 "스마트 콘텐츠"로 변환하며, 각각의 이러한 스마트 콘텐츠 레코드는, 다음과 같은 것들을 포함한 콘텐츠에 대한 지식을 포함하는 임베딩된 레코드 컴포넌트를 가진다: 1) 콘텐츠 메타데이터 지식을 갖는 컴포넌트, 2) 콘텐츠 지식 맵을 갖는 컴포넌트, 2) 콘텐츠 허용 지식(content permision knowledge)을 갖는 컴포넌트, 3) 하나 이상의 콘텐츠 요약을 갖는 컴포넌트, 4) 콘텐츠 소스로부터의 원본 콘텐츠 객체로 구성된 컴포넌트.

스마트 콘텐츠 레코드에 임베딩된 콘텐츠 메타데이터 지식 컴포넌트의 예로서는 다음과 같은 데이터가 포함될 수 있다: 콘텐츠의 제목, 콘텐츠의 저자(들), 콘텐츠의 간행 날짜, 콘텐츠의 간행인 및 콘텐츠의 편집자(들).

스마트 콘텐츠 레코드에 임베딩된 콘텐츠 지식 맵 컴포넌트의 예로서는 예를 들어, 다음과 같은 것들이 포함될 수 있다: 1) 컴퓨터-생성된 고유 엔티티 ID(즉, 이 콘텐츠 레코드에만 적용되는 고유 랜덤 ID); 2) 엔티티 명칭(예를 들어, 콘텐츠의 제목); 3) 엔티티 그룹명(모든 스마트 콘텐츠에 대한 디폴트 값은 "콘텐츠"이다); 4) 엔티티 타입 명칭(메타데이터에 열거된 유효한 콘텐츠 타입의 명칭으로 구성); 5) 콘텐츠의 각 저자에 대한 저자명; 6) 콘텐츠의 각각의 저자에 대한 고유 엔티티 ID; 7) 콘텐츠를 공급하는 자원에 대한 고유 엔티티 ID; 및 8) 콘텐츠가 간행된 날짜와 시간 등을 기록한 "타임스탬프-간행된(timestamp-published)" 속성.

스마트 콘텐츠 레코드에 임베딩된 콘텐츠 허용 지식 컴포넌트의 예로서는 다음과 같은 데이터가 포함될 수 있다: 1) 콘텐츠가 처음으로 릴리스될 수 있는 날짜와 시간을 지정하는 "타임스탬프-인가된-릴리스" 콘텐츠 속성; 2) 추가 액세스가 차단되는 날짜와 시간을 지정하는 "타임스탬프-수명-종료"; 3) 이 스마트 콘텐츠 레코드에 액세스하도록 인가된 임의의 사용자(들) 또는 사용자 그룹들의 엔티티 ID.

스마트 콘텐츠 레코드 내의 콘텐츠 요약 컴포넌트의 예로서는, 지식 맵 컴포넌트, 지식 허용 컴포넌트, 및 사용자가 전체 내용이 무엇인지에 대한 요지를 얻기에 충분한, 예를 들어, 100개 문자로 구성될 수 있는 콘텐츠의 요약 컴포넌트로 구성된 "환기 요약(alert summary)"이 포함될 수 있다.

스마트 콘텐츠 레코드 내의 콘텐츠 객체 컴포넌트의 예는 콘텐츠 자원(2)으로부터의 원본 콘텐츠일 수 있고, 이러한 콘텐츠는, 콘텐츠 객체 내의 알려진 심볼 객체들에 대한 지식 그래프 내의 지식에 액세스하기 위한 메소드를 포함하는 임베딩된 은닉 지식 태그를 포함하도록 강화될 수 있다.

실시예에서, 기능은 MongoDB 등의 문서 데이터베이스의 능력을 "Reactive Mongo" 등의 소프트웨어 드라이버에 의해 제공되는 것들과 결합하여, 스마트 콘텐츠 데이터베이스가 엔티티에 관련된 스마트 콘텐츠에 대한 요청에 신속하게 응답하고 이러한 스마트 콘텐츠에 대한 이러한 요청으로부터의 결과를, 완전히 비동기적으로, 완전히 비-차단 방식으로, 실시간으로, 많은 수의 클라이언트들에게 동시에 외부로 스트리밍하는 것을 허용한다. 이 실시예에서 지능형 모니터링 에이전트는 특정한 엔티티에 대한 특정한 타입의 콘텐츠에 관련된 하나 이상의 사용자의 관심대상을 나타낼 수 있다.

실시예에서 메소드는 엔티티에 대한 지식을 처리하고(7), 이러한 메소드는 콘텐츠 자원(2)에 임베딩된 심볼 객체에 대한 지식을 발견하고 인식하며; 이러한 심볼 객체들과의 사용자 상호작용(3)의 로그(log)를 처리하고, 엔티티에 대한 지식에 기여하는 사용자 입력(4)을 처리하며 결과 지식을 인코딩하여 여기서는 "지식 그래프 스토리지(8)"라고도 하는 "지식 그래프"에 저장한다.

실시예에서, 메소드는 : 텍스트 파일, 이미지 파일, 비디오 파일 및 콘텐츠 자원(2)으로부터의 다른 타입의 콘텐츠 파일에 임베딩되거나 이들을 참조하는 "심볼 객체"(즉, 단어, 구문, 코드, ID, 이미지 및 비디오 등을 포함한, 엔티티를 나타내는 객체)를 인식하고; 인식된 심볼 객체에 관련된 데이터를 비교 및 대조하여 인식된 엔티티에 대한 신뢰도 레벨을 확립하며; 이들 심볼 객체에 지식 태그를 추가하고, 예를 들어, 각각의 이러한 지식 태그는, 예를 들어, 최소한, 엔티티에 대한 고유 엔티티 ID; 엔티티에 대한 엔티티 그룹 분류의 명칭(예를 들어, "사람"); 및 엔티티에 대한 엔티티 타입(예를 들어, "외과 의사") 분류의 명칭으로 구성된다.

실시예에서, 엔티티, 엔티티 속성, 엔티티 관계 및 엔티티 관계 속성에 대한 "지식"은, 지식을 저장하기 위해 맞춤화되고 최적화된 그래프 데이터베이스인, "지식 그래프 스토리지"(8)에 저장된다.

이 실시예에서, 메소드는, Neo4J 등의 상업적으로 이용가능한 그래프 데이터베이스의 표준 구현을, 엔티티들에 대한 모든 타입의 지식을 효율적으로 저장, 관리 및 액세스하도록 그래프 데이터베이스의 최적화를 허용하는 고유한 속성, 규칙 및 메소드를 포함하는 맞춤화된 지식 그래프로 강화 및 변환한다.

이 실시예에서, 지식 그래프의 모든 컴포넌트는 엔티티들에 대한 지식을 저장하는 것과 관련된 특정한 유틸리티를 가지며; 그래프 노드는 엔티티를 나타내고; 그래프 노드 속성은 엔티티 속성을 나타내며; 노드 관계는 엔티티들간의 관계를 나타내고; 관계 속성은 엔티티들간의 관계와 연관된 속성을 나타낸다.

이 실시예에서, 지식 그래프의 모든 컴포넌트는 엔티티들에 대한 지식을 저장하는 것과 관련된 특정한 유틸리티를 가지며; 그래프 노드는 엔티티를 나타내고; 노드 속성은 엔티티 속성을 나타내며; 노드 관계는 엔티티들간의 관계를 나타내고; 관계 속성은 엔티티들간의 관계와 연관된 속성을 나타낸다.

실시예에서, 지식 그래프의 노드들 각각은, 전체로서 고려될 때, "지식 마커", 즉, 엔티티를 고유하게 식별하고 엔티티들간의 구분을 허용하는 한 세트의 속성을 명시하는, 지식 속성 템플릿을 이용하여 구성되고, 각각의 이러한 지식 마커 세트는 엔티티 그룹 및 엔티티의 엔티티 타입에 따라 변하고, 각각의 이러한 세트는, 적어도, 엔티티 id, 엔티티 명칭, 엔티티에 대한 엔티티 그룹명 및 엔티티에 대한 엔티티 타입명 외에도, 엔티티 그룹 및 엔티티의 엔티티 타입에 관련된 다른 속성들을 포함한다. 예를 들어, 엔티티 그룹명 "서비스"와 엔티티 타입명 "식당"을 갖는 엔티티는, "지리적-위치", "국가", "지역/주", "도시", "거리 주소", "전화 번호", "요리", "예약 플래그", "배달 플래그" 등의 식당에 대한 한 세트의 지식 마커를 가질 수 있다. "변호사", "고등 학교", "강", "블로그", "종교적 신념" 등의 엔티티 타입에 대한 지식 마커는, 엔티티들의 목록으로서 사용자에게 제시될 때, 사용자가 어느 엔티티에 자신이 관심을 갖는지를 즉각 알도록 허용하고, 후속해서, 검색 엔진이 사용자의 관심대상 엔티티에 대한 콘텐츠만을 찾는 것을 허용하여, 유사한 명칭을 갖는 다른 엔티티들에 관련된 콘텐츠를 제거하고, 사용자와 머신 알고리즘간의 협동을 허용하며, 검색 프로세스를 사용자에게 더 효율적으로 하는, 상이한 세트의 지식 마커를 가질 것이다.

실시예에서, 지식 그래프의 노드들간의 관계는, 접속된 2개의 엔티티들간의 관계에 대한 엔티티 관계 명칭, 엔티티 관계 타입 명칭 및 엔티티 관계 속성 명칭을 포함하고, 접속된 엔티티 그룹 또는 엔티티 타입 세트, 및 이들이 열거된 순서에 따라 변하는, 지식 관계 템플릿을 이용하여 구성된다. 예를 들어, 엔티티 그룹 "사람" 및 엔티티 타입 "사용자"를 갖는 엔티티와 엔티티 그룹 "콘텐츠" 및 엔티티 타입 "뉴스 아티클"를 갖는 또 다른 엔티티 사이의 관계는, "읽기", "공유됨", "주석부기됨" 등의 엔티티들의 이러한 특정한 짝짓기에 특유한 관계 속성을 가질 수 있다.

실시예에서, 스마트 콘텐츠 데이터베이스 내의 스마트 콘텐츠 레코드는, 지식 그래프 내의 그들의 대응하는 엔티티 노드에 맞게 정렬된 속성을 포함하는 "지식 맵"이라 불리는 임베딩된 레코드 컴포넌트를 가지며, 이러한 정렬은, 예를 들어, 스마트 콘텐츠 레코드와 그 대응하는 엔티티 노드에 대한 동일한 엔티티 id 뿐만 아니라, 동일한 엔티티 그룹명, 엔티티 타입명, 및 이 엔티티 그룹 및 엔티티 타입에 대한 지식 마커로서 명시된 기타의 속성의 이용을 포함한다. 예를 들어, "뉴스 아티클"에 대한 스마트 콘텐츠 레코드는 엔티티 그룹 "콘텐츠"와 엔티티 타입 "뉴스 아티클"를 갖는 엔티티에 대한 지식 그래프 내의 대응하는 노드를 가질 것이고, 스마트 콘텐츠 레코드와 지식 그래프 내의 노드 양쪽 모두는 "저자명", "저자 엔티티 id", "간행 날짜" 등에 대한 속성들을 가질 수 있다. 스마트 콘텐츠 레코드는 지식 그래프에 포함되지 않는 추가 속성을 포함할 수도 있다.

실시예에서, 엔티티 노드, 엔티티 속성, 엔티티 관계 및 엔티티 관계 노드의 추가 및 업데이트를 포함한, 지식 그래프에 추가하거나 및/또는 지식 그래프를 업데이트하기 위해 다양한 방법이 적용된다. 연관된 스마트 콘텐츠 레코드에 추가하거나 이를 수정하기 위해 추가적인 방법이 적용된다.

도 2는 메타데이터 컴포넌트를 저장하기 위한 메소드를 갖는 실시예의 블록도를 도시한다. 이 메타데이터는 지식의 분류화 및 조직화를 표준화하기 위한 메소드에 의해 이용된다. 이러한 메타데이터는 : 메타데이터 요소들을 포함하는 메타데이터 목록(9)과, 메타데이터 요소를 다른 메타데이터 요소와 링크시키는 메타데이터 테이블(10)을 포함한다.

실시예에서, 메타데이터 목록(9)은 : 분류 범주들, 상호작용 메소드, 지능형 에이전트들, 자원 제공자 및 엔티티들의 목록을 포함한다.

실시예에서, 메타데이터 테이블(10)은 메타데이터 목록(9) 내의 항목들을 링크시킨다. 이러한 링크된 메타데이터의 예로서는 : 엔티티 타입 대 엔티티 그룹; 엔티티 타입 대 엔티티 속성; 엔티티 타입 대 엔티티 마커; 엔티티 타입 대 엔티티 상호작용 메소드; 콘텐츠 타입 대 파일 확장자; 콘텐트 타입 대 콘텐츠 그룹; 콘텐츠 타입 대 디폴트 엔티티 상호작용 메소드; 자원 속성 명칭 대 콘텐츠 객체; 및 표준화된 속성 명칭 대 콘텐츠 객체가 포함된다. 예를 들어, 테이블은, "Geonames"라 불리는 콘텐츠 자원에 의해 지정된 속성의 명칭, "DBPedia"라 불리는 콘텐츠 자원에 의해 지정된 속성의 명칭, 및 Metadata에서 지정된 속성의 표준화된 명칭으로 구성될 수 있고, Geonames 및 DBPedia로부터의 콘텐츠의 컴퓨터화된 합리화와, 이러한 자원들로부터의 콘텐츠에 대한 속성을, 정규화된 방식으로 지식 그래프 데이터베이스와 스마트 콘텐츠 데이터베이스에 저장하는 것을 허용한다.

메타데이터는, 메타데이터 목록 및 맵핑된 메타데이터의 무결성을 보장하기 위하여, 예를 들어, MySQL 등의 관계형 데이터베이스에 저장될 수 있다.

도 3은 다양한 자원으로부터 콘텐츠를 취득하기 위한 메소드를 갖는 실시예를 도시한다. 실시예는, 예를 들어 : RSS 피드, 트위트, 메시지, 이미지, 비디오, 컴퓨터 판독가능한 파일, 오피스 문서, ePublications, 웹 서비스 데이터, 오픈 링크된 콘텐츠("RDF 파일") 데이터 뿐만 아니라, 이미지화된 인쇄 콘텐츠 및 다른 타입의 콘텐츠 자원과 같은, 이러한 다양한 콘텐츠 자원(11)을 처리하기 위한 메소드를 포함한다.

도 4는 콘텐츠 자원(4)을 합리화하고 이들을 지능형 인터넷 시스템에 이용가능하게 하기 위한 메소드를 갖는 실시예를 도시한다.

이 실시예에서, 메소드는 콘텐츠 자원(2)으로부터의 콘텐츠 파일들을 처리하여 각각의 고유한 콘텐츠 파일에 대한 엔티티 ID를 할당하고(12), 각각의 고유한 콘텐츠 파일에 대한 콘텐츠 타입을 인식하며(13), 콘텐츠 자원(2) 내의 심볼 객체에 지식 태그를 할당하여, 스마트 콘텐츠 데이터베이스(6)에 저장되는 스마트 콘텐츠를 생성한다. 이 실시예에서, 지식 태그는, 월드 와이드 웹 및 웹 브라우저에 의해 지원되는 하이퍼텍스트 태그와 같이, 특정한 URL을 갖는 파일에 대한 포인트로서 역할하지는 않지만, 대신에 지식 그래프 내의 노드에 대한 포인트로서 역할하여, 사용자에 의한 관심대상의 표시시에 사용자가 태깅된 객체에 대한 지식에 직접 액세스하는 것을 허용한다.

이 실시예에서, 메소드는 콘텐츠 자원(2)으로부터의 콘텐츠에서 구현된 다양한 파일 타입들을 스마트 콘텐츠 레코드에서 구현된 파일 콘텐츠 타입(13)으로 변환함으로써 파일 타입의 수를 줄이며, 이러한 변환은 메타데이터(1)에서 정의된 변환 맵을 이용한다. 예는 .jpg 또는 .img 파일 타입을 콘텐츠 타입 "이미지"로 변환하는 것일 것이다.

이 실시예에서, 메소드는 원본 콘텐츠 내의 데이터 요소들에 대한 콘텐츠 요소 명칭을 정규화하고(14), 메타데이터(1)에서 정의된 변환 테이블을 이용하여, 이들을 스마트 콘텐츠 데이터베이스(6)에서 구현된 표준 속성 명칭으로 변환한다. 예는, 데이터 요소 명칭 "간행 날짜"를 표준화된 데이터 요소 명칭 "간행된 날짜"로 변환하여, 다운스트림 인덱싱과 검색 메소드를 간소화하는 것일 것이다.

이 실시예에서, 메소드는, 메타데이터(1)에서 정의된 변환 테이블을 이용하여, 콘텐츠 자원(2) 내의 원본 콘텐츠로부터의 콘텐츠 데이터 구조를 스마트 콘텐츠 데이터베이스(6) 내의 표준화된 데이터 구조로 정규화한다(16).

실시예에서, 지식 그래프 데이터베이스(8)에 저장된 지식과 스마트 콘텐츠 데이터베이스(6)에 저장된 스마트 콘텐츠는 동일한 엔티티 ID를 공유한다. 콘텐츠 레코드가 스마트 콘텐츠 데이터베이스(6)에 추가될 때, 메소드는 대응하는 엔티티 노드를 지식 그래프 데이터베이스(8)에 추가한다. 메소드는, 스마트 콘텐츠 데이터베이스(6)와 지식 데이터베이스(8)로의 액세스를 위해 동일한 엔티티 ID를 이용함으로써, 엔티티 노드 레코드와 그 대응하는 스마트 콘텐츠 레코드를 링크하는 것을 허용한다. 메소드는 이들 2개 레코드의 콘텐츠 속성, 예를 들어, 엔티티 그룹, 엔티티 타입 및 기타의 속성을 정렬한다(16).

도 5는 RSS 콘텐츠를 처리하기 위한 메소드를 갖는 실시예의 블록도를 도시한다.

실시예에서, 메소드는 메타데이터에 알려진 RSS 피드 목록(18)을 순차적으로 조회함으로써 RSS 피드 자원(10)으로부터 RSS 요약 레코드를 인출한다(fetch)(20). 이러한 레코드의 인출은, 메타데이터에게도 알려진, RSS 콘텐츠에 대한 인출 스케쥴(17)에 의해 통제된다. 예를 들어, 시스템은 매 3분마다 BBC 스포츠 RSS 피드로부터 레코드를 인출하고, 매일 Wichita, Kansas의 이웃에 대한 뉴스 피드를 인출할 수 있다.

실시예에서, 메소드는 : 원본 아티클로의 하이퍼텍스트 링크를 제공하는 RSS XML 레코드 내의 속성으로부터 아티클의 전문을 취득하고(21); 아티클에 관련된 이미지, 비디오 및 기타의 파일에 대한 링크의 목록을 취득하며(22); 링크를 이용하여, 이러한 파일들을 다운로드하고, 이들을 스마트 콘텐츠 데이터베이스 내의 레코드로서 및 지식 그래프 내의 엔티티 노드로서 추가한다.

실시예에서, 원본 RSS 요약 레코드 내의 표준 XML 속성은 스마트 콘텐츠 레코드 내의 엔티티 속성에 맵핑되며(23), 이러한 엔티티 속성 명칭 및 데이터 구조는 메타데이터(1)에 저장된 템플릿에 부착된다.

이 실시예에서, 메소드는 RSS 피드의 메타데이터 목록에서 미리정의된 URL들로부터 레코드를 인출하고, 메타데이터 목록 내의 각각의 이러한 URL은 이전에 고유한 엔티티 ID를 할당받았고; 지식 그래프에서 노드를 생성하며; 이 노드는 지식 그래프에서 자원을 지정하는 엔티티 노드와 함께 링크되었다. 추가로, 각각의 이러한 자원은 이전에 고유한 엔티티 ID를 할당받았고 지식 그래프에서 엔티티 노드를 생성한다.

이 실시예에서, 스마트 콘텐츠 데이터베이스(6) 내의 스마트 콘텐츠 레코드는, RSS 소스 콘텐츠 객체에 대한 엔티티 ID, RSS URL에 대한 엔티티 ID, 및 RSS 콘텐츠를 간행한 RSS 자원에 대한 엔티티 ID 및 RSS 콘텐츠 객체의 저자들 각각에 대한 엔티티 ID를 포함한다. 이 실시예에서, 지식 그래프 데이터베이스(8) 내의 엔티티 노드들은 상기 언급된 엔티티들 각각에 대한 엔티티 노드들 사이의 관계로 업데이트된다.

실시예에서, 메소드는 RSS 피드에서 요약된 아티클의 전문과 연관된 메타데이터 태그를 취득하며, 이러한 메타데이터는 Schema.org 태그들, rNews 태그들 및 마이크로포멧 태그들을 포함한다. 메소드는 이들 표준 메타데이터 태그들을 메타데이터 내의 표준 엔티티 속성들에 이전에 맵핑했다. 메소드는 이들 메타데이터 태그 내의 값을 아티클에 대한 RSS 콘텐츠 객체에 대한 스마트 콘텐츠 레코드의 컴포넌트에 저장한다(25).

도 6은 RDF 콘텐츠를 처리하는 메소드를 갖는 실시예의 블록도를 도시한다.

실시예에서 메소드는 RDF 파일 레코드를 임시 스토리지 공간에 임포트하고(import)(27) RDF 콘텐트를 합리화한다(28).

예로서는, DBPedia, Wikipedia에서 발견되는 의미론적 지식(즉, 엔티티 사실(fact)과 엔티티 관계에 대한 지식)과 Geonames에 의해 제공된 것들을 저장하는 콘텐츠 자원(2), 수백만개의 장소에 대한 의미론적 지식을 저장하는 콘텐츠 자원(2)으로부터 제공된 것들과 같은, 다양한 RDF 데이터세트를 임포팅하는 것이 포함될 수 있다. 다양한 이러한 RDF 데이터세트는 엔티티 타입들에 대해 상이한 명칭들을 이용할 수 있다. 이 실시예는 메타데이터 스토리지(1) 내의 변환 테이블을 이용하여 엔티티 타입 명칭들을 합리화한다.

그 다음, 이 실시예는, 정규화된 콘텐츠로 스마트 콘텐츠 데이터베이스를 업데이트하고(25), 지식 데이터베이스를 업데이트한다(26).

도 7은 웹 서비스 자원으로부터의 콘텐츠를 처리하기 위한 메소드를 갖는 실시예를 도시하는 블록도이다.

실시예에서, 기능들은 REST 인터페이스(31)를 통해 웹 서비스 콘텐츠 자원에 액세스함으로써 사용자 상호작용(30)에 응답한다.

사용자가 액세스하기를 원하는 웹 서비스의 예로서는: YouTube, Google Search, Google Books, Yahoo Finance 또는 수 천개의 다른 웹 서비스 자원들 중 임의의 것이 포함된다.

다양한 이러한 웹 서비스들은 이들이 제공하는 데이터 요소들에 대해 상이한 명칭들을 이용할 수 있다. 실시예는 메타데이터 스토리지 내의 변환 테이블로부터 이러한 데이터 요소의 명칭을 합리화(32)하기 위한 메소드를 가진다. 예를 들어, 하나의 웹 서비스로부터의 이미지는 웹 서비스에 의해 "생성자"로서 명명된 속성을 가질 수 있는 반면 또 다른 웹 서비스는 웹 서비스에 의해 "사진사"로서 명명된 속성을 가질 수 있다. 이 실시예는 추가 액세스 및 처리를 간소화하기 위해 이들 속성들의 명칭을 시스템에 의해 이용되는 표준화된 명칭으로 합리화할 것이다.

그 다음, 이 실시예는, 정규화된 콘텐츠로 스마트 콘텐츠 데이터베이스를 업데이트하고(25), 지식 데이터베이스를 업데이트한다(26).

도 8은 웹 페이지 콘텐츠를 처리하는 메소드를 갖는 실시예의 블록도를 도시한다. 실시예에서, 메소드는 웹 페이지 상의 콘텐츠로의 액세스를 요청하는 사용자 상호작용(33)에 응답한다.

이 실시예에서, 기능들이 이전에 파싱된 웹 페이지의 목록(35)에 액세스함으로써 이 웹 페이지 상의 콘텐츠가 시스템에 의해 이전에 처리되었는지를 판정한다(34). 기능들은, 이전에 파싱된 웹 페이지(35)의 특성을 스마트 콘텐츠 데이터베이스(8)에 저장된 스마트 콘텐츠와 비교함으로써, 현재의 웹 페이지가 파싱되고 처리되어 웹 페이지의 콘텐츠에 대한 스마트 콘텐츠 및 지식화가 될 필요가 있는지를 판정한다(34).

웹 페이지(들) 콘텐츠가 처리될 필요가 있다면, 기능들은 파싱을 위해 웹 페이지 콘텐츠를 스케쥴링하고(36), 그 다음, 웹 페이지를 파싱하여(37) HTML Dom Tree를 생성한다(38). 그 다음, 기능들은 이 콘텐츠를 분석하여 다양한 명명된 엔티티 인식 서비스 또는 애플리케이션들 중 임의의 것, 예를 들어, Web Service Open Calaise를 이용해 콘텐츠와 연관된 엔티티들을 인식한다(39).

웹 페이지(들) 콘텐츠가 이미 처리되었다면, 기능들은 지식 그래프 스토리지(6)로부터의 웹 페이지(들)에 대한 스마트 콘텐츠 레코드(들)의 엔티티 ID(들)을 이용하여 콘텐츠에 대한 지식에 액세스하고(40), 지식 스토어를 업데이트해(29) 웹 페이지 콘텐츠와의 사용자의 상호작용을 반영한다.

도 9는 오피스 문서 콘텐츠를 처리하기 위한 메소드를 갖는 실시예의 블록도를 도시한다.

이 실시예에서, 메소드는 오피스 문서를 업로드하고; 자원으로부터의 콘텐츠 내의 데이터 객체들을 인식하며; 데이터 객체들에 지식 태그를 추가하여 스마트 콘텐츠 객체를 생성한다.

이 실시예에서, 메소드는, Word 문서(41), Power Point 문서(42), Excel 문서(43) 및 PDF 문서(44), Google Docs, Libre Docs 및 iWork Docs(45)를 인식하여, 이들을, Office Libre에서 지원되는 것과 같은 표준화된 오픈 파일 포멧으로 변환하고; 이들 파일들을, 예를 들어, ePub3 파일과 같은 표준화된 파일 타입으로 변환하며(46); 이들 파일들을 스마트 콘텐츠 데이터베이스(6) 내의 콘텐츠 객체로서 저장한다.

메소드는 원본 콘텐츠 파일로부터 문서 메타데이터를 얻고(47), 메타데이터 데이터베이스 스토리지(1)에 따라, 이 메타데이터를 표준 메타데이터 요소들로 정규화하며(48), 이 표준화된 메타데이터를 스마트 콘텐츠 데이터베이스(8)에 저장한다. 메소드는 그 다음, 지식 데이터베이스를 업데이트하여 각각의 콘텐츠 파일에 대한 노드를 생성하고, 이 노드를 스마트 콘텐츠 파일에 대한 엔티티 ID, 스마트 콘텐츠에 대한 콘텐츠 타입 및 스마트 콘텐츠에 대한 엔티티 그룹(즉, "콘텐츠") 등의 속성으로 채운다. 그 다음, 메소드는 이 스마트 콘텐츠와 이에 링크된 다른 엔티티들 사이의 관계를 생성하고 지식 데이터베이스를 업데이트한다(29).

도 10은 심볼 객체를 인식하고 심볼 객체에 지식 태그를 추가하기 위한 메소드를 갖는 실시예의 블록도를 도시한다.

실시예에서, 메소드는 스마트 콘텐츠 데이터베이스 내의 스마트 콘텐츠 레코드의 콘텐츠 객체 컴포넌트에 임베딩된 심볼 객체들을 인식하고 이에 대한 지식 태그를 생성하며(49), 이러한 스마트 객체는, 예를 들어, RSS 피드로부터의 콘텐츠; 사용자에 의해 업로드된 컴퓨터 판독가능한 파일로부터의 콘텐츠; 사용자에 의해 업로드된 오피스 문서로부터의 콘텐츠; 및 공개적으로 액세스가능한 ePub 파일로부터의 콘텐츠를 포함한, 다양한 콘텐츠 자원(2)으로부터 처리된다. 각각의 이러한 지식 태그는, 스마트 콘텐츠 레코드 내의 심볼 객체로 표현된 엔티티에 대한 비-디스플레이형 엔티티 id로 구성된다.

실시예에서, 메소드는 콘텐츠에 임베딩된 심볼 객체를 인식하고 스마트 콘텐츠 레코드 내의 콘텐츠 객체 컴포넌트에 임베딩된 심볼 객체들을 프리맵핑하며(50), 각각의 이러한 태그는 스마트 콘텐츠 레코드 내의 심볼 객체로 표현된 엔티티에 대한 비-디스플레이형 엔티티 id로 구성되고 각각의 이러한 태그는 심볼 객체에 맵핑된다. 예를 들어, 웹 서비스 "Yahoo Finance"로부터 나오는 콘텐츠의 경우, 메소드는 주식의 "현재 가격" 등의 소스 콘텐츠 요소들을 메타데이터에서 정의된 표준 콘텐츠 요소들에 맵핑하고, 주식의 "현재 가격"에 대한 관심의 사용자 표시에 응답하는 다른 메소드는 이 콘텐츠 요소를 이 콘텐츠 엔티티와 연관된 지식 그래프 내의 지식에 링크하는 태그를 생성한다.

실시예에서, 메소드는 웹 서비스 콘텐츠 및 RDF 콘텐츠 내의 데이터 요소들에 대한 "지식 맵"을 생성하여, 이러한 데이터 요소들이 스마트 콘텐츠 데이터베이스 내의 스마트 콘텐츠 레코드의 지식 맵 컴포넌트에서 정규화된 속성으로 저장되는 것을 허용한다(50).

이 실시예에서, 메소드는 심볼 객체들이 웹 페이지를 포함한 독점(proprietary) 콘텐츠에 나타날 때 심볼 객체들을 동적으로 태깅한다(51). 이 실시예에서, 심볼 객체에 대한 사용자 관심의 표시시에, 메소드는 팝업 윈도우가 콘텐츠 내의 심볼 객체가 참조하는 엔티티들의 목록을 디스플레이하게 하고, 엔티티 또는 엔티티들의 표시는 관심대상의 심볼 객체와 매칭한다. 예를 들어, 웹 페이지에 제시된 콘텐츠는 전형적으로 콘텐츠의 소스에 의해 소유되며 법적 제제는 콘텐츠 객체 내의 태그의 임베딩을 배제할 수 있다. 이 경우에, 메소드는 심볼 객체에서 사용자에 의한 관심의 표시를 수신하고 팝업이 웹 페이지 콘텐츠에 인접하게 또는 그 상부에 발생하게 하며, 이러한 팝업은 웹 페이지 상의 심볼 객체에 관련된 엔티티들을 열거하므로, 사용자가 심볼 객체에 대한 자신의 관심을 표시하고 심볼 객체가 나타내는 엔티티에 대한 지식에 직접 액세스하는 것을 허용한다.

도 11은 텍스트 콘텐츠에 임베딩된 심볼 객체를 인식 및 처리하기 위한 메소드를 갖는 실시예의 블록도를 도시한다.

실시예에서, 메소드는, 명명된 엔티티를 인식하는 하나 이상의 웹 서비스에 URL을 전송함으로써(55) 기존의 URL을 갖는 콘텐츠(52) 내의 심볼 객체를 인식한다. 예를 들어, 기존의 URL을 갖는 콘텐츠의 처리 동안에, 메소드는 연관된 URL을 Open Calais 또는 Extractiv 또는 기타의 이러한 명명된 엔티티 인식 웹 서비스와 같은 웹 서비스, 또는 복수의 이러한 웹 서비스에 전송할 수 있다. 웹 서비스는 이러한 콘텐츠에서 자신이 발견하는 엔티티들을 문서화하고, 예를 들어, 콘텐츠에서 자신에 인식한 엔티티들의 명칭, 심볼 객체를 이들 엔티티들과 매칭시킨 신뢰도, 및 자신이 인식한 엔티티들의 엔티티 타입을 포함한 데이터를 반환한다.

실시예에서, 메소드는, 스마트 콘텐츠 레코드를 생성하고(53) 이 스마트 콘텐츠를 명명된 엔티티를 인식하는 하나 이상의 웹 서비스에 텍스트 레코드로서 전송함으로써(57) 기존의 URL을 갖지 않는 콘텐츠 내의 심볼 객체를 인식한다.

실시예에서, 메소드는, 임의의 콘텐츠 내의 심볼 객체들을, 예를 들어, GATE, LingPipe, Stanford Named Entity Recognizer, Illinois Named Entity Recognizer 등의, 상업적 또는 오픈 소스 명명된 엔티티 인식 애플리케이션을 이용해, 또는 이들 툴들 중 임의의 것을 함께 이용하여, 이 콘텐츠를 처리함으로써(56) 인식한다.

실시예에서, 메소드는 명명된 엔티티를 인식하기 위한 복수의 메소드로부터 결과를 얻고, 이들 복수의 메소드로부터의 결과를 비교하고 합리화한다(58). 예를 들어, 복수의 상이한 메소드가, 미국 대통령 "Abraham Lincoln"의 표현으로서, 뉴스 아티클 또는 eBook에서 심볼 객체로서의 "Abraham Lincoln"을 식별한다면, 메소드는 높은 확률로 이 심볼 객체가 시스템에 알려진 엔티티를 나타낸다고 판정할 수 있고 스마트 콘텐츠 데이터베이스(6) 내의 스마트 콘텐츠 레코드(25)의 컴포넌트들과 지식 데이터베이스(8) 내의 노드들 및 관계들을 업데이트할 것이다.

실시예에서, 명명된 엔티티를 인식하기 위한 복수의 메소드가 불일치의 결과를 생성한다면(60), 기능들은 머신 학습 툴 및/또는 인간 분석을 이용하여 이들 불일치를 처리한다(61).

도 12는 이미지 콘텐츠에 임베딩된 심볼 객체를 인식 및 처리하기 위한 메소드를 갖는 실시예의 블록도를 도시한다.

실시예에서, 메소드는 "1" 내지 "n"개의 이미지 인식 메소드를 구현하고 반환된 결과를 비교 및 대조한다. 결과가 불확실할 때, 메소드는 사용자에게 어느 엔티티를 선택할지를 결정하는데 있어서 사용자를 보조하는 지식 마커를 제공한다. 메소드는 사용자가 이미지 내의 심볼 객체를 특정한 엔티티에 링크하는 것을 허용한다.

실시예에서, 메소드는 이미지에 임베딩된 엔티티들을 나타내는 심볼 객체를 인식하고(61), 이러한 메소드는, 사람, 장소, 도시, 또는 경기장, 건물 등의 시설을 인식하기 위한 복수의 메소드를 포함한다.

실시예에서, 사용자는 이미지(62)를 캡처/관찰 기능을 갖는 장치와 상호작용한다. 이 실시예에서, 사용자는, 이미지 캡처/관찰 장치(63)의 디스플레이 상에서 이미지의 영역을 포인팅함으로써, 이미지(62) 내의 심볼 객체를 선택한다.

실시예에서, 메소드는 사용자에 의해 선택된 관심대상의 영역 내의 심볼 객체(64)의 특성을 인식한다(65). 그 다음, 메소드는 이들 특성을 알려진 심볼 객체의 라이브러리(67) 내의 이미지들의 특성과 매칭시킨다(66). 이들 메소드가 단일의 매칭을 발견한다면, 스마트 콘텐츠 데이터베이스(8) 내의 스마트 콘텐츠 레코드를 생성 또는 업데이트하고(25) 지식 데이터베이스(6) 내의 노드 및 관계를 업데이트한다(29). 이들 메소드가 사용자의 관심대상의 심볼 객체와 매칭하는 복수의 엔티티를 발견한다면, 메소드는, 사용자가 가능하게는 매칭하는 엔티티들 중에서 선택하는 것을 돕는데 유용한 특성인 "지식 마커"와 함께, 가능하게는 매칭하는 엔티티들의 목록을 사용자에게 제시한다(70). 그 다음, 사용자는 이 심볼 객체에 대한 엔티티의 자신의 선택을 표시한다(71).

불일치가 해결되지 않고 있는 경우, 메소드는 추가의 머신 학습을 수행하여 사용자의 관심대상의 심볼 객체에 의해 표현된 엔티티를 식별하려고 시도한다.

이 실시예는 사용자가 산 앞에 있는 3명의 사람을 포함하는 이미지 내의 사람을 포인팅하는 경우일 것이다. 사용자는 산을 보여주는 이미지의 영역을 포인팅하거나, 사람을 보여주는 이미지의 영역을 포인팅할 수 있다. 그 다음, 메소드는 이 영역 내의 심볼 객체의 특성을 판정하고 이들 특성을 알려진 심볼 객체의 라이브러리; 예를 들어, 이전에 인식된 얼굴 또는 이전에 인식된 자연 경관을 포함하는 데이터베이스와 비교한다. 메소드가 참조 라이브러리가 사용자의 관심대상의 것과 유사한 4개의 얼굴을 가진다고 판정한다면, 사용자의 관심대상의 얼굴과 가능하게는 매칭하는 얼굴을 갖는 4명의 사람들 각자에 대한 정보와 함께, 이들 4개 얼굴을 디스플레이할 것이다.

도 13은 비디오 파일에 임베딩된 심볼 객체를 인식 및 처리하기 위한 메소드를 갖는 실시예의 블록도를 도시한다.

실시예에서, 메소드는 사용자가 표시한 비디오 이미지 내의 관심 영역을 인식하고, 이러한 관심 영역은 관심 영역 주변을 에워싸는 사용자의 터치-기반의 제스쳐에 의해 정의되거나, 사용자가 관심 영역을 정의하는 메소드를 포인팅하고 클릭함으로써 정의된다.

실시예에서, 사용자는 비디오를 캡처 및 인코딩할 수 있거나 이전에 인코딩된 비디오(72)를 시청할 수 있는 장치(73)와 상호작용한다. 이 실시예에서, 사용자는 장치(73)의 디스플레이 스크린 상의 해당 영역을 터치 또는 클릭함으로써 비디오 내의 관심 영역을 선택한다.

메소드는, 심볼 객체의 특성을 판정하고 이들 특성을 알려진 심볼 객체의 라이브러리(67)에서 발견되는 심볼 객체의 특성과 매칭시키는(66) SIFT, HMAX 및/또는 Bayesian 알고리즘 등의 알고리즘을 이용하여, 비디오(74) 내의 심볼 객체를 인식한다.

메소드가 사용자의 관심대상의 심볼 객체와 매칭할 수 있는 복수의 가능한 엔티티를 발견하면, 메소드는 이러한 가능하게는 매칭하는 엔티티의 썸네일 이미지 세트와 그 연관된 지식 마커를 제공하여(77) 사용자가 이들 가능한 엔티티들간을 구분하고 관심대상의 엔티티를 선택(78)하는 것을 돕는다.

메소드는 콘텐츠 자원 메타데이터로부터 비디오와 연관된 정황 데이터를 얻고(76) 스마트 콘텐츠 데이터베이스를 업데이트하며(25), 지식 그래프 데이터베이스를 업데이트한다(29).

도 14는 비디오 방송(79)에 임베딩된 심볼 객체를 인식 및 처리하기 위한 메소드를 갖는 실시예의 블록도를 도시한다.

실시예에서, 사용자는 비디오 방송(79)을 수신 및 디스플레이할 수 있고, 단독으로 동작하거나 복수의 장치에 미러 방송을 전송할 수 있는 네트워크에 부착된 TV에 대한 미러로서 동작하는 터치-감응 장치(80)와 상호작용한다(73). 이 실시예에서, 사용자는 장치(80)의 디스플레이 스크린 상의 해당 영역을 터치 또는 클릭함(73)으로써 비디오 내의 관심 영역을 선택한다.

메소드는, 선택된 영역으로부터 특성을 추출하고(74) 심볼 객체의 특성을 판정하고 이들 특성을 알려진 심볼 객체의 라이브러리(66)에서 발견되는 심볼 객체의 특성과 매칭시키는(75) SIFT, HMAX 및/또는 Bayesian 알고리즘 등의 알고리즘을 이용하여, 방송 비디오 내의 심볼 객체를 인식한다.

메소드가 사용자의 관심대상의 심볼 객체와 매칭할 수 있는 복수의 가능한 엔티티를 발견하면, 메소드는 이러한 가능한 매칭하는 엔티티의 썸네일 이미지 세트와 그 연관된 지식 마커를 제공하여(77) 사용자가 가능한 엔티티들간을 구분하고 관심대상의 엔티티를 선택(78)하는 것을 돕는다.

메소드는 콘텐츠 자원 메타데이터로부터 비디오와 연관된 정황 데이터를 얻고(76) 스마트 콘텐츠 데이터베이스를 업데이트하며(25), 지식 그래프 데이터베이스를 업데이트한다(29).

실시예에서, 메소드는 터치스크린 가능형 스마트폰, 태블릿 또는 기타의 소형 장치(80)가 대형 스크린 장치 상에서 동시에 보여지고 있는 방송을 미러링하는 방송에 동조하여 수신하는 것을 허용한다.

도 15는 다양한 타입의 인쇄된 콘텐츠에 임베딩된 심볼 객체를 인식하는 것을 처리하는 메소드를 갖는 실시예의 블록도를 도시한다.

실시예에서 메소드는: 촬상 가능한 장치(83)를 이용하여 인쇄 자료 콘텐츠 객체의 이미지를 캡처하고; 사용자에 의해 선택된 인쇄 자료의 영역을 분석하여(73) 텍스트 객체 및 이미지 객체를 포함한 심볼 객체의 존재를 인식하며(74); 인쇄 자료 이미지 객체 내의 텍스트를 인식하고; 텍스트 내의 특정한 심볼 객체를 인식하며; 이들 심볼 객체들을 알려진 심볼 객체의 라이브러리(66) 내의 알려진 엔티티들과 연관시킨다.

실시예에서, 심볼 객체를 인식하기 위한 메소드를 갖는 인쇄 자료 콘텐츠 객체의 예로서는, 예를 들어, 제품 팩키징(79), 소매 선반 태그(retail shelf tag)(80), 인쇄 쿠폰(81), 인쇄 사인(82), 및 기타의 인쇄 콘텐츠 자료가 포함된다.

실시예에서, 심볼 객체의 이미지가 인쇄 자료 이미지에서 발견된다면, 메소드는: 이미지를, 바코드, QR 코드, 및 상표 로고 등의 전형적인 타입의 심볼들에 대한 알려진 특성과 패턴들로 분류하고(74); 이러한 이미지들의 존재를 인식하며; 이들 이미지들을 알려진 심볼 객체들의 라이브러리(66) 내의 심볼 객체에 관련시키며; 스마트 콘텐츠 데이터베이스를 업데이트하여(25) 인쇄된 자료 이미지에 대한 레코드를 포함시키고; 지식 그래프 엔티티 노드, 엔티티 속성, 엔티티 관계 및 관계 속성을 업데이트한다(29).

이 실시예의 예는 소매점의 사용자가 선반 태그를 촬상하기위해 자신의 스마트폰을 이용하는 것일 것이다. 이 실시예에서, 시스템은 선반 태그 내의 요소들의 특성을 인식하고 이 선반 태그에 의해 지정된 제품을 지식 그래프에게 알려진 하나 이상의 엔티티와 관련시켜, 사용자가 이 제품/상표에 대해 학습하고 이와 추가로 상호작용하는 것을 허용한다.

이것은, 사용자가 인터넷에 현재 접속된 엔티티와 상호작용할 뿐만 아니라 인터넷에 현재 접속되어 있지 않은 엔티티, 이 예에서는 수동 선반 태그, 또는 임의의 다른 종류의 현재 접속되지 않은 인쇄되거나 기타의 방식으로 볼 수 있는 자료 또는 촬상될 수 있는 기타의 콘텐츠와도 상호작용하는 것을 허용하는 단일의 일관된 사용자 경험을 사용자에게 제공하는 이점을 가진다.

도 16은 엔티티에 대한 명시적 사실적 지식을 학습하고 이 사실적 지식을 지식 그래프 데이터베이스 노드 내의 속성으로서 및 스마트 콘텐츠 데이터베이스 레코드의 컴포넌트로서 저장하기 위한 메소드를 갖는 실시예를 도시하는 플로차트이다.

실시예에서, 메소드는 조명 시스템 자원 사용의 시간 동안에 엔티티 노드들을 스캔하여 널 값을 갖는 엔티티 노드를 식별하고(84); 누락 속성을 갖는 엔티티 노드의 로그를 생성하며; 이러한 스캐닝에 기초하여 "누락 속성" 목록을 어셈블하고(85); 엔티티 속성을 콘텐츠 자원(2)에 맵핑하는 메타데이터 테이블(1)을 조사함으로써 콘텐츠 자원을 탐색하여(86) 이러한 엔티티 속성에 대한 사실적 지식을 어디서 찾아볼지를 학습한다(87). 메소드는 콘텐츠 자원이 누락 속성을 채우는데 필요한 데이터를 갖고 있는지를 판정하고 추가 처리를 위해 이들 자원들로부터 레코드를 인출한다(88).

이 실시예에서, 자원 콘텐츠 레코드가 구조화된 콘텐츠 속성을 포함한다면, 메소드는 이들 속성을 지식 그래프(8) 내의 누락 엔티티 속성과, 및 스마트 콘텐츠 데이터베이스(6) 내의 대응하는 속성과도 매칭시킨 다음, 지식 데이터베이스 내의 이러한 속성을 업데이트하고(29) 스마트 콘텐츠 데이터베이스 내의 이러한 속성을 업데이트한다(25). 메소드가 널값을 갖는 속성에 대한 상충되는 가능한 값들을 발견한다면, 메소드는 가장 신뢰성있는 자원에 가중치를 부여함으로써 가장 가능성있는 값을 판정한다(90).

이 실시예의 예는, 메소드가 지식 그래프 내의 노드가 어떤 유명한 인사나 역사적인 인물의 생일에 대한 누락된 속성값이라고 판정하는 경우, 메소드가 The New York Times 및 Wikipedia 등의 콘텐츠 자원을 스캔하는 것일 것이다. 메소드가 상충되는 생일들을 발견한다면, 메소드는 The New York Times 또는 어떤 다른 가장 신뢰성있는 자원에 가중치를 부여하고, 그 사람에 대한 노드 내의 적절한 속성을 채우고, 그 노드와 엔티티 그룹 "날짜" 및 엔티티 타입 "생일"을 갖는 복수의 노드 사이의 관계를 생성하고, 이러한 관계는 그 사람에 대한 생일을 나타내고, 각각의 이러한 관계는 이 관계에 대한 자원을 지정하는 속성과 머신 학습에 기초한 그 추정된 신뢰성을 지정하는 또 다른 속성을 가진다.

도 17은, 엔티티들간의 명시적 관계에 대한 지식을 학습하고, 이 관계 지식을 지식 그래프에 저장하기 위한 메소드를 갖는 실시예를 도시하는 플로차트이다.

실시예에서, 메소드는 RDF 콘텐츠 파일(26)로부터 업데이트된 RDF 레코드를 주기적으로 인출하고(91) 메타데이터 스토리지(1) 내의 테이블에 기초하여 RDF 콘텐츠를 합리화한다. 예를 들어, 메소드는 그 RDF 데이터베이스를 자주 업데이트하는 콘텐츠 소스 "The New York Times"로부터 업데이트된 RDF 레코드를 주기적으로 인출한다.

합리화된 RDF 레코드 내의 주체와 객체가 지식 그래프 내의 엔티티들과 매칭하고(92) 합리화된 RDF 레코드 내의 서술어가 지식 그래프 내의 관계와 매칭한다면(93), 아무것도 하지 않는다. 합리화된 RDF 레코드 내의 주체와 객체 중 어느 하나가 지식 그래프(8)에서 나타나지 않는다면, 지식 그래프 스토리지를 업데이트한다(34). 합리화된 RDF 레코드 내의 서술어가 지식 그래프 내의 관계와 매칭하지 않는다면, 지식 그래프 스토리지를 업데이트한다(34). 합리화된 RDF 레코드 내의 서술어가 메타데이터 스토리지(1)에 따른 유효한 관계(94)인 것으로 간주되지 않는다면, 추가 분석을 위해 무효 관계 예외 목록에 서술어를 추가한다(95).

도 18은, 엔티티들간의 관계에 대한 정황적 지식을 학습하고, 이 관계 지식을 지식 그래프에 저장하기 위한 메소드를 갖는 실시예를 도시하는 플로차트이다.

실시예에서, 메소드는 메소드가 정황적 엔티티 관계를 분석하기 위한 큐(queue)를 생성하고(96); 아직 분석되지 않은 스마트 콘텐츠 레코드를 인출하여(97) 각 스마트 콘텐츠 레코드 내의 심볼 객체의 근접성을 분석한다(98).

실시예에서, 메소드는 스마트 콘텐츠 레코드를 분석하여(99), 예를 들어, 하기와 같은 관계를 포함한, 임의의 정황적 관계가 심볼 객체들 사이에 존재하는지를 판정한다: 1) 심볼 객체가 동일한 스마트 콘텐츠 레코드에 임베딩되어 있다; 2) 심볼 객체가 단일의 스마트 콘텐츠 레코드 내에서 콤마로 분리된 목록의 일부로서 제시되어 있거나 물리적으로 근접하여 위치해 있다; 또는 3) 이미지인 심볼 객체가 서로 물리적으로 근접하여 위치해 있다.

실시예에서, 메소드는 정황적으로 링크된 임의의 심볼 객체가 동일한 엔티티 타입(100) 또는 동일한 엔티티 그룹(101)에 속하는 것으로 분류되는지를 판정하고 메소드는 이들간의 관계를 생성한다.

이 실시예에서, 예를 들어, 메소드가 콘텐츠 타입 "조사 보고"를 갖는 콘텐츠 객체에서 근접한 관계의 엔티티 타입 "NASDAQ 나열된 회사"를 갖는 2개의 별개의 엔티티를 발견한다면, 메소드는 이들간의 관계를 생성하고(100) 관계 타입 "조사 보고에 같이 언급되어 있는가"를 할당받을 수 있다.

도 19는 엔티티들과의 사용자 상호작용을 모니터링하고 로깅하기 위한(106) 메소드를 갖는 실시예를 도시하는 플로차트이다.

실시예에서, 메소드는, 심볼 객체 엔티티들 및 콘텐츠 엔티티들을 포함한, 엔티티들과의 사용자 상호작용을 모니터링하고 로깅한다.

실시예에서, 사용자는 다양한 메소드들 중 임의의 것을 이용하여 엔티티를 선택할 수 있고(103), 그 다음, 유효 상호작용 메소드들의 세트 중에서 선택된 엔티티와 상호작용하기 위한 메소드를 선택한 다음(104), 이 엔티티와 상호작용한다(105).

실시예에서, 메소드는 사용자 상호작용을 로깅하고(106), 이들 로그 내의 데이터를 사용자 프로파일/정황 데이터(102)로 강화한다.

실시예에서, 메소드는 문서 데이터세트 내의 콘텐츠 집합에서 사용자 상호작용 통계를 업데이트한다(107). 예를 들어, 사용자가 엔티티 "Ford F1" 차량을 "기억"할 때, 메소드는 사용자가 이 엔티티를 기억했던 누적 횟수를 보여주는 엔티티 "Ford F1"에 대한 통계 레코드를 생성하여 점진적으로 동적으로 업데이트한다.

실시예에서, 메소드는 상호작용 로그 및 상호작용 통계를 지속적으로 모니터링 및 판독하고 지식 그래프 데이터베이스를 업데이트한다(29).

이 실시예에서, 예를 들어, 지식 그래프는 업데이트되어 "사용자 A(엔티티 노드)가 엔티티 1(엔티티 노드)을 기억했다(관계)"는 것을 문서화하거나, "사용자 A(엔티티 노드)가 엔티티 2(엔티티 노드)에 대한(관계) 뉴스(엔티티 노드)를 추종하고 있다(관계)"는 것을 문서화하거나, "사용자 A(엔티티 노드)가 엔티티 3(노드)에서 예약을 했다(관계)"는 것 등을 문서화한다.

도 20은 사용자가 기여한 지식을 조직화 및 저장하기 위한 메소드를 갖는 실시예의 블록도를 도시한다.

실시예에서, 메소드는, 메타데이터 1에 따라, 사용자 경험, 반응, 권고 및 기타 형태의 엔티티에 관련된 지식의 레코드를 포함할 수 있는 콘텐츠 타입을 갖는 스마트 콘텐츠 레코드를 분석한다(108).

이러한 콘텐츠 타입의 예로서는 : "여행 리뷰", "식당 리뷰", "여행담", "제품 리뷰", "호텔 등급", "샌프란시스코에서 호텔을 선택하기 위한 안내" 등이 포함된다.

실시예에서, 메소드는 : 스마트 콘텐츠가 1인칭 관점에서 작성된 것인지, 관망 관점에서 작성된 것인지; 스마트 콘텐츠가, 소정 타입의 사용자 기여 지식, 예를 들어 : "리뷰", "경험", "방문"을 나타내는 메타데이터 내의 키워드 목록으로부터의 하나 이상의 키워드를 포함하는지를 판정한다. 메소드는 스마트 콘텐츠의 저자와 스마트 콘텐츠에 임베딩된 엔티티들 사이의 새로운 엔티티 관계를 추가하고, 메타데이터에 기초한 규칙을 이용하여, 예를 들어, 관계 타입 "~에 관한 리뷰를 작성했다"를 할당한다.

도 21은 스마트 콘텐츠 레코드의 컴포넌트를 조직화하기 위한 메소드를 갖는 실시예의 블록도를 도시한다.

실시예에서, 메소드는, 스마트 콘텐츠 레코드들을, 스마트 콘텐츠 메타데이터 컴포넌트(111), 스마트 콘텐츠 지식 맵 컴포넌트(112), 스마트 콘텐츠 허용 컴포넌트(113), 콘텐츠 요약 컴포넌트(114) 및 스마트 콘텐츠 객체 컴포넌트(115)를 포함하는, 스마트 콘텐츠 레코드 컴포넌트들로 조직화한다. 메소드는 또한 스마트 콘텐츠 레코드들을 스마트 콘텐츠 요약(110) 및 스마트 콘텐츠 객체(115)로 조직화한다.

이 실시예에서, 스마트 콘텐츠 메타데이터 컴포넌트(111)는 원본 콘텐츠 레코드로서 콘텐츠 소스에 의해 제공된 콘텐츠 레코드에 대한 메타데이터를 포함한다. 예를 들어, 일부 콘텐츠 소스들은 Schema.Org 표준을 이용하여 그들의 콘텐츠에 태그를 추가한다. 다른 소스들은 콘텐츠를 태깅하기 위해 rNews 표준을 이용한다. 또 다른 소스들은 Microformat 표준을 이용하여 콘텐츠를 태깅한다. 메소드는 지능형 인터넷의 메타데이터 스토리지로부터의 테이블을 이용하여 이들 다양한 표준들을 합리화하고, 이들 합리화된 메타데이터 태그들을 포함하는 스마트 콘텐츠 스토리지에 레코드를 생성한다.

이 실시예에서, 콘텐트 지식 맵 컴포넌트(112)는, 예를 들어, 콘텐츠에 대한 엔티티 ID; 엔티티 명칭(즉, 제목); 엔티티 그룹명(디폴트로 "콘텐츠"로 설정됨); 엔티티 타입명(콘텐츠 타입에 따라 변함); 콘텐츠의 저자(들)의 성명; 콘텐츠의 저자(들)의 엔티티 ID; 이 콘텐츠가 얻어진 자원의 명칭; 자원의 엔티티 id; 및 간행된 날짜와 시간, 이 콘텐츠가 릴리스된 날짜와 시간 및 이 콘텐츠가 사용자들에게 더 이상 액세스가능하게 되지 않을 수 있는 날짜와 시간에 대한 타임스탬프를 포함하는, 데이터 요소들을 갖는 템플릿-기반의 구조에 저장된 콘텐츠에 대한 사실적 지식을 포함한다.

이 실시예에서, 콘텐츠를 제공하는 자원에 의해 또는 콘텐츠의 저자에 의해 정의되는 스마트 콘텐츠 허용 컴포넌트(113)는, 예를 들어 콘텐츠에 할당된 액세스 권한을 나타내는 플래그를 포함할 수 있고, 이러한 플래그는, 액세스 권한을, (자원 또는 저자(들)에게만 액세스가능한) "전용(Private)"; (자원이나 저자(들)에 의해 명명된 개별 사용자에 의해서만 액세스가능한) "개인"; 콘텐츠를 액세스 또는 업데이트하도록 인가된 개인 및 그룹의 목록과 함께, (자원이나 저자(들)에 의해 명명된 그룹에게만 액세스가능한) "그룹"으로서 표시한다.

이 실시예에서, 스마트 콘텐츠 요약 컴포넌트(114)는 콘텐츠를 제공하는 저자 또는 자원으로부터 나오거나, 콘텐츠를 요약하기 위한 알려진 메소드들에 의해 생성될 수도 있다. 주어진 스마트 콘텐츠 레코드는 복수의 요약을 포함할 수 있는데, 예를 들어, 텍스트 메시지를 전송하거나 트위팅하기에 적합한 140개 문자로 구성된 요약을 포함할 수 있고, 또한, 뉴스 아티클, 전자메일, 제품 홍보 또는 이벤트의 요약을 디스플레이하기에 적합한 500개 문자로 구성된 요약을 포함할 수도 있다.

이 실시예에서, 스마트 콘텐츠 객체 컴포넌트(115)는, 자원으로부터 얻어지고, 콘텐츠 객체 내의 인식된 심볼 객체를 지식 그래프 내의 엔티티와 링크하는 은닉된 지식 태그의 추가에 의해 강화된, 원본 콘텐츠이다.

실시예에서, 스마트 콘텐츠 객체 컴포넌트(115)는, 각각이 자원에 의해 동적으로 업데이트될 수 있는 구조화된 요소들로 구성될 수 있다. 예를 들어, 엔티티에 대한 주식 시장 데이터를 디스플레이하는 형태로 구성된 스마트 콘텐츠 객체는 개별 스마트 콘텐츠 속성을 자원에 의해 실시간으로 업데이트시킬 수 있다. 주유소에 대한 구조화된 콘텐츠를 디스플레이하는 스마트 콘텐츠 객체는 임의의 시간에 주유소에 의해 업데이트가능한, "갤론 또는 리터당 가격"에 대한 스마트 콘텐츠 속성을 가질 수도 있다. 메소드는 이들 업데이트를 처리할 수 있고 추가적인 메소드는 이 엔티티에 대한 콘텐츠를 "추종"하기로 선택한 사용자들에게 자동 통보를 생성할 수 있다.

각각의 콘텐츠 레코드가 자신에 대한 지식을 포함하게 하는 이점은 많다. 발생점에서 또는 지식 강화된 콘텐츠의 대규모 저장소의 일부로서 콘텐츠에 대한 보편적으로 이해가능하고 실용적인 구조를 미리 생성함으로써, 이 콘텐츠를 관리하고 이용하는 다운스트림 메소드가 더욱 효율적으로 동작할 수 있다. 복수의 조사 기관 또는 브랜드에서의 분석에 의해 반복적으로 데이터를 청소하는 상당한 양의 "사실 이후(after the fact)"가, 모든 데이터를 정렬 및 정규화시키고 스마트 콘텐츠 레코드가 추가의 메소드 및 상호작용에 노출되기 이전에 스마트 콘텐츠 레코드에 지식을 임베딩시키는, "일관적 콘텐츠(coherent content)"의 단일의 "사실 이전(before the fact)" 포인트로 대체되기 때문에, "빅 데이터"의 실시간 분석이 가능해진다.

도 22는 지식 그래프에서 메타데이터-정의된 요소들과 구조들을 구현하기 위한 메소드를 갖는 실시예의 블록도를 도시한다.

이 실시예에서, 오픈 소스 또는 상업적으로 이용가능한 그래프 데이터베이스의 표준 아키텍쳐를 맞춤화하고 최적화하여 엔티티들에 대한 지식을 명시적으로 저장한다.

실시예에서, 맞춤화된 지식 그래프(116)는 : 각각이 고유한 엔티티를 나타내는 노드들; 각각이 노드 내의 표기된 엔티티에 관련된 사실적 속성을 정의하는, 노드 속성들; 각각이 2개의 엔티티들 사이의 관계를 나타내는, 노드 관계들; 및 각각이 2개의 엔티티들 사이의 관계에 대한 선언적 지식(declarative knowledge)을 정의하는, 노드 관계 속성들을 포함한다.

실시예에서, 지식 최적화된 그래프 내의 모든 엔티티 노드는 : 노드 id, 노드에 의해 표기된 엔티티에 대한 고유 엔티티 id, 노드에 의해 표기된 엔티티에 대한 엔티티 그룹 분류, 노드에 의해 표기된 엔티티에 대한 엔티티 타입 분류 등의, 모든 엔티티 노드에 보편적으로 구현된 엔티티 속성; 및 이 노드가 생성된 날짜와 시간을 나타내는 타임스탬프 생성된 속성을 포함하는, 엔티티 속성들을 가진다.

이 실시예에서: 1) 엔티티 노드들은 노드에 의해 표현된 엔티티의 엔티티 타입을 준수하는 속성을 가지며, 각각의 이러한 속성 세트는 이 엔티티에 속하는 엔티티들에 대한 엔티티 타입 속성 템플릿(117)으로부터 유도되고, 각각의 이러한 엔티티 타입 속성 템플릿은 특정한 타입의 엔티티에 대한 특정한 "지식 마커", 즉, 엔티티들간의 구분을 허용하는 속성을 정의하며; 2) 2개의 엔티티간의 관계는 이들 2개의 엔티티에 대한 엔티티 타입들간의 유효한 관계들(118)의 목록을 준수하며; 각각의 이러한 관계 타입은 그 관계 타입에 대한 유효한 관계 속성을 정의하는 관계 속성 템플릿(119)을 가진다.

도 23은 엔티티 타입 노드 템플릿에 기초하여 엔티티 노들들의 생성을 관리하는 기능을 갖는 실시예를 도시한다.

실시예에서, 지식 그래프에 대한 메타데이터(1)는 : 시스템에 알려진 각각의 엔티티 타입에 대한 메타데이터 스토리지(1)로부터의 지식 마커들의 목록을 포함하며, 이러한 지식 마커들은 엔티티들간을 구분하는데 필요한 소수의 특정한 엔티티 속성들로 구성된다(120). 이들 지식 마커들은, 사용자에게 제시될 때, 사용자들이 유사한 엔티티들의 목록 중에서 그들이 어떤 엔티티와 상호작용하기를 원하는지를 신속하게 인지하는 것을 허용한다. 이들은 또한, 지식 및 스마트 콘텐츠의 머신 처리와 조직화를 용이하게 한다.

실시예에서, 메소드는, 해당 엔티티 타입에 대한 메타데이터 스토리지(1)에 정의된 지식 마커들(122) 각각에 대한 속성을 포함한, 새로운 엔티티 타입 노드 템플릿을 생성한다(121). 메소드는 이들 엔티티 타입 노드 템플릿들 각각 내의 2개의 보편적으로 요구되는 속성 : "엔티티 타입명" 및 "엔티티 그룹명"에 대한 값을 설정하고, 주어진 엔티티 타입 노드 템플릿에 대한 다른 모든 속성들은 초기에 널(null)로 설정된다.

실시예에서, 메소드는 콘텐츠 자원으로부터의 콘텐츠를 처리하고, 처리된 각각의 콘텐츠 레코드에 대해, 처리된 콘텐츠 레코드의 콘텐츠 타입에 대한 엔티티 타입 노드 템플릿(124)을 이용함으로써 지식 그래프에서 새로운 엔티티 노드 레코드를 생성한다(123).

이 실시예에서, 메소드는 고유한 엔티티 ID를 각각의 새로운 콘텐츠 엔티티 노드에 할당하고, 동일한 엔티티 ID를 스마트 콘텐츠 데이터베이스 내의 새로운 연관된 레코드에 할당하므로, 2개의 데이터베이스간의 정렬과 통합을 제공하고, 후속해서 엔티티들에 관련된 콘텐츠를 인덱싱하고 검색하는 방법들을 용이하게 하고, 그 반대도 마찬가지다. 그 다음, 메소드는 주어진 콘텐츠 레코드에 대한 지식을 포함하는 엔티티 노드 내의 지식 마커 속성들을 채운다(126).

도 24는 지식 그래프 내의 엔티티들에 대한 지식의 검색을 최적화하는 기능을 갖는 실시예를 도시한다.

실시예에서, 메소드는, Neo4J 등의 상업적으로 이용가능한 그래프 데이터베이스를 최적화함으로써 1 내지 몇 개의 노드 순회에 요구하는 엔티티들에 대한 지식으로의 액세스를 최적화한다.

실시예에서, 메소드는 한 엔티티 노드와 또 다른 엔티티 노드간을 양방향으로 순회하며, 각각의 노드는 순회에 대한 시작점이다.

실시예에서, 지식 그래프는 메타데이터로부터 알려진 각각의 엔티티 그룹 및 각각의 엔티티 타입에 대한 엔티티 노드들을 포함한다(127). 엔티티 그룹 또는 엔티티 타입 노드는 후속하는 노드 순회에 대한 시작점으로서 역할할 수 있다. 이 실시예는 검색 메소드가 특정한 엔티티 타입을 갖는 모든 엔티티, 예를 들어, "오바마"(엔티티)에 대한 (엔티티 그룹 "콘텐츠"와 엔티티 타입 "뉴스 아티클"를 갖는) "뉴스"를 효율적으로 발견하는 것을 허용한다.

이 실시예에서, 엔티티에 대한 지식에 액세스하기 위한 기능은 : 엔티티들의 집합으로 구성된 엔티티, 콘텐츠 객체들로 구성된 엔티티, 콘텐츠 객체들의 집합으로 구성된 엔티티를 포함한, 특정한 엔티티에 대한 지식을 발견하기 위해 지식 그래프를 순회하는 것; 다른 그래프 데이터베이스에서와 같이, "0" 노드에서 순회를 시작하는 것; 엔티티 그룹 또는 엔티티 타입을 나타내는 노드를 순회하는 것(128); 그 다음, 개별 엔티티를 나타내는 노드들을 순회하는 것(129)을 포함하며, 각각의 이러한 노드는 엔티티 속성을 나타내는 노드 속성을 포함하고, 각각의 이러한 엔티티 노드는 엔티티 관계를 통해 다른 관련된 엔티티 노드에 링크된다.

실시예에서, 메소드는 많은 타입의 지식의 공통된 구조적 프레임워크 내로의 인코딩을 허용하고, 이러한 프레임워크는 엔티티 노드, 엔티티 노드 속성, 엔티티 관계, 엔티티 관계 속성, 및 스마트 콘텐츠 레코드의 조합으로 구성되며, 지식의 타입들의 예로서는 하기의 것들이 포함된다:

엔티티들간을 구분하는데 필요한 사실적 지식은 : 몇 가지 엔티티 속성을 갖는 하나의 엔티티 노드에서 인코딩될 수 있다.

엔티티들을 상세히 설명하기 위한 사실적 지식은 : 공통 엔티티 id의 이용을 통해 엔티티 노드에 링크된 하나의 스마트 콘텐츠 레코드와 노드에 대한 엔티티 속성을 갖는 하나의 엔티티 노드에서 인코딩될 수 있고; 엔티티 노드와 스마트 콘텐츠 레코드는 공통 엔티티 id를 공유한다.

엔티티들간의 관계에 대한 지식은 : 2개의 엔티티 노드간에 하나 이상의 관계를 갖는 2개의 엔티티 노드에서 인코딩될 수 있다.

거동 지식은 : 2개의 엔티티 노드, 즉, 행위자(사용자 또는 장치)를 나타내는 엔티티에 대한 노드와 행위자가 상호작용하는 사물을 나타내는 엔티티에 대한 노드에서 인코딩될 수 있고, 상호작용의 타입을 나타내는 2개 노드간의 관계를 가지며, 이러한 관계는 상호작용에 대한 고유한 상세사항을 나타내는 관계 속성을 가진다.

엔티티들에 대한 사용자의 반응에 대한 지식은 : 2개의 엔티티 노드, 즉, 사용자를 나타내는 엔티티에 대한 노드와, 사용자가 반응한 사물을 나타내는 엔티티에 대한 노드에서 인코딩될 수 있고, 이러한 노드들은 반응의 타입(투표, 의견 표현, 좋아함, 싫어함, 등)을 나타내는 그들간의 관계를 가지며, 이러한 관계는 반응에 대한 고유한 상세사항(반응의 극성, 반응의 크기, 등)을 나타내는 관계 속성을 가진다.

사용자들에 의해 생성된 권고성 지식은 : 콘텐츠 엔티티를 나타내는 하나의 엔티티 노드에서 인코딩될 수 있고, 이러한 노드는 콘텐츠에 대한 엔티티 마커를 나타내는 엔티티 속성과 권고를 포함하는 콘텐츠 컴포넌트 객체를 갖는 하나의 스마트 콘텐츠 레코드를 가지며; 엔티티 노드와 스마트 콘텐츠 레코드는 공통 엔티티 id를 공유한다.

절차적 지식은 : 스마트 콘텐츠 엔티티를 나타내는 하나의 엔티티 노드에서 인코딩될 수 있고, 이러한 노드는 콘텐츠에 대한 엔티티 마커를 나타내는 엔티티 속성과 권고를 포함하는 콘텐츠 컴포넌트 객체를 갖는 하나의 스마트 콘텐츠 레코드를 가지며; 엔티티 노드와 스마트 콘텐츠 레코드는 공통 엔티티 id를 공유한다.

본 발명의 실시예는 Neo4J 등의 그래프-기반의 스토리지 자원 내의 명확한 구조로 지식을 인코딩하기 위한 메소드를 가지며, 이러한 자원은, 사실적 지식, 엔티티들간의 관계에 대한 지식, 사람 및 장치의 거동에 대한 지식, 태도 지식, 절차 지식, 권고성 지식 등을 포함한 사용자가 기여하는 지식과 같은 타입의 지식을 포함한, 다양한 타입의 지식의 인코딩을 위해 맞춤화된다.

도 25는, 사용자들간 및 사용자와 장치간의 통신에 유용한 특별한 타입의 콘텐츠인, 스마트 메시지를 처리하기 위한 메소드를 갖는 실시예를 도시하는 블록도이다.

본 발명의 실시예는, 다양한 타입의 "메시지 자원"에 대한, "스마트 메시지들", 즉, 자신에 대한 지식과 각각의 스마트 메시지 레코드의 컴포넌트에 임베딩된 그들이 포함하는 콘텐츠를 갖는 메시지들의 하나의 통일된 메시징 스트림으로의 메소드를 가진다. 이들 메소드는 스마트 메시지를 처리, 관리, 전송, 구독 및 수신하기 위한 지원을 포함한다.

실시예에서, 메소드는 많은 타입의 인입 메시지를 처리하여, 이것을, 사용자가 채용한 임의의 다양한 네트워크 접속된 장치(136)의 메시지 버퍼에 실시간으로 많은 수의 스마트 메시지 요약을 스트리밍(135)하는 능력을 갖는 하나의 통일된 스마트 메시지 데이터베이스(134)로 합리화한다.

이 실시예에서, 기능은 모든 메시지를 하나의 통일된 시스템으로 조직화하여, 임의의 엔티티가 기타 임의의 엔티티와 실시간으로 통신하는 것을 허용하며, 예를 들어, 사용자-대-사용자 메시지(130), 사용자-대-엔티티 메시지(131), 및 엔티티-대-사용자 메시지(132)를 지원한다.

실시예에서, 기능은 메시지를 처리하여(133) : 스마트 메시지 데이터베이스(134)에 저장된 스마트 메시지 레코드의 표준화된 컴포넌트에 저장된 데이터를 합리화하며, 지식 데이터베이스(8)에서 이들 메시지들에 관련된 지식을 인식하고 문서화한다.

스마트 메시지의 타입은 매우 다양할 수 있고, 예를 들어 : 개인 연락처로부터의 전자메일; 관심대상 그룹 내의 개인으로부터 메시지; 관심대상 그룹에 관련된 메시지; 트위터 목록 내의 관심대상의 사람들로부터의 트위트; 임의의 트위터 멤버로부터의 관심대상의 엔티티들에 대한 트위트; 관심대상의 엔티티들에 관련된 뉴스 아티클의 요약; 관심대상의 엔티티들에 관련된 거래; 관심대상의 엔티티들에 관련된 쿠폰; 페이스북, 트위터 및 LinkedIn에서의 연락처로부터의 소셜 업데이트; 관심대상의 엔티티들에 대한 스포츠 통계; 관심대상의 엔티티들에 관련된 이벤트의 통보; 네트워크 접속된 장치의 상태로부터의 또는 상태를 보여주는 신호에 관련된 메시지 및 수 많은 다른 타입의 메시지를 포함할 수 있다.

도 26은 스마트 메시지의 통일된 저장소를 생성하기 위해 다양한 메시지 소스들로부터의 메시지를 처리하기 위한 메소드를 갖는 실시예를 도시하는 블록도이다.

실시예에서, 메소드는, 사용자가, 예를 들어, eBook에 대한 "리뷰"; 콘텐츠 엔티티를 포함한, 엔티티에 대한 "코멘트"; 콘텐츠 엔티티를 포함한, 엔티티에 대한 "유의사항", 콘텐츠 엔티티를 포함한, 엔티티에 대한 "질문"; 콘텐츠 엔티티를 포함한, 엔티티에 대한 "질문에 대한 답변"; 엔티티에 대한 "가격 고시 요청"; 엔티티의 "구매 조건"; 엔티티의 "예약 요청"; 엔티티에 의해 제공되는 엔티티에 대한 "구매 주문"; 엔티티에 대한 "사실 요청"; 엔티티에 대한 "사실 목록"; 엔티티에 대한 "이미지 요청"; 엔티티에 대한 "비디오 요청"; 네트워크 접속된 장치에 의해 생성된 신호로부터 유도되는 "전자적 청구서", "전자적 진술서", "요금 지불 승인", "데이터의 요약", 네트워크 접속된 장치를 관리하기 위한 "명령어"; 및 기타의 가능한 타입의 메시지를 포함한, 많은 타입의 "메시지"(137)를 생성하는 것을 허용한다.

실시예에서, 메소드는, 공급자가, 예를 들어 : 호텔 룸에 대한 맞춤화된 "시간-제한된 제안", 특정한 반경의 거리 또는 특정한 국지성 내의 식당으로부터 사용자로의 "특별한 제안", 결함 제품에 관련된 "리콜 통보", 새로운 제품 또는 서비스에 대한 "뉴스", 특정한 신용 카드를 이용하는 것에 관련된 "경고" 및 많은 다른 타입의 메시지를 포함한, 개별 사용자들에 대한, 및 공급자 제품 및/또는 서비스에 관심갖는 사용자 그룹에 대한 표준의 및 맞춤화된 스마트 메시지를 생성하는 것(138)을 허용한다.

실시예에서, 메소드는, 장치가, 사용자의 집 내의 "연기 경보" 상태, 사용자의 집의 문의 잠금해제를 나타내는 "경고", 사용자의 집의 난로(furnace)의 고장을 나타내는 "경고", (사용자에게 한번의 동작으로 새로운 토너를 구입할 것을 허용하는) 토너 카트리지의 잉크 부족에 대한 "통보 및 많은 다른 타입의 메시지를 포함한, 스마트 메시지를 생성하여 사용자 및/또는 기타의 장치에 전송하는 것(139)을 허용한다.

실시예에서, 메소드는, 지능형 인터넷 시스템이, 예를 들어, 사용자가 "추종"하기로 선택한 엔티티에 관련된 새로운 콘텐츠의 이용가능성을 포함한, 스마트 메시지를 생성하여 사용자에게 전송하는 것(140)을 허용한다.

실시예에서, 메소드는 사용자가 또 다른 스마트 메시지 또는 스마트 콘텐츠 레코드를 스마트 메시지에 삽입하거나 연관시키는 것을 허용한다. 예를 들어 사용자는 뉴스 아티클에 대한 자신의 코멘트와 함께 전자메일을 또 다른 사용자 또는 사용자 그룹에 전송할 수 있다. 이 예에서, 코멘트를 갖는 메시지는, 그 코멘트에 대한 스마트 메시지 레코드에 임베딩된 지식을 포함할 것이고 뉴스 아티클는 스마트 콘텐츠 레코드에서 참조되는 뉴스에 관한 스마트 메시지 레코드에 대한 지식을 포함할 것이다.

한 구현에서, 메소드는 모든 생성된 메시지들을 처리하여 : 1) 이러한 메시지를 메타데이터(1)를 준수하도록 합리화하고(141); 2) 메시지 내에 임베딩된 심볼 객체를 인식하고 이러한 심볼 객체와 메타데이터를 특정한 엔티티와 연관시킴으로써(143) 스마트 메시지에 관련된 지식을 처리하며(142); 3) 엔티티 노드와 엔티티 관계를 지식 그래프(8)에 추가함으로써 이러한 심볼 객체에 대한 지식을 문서화한다.

한 구현에서, 메소드는, 엔티티 노드의 스마트 메시지들, 엔티티 노드 속성, 노드 관계 및 노드 관계 속성을 스마트 메시지 데이터베이스에 저장하고(148), 스마트 콘텐츠 데이터베이스(6)의 컴포넌트들 내의 속성들을 업데이트한다.

한 구현에서, 메소드는 특정한 엔티티와 이 엔티티에 관련된 스마트 메시지간의 링크를 포함하는 "엔티티 메일박스"를 생성한다(146). 이 구현에서, 메소드는 엔티티들에 관심갖는 또는 엔티티들을 구독하는 특정한 사용자에게 등록된 임의의 장치 내의 "스마트 메시지 버퍼"에 "스마트 메시지 요약"을 푸시한다(147).

도 27은 스마트 메시지를 스마트 메시지 컴포넌트들로 분할하기 위한 메소드를 갖는 구현을 도시하는 블록도이다.

한 구현에서, 스마트 메시지를 스마트 메시지 컴포넌트들로 분리함으로써 메소드는 스마트 메시지 레코드(147)의 스토리지를 관리하며, 각각은 메시지에 대한 엔티티 id를 포함하고, 이러한 컴포넌트들은, 예를 들어, 스마트 메시지 메타데이터 컴포넌트(149), 스마트 메시지 허용 컴포넌트(150), 스마트 메시지 지식 맵 컴포넌트(151), 스마트 메시지 요약 컴포넌트(152) 및 스마트 메시지 객체 컴포넌트(155)를 포함한다.

이 실시예에서, 스마트 메시지 메타데이터 컴포넌트(149)는 스마트 메시지로의 변환 동안에 자동화된 메소드에 의해 생성되거나 그 저자에 의해 메시지 레코드의 생성시에 제공된 스마트 메시지 레코드에 대한 메타데이터를 포함하고, 이러한 메타데이터는, 예를 들어, 스마트 메시지의 저자(들)의 성명(들), 및 스마트 메시지의 저자(들)의 엔티티 id를 포함한다.

이 실시예에서, 콘텐츠의 저자에 의해 정의되는 스마트 콘텐츠 허용 컴포넌트(150)는, 예를 들어, 저자(들)에 의해 스마트 메시지에 할당된 액세스 권한을 나타내는 하나 이상의 플래그를 포함할 수 있고, 이러한 플래그는, 액세스 권한을, (저자(들)에게만 액세스가능한) "전용"; (저자(들)에 의해 명명된 하나 이상의 지정된 개인들에 의해서만 액세스가능한) "개인"; 스마트 메시지를 액세스 또는 업데이트하도록 인가된 개인 및 그룹의 목록과 함께, (저자(들)에 의해 명명된 그룹에게만 액세스가능한) "그룹"; (모든 사용자에게 액세스가능한) "공개"로서 표시한다.

이 실시예에서, 메소드는 스마트 메시지에 대한 지식을 포함하는 스마트 메시지 지식 맵 컴포넌트(151)를 생성하고, 지식 맵 컴포넌트 내의 데이터는, 예를 들어, 콘텐츠에 대한 엔티티 id; 엔티티 명칭(즉, 스마트 메시지에 대한 제목); (디폴트로 "콘텐츠"로 설정되는) 엔티티에 대한 엔티티 그룹명; (메시지 타입에 따라 달라지는) 엔티티에 대한 엔티티 타입명; 스마트 메시지의 저자(들)의 성명(들); 스마트 메시지의 저자(들)의 엔티티 id; 및 스마트 메시지의 전송 날짜 및 시간과 이 스마트 메시지가 더 이상 액세스가능하지 않은 날짜와 시간에 대한 타임스탬프를 포함한, 지식-관련된 데이터 요소들을 갖는 템플릿-기반의 구조로 저장된다.

이 실시예에서, 메소드는, 스마트 메시지 콘텐츠의 저자로부터 나오는 요약을 이용하여, 또는 콘텐츠를 자동으로 요약하기 위한 메소드를 이용하여, 스마트 메시지 요약 컴포넌트(152)를 생성한다. 주어진 스마트 메시지 레코드는 복수의 메시지 요약, 예를 들어, 텍스트 메시지를 전송하거나 트위팅하는데 적합한 140개 문자로 구성된 요약, 더 많은 스마트 메시지를 디스플레이하기에 적합한 500개 문자로 구성된 요약을 포함할 수 있다.

이 실시예에서, 메소드는, 그 저자에 의해 생성되고 스마트 메시지 콘텐츠 객체에 임베딩된 인식된 심볼 객체와 연관된 은닉된 지식 태그의 추가에 의해 강화된 원본 메시지를 갖는 스마트 메시지 객체 컴포넌트(153)를 생성한다.

실시예에서, 스마트 메시지 콘텐츠 객체 컴포넌트(153)는, 각각이 콘텐츠 자원에 의해 동적으로 업데이트될 수 있는 구조화된 요소들로 구성될 수 있다. 예를 들어, 엔티티에 대한 주식 시장 데이터를 디스플레이하는 형태로 구성된 스마트 메시지 객체 컴포넌트는 개별 스마트 콘텐츠 속성을 콘텐츠 자원에 의해 실시간으로 업데이트시킬 수 있다. 주유소의 개스에 대한 구조화된 콘텐츠를 디스플레이하는 스마트 메시지 객체는 임의의 시간에 주유소 또는 중앙 서비스에 의해 업데이트가능한, "갤론당 가격"에 대한 스마트 콘텐츠 속성을 가질 수도 있다.

각각의 스마트 메시지 레코드가 자신에 대한 지식을 포함하게 하는 이점은 많다. 발생점에서 또는 스마트 메시지의 대규모 저장소 내의 저장을 위해 메시지를 전처리하는 것의 일부로서 자동화된 메소드에 의해 그 후에 곧 생성되는, 각 타입의 메시지에 대한 보편적으로 이해가능하고 실용적인 구조를 미리 생성함으로써, 이들 스마트 메시지들을 관리, 이용 및 배포하는 후속 메소드들이 더욱 효율적으로 동작할 수 있다.

이 구현에서, 스마트 메시지로의 액세스는 사용자가 사용자의 장치 내의 스토리지 버퍼로부터 또는 네트워킹된 스토리지 장치로부터 메시지 요약을 보는 것을 허용하도록 최적화된다. 사용자에 의해 요청될 때, 메소드는 전체 메시지를 검색한다.

도 28은, 엔티티당 하나의 IPv6가 할당되는 iPv6-어드레싱가능한 스토리지 시스템에 스마트 메시지 요약을 저장하기 위한 메소드를 갖는 실시예를 도시하는 블록도이다.

이 구현에서, 메소드는 지식 그래프에 알려진 각각의 엔티티에 대해 고유한 IPv6 어드레스(156)를 할당한다. 메소드는, 가용성 상태 플래그(157), 시간-생성된 타임스탬프(157), 콘텐츠 타입(159), 및 스마트 메시지의 저자(들) 또는 소스의 명칭(들)(160)을 포함하는 스마트 메시지 요약을, 이러한 메시지들의 인덱스화된 및 순차적 판독 모두를 위해 최적화된 데이터 구조를 갖는 스마트 메시지 스토어에 저장한다.

도 29는 URI-기반의 시스템에서 스마트 메시지 요약을 저장하는 대안적 실시예를 구현하기 위한 메소드를 보여주는 블록도이다.

이 구현에서, 메소드는 지식 그래프에 알려진 각각의 엔티티에 대해 고유한 URL 스터브(stub) 어드레스(159)를 할당한다. 메소드는, 가용성 상태 플래그(155), 시간-생성된 타임스탬프(156), 메시지 콘텐츠 타입(157), 및 스마트 메시지의 저자(들) 또는 소스의 명칭(158)을 포함하는 스마트 메시지 요약을, 이러한 스마트 메시지들의 인덱스화된 및 순차적 판독 모두를 위해 최적화된 데이터 구조를 갖는 스마트 메시지 스토어에 저장한다.

도 30은 스마트 메시지을 구독하기 위한 메소드를 갖는 실시예를 도시하는 블록도이다.

실시예에서, 메소드는 사용자가 : 1) 단일 엔티티에 대한 단일 타입의 콘텐츠에 대한 스마트 메시지 요약(161); 2) 단일 엔티티에 대한 복수 타입의 콘텐츠에 대한 스마트 메시지 요약(162); 단일 엔티티에 대한 모든 타입의 콘텐츠; 모든 엔티티에 대한 단일 타입의 콘텐츠(163); 기타 임의의 콘텐츠 타입 및 엔티티 세트, 또는 콘텐츠 타입 및 엔티티 타입 또는 콘텐츠 타입과 엔티티의 각 교점이 메소드가 인덱싱, 탐색, 및 사용자에게 제시할 수 있는 "지식 셀"을 구성하는 콘텐츠 타입 및 엔티티 그룹을 구독하는 것을 허용한다.

실시예에서, 메소드는, Lucene 라이브러리를 이용하여 MongoDB 등의 문서 데이터베이스 내의 스마트 콘텐츠 뿐만 아니라 Neo4J 등의 그래프 데이터베이스 내의 엔티티들에 대한 지식을 인덱싱하여 단일의 또는 복수의 연합된 인덱스를 생성하는, Lucene, 또는 Apache SOLR 등의, 상업적 또는 오픈 소스 툴을 이용하여 인덱싱하고, 이러한 인덱스는, 예를 들어, 전문 검색, 인덱싱된 항의 강조, 다면화된 검색, 동적 클러스터링, 데이터베이스 통합, 및 리치 문서(rich document) 처리를 관리하는 능력을 가진다.

실시예에서, 메소드는 "지식 셀들"을 생성하고, 그 각각은, 다음과 같은 것을 갖는 "콘텐츠 입자들"로 구성된다: 1) 콘텐츠의 특정한 타입, 2) 각각의 지식 셀이 콘텐츠 타입별 및 엔티티별로 인덱싱된, 특정한 엔티티.

이 아키텍쳐는 사용자가 "오바마"(엔티티)에 대한 "뉴스"(콘텐츠 타입)를 추종하는 능력을 가능케 한다.

도 31은 임의의 엔티티에 대한 스마트 메시지를 "추종"하는 메소드를 갖는 실시예의 블록도를 도시한다.

실시예에서, 메소드는 사용자가 임의의 엔티티에 대한 스마트 메시지를 보고 이와 상호작용하는 것을 허용한다(164).

실시예에서, 메소드는, 선택된 엔티티에 관련된 스마트 메시지들의 연속된 스트림을 수신하고; 이 인바운드 메시지 스트림의 조직화 및 구성을 관리하며(165); 사용자와 연관된 장치(들)의 스마트 메시지 버퍼(167)로의 인바운드 스마트 메시지 요약의 실시간 저장을 관리할 것을 요청한다.

메소드는 사용자의 등록된 장치들 각각으로의 연속적 스마트 메시지 스트림의 "푸시-기반의" 전달을 허용하여, 사용자가, 실시간 또는 준 실시간으로, 예를 들어, "Ford Motor Company" 또는 더 구체적으로는 "Ford Motor Company"에 관련된 "뉴스"(특정한 콘텐츠 타입)에 관련된 새로운 스마트 콘텐츠에 대한 경고를 수신하는 것을 허용한다. 다른 예로서는, 사용자가 입사 지원자에 관한, 또는 "디지털 카메라"로 분류된 엔티티 타입에 대한 새로운 정책에 대한 트위트(특정한 콘텐츠 타입)을 구독하는 것을 허용하는 것이 포함된다. 이 능력은 사용자가 특정한 엔티티에 대한 콘텐츠의 특정한 타입 또는 타입들에 관해 삼각측량하는(triangulate) 것을 허용하여, 사용자에게 그들의 관심대상의 엔티티들에 관련된 새로운 스마트 콘텐츠에 대해 학습하기 위한 단일의 통일된 사용자 경험을 허용한다.

도 32는, 물품, 상품, 제품 및 서비스의 공급자들이 그들이 제공해야 하는 것들에 대해 명시적으로 관심갖는 "옵트-인(opt-in)" 사용자와 1대1로 실시간으로 통신하는 것을 허용하는 메소드를 갖는 실시예를 도시하는 블록도이다.

실시예에서, 메소드는 사용자와 공급자간의 양방향 실시간 통신을 허용하고, 이러한 통신은 사용자 또는 공급자가 그 상대방과의 이러한 통신을 요청하고(168), 사용자 또는 공급자가 그 상대방과의 이러한 통신을 인가할 것(169)을 요구한다.

이 실시예에서, 메소드는, 어느 한 당사자가, 비구조화된 스마트 메시지, 구조화된 스마트 메시지 또는 구조화된 스마트 메시지와 비구조화된 스마트 메시지의 조합을 전송함으로써 다른 당사자와 직접 상호작용하는 것(170, 171)을 허용하며, 그 예로서는: 엔티티에 대한 특정한 타입의 콘텐츠에 대한 사용자로부터의 요청; 개인 노트로 보충된, 공급자로부터의 구조화된 포멧의 거래 조건의 요청; 및 물품, 상품, 제품 또는 서비스를 구매 또는 제공하는 것에 대한 관심의 표시가 포함된다.

이러한 실시예의 한 예에서, 메소드는, 사용자 또는 사용자를 위해 동작하는 지능형 에이전트가, 지정된 날짜 또는 기간의 날짜 동안 호텔 룸에 대한 요청을 공시하고 사용자의 선호사항 및 요구조건을 나타내는 구조화된 포멧을 제공하는 것을 허용할 수 있다. 이 실시예에서, 메소드는 호텔 관리자가 사용자로부터의 요청을 수신하고 특정한 날짜 또는 기간의 날짜에서 호텔 룸을 임대하기 위한 사용자 파라미터를 그들의 룸 인벤토리와 매칭하는 것을 허용한다. 메소드는 또한, 호텔 관리자가 특정한 가격 제안을 하는 것과 연관된 위험을 모델링하고, 제안을 하는 호텔과 룸에 대한 기본적인 세부사항과 함께, 그 제안을 사용자에게 익명으로 제시하는 것을 허용한다. 메소드는 이 프로세스 동안에 양쪽 당사자가 익명으로 남도록 허용할 수 있고; 사용자가 제안을 수락 또는 거절하는 것을 허용하며; 사용자가, 예치금 지급, 또는 룸값을 지불하는 것을 포함한, 원 스텝으로 거래를 마무리하는 것을 허용한다.

실시예에서, 메소드는, 임의 종류의 물품, 상품, 제품 또는 서비스를 찾고 있는 사용자가, 그 사용자가 찾고 있는 것의 특성과 매칭하는 인벤토리를 갖는 공급자에게 스마트 메시지를 전송하고; 공급자가 자격있는 사용자로부터만 메시지를 수신하며; 공급자가 사용자에 대한 개인맞춤화된 제안으로 응답하는 것을 허용할 것이다. 따라서 이 실시예는 사용자에 대한 개인맞춤화된 1-대-1 가상 구매 시스템과 공급자에 대한 고도로 효율적이고 비용 효율적인 개인맞춤화된 1-대-1 마켓팅 시스템을 생성한다.

다양한 실시예에서, 1-대-1 마켓팅 상호작용 패러다임은, 광범위한 기존의 비-개인맞춤화된 전자상거래 시스템을, 사용자의 실시간 요구 및 공급자의 실시간 인벤토리를 만족하는 개인맞춤화된 상호작용으로 대체할 수 있다.

도 33은 상호작용을 위한 엔티티를 선택하기 위한 메소드를 갖는 실시예의 블록도를 도시한다.

이 실시예에서, 메소드는 : 1) 엔티티 지식 마커에 의해 보조되는, 키워드를 이용한 엔티티의 검색(173); 2) 심볼 객체들의 목록 중에서 엔티티를 나타내는 심볼 객체를 선택하는 것(174); 3) 심볼 객체들의 갤러리 중에서 엔티티를 나타내는 심볼 객체를 선택하는 것(175); 4) 스마트 텍스트 콘텐츠에 임베딩된 엔티티를 나타내는 심볼 객체를 선택하는 것(176); 또는 5) 텍스트 콘텐츠, 이미지 콘텐츠, 인쇄 자료의 이미지 및 비디오로부터 캡처된 이미지를 포함한, 태깅해제된 콘텐츠에 임베딩된 엔티티를 나타내는 심볼 객체를 선택하는 것(177)을 이용해, 상호작용을 위한 엔티티를 선택하는 것(172)을 지원한다.

메소드는 사용자가 복수의 전략을 이용하여 상호작용하기 위한 엔티티를 선택하는 것을 허용하여; 사용자들에게 그들이 원하는 것, 그들이 그것을 원하는 방법, 때, 장소를 얻을 자유를 제공한다.

도 34는, 엔티티 지식 마커에 의해 보조되는, 엔티티를 검색하는 메소드를 갖는 실시예를 도시하는 블록도이다.

이 실시예에서, 메소드는 사용자 개시형 검색의 표시를 검출하고 "지능형 검색 에이전트"를 활성화시키기 위한 것이다. 메소드는, 검색으로부터의 인입 문자 스트림을 분석하고(178); 검색 요청 내의 검색 인자들과 잠재적으로 매칭하는 엔티티들의 목록을 요청하기 위해 지식 그래프와 통신하며; 엔티티 그룹별로(179) 및 엔티티 타입별로(180) 조직화된 이들 엔티티들과 연관된 지식 마커(엔티티들간을 구분하기 위한 속성)를 요청 및 디스플레이하여(180) 사용자들이 그들이 원하는 것을 신속하게 선택하는 것을 돕고; 목록으로부터 선택된 엔티티에 대한 유효한 상호작용 메소드들의 목록을 수신하는 것을 지원한다. 이러한 메소드들은 작은 세트의 특정한 지문 "마커"에 기초하여 사람들간을 구분하기 위해 채용되는 메소드들 및 작은 세트의 "DNA 마커"에 기초하여 사람들 및 생명체종들을 구분 및 분간하기 위해 채용되는 기타의 메소드들과 유사한 목적을 제공한다. 특정한 필적하는 속성들로 구성된 작은 세트의 "지식 마커"를 이용하여 심볼 객체들간을 분간하고 이들을 특정한 엔티티와 관련시키는 메소드를 채용하는 것은 심볼 객체들의 선행적 분간과 인덱싱을 개선하여, 현재 채용되고 있는 많은 검색 엔진들에 의해 반환될 수 있는 "잘못된" 매칭에 대한 잠재성을 감소시킬 수 있다.

실시예에서, 메소드는 검색 인자 내의 추가적 문자들의 수신시에 이러한 엔티티들의 목록을 점진적으로 좁히는 것을 지원한다.

지능형 검색 엔진이 하나보다 많은 결과를 수신한다면, 사용자 인터페이스에서 패널을 오픈하고; 잠재적 엔티티들과 그들의 지식 마커들의 목록을 디스플레이하며(180); 그 목록을 잠재적 엔티티들의 엔티티 그룹별로(179) 및 엔티티 타입별로(180)로 조직화한다.

메소드는 사용자 인터페이스에 의해 수신되는 입력을 모니터링하고, 사용자가 특정한 엔티티를 선택한다는 표시를 수신하면, 선택된 엔티티에 대한 유효한 상호작용 옵션을 열거하는 메뉴를 보여주는 사용자 인터페이스 패널을 오픈한다.

메소드는, 사용자들이 특정한 특성을 갖는 특정한 심볼 객체를 특정한 엔티티와 연관시키는 횟수 뿐만 아니라 이러한 연관을 행하는 사용자들의 전문성을 고려함으로써, 심볼 객체들의 "대중적 이해(crowd understanding)"를 지원한다. 그러면 추가적 메소드는, 특정한 엔티티가 사용자의 관심대상인 것으로 표시된 특정한 심볼 객체와 매칭할 가능성이 가장 크다는 것을 강조하거나 기타의 방식으로 표시할 수 있다.

웹 콘텐츠 및 많은 다른 타입의 콘텐츠를 검색하기 위한 현재의 메소드는 Lucene 또는 특정한 문자열 검색을 허용하는 다른 이러한 인덱싱 툴을 이용하여 이러한 콘텐츠를 인덱싱한다. 이들 메소드는 사용자와의 관련성을 갖거나 갖지 않을 수 있는 콘텐츠를 반환한다. 실시예에서, 메소드는 특정한 엔티티에 대한 지식으로의 즉각적 액세스를 제공하여, 사용자가 자신이 상호작용하기를 원하는 엔티티들이 어떤 것인지를 정확히 명시하는 것을 허용한다. 인간과 머신간의 이러한 협력은 사용자에 의한 더 많은 통제를 제공하며, 원하는 것을 발견하기 위해 사용자가 다양한 웹 페이지들을 네비게이팅하면서 소비되는 시간을 감소시킬 수 있다.

도 35는 심볼 객체들의 목록으로부터 관심대상의 엔티티를 선택하기 위한 메소드를 갖는 실시예를 도시하는 블록도이다.

실시예에서, 메소드는 사용자 인터페이스의 패널에 심볼 객체들의 목록을 디스플레이하는 것(184), 및 사용자가 이 목록으로부터 특정한 심볼 객체(185)를 선택했다는 표시를 검출하는 것을 지원한다(153).

이 실시예에서, 심볼 객체들의 목록 내의 각 항목은, 고유한 엔티티의 엔티티 그룹 및 엔티티 타입과 함께, 고유한 엔티티와 연관된다. 그 엔티티가 콘텐츠 엔티티이면, 심볼 객체들의 목록 내의 각각의 항목은 그 엔티티의 콘텐츠 타입과 연관된다.

이 실시예의 한 예에서, 시스템은 뉴스 콘텐츠를 브라우징하기 위한 토픽들의 목록을 디스플레이할 수 있고, 각각의 이러한 토픽은 사용자가 용이하게 이해할 수 있는 심볼 객체이다. 사용자가 이들 토픽들 중 하나를 선택하면, 메소드는 선택된 엔티티에 관련된 뉴스 콘텐츠를 검색한다.

도 36은 심볼 객체들의 갤러리로부터 엔티티를 선택하기 위한 메소드를 갖는 실시예를 도시하는 블록도이다.

이 실시예에서, 메소드는 사용자 인터페이스에 시각적인 심볼 객체들의 갤러리를 디스플레이하는 것(185), 및 사용자가 이 갤러리로부터 심볼 객체를 선택했다는 표시(184)를 검출하는 것을 지원한다.

이 실시예에서, 심볼 객체의 갤러리 내의 각각의 항목, 예를 들어, eBook의 "썸네일 이미지"는, 고유한 엔티티(즉, eBook)의 엔티티 그룹 및 엔티티 타입과 함께, 고유한 엔티티와 연관된다.

실시예에서, 메소드는 사용자가 상호작용하기를 원하는 엔티티를 플래깅하기 위해 일관적 아이콘(186)을, 갤러리 내의 각각의 심볼 객체에 인접하게 또는 그 내부에 배치하는 것을 지원하며, 이러한 아이콘은 사용자의 관심 표시에 응답하고, 임의의 이러한 관심의 표시는 사용자의 관심대상의 엔티티와의 상호작용을 위한 유요한 메소드들의 목록을 검색하고 디스플레이하는 메소드를 트리거한다.

도 37은 스마트 텍스트 콘텐츠에 임베딩된 태깅된 심볼 객체를 선택하기 위한 메소드를 갖는 실시예를 도시하는 블록도이다.

실시예에서, 메소드는 텍스트로 구성된 스마트 콘텐츠 객체를 디스플레이하는 것을 지원하며, 각각의 이러한 텍스트 심볼 콘텐츠 객체는 하나 이상의 임베딩된 지식-태깅된 심볼 객체를 가진다. 메소드는 사용자가 특정한 은닉된 지식-태깅된 심볼 객체를 선택했다는 표시(187)를 검출하는 것을 지원한다. 심볼 객체와 연관된 지식-태그(188)는, 그 심볼 객체에 의해 표현된 엔티티에 대한 엔티티 그룹 및 엔티티 타입과 함께, 그 엔티티에 대한 엔티티 id로 구성된다.

도 38은 스마트 텍스트 콘텐츠에 임베딩된 태깅해제된 심볼 객체를 선택하기 위한 메소드를 갖는 실시예를 도시하는 블록도이다.

실시예에서, 메소드는, 텍스트로 구성된 심볼 객체를 디스플레이하는 것, 이러한 심볼 객체는 태깅해제된 심볼 객체를 가짐; 사용자가 콘텐츠 객체의 물리적 영역을 선택했다는 표시를 검출하는 것(189); 및 심볼 객체 인식 메소드를 활성화하는 것을 지원한다. 심볼 객체 인식 메소드가 물리적 영역 내부(190)의 심볼 객체를 인식한다면, 메소드는, 이 심볼 객체에 의해 표현된 엔티티의 엔티티 id, 및 그 엔티티 그룹과 엔티티 타입을 포함한, 그 심볼 객체에 대한 지식을 지식 그래프에게 요청한다.

도 39는 이미지 객체에 임베딩된 태깅해제된 심볼 객체를 선택하기 위한 메소드를 갖는 실시예를 도시하는 블록도이다.

실시예에서, 메소드는, 내부에 태깅해제된 심볼 객체가 임베딩된 이미지 객체를 디스플레이하는 것; 사용자가 이미지 객체의 물리적 영역(192)을 선택했다는 표시(191)를 검출하는 것; 및 심볼 객체 이미지 인식 메소드를 활성화하는 것을 지원한다. 심볼 객체 이미지 인식 메소드가 물리적 영역 내부의 심볼 객체를 인식한다면, 메소드는, 이 심볼 객체에 의해 표현된 엔티티의 엔티티 id, 및 그 엔티티 그룹과 엔티티 타입을 포함한, 추가의 지식을 지식 그래프에게 요청한다.

도 40은 인쇄된 콘텐츠에 임베딩된 태깅해제된 심볼 객체를 선택하기 위한 메소드를 갖는 실시예를 도시하는 블록도이다.

실시예에서, 메소드는, 인쇄된 콘텐츠 객체의 이미지를 캡처하는 것, 이러한 이미지는 임베딩된 태깅해제된 심볼 객체를 가짐(194); 사용자가 인쇄된 콘텐츠 이미지 객체의 물리적 영역을 선택했다는 표시(193)를 검출하는 것; 및 심볼 객체 이미지 인식 메소드를 활성화하는 것을 지원한다.

심볼 객체 인식 메소드가 표시된 물리적 영역 내부의 심볼 객체를 인식한다면, 메소드는, 이 심볼 객체와 연관된 엔티티의 엔티티 id, 및 그 엔티티 그룹과 엔티티 타입을 포함한 지식을 지식 그래프에게 요청하는 것을 지원한다.

도 41은 비디오 콘텐츠에 임베딩된 태깅해제된 심볼 객체를 선택하기 위한 메소드를 갖는 실시예를 도시하는 블록도이다.

실시예에서, 메소드는, 비디오(196)에 임베딩된 태깅해제된 심볼 객체를 시청하면서 사용자로부터의 관심대상의 표시에 대해 비디오 재생기의 사용자 인터페이스를 모니터링하는 것을 지원하며, 이러한 표시는 사용자가 비디오 재생기 디스플레이(195) 내의 관심 영역을 터치할 때 발생한다. 이러한 표시시에, 메소드는 비디오 콘텐츠 객체로부터 이미지를 캡처하는 것을 지원한다.

메소드는 사용자가 비디오 객체의 물리적 영역을 선택했다는 표시를 검출하는 것; 심볼 객체 이미지 인식 메소드를 활성화하는 것; 표시된 물리적 영역 내부의 심볼 객체를 인식하는 것; 이 심볼 객체와 연관된 엔티티의 엔티티 ID, 및 그 엔티티 그룹과 엔티티 타입을 포함한 지식을 지식 그래프에게 요청하는 것을 지원한다.

도 42는 엔티티들에 대한 유효한 상호작용에 대한 지식에 액세스하기 위한 메소드를 갖는 구현을 도시하는 플로차트이다.

실시예에서, 메소드는, 사용자가 엔티티를 나타내는 지식-태깅된 심볼 객체를 선택 또는 참조했다는 표시(175)를 수신하는 것, 및 이러한 표시시에 지능형 상호작용 에이전트를 활성화하는 것(197)을 지원한다.

이 실시예에서, 표시가 지식-태깅된 심볼 객체의 선택에 대한 것이라면, 지능형 상호작용 에이전트는 이 엔티티에 대한 현재 유효한 상호작용에 대한 지식을 지식 그래프에게 요청한다(200).

이 실시예에서, 표시가 태깅해제된 심볼 객체의 사용자 선택에 대한 것이라면, 지능형 상호작용 에이전트는, 이미지 또는 비디오 내에서의 그 상대적인 물리적 위치를 포함한 관심 영역의 특성을 판정하는 메소드를 개시하고(198), 심볼 객체를 인식해 이것을 알려진 심볼 객체들의 특성을 포함하는 라이브러리(66) 내의 알려진 엔티티와 관련시킨다.

실시예에서, 기능은 사용자에게 디스플레이된 심볼 객체와 매칭할 수도 있는 가능한 엔티티들을 디스플레이하고 엔티티들 중 하나를 선택하는 사용자로부터의 표시(199)에 응답한다.

이 실시예에서, 지능형 상호작용 에이전트는 선택된 엔티티(201)에 대한 가능한 유효한 상호작용들의 목록을 사용자에게 디스플레이하는 기능을 구현하고, 이러한 유효한 상호작용은 지식 그래프에게 알려져 있다. 응답성 디스플레이 또는 발성된 용어로부터, 사용자는 이들 상호작용 메소드들 중 하나를 선택했다는 표시의 수신시에, 지능형 상호작용 에이전트는, 사용자가 관심대상의 엔티티와 상호작용하는데 이용할 수 있는 스마트 상호작용 모듈(Smart Interaction Module)을 활성화한다.

실시예에서, 지능형 상호작용 에이전트에 의해 수행되는 기능은 사용자의 장치 상에서 JavaScript로, 또는 사용자의 장치의 운영 체제가 이해하는 컴퓨터 프로그래밍 언어로 구현된 기능으로, 로컬로(locally) 구현된다.

도 43은, 사용자가 엔티티를 선택함으로써 개시되는, 엔티티들과의 사용자 상호작용을 관리하는 메소드를 갖는 실시예를 도시하는 블록도이다.

실시예에서, 사용자는 먼저 다양한 메소드들 중 임의의 것을 이용하여 엔티티를 선택한다(203). 지능형 상호작용 에이전트는 사용자에게 이 엔티티와 상호작용하기 위한 유효한 방식들의 메뉴 목록을 제시하고, 메뉴 내의 항목들은 이 엔티티에 대한 유효한 상호작용만으로 제한되고, 이러한 유효한 상호작용은, 특정한 시점에서의 사용자의 특정한 위치로부터 적절하다. 지능형 상호작용 에이전트는 사용자로부터의 입력을 수집하고, 사용자의 장치 및 지식 그래프와 상관시킨 다음, 상호작용 옵션을 사용자에게 제시한다. 그 다음, 사용자는 유효한 상호작용 메소드들 중 하나를 선택하고(204), 엔티티와 관련된 콘텐츠 및 기타의 자원과 상호작용한다(205).

이 실시예의 예에서, 사용자는 식당을 나타내는 심볼 객체를 선택할 수 있고, 지능형 상호작용 에이전트는 사용자의 장치에 존재하는 기능에게 사용자의 위치에 대한 데이터를 요구할 것이고 이 식당에 대한 현재 유효한 상호작용 메소드들의 목록을 지식 그래프에게 요청할 것이다. 식당이 대화식 예약 시스템을 가진다면, 이 예에서, 지능형 상호작용 에이전트는 유효한 상호작용 메소드로서 "예약 하기"를 사용자 인터페이스에 디스플레이할 것이다. 식당이 음식을 배달하거나 음식 픽업을 제공한다면, 식당은 "배달 주문" 또는 "픽업 주문"을 사용자 인터페이스에 보일 수 있다.

이 실시예의 또 다른 예에서, 사용자는 NASDAQ 회사를 나타내는 심볼 객체를 선택할 수 있다; 지능형 상호작용 에이전트는 상호작용 옵션으로서 "시장 데이터"를 사용자 인터페이스에 디스플레이할 것이고, 웹 서비스, 예를 들어, Yahoo Finance Market data Web Service로의 접속을 설정할 것이다. 메소드는 단계별 사용자 입력을 필요로하지 않고 자동화된 상호작용을 허용한다.

도 44는, 사용자가 상호작용 메소드를 선택함으로써 개시되는, 엔티티들과의 사용자 상호작용을 관리하는 메소드를 갖는 실시예를 도시하는 블록도이다.

이 실시예의 한 예에서, 사용자는 "어떤 것을 기억하시오"라 불리는 상호작용을 입력 또는 선택한 다음, 엔트리 박스에 전화 번호를 입력할 수 있다. 지능형 에이전트는 이 입력을 전화 번호로서 인식할 것이고, 이 전화 번호를 갖는 사람 또는 회사의 이름 등의, 이 전화 번호에 대한 상세사항을 물을 것이다. 그러면 사용자는 이 번호가 Bill Johnson의 셀 번호라고 명시할 수 있고, 그러면, 지능형 에이전트는 이 전화 번호에 대한 엔티티 노드를 생성할 것이다. 지식 그래프가 Bill Johnson에 대해 알지 못한다면, 지능형 에이전트는 사용자에게 추가 상세사항을 제공할 것을 요청할 것이고, 그 다음, Bill Johnson에 대한 엔티티 노드를 생성하고 이 노드를 전화 번호 노드에 링크할 것이다. 그 다음, 사용자를 나타내는 엔티티 노드와 Bill Johnson을 나타내는 엔티티 노드 사이의 관계를 생성할 것이다.

도 45는 엔티티들과의 사용자 상호작용을 관리하기 위한 메소드를 갖는 실시예를 도시하는 결정 행렬이다.

실시예에서, 메타데이터는, 예를 들어, [엔티티]를 "기억하시오", [엔티티]를 "추종하시오", [엔티티]에 대해 "기록하시오", [엔티티]에 대해 "질문하시오", 또는 보편적 유틸리티와의 많은 다른 이러한 상호작용들 중 임의의 것을 포함한, 보편적 상호작용 등의, 모든 엔티티(206)에 보편적으로 적용될 수 있는 유효한 상호작용 메소드(210)에 대한 지식을 가진다.

실시예에서, 메타데이터는 소정의 유효한 상호작용 메소드(211)는 하나 이상의 엔티티 그룹(207)에 속하는 엔티티들에게만 적용된다는 지식을 가진다, 예를 들어, [엔티티]의 "위치를 파악하라"는, 사람, 장소, 설비 등(즉, 하나 이상의 위치에서 물리적 구현을 갖는 엔티티)에만 적용될 수 있다.

실시예에서, 지식 그래프는 소정의 유효한 엔티티 타입 상호작용(212)은 하나 이상의 특정한 엔티티 타입에 속하는 엔티티들(208)에 적용된다는 지식을 가진다.

실시예에서, 지식 그래프는, 소정의 특정한 상호작용 메소드(213)은 특정한 엔티티 속성 및/또는 다른 엔티티와의 관계를 갖는 엔티티들(209)에 적용된다는 지식을 가진다, 예를 들어, 식당을 나타내는 엔티티는 예약을 지원하거나 지원하지 않을 수 있고, 그러한 사실은 지식 그래프에게 알려질 수 있다.

도 46은 사용자가 상호작용을 위한 스마트 콘텐츠 레코드를 선택하기 위해 아이콘을 터치하거나 클릭하는 것에 기초하여 사용자에 의한 엔티티에 대한 관심의 표시를 수신하기 위한 메소드를 갖는 실시예를 도시하는 예시이다.

실시예에서, 메소드는 사용자가 아이콘(215)을 터치 또는 클릭함으로써 콘텐츠 엔티티(214)에 대한 관심을 표시하는 것을 허용한다. 아이콘은 콘텐츠(216)의 제목 옆에 위치하거나, 이미지라면, 그 이미지 옆에, 또는 심지어 이미지 내에 임베딩될 수도 있다.

도 47은 다양한 타입의 스마트 콘텐츠와 상호작용하기 위한 메소드를 갖는 구현의 예를 도시하는 블록도이다.

용어 "콘텐츠"는 하나 이상의 심볼 객체에 대한 정보를 제공하는 엔티티를 말한다. 용어 "스마트 콘텐츠"는, 적어도 2개의 컴포넌트, 즉, "소스 콘텐츠"를 포함하는 컴포넌트와, 콘텐츠에 관련된 하나 이상의 엔티티에 대한 식별자, 엔티티와 콘텐츠간의 관계, 엔티티와 다른 엔티티간의 관계로 구성된 "지식 맵"을 갖는 컴포넌트를 수반한 레코드를 갖는 콘텐츠를 말한다.

실시예에서, 각각의 콘텐츠 객체는 엔티티 그룹(콘텐츠의 경우, 엔티티 그룹은 "콘텐츠"이다)(217)와 엔티티 타입("콘텐츠 타입"이라고도 하며, 한 예는 "블로그"이다)(218)을 가진다. 메타데이터 테이블은 각각의 콘텐츠 타입(예를 들어, "아티클')에 대한 디폴트 파일 타입(예를 들어, .txt)을 정의한다.

실시예에서, 자원들로부터의 일부 원본 콘텐츠는 구조화된 콘텐츠 요소들로 구성된다.

이러한 실시예에서, 메소드는 콘텐츠 자원으로부터의 콘텐츠에 액세스하며, 이러한 소스 콘텐츠는 자원에 의해 명명된 콘텐츠 요소들을 가진다. 메소드는 이들 콘텐츠 요소들의 명칭을 메타데이터 내의 데이터 사전에 저장하고 이들을 메타데이터 데이터베이스에 정의된 표준 엔티티 속성에 맵핑한다. 메소드는 각각의 이러한 소스 콘텐츠 요소에 대한 데이터 타입을 메타데이터 내의 데이터와 비교하고 소스 콘텐츠 요소들을 지식 그래프 데이터베이스 및 스마트 콘텐츠 데이터베이스에 구현된 데이터 타입에 맵핑한다. 예는, 비디오의 명칭과, 생성자의 이름, 생성 날짜 등을 포함하는 콘텐츠 요소들로 구성된, YouTube로부터의 콘텐츠-객체일 것이다. 실시예에서, 메소드는 YouTube에 의해 구현된 명칭과 데이터 구조들을 메타데이터(1)에서 정의된 콘텐츠 속성들로 정규화한다.

실시예에서, 일부 콘텐츠 객체는 비구조화된 콘텐츠로 구성되고, 예는 "아티클"라고 명명된 콘텐츠 타입 또는 "농담"이라고 명명된 콘텐츠 타입이다.

실시예에서, 메소드는 각각의 콘텐츠 객체를 그 콘텐츠 타입에 적용가능한 디폴트 스마트 상호작용 메소드(221)와 링크하고, 디폴트 스마트 상호작용 메소드는 콘텐츠 타입에 따라 다르다. 예를 들어, eBook은 "eBook을 읽으세요"라는 디폴트 스마트 상호작용 메소드를 가질 수 있는 반면, 비디오는 "비디오를 재생하세요"라는 디폴트 상호작용 메소드를 가질 수도 있다. 콘텐츠 객체를 선택하는 것은 이 콘텐츠 객체와의 가능한 상호작용 메소드들을 디스플레이하는 지능형 상호작용 보조도구를 활성화시키고 디폴트 스마트 상호작용 메소드를 디폴트로 한다.

실시예에서, 메소드는 관심대상의 콘텐츠와의 사용자 상호작용의 모든 양태를 관리한다. 이 실시예에서, 사용자들은 그들이 사용자 인터페이스에서 보는 임의의 콘텐츠 객체를 터치 또는 선택할 수 있고, 아티클; 트위트; 웹사이트;이미지; 비디오; eBook; 접촉식 카드; 메시지; 조사 보고; 제품에 대한 리뷰, 또는 사실상, 임의 타입의 제품 또는 서비스에 대한 임의 타입의 콘텐츠; 차량의 VIN 번호 등의 사실; 생일 쿼테이션 등의 이벤트; 농담; 어떤 것에 대한 유의사항; 어떤 것에 대한 코멘트; 임의 타입의 물품, 제품, 서비스, 장소 또는 이벤트에 대한 반응, 평가 및 리뷰; 고용 기록 등의 어떤 것에 대한 기록; 현재의 및 이전의 급우, 현재의 및 이전의 업무 동료를 포함한 사람들의 목록; 현재의 및 이전의 고객; 호텔, 식당, 스파, 골프 코스 및 기타의 서비스들의 목록을 포함한, 사용자가 기억하고, 조직화하고, 어느 때라도 액세스하기를 원하는 모든 것을 포함하는 클라우드-기반의 서비스인 개인의 "메모리 뱅크(Memory Bank)"에 이 콘텐츠를 추가하는 상호작용인 "기억하시오"를 할 수 있다.

이 실시예에서, 메소드는 지능형 인터넷 시스템이 스마트 콘텐츠 데이터에 대한 변경에 대해 알게 될 때 콘텐츠 속성을 지속적으로 업데이트한다, 예를 들어, 식당은 그 서비스 시간의 변경할 수 있고, 이러한 변경을 스마트 콘텐츠 데이터베이스에 포스팅하고, 개인 메모리 뱅크에 그 식당을 갖는 임의의 사용자는 언제라도 업데이트된 속성에 액세스할 것이다.

도 48은 "스마트 상호작용 모듈"("SIM")을 이용하여 엔티티와 상호작용하기 위한 메소드를 갖는 구현을 도시하는 블록도이다.

실시예에서, 각각의 스마트 상호작용 모듈은 통합된 3-레벨 모델-뷰-제어기("MVC"; Model-View-Controller) 구조로 구현된다.

이 실시예에서, 모델은 지식 그래프 및 스마트 콘텐츠 데이터베이스에 구현된 엔티티 속성에 기초한다; "뷰"(222)는, "Handlebars" 등의 템플레이팅 엔진(templating engine)과 함께 사용하도록 설계되고, angular.js 등의 개발 프레임워크(223)를 이용하여 구축된, CSS 및 HTML 소프트웨어 코드로 구성된다; "제어기" 기능(224)은 사용자의 장치에 대한 운영 체제가 이해하는 언어 또는 JavaScript로 구현되고 기능 라이브러리(225) 내에 팩키징된다. 데이터 모델(226)은 각각의 스마트 상호작용 메소드(227)에 대한 데이터 모델 템플릿을 정의하는 테이블의 형태로 메타데이터에서 정의된다. 모델, 뷰, 및 제어기를 구현하는 메소드는, 지식 그래프 데이터베이스(8), 스마트 콘텐츠 데이터베이스(6), 및 스마트 메시지 데이터베이스(136)와의 생성, 판독, 업데이트 및 삭제 트랜잭션을 수행하기 위한 메소드를 갖는, 완전한 "스마트 상호작용 모듈" 또는 "SIM"(228)으로서 팩키징된다.

도 49는, 네트워크-접속된 장치들로부터의 사용자 입력, 사용자 컨텍스트 및 입력에 응답하여 "적응적 사용자 인터페이스"를 관리하기 위한 메소드를 갖는 구현을 도시하는 설계를 예시한다.

이 구현에서, 메소드는 사용자가, 한 세트의 관련된 활동들로 구성된 "활동 모드"를 선택하는 것(229)을 허용하여, 사용자가, 예를 들어, "개인" 모드, "학교" 모드, "업무" 모드, "가족" 모드, "조사" 모드 등에서 동작하는 것을 허용한다.

이 구현에서, 메소드는, 사용자가, 단일의 집중된 세트의 상호작용으로 구성된 특정한 "활동", 예를 들어, "뉴스 읽기", "eBook 읽기", "TV 시청", "여행 관리", "제품 쇼핑", "서비스 쇼핑" 등을 선택하는 것(230)을 허용한다.

특정한 활동을 선택한 후에, 이 구현에서, 메소드는 사용자가 특정한 "활동 옵션"을 선택하는 것(231)을 허용한다, 예를 들어, 신문을 읽으면서, 사용자는 뉴스 토픽을 브라우징하기로 선택하고, "스포츠" 등의 넓은 토픽 또는 "Dallas Cowboys" 등의 더욱 좁은 토픽을 선택할 수 있다.

일단 특정한 활동 옵션에 집중하고 나면, 이 구현에서, 메소드는 사용자가 다양한 "상호작용 옵션"중에서 선택하는 것(232)을 허용한다, 예를 들어, "Dallas Cowboys"에 대한 뉴스를 읽기로 선택할 때, 사용자는 Dallas Cowboys에 대한 "뉴스 요약을 브라우징"하거나, Dallas Cowboys에 대한 "비디오를 브라우징"하거나, Dallas Cowboys와 상호작용하기 위한 임의의 유효한 메소드를 취할 수 있다.

마지막으로, 이 구현에서, 메소드는 사용자가 전용 "상호작용 패널"(23) 내의 관심대상의 엔티티와 "상호작용"하는 것을 허용한다.

도 50은 단일의 시각적 "페이지" 상의 적응적 사용자 인터페이스를 관리하기 위한 메소드를 갖는 구현의 예를 도시하는 설계를 예시한다.

이 예에서, "헤더 패널"(234)은, 예를 들어, 사용자가 자신이 상호작용하기를 원하는 엔티티를 나타내는 관심대상의 단어 또는 용어를 표기하는 것을 허용하는 "사용자 검색 조건 입력 박스"(178)를 포함한, 요소들을 디스플레이하는 시각적 컨테이너로 구성된다.

이 예에서, "헤더 옵션 패널"(235)이라 불리는 시각적 컨테이너는, 사용자가, 예를 들어, 관련된 활동 세트에 관한 사용자의 포커스를 나타내는 "활동 모드"를 선택하고(229); 이전 상호작용의 이력을 보며, 자주 반복되는 상호작용 시퀀스의 "루틴을 관리하는 것"을 허용하는, 제어부를 포함한다.

이 예에서, "활동" 패널(237)이라 불리는 시각적 컨테이너는, 사용자가, 예를 들어, "뉴스", "이미지", "비디오", "eBook", "TV", "Office 문서", "여행", "쇼핑", "서비스" 등의, 특정한 활동들 중에서 선택하는 것을 허용하는 옵션을 포함한다.

"뉴스"를 선택하면, 이 예에서, "활동 옵션" 패널(238)이라 불리는 시각적 컨테이너는, 뉴스를 읽기 위한 옵션들, 예를 들어, "내 뉴스", "건강", "정치", "스포츠", "기술" 등을 보여주는 패널을 디스플레이한다.

이 예에서, "보편적 상호작용" 패널(239)이라 불리는 시각적 컨테이너는 사용자가 자신이 무엇인가와 상호작용하는데 있어서 도움을 원한다는 것을 표시하는 것을 허용하는 옵션을 포함한다. 보편적 상호작용의 예로서는, 예를 들어, "어떤 것을 기억하기", "어떤 것을 추종하기", "어떤 것을 공유하기", "어떤 것에 대해 질문하기", "어떤 것을 기록하기", 및 사람들이 흔히 원하는 도움을 수행하는 기타의 이러한 상호작용이 포함된다.

이 예의 경우, 사용자는 자신의 스마트폰의 스크린 상에서 "어떤 것을 기억하기"를 터치할 수 있고, 그 다음, 전화 번호, 사람의 이름을 입력하거나, 상호작용 패널 컨테이너로부터의 무엇인가(예를 들어, 뉴스 아티클로부터의 패러그래프)를 "어떤 것을 기억하기" 박스 상으로 드래깅할 수 있다. 지능형 에이전트는 사용자가 기억하기를 원하는 것의 특성을 인식하고(예를 들어, 전화 번호를 인식하고) 사용자와 상호작용하여 사용자가 기억하기를 원하는 엔티티에 대한 추가 상세사항을 판정한 다음, 지식 그래프와 상호작용하여 이 전화 번호에 대한 노드를 생성하고 이것을 사람 또는 회사와 링크시키며 스마트 콘텐츠 데이터베이스와 상호작용하여 엔티티에 대한 속성을 갖는 스마트 콘텐츠 레코드에 대한 속성을 생성할 것이다.

도 51은 보편적 상호작용의 사용자 선택에 응답하여 적응적 사용자 인터페이스를 관리하기 위한 메소드를 갖는 구현을 도시하는 논리적 플로차트를 나타낸다.

이 실시예에서, UI는 "사물", 즉, 임의 타입의 엔티티들과 상호작용하기 위한 옵션을 갖는 패널을 포함한다(239). 사용자는, 다른 보편적인 옵션과 함께, "어떤 것을 기억하기", "어떤 것을 추종하기", "어떤 것을 공유하기", "어떤 것을 기록하기", "어떤 것에 대해 질문하기"와 같은 옵션 중에서 선택할 수 있다. 이들 보편적인 상호작용들 중 임의의 것에 대한 관심의 표시를 수신하면, 메소드는 각각의 타입의 보편적 상호작용에 대한 평판(pane)을 갖는 패널을 팝업하고, 이러한 평판은 사용자들이 그들이 상호작용하기를 원하는 엔티티를 선택하거나 명시하고(244) 이 엔티티와 언제 어떻게 상호작용하기를 원하는지를 명시하는 것(245)을 허용하는 상호작용 명세 폼(243)을 포함한다. 요청된 상호작용에 대한 필요한 상세사항을 제공한 후에, 사용자는 그 상호작용을 활성화하는(246) 자신의 결정을 표시한다. 그러면 메소드는 상호작용을 구현한다(247).

오늘날, Facebook, Amazon, Yelp 등의 다양한 웹사이트들은 사용자들이 그들이 어떤 것을 "좋아한다"는 것을 표시하거나 어떤 것에 대한 그들의 "평가" 또는 "리뷰"를 제공하는 것을 허용한다. 사물과 상호작용하기 위한 이들 메소드는 일반적으로 특유하며 고유한 사물 및 제한된 타입의 상호작용으로 한정되고, 이들 메소드에 참여하는 웹사이트의 오퍼레이터들이 그들의 웹페이지 소프트웨어 코드로의 상호작용 데이터를 집성하는 특정한 집성자(aggregator)로부터의 특정한 "위젯"을 위한 맞춤화된 코드를 임베딩할 것을 요구한다. 대조적으로, 본 발명에서의 메소드는 사용자들이 그들이 보거나, 듣거나, 명시할 수 있는 임의의 엔티티와 보편적으로 상호작용하고 이러한 상호작용에 대한 그들 개인적 요구조건을 명시하는 것을 허용한다.

다양한 실시예들이 여기서 설명되었다. 이들 예를 비제한적 의미로 참조한다. 이들은 개시된 기술의 더 광범위하게 적용가능한 양태들을 예시하기 위해 제공된 것이다. 다양한 실시예의 진정한 사상과 범위로부터 벗어나지 않고 다양한 변경이 이루어질 수 있고 균등물들이 대체될 수 있다. 또한, 다양한 실시예들의 목적(들), 사상 또는 범위에 맞게 특정한 상황, 프로세스, 프로세스 작용(들) 또는 단계(들)을 개조하기 위해 많은 수정이 이루어질 수 있다. 또한, 통상의 기술자라면 이해하는 바와 같이, 여기서 설명되고 예시된 개개의 변형들 각각은, 다양한 실시예의 범위와 사상으로부터 벗어나지 않고 다른 수 개의 실시예들 중 임의의 것의 피쳐들로부터 용이하게 분리되거나 이들과 결합될 수 있는 별개의 컴포넌트들 및 피쳐들을 가진다. 이러한 모든 수정은 본 개시와 연관된 청구항들의 범위 내에 있는 것으로 의도된다.

Claims (25)

1. 엔티티들에 대한 지식을 취득하고 저장하기 위한 컴퓨터-구현된 방법으로서,
   엔티티들에 대한 메타데이터를 메타데이터 데이터베이스에 저장하는 단계 ―상기 메타데이터 데이터베이스는 엔티티들의 목록과 상기 엔티티들간의 관계들을 맵핑하는 테이블들을 포함함― ;
   상기 엔티티들에 대한 지식과 상기 엔티티들간의 관계들을 지식 그래프(knowledge graph) 데이터베이스에 저장하는 단계 ―상기 지식 그래프 데이터베이스는, 엔티티들에 대한 사실적 지식(factual knowledge) 데이터, 엔티티들 간의 관계 지식 데이터, 및 엔티티들 간의 거동 지식 데이터를 포함함― ;
   상기 엔티티들 각각에 대한 스마트 콘텐츠 레코드들을 스마트 콘텐츠 데이터베이스에 저장하는 단계 ― 상기 스마트 콘텐츠 레코드들 각각은 콘텐츠의 소스를 포함하는 컴포넌트와 상기 스마트 콘텐츠 레코드 내의 상기 콘텐츠에 대한 지식을 포함하는 컴포넌트를 가짐― ; 및
   엔티티들과 상호작용하는데 유용한 지식을 사용자에게 제공하는 단계
   를 포함하는 방법.
2. 제1항에 있어서, 네트워크를 통한 콘텐츠 자원들로부터의 콘텐츠로의 액세스를 수신하는 단계를 더 포함하는 방법.
3. 제1항에 있어서, 콘텐츠 자원들로부터의 소스 콘텐츠를 스마트 콘텐츠로 변환하는 단계를 더 포함하는 방법.
4. 제1항에 있어서, 콘텐츠에 임베딩된 심볼 객체들을 인식하는 단계 ― 상기 심볼 객체들은 엔티티들을 나타내는 콘텐츠를 포함함― , 및 명명된 엔티티 인식을 위한 하나 이상의 메소드(method)와 하나 이상의 이미지 인식 메소드를 수행하는 단계를 더 포함하는 방법.
5. 제1항에 있어서,
   널(null)로 설정된 노드 속성을 식별하기 위해 지식 그래프 노드들을 조사하고;
   엔티티들에 대한 사실적 지식을 갖는 상기 메타데이터에 열거된 콘텐츠 자원들의 목록을 요청하며;
   사실적 지식을 상기 지식 그래프 데이터베이스의 노드 속성에 및 상기 스마트 콘텐츠 데이터베이스의 필드들에 저장함으로써
   엔티티들에 대한 사실적 지식을 검색하는 단계를 더 포함하는 방법.
6. 제1항에 있어서, 엔티티들간의 관계들에 대한 추가적인 정황적 지식(contextual knowledge)을 학습하는 단계를 더 포함하고, 상기 학습하는 단계는,
   엔티티들간의 관계들을 발견하기 위하여, 오픈 링크형 콘텐츠 자원들, RSS 피드 콘텐츠 자원들, 웹 페이지 콘텐츠 자원들 및 기타의 콘텐츠 자원들로부터의 콘텐츠를 검사 및 파싱(parsing)하는 단계; 및
   새로운 노드들, 새로운 노드 속성들, 새로운 관계들 및 새로운 관계 속성들을 추가함으로써, 상기 시스템의 지식 그래프 데이터베이스를 업데이트하는 단계
   를 포함하는 방법.
7. 제1항에 있어서, 엔티티들에 대한 지식을 상기 지식 그래프 데이터베이스에 저장시키는 단계를 더 포함하고, 상기 지식은, 노드의 형태로 인코딩되고 ―각각의 노드는 엔티티를 나타내고 각각의 노드는 그 엔티티에 대한 복수의 엔티티 속성을 저장할 수 있음― ; 그리고 노드들간의 관계들의 형태로 인코딩되며 ―각각의 관계는 그 관계에 대한 복수의 엔티티 관계 속성을 저장할 수 있음― ; 노드와, 엔티티 속성들 및 엔티티 관계 속성들을 포함한 관계 속성들을 정의하는 메타데이터 템플릿들을 더 포함하고, 각각의 엔티티에 대한 유효한 엔티티 속성들의 세트는 엔티티의 타입에 따라 달라지고, 유효한 관계 속성들의 세트는 2개의 엔티티 타입들의 페어링(pairing)에 따라 달라지는 방법.
8. 제7항에 있어서, 엔티티 마커들로서 지정된 엔티티 속성들을 상기 지식 그래프 데이터베이스 내에 포함시키는 단계를 더 포함하고, 상기 엔티티 마커들의 세트는 엔티티 노드에서 표현된 상기 엔티티의 엔티티 타입에 따라 달라지는 방법.
9. 제8항에 있어서, 상기 스마트 콘텐츠 데이터베이스 내의 각각의 스마트 콘텐츠 레코드는, 상기 메타데이터 데이터베이스에 저장된 테이블들에 따라 합리화된(rationalized) 콘텐츠 속성들로 구성된 스마트 콘텐츠 메타데이터 컴포넌트; 엔티티들이 상기 스마트 콘텐츠 및/또는 기타의 엔티티들과 갖는 관계들을 포함한, 상기 스마트 콘텐츠에 관련된 엔티티들에 대한 인코딩된 지식을 포함하는 스마트 콘텐츠 지식 맵 컴포넌트; 상기 스마트 콘텐츠의 요지를 캡처하는 텍스트로 구성된 스마트 콘텐츠 요약 컴포넌트; 및 스마트 콘텐츠 객체 컴포넌트 ―각각의 상기 스마트 콘텐츠 객체는 상기 스마트 콘텐츠에 임베딩된 심볼 객체들에 관련된 상기 엔티티들에 대한 지식을 인코딩하는 임베딩된 은닉 태그를 가짐― 를 포함하는 컴포넌트들을 갖는 방법.
10. 메시지들에 대한 지식을 취득하고 저장하며 이용하기 위한 컴퓨터-구현된 방법으로서,
    상기 메시지의 콘텐츠 타입에 대한 지식과 상기 메시지 내의 콘텐츠 컴포넌트와 연관된 엔티티들에 대한 임베딩된 지식을 갖는 레코드 컴포넌트를 포함하도록 메시지들을 강화하는 단계;
    상기 메시지들의 콘텐츠를 갖는 컴포넌트, 상기 콘텐츠의 요약을 갖는 컴포넌트 및 상기 콘텐츠에 대한 지식을 갖는 컴포넌트로 구성된 스마트 메시지 요약 레코드들을 생성하는 단계 ―상기 지식은 상기 메시지 콘텐츠에서 참조되거나 상기 메시지 콘텐츠와 연관된 상기 엔티티들에 대한 지식과 이들 엔티티들과 메시지 콘텐츠간의 그리고 서로간의 관계들을 포함하고, 상기 메시지들은, 하나 이상의 사용자의 관심대상이 되는, 사용자에 의해서든 또는 컴퓨터 방법들에 의해서든 생성된, 상기 스마트 콘텐츠 데이터베이스 내의 새로운 레코드를 인식하기 위한 컴퓨터 구현된 방법들에 의해 생성된 콘텐츠를 포함함― ;
    엔티티와 연관된 하나 이상의 타입의 콘텐츠에서 사용자로부터 관심의 표시를 수신하는 단계; 및
    사용자 장치를 갖는 디스플레이를 위해 스마트 메시지 레코드의 전달을 야기하는 단계
    를 포함하는 방법.
11. 제10항에 있어서, 스마트 콘텐츠 데이터베이스 내의 레코드를 포스팅하거나 업데이트함으로써 생성된 스마트 메시지들, 및 엔티티 노드들, 엔티티 속성들, 엔티티 관계 노드들 및 엔티티 관계 속성들을 포스팅하거나 업데이트함으로써 생성된 스마트 메시지들을 포함하는, 시스템-생성된 스마트 메시지들을 처리하는 단계를 더 포함하는 방법.
12. 제10항에 있어서, 스마트 메시지들을 스마트 메시지 데이터베이스에 저장하는 단계를 더 포함하고, 상기 데이터베이스 내의 각각의 레코드는 레코드 컴포넌트들을 가지며, 상기 레코드 컴포넌트들은, 상기 메시지를 관리하는데 유용한 스마트 메시지 메타데이터 컴포넌트; 상기 메시지로의 액세스를 관리하는데 유용한 스마트 메시지 허용 컴포넌트; 상기 메시지에 관련된 엔티티들에 관한 지식을 포함하는 스마트 메시지 지식 맵 컴포넌트; 상기 메시지의 요지를 사용자에게 전달하는데 유용한 스마트 메시지 요약 컴포넌트; 및 스마트 메시지 지식 강화된 객체 컴포넌트를 포함하고, 원본 메시지는, 상기 메시지에 임베딩된 각각의 심볼 객체에 대한 은닉형 임베딩된 지식 태그를 포함하도록 강화되는 방법.
13. 제10항에 있어서, 사용자와 연관된 네트워킹된 장치들을, 특정한 엔티티들, 엔티티들의 집합, 콘텐츠 타입들 및 상기 콘텐츠 타입들에 속하는 콘텐츠의 집합을 포함하는, 상기 사용자의 관심대상의 특정한 항목들에 관련된 스마트 메시지 요약에 대해 구독시키는 단계를 더 포함하는 방법.
14. 사용자의 관심대상의 엔티티를 선택하고 이와 상호작용하기 위한 컴퓨터-구현된 방법으로서:
    심볼 객체에 대한 관심의 표시를 수신하는 단계 ―상기 심볼 객체는 엔티티를 나타내는 콘텐츠를 포함함― ;
    사용자 명시형 검색 조건과 매칭하고 상기 심볼 객체와 연관된 엔티티들을 구분(disambiguating)하는데 유용한 지식을 액세스 및 디스플레이하도록 동작가능한 지능형 검색 에이전트(intelligent search agent)에 액세스하는 단계;
    모호한 엔티티들의 목록 중에서 사용자에 의한 관심대상의 엔티티의 선택의 표시를 수신하는 단계;
    상기 선택된 엔티티에 대해 유효한 상호작용 메소드들의 목록을 액세스하고 제시하도록 동작가능한 지능형 상호작용 에이전트에 액세스하는 단계; 및
    사용자의 관심대상의 엔티티와 상호작용하기 위한 원하는 메소드를 수신하는 단계
    를 포함하는 방법.
15. 제14항에 있어서, 사용자 검색 요청과 상기 엔티티들을 매칭시키는 가능한 엔티티들을 넓은 엔티티 그룹과 더욱 구체적인 엔티티 타입들로 조직화시켜 디스플레이하는 시각적 구분 평판(visual disambiguation pane)을 제공하는 단계 및 가능하게 매칭하는 상기 엔티티들 간을 구분하는데 유용한 속성들을 디스플레이하는 단계를 더 포함하는 방법.
16. 제14항에 있어서, 상기 심볼 객체에 의해 표현된 상기 엔티티와 상호작용하는 방법에 대한 지식을 요청하도록 동작가능한 일관적 상호작용 심볼로 구성된 시각적 태그를 제공하는 단계를 더 포함하고, 각각의 상기 상호작용 심볼은 스마트 콘텐츠 엔티티를 나타내는 심볼 객체에 인접하게 또는 그 내부에 디스플레이되는 방법.
17. 제14항에 있어서,
    사용자 표시에 의해 활성화되는 경우, 상기 사용자에게 엔티티를 선택하기 위한 옵션을 제공하는 제어들을 포함하는 하나 이상의 패널;
    심볼 객체에 대한 관심의 사용자 표시에 의해 활성화되는 경우, 상기 심볼 객체를 포함하는 콘텐츠에서 인식된 엔티티들의 목록에 더하여, 엔티티 명칭들, 상기 목록 내의 각각의 엔티티에 대한 엔티티 타입들 및 상기 목록 내의 각각의 엔티티에 대한 지식 마커들을 포함하는 이들 엔티티들에 대한 지식; 및 사용자가 추가 상호작용을 위해 지식 맵 목록으로부터의 관심대상의 엔티티를 선택하기 위한 메소드들을 디스플레이하도록 팝업되는 구분 패널; 및
    사용자가 엔티티와 상호작용하는 것을 허용하는 상호작용 패널
    의 디스플레이를 야기하는 단계를 더 포함하는 방법.
18. 제14항에 있어서,
    이미지 콘텐츠를 포함하는, 콘텐츠 내의 태깅해제된(untagged) 심볼 객체들을 인식하는 단계;
    상기 심볼 객체들을 가능한 엔티티들과 연관시키는 단계;
    상기 엔티티들의 목록과 이들 엔티티들에 대한 지식을 사용자 인터페이스에 비동기적으로 전송하는 단계 ―상기 엔티티들에 대한 상기 지식은, 엔티티 명칭들, 상기 목록 내의 각각의 엔티티에 대한 엔티티 타입들과 상기 목록 내의 각각의 엔티티에 대한 지식 마커들을 포함함― ;
    상기 사용자 인터페이스에서 팝업 엔티티 구분 패널을 비동기적으로 활성화하는 단계 ―상기 패널은, 상기 태깅해제된 콘텐츠에서 인식된, 가능하게는 매칭하는 엔티티들의 목록 및 상기 엔티티들에 대한 지식을 디스플레이함― ; 및
    상기 사용자가 추가 상호작용을 위해 상기 엔티티 맵 패널에서 관심대상 엔티티를 선택하는 것을 제공하는 단계
    를 더 포함하는 방법.
19. 제14항에 있어서, 상기 지능형 에이전트에 의해, 로컬로(locally) 저장된 지식 및 원격적으로 저장된 지식을 포함하는, 선택된 엔티티에 대한 지식에 액세스하는 단계를 더 포함하는 방법.
20. 제14항에 있어서, 엔티티들과 상호작용하는 단계 ―상기 엔티티들은 엔티티와 관련된 심볼 객체 스마트 콘텐츠를 포함하고, 상기 상호작용은, 엔티티와 관련된 스마트 콘텐츠를 소비하고 공유하는 것, 엔티티를 학습하는 것, 엔티티에 반응하는 것 및 엔티티에 관련된 자원들에 접속하는 것을 포함함― 를 더 포함하는 방법.
21. 제14항에 있어서, 각각의 특정한 엔티티 상호작용은 통합된 스마트 상호작용 모듈에 의해 구현되고; 상기 스마트 상호작용 모듈들 각각은, 사용자 인터페이스 템플릿; 로컬 사용자 장치 상에서 또는 하나 이상의 원격 네트워크 접속된 서버 상에서 수행되는 상기 상호작용에 요구되는 로직; 및 상기 상호작용에 요구되는 데이터로의 액세스를 생성, 판독, 업데이트, 및 삭제하기 위한 로직을 갖는 방법.
22. 제14항에 있어서, 상기 지식 그래프 내의 엔티티에 대응하는 상기 스마트 콘텐츠 데이터베이스로부터의 스마트 콘텐츠를 디스플레이하는 단계, 상기 사용자 인터페이스에서 상기 스마트 콘텐츠 객체의 제목에 인접하게 상호작용 심볼을 디스플레이하는 단계, 및 상기 사용자에 의한 상기 상호작용 심볼의 선택의 표시시에 지능형 상호작용 에이전트를 활성화하는 단계를 더 포함하는 방법.
23. 제14항에 있어서, 특정한 심볼 객체에 대한 유효한 상호작용 옵션들에 대한 지식을 상기 지식 그래프에 요청하고; 상호작용 옵션들의 메뉴를 디스플레이하며; 상호작용 옵션의 선택의 표시를 수신하고; 상기 선택된 상호작용 옵션을 위한 스마트 상호작용 모듈을 오픈(open)하도록 동작가능한 지능형 에이전트를 더 포함하는 방법.
24. 전자 장치로서,
    프로세서;
    디스플레이;
    메모리; 및
    상기 메모리에 저장되고, 상기 하나 이상의 프로세서에 의해 실행되도록 구성된 하나 이상의 프로그램
    을 포함하고, 상기 하나 이상의 프로그램은,
    사용자의 관심대상의 엔티티들과 상호작용하도록 동작가능한 UI 컨테이너들 중 적어도 하나를 갖는 복수의 시각적 사용자 인터페이스(UI) 컨테이너를 디스플레이하고;
    사용자로부터 입력들을 수신하며;
    사용자 입력들에 응답하여 상기 UI 패널들의 상태를 동적으로 관리하고;
    지능형 상호작용 에이전트를 통해 관심대상의 엔티티에 대해 유효한 상호작용들에 대한 지식에 액세스
    하기 위한 명령어를 포함하는 전자 장치.
25. 제24항에 있어서, 시각적 인터페이스를 야기하기 위한 명령어들을 더 포함하고, 상기 시각적 인터페이스는,
    일관된 크기, 스타일, 및 위치의 시각적 패널들로 구성된 하나의 시각적 페이지 ―상기 시각적 패널들 각각은 복수의 콘텐츠 평판을 디스플레이하도록 동작가능함― ; 및
    사용자로부터의 저장된 및 동적 입력들, 사용자 장치로부터의 저장된 및 동적 정황 입력들, 및 통신 네트워크에 의해 접속된 원격 시스템들로부터의 저장된 및 동적 입력들에 응답하여, 상기 인터페이스가 실시간으로 동적으로 구성되게 하는 상태 머신을 갖는 전자 장치.

Images