KR20170030296A - 전자 장치 및 그 정보 처리 방법 - Google Patents

전자 장치 및 그 정보 처리 방법 Download PDF

Info

Publication number
KR20170030296A
KR20170030296A KR1020150127691A KR20150127691A KR20170030296A KR 20170030296 A KR20170030296 A KR 20170030296A KR 1020150127691 A KR1020150127691 A KR 1020150127691A KR 20150127691 A KR20150127691 A KR 20150127691A KR 20170030296 A KR20170030296 A KR 20170030296A
Authority
KR
South Korea
Prior art keywords
conversation
user
voice
members
processor
Prior art date
Application number
KR1020150127691A
Other languages
English (en)
Inventor
조대우
박종진
윤현규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150127691A priority Critical patent/KR20170030296A/ko
Priority to US15/048,099 priority patent/US20170068512A1/en
Publication of KR20170030296A publication Critical patent/KR20170030296A/ko

Links

Images

Classifications

    • G06Q50/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • H04N5/225—
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Operations Research (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)

Abstract

구성원 간의 대화 특성 정보를 처리하는 전자 장치가 개시된다. 전자 장치는, 구성원 간의 대화 특성 정보를 저장하기 위한 저장부 및 사용자를 촬영한 촬영 이미지 및 사용자 음성 중 적어도 하나에 기초하여 상기 구성원간의 대화가 진행되는지 여부를 판단하고, 그 판단 결과에 따라 상기 저장부에 저장된 대화 특성 정보를 업데이트하는 프로세서를 포함할 수 있다.

Description

전자 장치 및 그 정보 처리 방법 {ELECTRONIC APPARATUS AND INFORMATION PROCESSING METHOD THEREOF}
본 발명은 전자 장치 및 그 정보 처리 방법에 관한 것으로, 더욱 상세하게는 가족 구성원 간의 대화에 관한 정보를 제공하는 전자 장치 및 그 정보 처리 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 장치가 개발 및 보급되고 있다. 또한, 이러한 전자 장치의 사용에 있어서 가정에서 가족 생활에 도움이 되도록 하기 위한 노력도 지속적으로 이루어지고 있다.
그러한 노력에 의해 개발된 전자 장치 중 하나로, 가족 간의 생활 패턴을 기록 및 분석하여 제공하는 전자 장치도 사용되고 있다.
하지만, 이러한 전자 장치들은 가족 구성원 간의 대화에 관한 정보를 기록 및 분석하여 제공해 주는 기능을 제시하는 데는 부족하였다.
이에 따라, 가족 구성원 간의 대화에 관한 정보를 기록 및 분석하여, 그 결과를 다양한 형태로 가족 구성원에게 제공하는 전자 장치에 대한 필요성이 대두되었다.
본 발명은 상기와 같은 필요성에 따라 안출된 것으로서, 본 발명의 목적은 가족 구성원의 대화 증대를 위한 전자 장치 및 그 정보 처리 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치는, 구성원 간의 대화 특성 정보를 저장하기 위한 저장부 및 사용자를 촬영한 촬영 이미지 및 사용자 음성 중 적어도 하나에 기초하여 상기 구성원 간의 대화가 진행되는지 여부를 판단하고, 그 판단 결과에 따라 상기 저장부에 저장된 대화 특성 정보를 업데이트하는 프로세서를 포함할 수 있다.
여기서, 상기 프로세서는 상기 구성원들 각각의 이미지 및 음성을 획득하여 구성원 정보를 생성하고, 상기 구성원 정보를 상기 저장부에 등록하며, 상기 촬영 이미지 및 상기 사용자 음성 중 적어도 하나가 입력되면, 상기 촬영 이미지 및 상기 사용자 음성 중 적어도 하나와 상기 구성원 정보를 비교하여, 상기 구성원 간의 대화가 진행되는지 여부를 판단할 수 있다.
또한, 상기 프로세서는 상기 촬영 이미지 및 상기 사용자 음성의 입력 패턴에 기초하여, 구성원 정보를 생성하고, 상기 구성원 정보를 상기 저장부에 등록하고, 상기 촬영 이미지 및 상기 사용자 음성 중 적어도 하나가 입력되면, 상기 촬영 이미지 및 상기 사용자 음성 중 적어도 하나와 상기 구성원 정보를 비교하여, 상기 구성원 간의 대화가 진행되는지 여부를 판단할 수 있으며, 상기 입력 패턴은 상기 촬영 이미지 및 상기 사용자 음성 각각이 입력되는 입력 시간대, 입력 주기, 입력 빈도 중 적어도 하나를 포함할 수 있다.
여기서, 상기 전자 장치는 디스플레이를 더 포함하며, 상기 프로세서는, 기설정된 이벤트가 발생하면, 상기 업데이트된 대화 특성 정보를 표시하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 전자 장치는 디스플레이 장치와 연결 가능한 인터페이스를 더 포함하며, 상기 프로세서는, 기설정된 이벤트가 발생하면, 상기 업데이트된 대화 특성 정보를 상기 인터페이스를 통해 상기 디스플레이 장치로 전송할 수 있다.
또한, 상기 프로세서는, 상기 사용자 음성으로부터 상기 구성원 중 적어도 하나의 구성원의 이름이 검출되면, 상기 구성원 간의 대화가 이루어지는 것으로 판단할 수 있다.
이 경우, 상기 대화 특성 정보는, 대화 시간을 포함하며, 상기 프로세서는, 상기 구성원간의 대화가 진행되는 것으로 판단되면, 대화 개시 시점부터 대화 종료 시점까지의 시간을 기존 대화 시간에 가산하여, 상기 대화 시간을 업데이트할 수 있다.
또한, 상기 대화 특성 정보는, 대화 시간, 상기 구성원 중 대화에 참여한 구성원 현황, 대화 주제, 상기 대화가 이루어진 시간대, 대화 주기 중 적어도 하나를 포함할 수 있다.
여기서, 전자 장치는 상기 사용자를 촬영하여 상기 촬영 이미지를 제공하는 카메라 및 상기 사용자 음성을 입력받기 위한 마이크를 더 포함할 수 있다.
한편, 전자 장치의 정보 처리 방법은 사용자를 촬영한 촬영 이미지 및 사용자 음성 중 적어도 하나에 기초하여 상기 구성원간의 대화가 진행되는지 여부를 판단하는 단계 및 그 판단 결과에 따라 상기 저장부에 저장된 대화 특성 정보를 업데이트하는 단계를 포함할 수 있다.
여기서, 정보 처리 방법은 상기 구성원들 각각의 이미지 및 음성을 획득하여 구성원 정보를 생성하고, 상기 구성원 정보를 상기 저장부에 등록하는 단계 및 상기 촬영 이미지 및 상기 사용자 음성 중 적어도 하나가 입력되면, 상기 촬영 이미지 및 상기 사용자 음성 중 적어도 하나와 상기 구성원 정보를 비교하여, 상기 구성원 간의 대화가 진행되는지 여부를 판단하는 단계를 더 포함할 수 있다.
또한, 정보 처리 방법은 상기 촬영 이미지 및 상기 사용자 음성의 입력 패턴에 기초하여, 구성원 정보를 생성하고, 상기 구성원 정보를 상기 저장부에 등록하는 단계 및 상기 촬영 이미지 및 상기 사용자 음성 중 적어도 하나가 입력되면, 상기 촬영 이미지 및 상기 사용자 음성 중 적어도 하나와 상기 구성원 정보를 비교하여, 상기 구성원 간의 대화가 진행되는지 여부를 판단하는 단계를 더 포함하고, 상기 입력 패턴은 상기 촬영 이미지 및 상기 사용자 음성 각각이 입력되는 입력 시간대, 입력 주기, 입력 빈도 중 적어도 하나를 포함할 수 있다.
또한, 정보 처리 방법은 기설정된 이벤트가 발생하면, 상기 업데이트된 대화 특성 정보를 표시하도록 상기 디스플레이를 제어하는 단계를 더 포함할 수 있다.
또한, 정보 처리 방법은 기설정된 이벤트가 발생하면, 상기 업데이트된 대화 특성 정보를 상기 인터페이스를 통해 상기 디스플레이 장치로 전송하는 단계를 더 포함할 수 있다.
또한, 정보 처리 방법은 상기 사용자 음성으로부터 상기 구성원 중 적어도 하나의 구성원의 이름이 검출되면, 상기 구성원 간의 대화가 이루어지는 것으로 판단하는 단계를 더 포함할 수 있다.
또한, 상기 대화 특성 정보는, 대화 시간을 포함하며, 정보 처리 방법은 상기 구성원간의 대화가 진행되는 것으로 판단되면, 대화 개시 시점부터 대화 종료 시점까지의 시간을 기존 대화 시간에 가산하여, 상기 대화 시간을 업데이트하는 단계를 더 포함할 수 있다.
또한, 상기 대화 특성 정보는 대화 시간, 상기 구성원 중 대화에 참여한 구성원 현황, 대화 주제, 상기 대화가 이루어진 시간대, 대화 주기 중 적어도 하나를 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 구성원의 대화량을 파악하여 구성원 간의 대화를 증대시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 전자 장치를 설명하기 위한 블록도이다.
도 3a 내지 도 3d는 본 발명의 일 실시 예에 따른 전자 장치의 가족 구성원 정보의 등록 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 대화 특성 정보 업데이트 과정을 설명하기 위한 플로우 차트이다.
도 5는 본 발명의 일 실시 예에 다른 전자 장치의 데이터 전달을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 전자 장치가 벽시계인 경우를 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시 예에 따른 전자 장치가 벽시계인 경우를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 전자 장치의 세부 구성을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 전자 장치의 정보 처리 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부된 도면들을 참조하여 본 발명의 일 실시 예를 보다 상세하게 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소가 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
한편, 프로세서는 일반적으로 장치의 제어를 담당하는 구성으로, 중앙처리장치, 마이크로 프로세서, 제어부 등과 혼용될 수 으며, 장치의 전반적인 동작을 제어할 수 있도록 하는 것으로 단일칩 시스템 (System-on-a-chip 또는 System on chip, SOC, SoC)로 구현될 수 있다.
그 밖에도, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치(100)를 설명하기 위한 도면이다.
도1은 본 발명의 전자 장치(100)의 실시 예로 디스플레이 장치(100)를 도시하고 있다. 디스플레이 장치(100)는 가족 구성원(10, 20)의 대화에 관한 데이터를 이용하여, 가족 구성원(10, 20) 간에 이루어지는 대화 시간에 대한 특성 정보를 디스플레이 할 수 있다. 여기서, 대화에 관한 데이터는 가족 구성원(10, 20)의 음성, 가족 구성원(10, 20)을 촬영한 이미지일 수 있다. 또한, 도 1에서, 대화 특성 정보는 디스플레이 장치(100)에 디스플레이되는 일 단위 대화 시간(30-1), 주 단위 대화 시간(30-2), 월 단위 대화 시간(30-3)일 수 있다.
한편, 가족 구성원(10, 20)의 음성 데이터나 촬영된 이미지 데이터는 전자 장치(100)에 구비된 마이크(미도시), 카메라(미도시)에 의해 생성될 수 있지만, 외부에 별도로 구비된 마이크(미도시), 카메라(미도시)를 통해서 생성될 수 있음은 물론이다.
도 2는 본 발명의 일 실시 예에 따른 전자 장치(100)를 설명하기 위한 블록도이다.
도 2에 따르면, 전자 장치(100)는 저장부(110) 및 프로세서(120)를 포함한다.
저장부(110)는 전자 장치(100)의 동작에 필요한 각종 프로그램이나 데이터와 같은 정보를 저장한다. 특히 저장부(100)는 가족 간의 대화 특성 정보를 저장한다. 구체적으로, 프로세서(120)가 사용자의 촬영된 이미지 및 사용자 음성 중 적어도 하나로부터 추출한 특성 정보를 전달하면, 저장부(110)는 전달된 특성 정보를 분류하여 저장한다. 여기서, 특성 정보는 대화 시간, 상기 가족 구성원 중 대화에 참여한 구성원 현황, 대화 주제, 상기 대화가 이루어진 시간대, 대화 주기 중 적어도 하나일 수 있다.
프로세서(120)는 사용자를 촬영한 촬영 이미지 및 사용자 음성 중 적어도 하나에 기초하여 상기 가족 구성원 간의 대화가 진행되는지 여부를 판단할 수 있다.
이를 위하여, 프로세서(120)는 가족 구성원 정보를 가족 구성원으로부터 직접적으로 획득하거나 가족 구성원의 일상생활에서 얻어진 가족 구성원의 촬영 이미지나 음성을 통하여 가족 구성원 정보를 생성할 수 있다.
구체적으로, 프로세서(120)는 가족 구성원들 각각의 이미지 및 음성을 획득하여 가족 구성원 정보를 생성하고, 가족 구성원 정보를 저장부(110)에 등록할 수 있다. 이를 도 3을 참조하여 상세하게 설명한다.
도 3a 내지 도 3d는 본 발명의 일 실시 예에 따른 전자 장치(100)의 가족 구성원 정보의 등록 과정을 설명하기 위한 도면이다.
도 3a를 참조하면, 가족 구성원 정보는 이름(311), 관계(312), 나이(313), 음성 정보(314) 및 사진(315)을 포함할 수 있다. 여기서, 개별 가족 구성원 정보는 순서에 맞게 또는 순서와 다르게 입력될 수 있다.
도 3b는 음성 정보(314)를 입력하는 경우에서 전자 장치(100)의 디스플레이(320)를 도시하고 있다. 예를 들면, 프로세서(120)는, 음성 정보(314) 아이콘이 선택되면, 디스플레이(320)에 “아래의 문장을 읽어주세요”라는 안내 문구를 디스플레이할 수 있다. 이때, 사용자가 “가족 간의 대화는 가족 사랑의 실천입니다.”를 소리 내어 읽으면, 프로세서(120)는 사용자의 음성에서 음성 특성 정보(또는 음성 정보)를 추출하고, 이를 저장부(110)에 저장한다.
여기서 음성 특성 정보는, 개별 가족 구성원의 음성을 구별하기 위한 정보이다. 음성은 사람에게서 나오는 소리인데, 허파에서 나오는 공기가 목의 성대, 입, 코 등의 공간을 통과하면서 조정을 받아 생기게 된다. 특히, 공기가 성대를 통과하면서 다양한 진동을 가지는 소리를 내며 이러한 소리가 집합되어 사람의 독특한 음성을 생성하게 된다. 따라서, 음성을 구성하고 있는 각기 다른 진동수를 가지는 소리를 분석함으로써, 음성에 기초하여 사람을 구별할 수 있다. 이를 성문(voiceprint)이라 통칭하는 것이 보통이다. 성문을 이용하여 사람을 구별하는 기술은 다양하게 공지되어 있으므로 여기서 자세한 설명은 생략한다.
한편, 상술한 음성 특성 정보가 추출되어 저장되면, 프로세서(120)는 “음성 정보가 등록되었습니다.”가 포함된 아이콘(314-3)을 디스플레이할 수 있다.
도 3c는 사용자의 얼굴 사진을 촬영하는 예를 도시한다. 사용자가 사진 아이템(315)을 선택하면, 프로세서(120)는 사진 촬영 모드로 모드 변환된다. 이때, 사용자는 촬영 아이콘(315-1)을 선택하여 사용자의 이미지를 촬영할 수 있다. 이 경우, 사용자는 저장 아이콘(315-2)을 선택하여 촬영된 이미지를 저장하거나, 취소 아이콘(315-2)를 선택하여 취소할 수 있다. 가족 구성원 정보가 모두 입력되면, 프로세서(120)는 입력된 이름, 관계, 나이 정보를 포함하는 아이콘(315-4), 사용자의 사진을 포함하는 아이콘(315-5), 완료 아이콘(315-6), 취소 아이콘(315-7) 및 추가 등록 아이콘(315-8)을 디스플레이(322)에 디스플레이할 수 있다. 이때, 사용자는 완료 아이콘(315-6)을 선택하여 가족 구성원 정보 입력 모드를 종료하거나, 취소 아이콘(315-7)을 선택하여 현재 입력된 사용자의 가족 구성원 정보를 삭제할 수 있다. 또한, 추가 등록 아이콘(315-8)이 선택되면, 도 3d와 같이, 다른 가족 구성원의 가족 구성원 정보가 추가되어 입력될 수 있다.
한편, 프로세서(120)는 상술한 것처럼, 촬영 이미지 또는 음성을 가족 구성원으로부터 직접 획득하여 가족 구성원 정보를 생성할 수도 있으나, 가족 구성원의 일상 생활에서 무의식적으로 획득된 촬영 이미지 및 사용자 음성의 입력 패턴에 기초하여, 가족 구성원 정보를 생성하고, 가족 구성원 정보를 저장부(110)에 등록할 수도 있다. 여기서, 입력 패턴은 촬영 이미지 및 사용자 음성 각각이 입력되는 입력 시간대, 입력 주기, 입력 빈도 중 적어도 하나를 포함할 수 있다. 또한, 가족 구성원 정보는 이름, 관계, 음성 정보, 얼굴 정보를 포함할 수 있다.
먼저, 프로세서(120)는 촬영 이미지 및 사용자 음성의 입력 패턴을 이용하여 가족 구성원을 결정할 수 있다.
예를 들어, 어느 사용자의 이미지 및 음성이 평일 매 하루마다 주기적으로, 7시부터 9시 또는 19시부터 24시까지 입력된다고 가정하면, 프로세서(120)는 해당 사용자를 가족 구성원으로 결정할 수 있다. 또한, 프로세서(120)는 사용자의 이미지 및 음성이 입력되는 횟수 혹은 빈도가 기설정된 값 이상인 경우, 해당 사용자를 가족 구성원으로 결정할 수도 있다.
가족 구성원이 결정되면, 프로세서(120)는 가족 구성원의 이름을 인식하고, 그 이름에 대응하는 사용자의 음성 정보를 저장할 수 있다.
구체적으로, 프로세서(120)는 가족 구성원의 음성을 입력받아, 이를 텍스트 로 변환할 수 있다. 예를 들어, 프로세서(120)는 저장부(110)에 저장된 ASR(Automatic Speech Recognition) 모듈 또는 STT(Speech to Text) 모듈을 이용하여 사용자의 음성을 텍스트로 변환할 수 있다.
프로세서(120)는 변환된 텍스트를 이용하여 가족 구성원의 이름 및 음성을 결정할 수 있다. 예를 들면, 프로세서(120)는 제1 사용자로부터 특정 단어가 발화된 후 제2 사용자가 응답하는 경우, 제1 사용자로부터 발화된 특정 단어를 제2 사용자의 이름으로 결정할 수 있다. 또한, 프로세서(120)는 제1 사용자로부터 발화된 특정 단어에 대응하여 대답하는 제2 사용자의 음성으로부터 음성 정보를 추출하여, 제2 사용자의 이름 및 음성 특성 정보를 하나 가족 구성원 정보로 저장할 수 있다. 일 예로, 제1 사용자가, “박인비”라고 발화한 후, 제2 사용자가 “네, 엄마 저 여기 있어요”라고 대답한 경우를 가정한다. 프로세서(120)는 “박인비”를 제2 사용자의 이름으로 판단하고, 제2 사용자가 발화한 “네, 엄마 저 여기 있어요”로부터 음성 정보를 추출하여, 이를 제2 사용자의 이름과 함께 묶어 저장할 수 있다.
여기서, 사용자 이름 판단의 정확성을 높이기 위해, 프로세서(120)는 특정 단어가 발화된 횟수가 기설정된 횟수 이상인 경우, 발화된 특정 단어의 세기가 기설정된 세기 이상인 경우 등의 조건을 더 가산할 수도 있다.
또한, 가족 구성원의 관계도 상술한 방법과 비슷한 방법으로 결정할 수 있다. 예를 들어, “아빠”, “엄마”, “딸”, “아들” 등의 가족 관계를 나타내는 단어가 기저장되어 있다고 가정한다. 제3 사용자가 “아빠, TV 채널 바꿔주세요”라고 발화한 후, 제 4 사용자가 “그래, 몇 번 채널로 바꿔줄까?”라고 발화하였다면, 프로세서(120)는 “아빠”를 음성 인식하고, 이에 대응하여 대답한 제 4 사용자의 관계를 “아빠”라고 결정할 수 있다. 이와 함께, 프로세서(120)는 제 4 사용자의 발화로부터 음성 정보를 추출하여, 이를 “아빠”의 음성 정보로 저장할 수 있다.
또한, 프로세서(120)는 사용자를 촬영한 이미지로부터, 사용자의 얼굴 특성 정보(또는 얼굴 정보)를 추출할 수 있다. 프로세서(120)는 얼굴 특성 정보를 이용하여 사용자의 얼굴을 구별할 수 있다. 예를 들어, 프로세서(120)는 사용자의 얼굴로부터 입을 추출하여 입 모양이 변화를 인식한 경우, 사용자가 대화를 하고 있는 중이라고 판단할 수 있다. 이때, 프로세서(120)는 이미지와 동시에 입력받은 사용자의 음성으로부터 추출된 음성 정보와 사용자의 얼굴 정보를 매칭시킬 수 있다. 얼굴 정보를 추출하는 방법에 대해서는 후술할 가족 구성원 간의 대화를 판단하는 방법에서 상세하게 설명한다.
결론적으로, 프로세서(120)는 상술한 음성 정보 및 얼굴 정보를 일정 기간 동안 축적하여, 가족 구성원 정보를 생성할 수 있다. 예를 들어, 가족 구성원 중 한 명의 이름 및 음성 정보가 생성되면, 생성된 음성 정보를 이용하여 차후 입력되는 음성 및 이미지에서, 관계 및 얼굴 정보를 결정할 수 있다. 최종적으로, 가족 구성원 중 한 명의 이름, 관계, 음성 정보, 얼굴 정보가 하나의 세트로 생성될 수 있다.
한편, 프로세서(120)는 촬영 이미지 및 사용자 음성 중 적어도 하나가 입력되면, 촬영 이미지 및 사용자 음성 중 적어도 하나와 가족 구성원 정보를 비교하여, 가족 구성원 간의 대화가 진행되는지 여부를 판단할 수 있다.
먼저, 프로세서(120)는 사용자 음성을 이용하여 가족 구성원 간의 대화 진행 여부를 판단할 수 있다.
예를 들면, 프로세서(120)는 복수의 사용자로부터 음성이 발화되면, 복수의 사용자로부터 발화된 각각의 음성에서 음성 정보를 추출할 수 있다. 프로세서(120)는 추출된 복수의 사용자 각각의 음성 정보와 기저장된 음성 정보를 비교하여, 복수의 사용자 각각이 가족 구성원인지 여부를 판단할 수 있다. 여기서, 프로세서(120)는 복수의 사용자 각각이 가족 구성원인 경우, 복수의 사용자로부터 음성이 발화된 상황을 대화가 진행되는 상황으로 판단할 수 있다.
또한, 프로세서(120)는 사용자의 이미지를 이용하여 가족 구성원 간의 대화 진행 여부를 판단할 수 있다. 이를 위해, 프로세서(120)는 사용자의 이미지로부터 얼굴 특성 정보를 추출할 수 있다.
구체적으로, 프로세서(120)는 이미지에 포함된 사용자의 얼굴 특성 정보를 추출하기 위해, 이미지에 대한 얼굴 인식 기능을 수행할 수 있다. 여기서, 얼굴 인식 기능은 이미지에서 얼굴을 검출하는 과정과 얼굴의 특성 데이터를 인식하는 과정을 포함할 수 있다.
예를 들어, 프로세서(120)는 얼굴의 피부색 정보를 이용하여 이미지에서 얼굴을 검출한다. 여기서, 프로세서(120)는 얼굴 패턴의 전체 영역에 대한 특징 또는 얼굴의 기하학적인 특징을 이용하여 얼굴에 포함된 특징 점 예를 들어, 눈, 코 입 등을 추출하여 사용자의 얼굴을 인식할 수 있다. 이후, 프로세서(120)는 얼굴 인식 결과에 기초하여, 이미지에 포함된 사용자의 얼굴 특성 정보를 추출할 수 있다. 여기서, 얼굴 특성 정보는 얼굴 각도 및 얼굴 포즈, 얼굴의 위치 및 얼굴 간의 근접도, 얼굴 표정 등을 포함할 수 있다.
구체적으로, 프로세서(120)는 이미지에 포함된 사용자의 얼굴 각도 및 포즈를 판단할 수 있다.
예를 들어, 프로세서(120)는 이미지에 포함된 사용자의 얼굴로부터 눈, 코, 입 등의 특징 점들을 검출하고, 검출된 특징 점들을 기저장되어 있는 표준 얼굴 이미지(구체적으로는, 얼굴 본연의 대칭성과 통계적인 대칭성을 가지는 얼굴 집합)의 특징 점들과 비교하여, 얼굴 이미지를 촬영할 때의 촬영 각도와 표준 이미지를 촬영할 때의 촬영 각도 사이의 편차를 산출하고, 산출된 편차를 이용하여 얼굴 각도를 판단할 수 있다.
또한, 프로세서(120)는 얼굴 각도 및 얼굴 인식 과정에서 추출된 눈의 방향 등을 분석하여 사용자의 얼굴 포즈를 판단할 수 있다. 일 예로, 얼굴 포즈는 얼굴을 비스듬히 하거나, 얼굴을 상측 방향으로 향하게 하는 것 등일 수 있다.
또한, 프로세서(120)는 이미지에 포함된 사용자의 얼굴의 위치 및 얼굴 간의 근접도를 판단할 수 있다.
예를 들어, 프로세서(120)는 얼굴 인식 과정에서 추출한 눈, 코, 입 등의 특징 점들을 기준 좌표로 하여, 이미지에서 얼굴의 위치를 판단할 수 있다. 또한, 프로세서(120)는 검출된 얼굴의 위치에 기초하여 사용자의 얼굴 간의 근접도를 판단할 수 있다.
이와 더불어, 프로세서(120)는 얼굴에 포함된 특징 점들의 크기, 형태 등을 기초로 얼굴 표정을 판단할 수 있다.
예를 들면, 프로세서(120)는 얼굴 인식 과정에서 추출된 눈과 입의 크기 및 형태에 기초하여 눈동자와 흰자의 비율 변화, 입고리가 올라가 있는 정도 및 입술의 면적 변화를 통해 사용자의 표정을 판단할 수 있다. 이러한 표정 인식 기술에는, 에지 정보를 이용한 방법, 휘도(Luminance), 색차(Chrominance), 얼굴의 기하학적인 외형 및 대칭에 기반한 접근법, 주성분 분석법(PCA; Principal Component Analysis), 템플릿 매칭을 이용한 방법, 얼굴의 곡률을 이용하는 접근법, 신경망을 이용하는 방법 등이 있다.
상술한 내용에서 이미지에서 얼굴을 인식하고 인식된 얼굴에서 얼굴 특성 정보를 추출하는 방법에 대해 설명하였으나, 이는 일 예에 불과하고, 프로세서(120)는 종래 공지된 다양한 방법을 이용하여 얼굴 인식 및 얼굴 특징 정보를 추출할 수 있음은 물론이다.
프로세서(12)는 사용자의 이미지로부터 추출된 특성 정보 즉, 얼굴 각도 및 얼굴 포즈, 얼굴의 위치 및 얼굴 간의 근접도, 얼굴 표정 등을 이용하여 대화 여부를 판단할 수 있다.
예를 들면, 프로세서(120)는 촬영된 이미지에서 제5 사용자 및 제6 사용자의 얼굴을 인식할 수 있다. 프로세서(120)는 제5 사용자 및 제6 사용자의 얼굴 각도 및 얼굴 포즈를 판단한 결과, 제5 사용자 및 제6 사용자의 얼굴이 서로를 바라보는 얼굴 각도 및 얼굴 포즈인 경우이며, 제5 사용자 및 제6 사용자의 얼굴 각각에서 추출된 입 모양이 변화되는 것으로 판단되는 경우이면, 제5 사용자 및 제6 사용자가 대화 중이라고 판단할 수 있다.
이에 더하여, 프로세서(120)는 제5 사용자 및 제6 사용자의 얼굴 근접도가 기설정된 값 이상인지 여부, 제5 사용자 및 제6 사용자 각각의 얼굴 표정이 변화하는지 여부를 제5 사용자 및 제6 사용자 사이의 대화 여부를 판단의 조건으로 부가할 수도 있다.
또한, 프로세서(120)는 제5 사용자 및 제6 사용자 음성의 발화 시간 및 이미지에 등장하는 제5 사용자 및 제6 사용자의 얼굴 정보가 추출되는 시간의 싱크를 이용하여 대화 여부를 판단할 수도 있다. 일 예로, 제5 사용자 및 제6 사용자의 얼굴 각도가 제5 사용자 및 제6 사용자가 서로를 바라보는 각도로 변화하는 동시에 제5 사용자 및 제6 사용자의 음성 정보가 입력되는 경우, 프로세서(120)는 제5 사용자 및 제6 사용자가 대화하는 상태라고 판단할 수 있다.
또한, 프로세서(120)는 사용자 음성으로부터 가족 구성원 중 적어도 하나의 구성원의 이름이 검출되면, 가족 구성원 간의 대화가 이루어지는 것으로 판단할 수도 있다. 예를 들면, 제7 사용자가 제8 사용자의 이름을 호명하는 경우, 프로세서(120)는 가족 구성원 간의 대화가 진행되는 것으로 판단할 수 있다.
한편, 프로세서(120)는 그 판단 결과에 따라 저장부(110)에 저장된 대화 특성 정보를 업데이트할 수 있다. 여기서, 대화 특성 정보는 대화 시간, 가족 구성원 중 대화에 참여한 구성원 현황, 대화 주제, 대화가 이루어진 시간대, 대화 주기 중 적어도 하나일 수 있다.
구체적으로, 프로세서(120)는 가족 구성원 간의 대화가 진행되는 것으로 판단되면, 대화 개시 시점부터 대화 종료 시점까지의 시간을 기존 대화 시간에 가산하여, 대화시간을 업데이트할 수 있다.
또한, 프로세서(120)는 가족 구성원 정보에 기초하여, 추출된 음성 정보를 이용하여 대화에 참여한 구성원을 판단할 수 있다. 이때, 프로세서(120)는 대화가 이루어진 시간대, 대화가 이루어지는 주기를 가족 구성원 일부에 매칭시켜 판단할 수 있다. 이로써, 프로세서(120)는 가족 구성원 중 대화에 참여한 구성원 현황, 대화가 이루어진 시간대 및 대화 주기를 업데이트할 수 있다.
또한, 프로세서(120)는 음성 인식 기능을 이용하여, 대화 간 빈번하게 등장하는 단어를 대화 주제어로 판단할 수 있다. 프로세서(120)는 판단된 주제의 빈도를 주제 별로 업데이트할 수 있다. 일 예로, 가족 간의 대화에서, “헬쓰”가 기설정된 횟수 이상 등장하는 경우, 프로세서(120)는 대화의 주제를 “헬쓰” 또는 “운동”으로 결정할 수 있다. 이때, 프로세서(120)는 “헬쓰” 및 “운동”을 대화 주제로 업데이트할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 대화 특성 정보 업데이트 과정을 설명하기 위한 플로우 차트이다.
도 4를 참조하면, 프로세서(120)는 사용자 촬영 이미지 및 음성이 입력되면(S410), 이를 이용하여 가족 구성원 정보를 생성 및 등록한다(S420). 가족 구성원 정보가 생성된 후에 사용자 촬영 이미지 및 음성이 입력되면(S430), 프로세서(120)는 가족 구성원 간의 대화 여부를 판단한다(S440). 대화가 아닌 것으로 판단되는 경우, 프로세서(120)는 S430으로 돌아가 다시 사용자 촬영 이미지 및 음성을 입력받는다. 대화 중인 것으로 판단되는 경우, 프로세서(120)는 사용자 촬영 이미지 및 음성으로부터 대화 특성 정보를 추출하여, 대화 특성 정보를 업데이트한다(S450).
도 5는 본 발명의 일 실시 예에 다른 전자 장치의 데이터 전달을 설명하기 위한 도면이다.
도 5를 참조하면, 전자 장치(100)는 사용자 촬영 이미지 데이터를 외부에 구비된 카메라(200)로부터 전달받고, 사용자 음성 데이터를 외부에 구비된 마이크(300)로부터 전달받을 수 있다. 또한, 전자 장치(100)는 음성 데이터를 외부에 구비된 음성 인식 서버(400)로 전달하고, 음성 인식 서버(400)로부터 음성 데이터에 대응하는 텍스트 데이터를 전달받을 수 있다. 또한, 전자 장치(100)는 외부 서버(500)에 대화 특성 정보를 전달하여 업데이트하고, 외부 서버(500)로부터 저장된 특성 정보를 전달받을 수 있다.
한편, 전자 장치(100)는 디스플레이 장치와 연결 가능한 인터페이스(미도시)를 더 포함할 수 있다. 이때, 프로세서(120)는 기설정된 이벤트가 발생하면, 업데이트된 대화 특성 정보를 인터페이스(미도시)를 통해 디스플레이 장치(미도시)로 전송할 수 있다. 여기서, 기설정된 이벤트는 전자 장치(100) 또는 디스플레이 장치(미도시)의 턴 온, 기설정된 시각이 되는 경우, 기설정된 주기의 시작 또는 종료의 경우, 가족 구성원의 대화가 감지되거나 일정시간 동안 감지되지 않는 경우 등이 될 수 있다.
이를 도 6을 참조하여 설명한다.
도 6은 본 발명의 일 실시 예에 따른 전자 장치(100)가 벽시계(700)인 경우를 설명하기 위한 도면이다.
도 6을 참조하면, 벽시계(700)는 사용자 음성을 입력받기 위한 마이크(710), 사용자를 촬영하여 촬영 이미지를 제공하는 카메라(720) 및 외부 기기와 데이터를 주고받기 위한 인터페이스(730)를 포함할 수 있다.
벽시계(700)는 마이크 (710) 및 카메라(720)로부터 대화중인 사용자의 음성 및 이미지를 입력받을 수 있다. 벽시계(700)는 입력받은 사용자의 음성 및 이미지에 기초하여 대화 특성 정보를 생성한다. 여기서, 벽시계(700)는 생성된 대화 특성 정보를, 유 무선 통신을 위한 인터페이스를 이용하여 외부 디스플레이 장치(800)에 전송할 수 있다.
일 예로, 벽시계(700)로부터 대화 특성 정보에 관한 데이터를 전달받은 디스플레이 장치(800)는 가족 구성원별 주중 대화 시간에 대한 GUI(Graphic User Interface)(810)를 디스플레이할 수 있다. 여기서, 해당 GUI는 벽시계(700) 또는 디스플레이(700)에 구비된 GUI 생성부(미도시)에 의해 생성될 수 있다.
한편, 전자 장치(100)는 디스플레이(미도시)를 더 포함하며, 프로세서(120)는 기설정된 이벤트가 발생하면, 업데이트된 대화 특성 정보를 표시하도록 디스플레이(미도시)를 제어할 수 있다. 여기서, 기설정된 이벤트는 전자 장치(100)의 턴 온, 기설정된 시각이 되는 경우, 기설정된 주기의 시작 또는 종료의 경우, 가족 구성원의 대화가 감지되거나 일정 시간동안 감지되지 않는 경우 등이 될 수 있다.
도 7은 본 발명의 다른 실시 예에 따른 전자 장치(100)가 벽시계(700’)인 경우를 설명하기 위한 도면이다.
도 7을 참조하면, 벽시계(700’)는 시계(740) 및 디스플레이(750)를 포함할 수 있다. 시계(740)는 일반적인 시계를 말하는 것으로, 아날로그 또는 디지털 시계로 구현될 수 있다. 또한, 디스플레이(750)에는 주 및 월 단위의 가족 대화 시간이 디스플레이될 수 있다. 여기서, 시계(740) 및 디스플레이(750)의 배치는 다양한 조합으로도 가능함은 물론이다.
여기서, 전자 장치(100)의 일 실시 예로 벽시계(700')를 예로 들어 설명하였지만, 이에 한정되는 것은 아니다. 예를 들면, 전자 장치(100)는 TV, 모니터, PC, 휴대폰, 테브릿 PC, PDA, 각종 웨어러블 기기등 다양하게 구현될 수 있다.
한편, 일 실시 예로, 프로세서(120)는 전자 장치(120)에 별도로 구비된 스케쥴 관리 프로그램에 대하여, 대화 특성 정보를 자동으로 업데이트 할 수 있다. 예를 들어, 프로세서(120)는 일, 주 및 월 단위의 대화 시간을 스케쥴 관리 프로그램에 업데이트하거나, 대화 시간이 기설정된 기준치에 미치지 못하는 경우, 대화 요청 문구를 스케쥴 관리 프로그램에 삽입할 수 있다. 일 예로, 프로세서(120)은 주간 대화 시간이 10시간에 미치지 못하는 경우, 해당 주간의 다음주 월요일 일정에, “가족 간의 대화가 부족해요.”를 자동으로 삽입할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 전자 장치(100)의 세부 구성을 설명하기 위한 도면이다. 도 7에서는 도시된 구성요소들 중 도 2에 도시된 구성요소와 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다. 또한, 도 7에 도시된 구성요소 중 일부는 생략 또는 변경될 수 있고, 다른 구성요소가 추가될 수도 있다.
저장부(110)에는 전자 장치(100)를 구동시키기 위한 데이터 및 프로그램이 저장될 수 있다.
특히, 저장부(110)에는 가족 구성원별로 가족 구성원 정보가 저장될 수 있다. 또한, 저장부(110)는 프로세서(120)가 대화 특성 정보를 생성하여 저장부(110)로 전달한 경우, 대화 특성 정보를 대화 시간, 가족 구성원 중 대화에 참여한 구성원 현황, 대화 주제, 대화가 이루어진 시간대, 대화 주기 등으로 구별하여 저장할 수 있다.
또한, 저장부(110)에는 전자 장치(100)를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 어플리케이션, 어플리케이션 실행 중에 입력되거나 설정되는 각종 데이터, 컨텐츠 등과 같이 다양한 데이터가 저장될 수 있다.
예를 들어, 저장부(110)에는 전자 장치(100)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈인 베이스 모듈(미도시), 다양한 통신을 수행하기 위한 통신 모듈(미도시) 등이 저장될 수 있다.
프로세서(120)는 저장부(110)에 저장된 각종 프로그램을 이용하여 전자장치(100)의 동작을 전반적으로 제어한다.
가령, 프로세서(120)는 저장부(110)에 저장된 어플리케이션을 실행시켜 그 실행 화면을 구성하여 디스플레이할 수도 있으며, 저장부(110)에 저장된 각종 컨텐츠를 재생하여 줄 수도 있다. 또한, 프로세서(120)는 통신부(160)를 통해서 외부 기기들과 통신을 수행할 수도 있다.
구체적으로, 프로세서(130)는 RAM(121), ROM(122), 그래픽 처리부(123) 메인 CPU(124), 제1 내지 n 인터페이스(125-1 ~ 125-n), 버스(126)를 포함한다.
RAM(121), ROM(122), 그래픽 처리부(123), 메인 CPU(124), 제1 내지 n 인터페이스(125-1 ~ 125-n) 등은 버스(126)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(125-1 ~ 125-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(124)는 저장부(110)에 액세스하여, 저장부(110)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(110)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(122)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(124)는 ROM(122)에 저장된 명령어에 따라 저장부(110)에 저장된 O/S를 RAM(121)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(124)는 저장부(110)에 저장된 각종 어플리케이션 프로그램을 RAM(121)에 복사하고, RAM(121)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(123)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 입력 장치로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이(150)의 디스플레이 영역 내에 표시된다.
마이크(130)는 사용자로부터 음성을 입력받는다. 여기서 마이크(130)는 전자 장치(100)에 매립되어 구비되거나 전자 장치(100)로부터의 연장 선의 끝단에 구비될 수도 있다,
카메라(140)는 사용자를 촬영한다. 카메라는 사용자의 얼굴 특징 점을 선명하게 촬영하기 위하여 줌 기능을 구비할 수도 있다.
디스플레이(150)는 다양한 화면을 디스플레이한다. 여기에서, 화면은 이미지, 동영상, 텍스트 등과 같은 다양한 객체를 포함하는 어플리케이션 실행 화면, GUI(Graphic User Interface) 화면 등을 포함할 수 있다.
이를 위해, 디스플레이(150)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 등으로 구현될 수 있다.
통신부(160)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다.
구체적으로, 통신부(160)는 사용자 촬영 이미지, 음성 데이터, 프로세서(120)에 의해 생성된 대화 특성 정보 등을 외부 기기로 전송하거나, 외부 기기로부터 사용자 촬영 이미지, 음성 데이터 등을 수신하는 기능을 수행한다. 이에 따라, 통신부(160)는 와이파이 칩(미도시), 블루투스 칩(미도시), 무선통신 칩(미도시) 등 다양한 통신 칩을 포함할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 전자 장치(100)의 정보 처리 방법을 설명하기 위한 흐름도이다.
도 9에 도시된 전자 장치(100)의 정보 처리 방법에 따르면, 사용자를 촬영한 촬영 이미지 및 사용자 음성 중 적어도 하나에 기초하여 가족 구성원 간의 대화가 진행되는지 여부를 판단하고(S910), 그 판단 결과에 따라 저장부(110)에 저장된 특성 정보를 업데이트 할 수 있다(S920).
여기서, 정보 처리 방법은, 가족 구성원들 각각의 이미지 및 음성을 획득하여 가족 구성원 정보를 생성하고, 가족 구성원 정보를 저장부에 등록하는 단계 및 촬영 이미지 및 사용자 음성 중 적어도 하나가 입력되면, 촬영 이미지 및 사용자 음성 중 적어도 하나와 가족 구성원 정보를 비교하여, 가족 구성원 간의 대화가 진행되는지 여부를 판단하는 단계를 더 포함할 수 있다.
또한, 정보 처리 방법은, 촬영 이미지 및 사용자 음성의 입력 패턴에 기초하여, 가족 구성원 정보를 생성하고, 가족 구성원 정보를 저장부에 등록하는 단계 및 촬영 이미지 및 사용자 음성 중 적어도 하나가 입력되면, 촬영 이미지 및 사용자 음성 중 적어도 하나와 가족 구성원 정보를 비교하여, 가족 구성원 간의 대화가 진행되는지 여부를 판단하는 단계를 더 포함하고, 입력 패턴은, 촬영 이미지 및 사용자 음성 각각이 입력되는 입력 시간대, 입력 주기, 입력 빈도 중 적어도 하나를 포함할 수 있다.
또한, 정보 처리 방법은, 기설정된 이벤트가 발생하면, 업데이트된 대화 특성 정보를 표시하도록 디스플레이를 제어하는 단계를 더 포함할 수 있다.
또한, 정보 처리 방법은, 기설정된 이벤트가 발생하면, 상기 업데이트된 대화 특성 정보를 상기 인터페이스를 통해 상기 디스플레이 장치로 전송하는 단계를 더 포함할 수 있다.
또한, 정보 처리 방법은, 사용자 음성으로부터 가족 구성원 중 적어도 하나의 구성원의 이름이 검출되면, 가족 구성원 간의 대화가 이루어지는 것으로 판단하는 단계를 더 포함할 수 있다.
여기서, 대화 특성 정보는, 대화 시간을 포함하며, 정보 처리 방법은, 가족 구성원간의 대화가 진행되는 것으로 판단되면, 대화 개시 시점부터 대화 종료 시점까지의 시간을 기존 대화 시간에 가산하여, 대화 시간을 업데이트하는 단계를 더 포함할 수 있다.
또한, 대화 특성 정보는, 대화 시간, 상기 가족 구성원 중 대화에 참여한 구성원 현황, 대화 주제, 상기 대화가 이루어진 시간대, 대화 주기 중 적어도 하나를 포함할 수 있다.
한편, 상술한 다양한 실시 예들에 따른 방법들은 소프트웨어로 생성되어 전자 장치(100)에 탑재될 수 있다.
구체적으로는, 본 발명의 일 실시 예에 따른 사용자를 촬영한 촬영 이미지 및 사용자 음성 중 적어도 하나에 기초하여 가족 구성원간의 대화가 진행되는지 여부를 판단하는 단계 및 그 판단 결과에 따라 저장부에 저장된 특성 정보를 업데이트하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 설치될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다. 또는 인터넷 등과 같은 네트워크를 통해 다운로드될 수도 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 전자 장치 110: 저장부
120: 프로세서 130: 마이크
140: 카메라 150: 디스플레이
160: 통신부

Claims (17)

  1. 구성원 간의 대화 특성 정보를 저장하기 위한 저장부;
    사용자를 촬영한 촬영 이미지 및 사용자 음성 중 적어도 하나에 기초하여 상기 구성원 간의 대화가 진행되는지 여부를 판단하고, 그 판단 결과에 따라 상기 저장부에 저장된 대화 특성 정보를 업데이트하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 구성원들 각각의 이미지 및 음성을 획득하여 구성원 정보를 생성하고, 상기 구성원 정보를 상기 저장부에 등록하며,
    상기 촬영 이미지 및 상기 사용자 음성 중 적어도 하나가 입력되면, 상기 촬영 이미지 및 상기 사용자 음성 중 적어도 하나와 상기 구성원 정보를 비교하여, 상기 구성원 간의 대화가 진행되는지 여부를 판단하는, 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 촬영 이미지 및 상기 사용자 음성의 입력 패턴에 기초하여, 구성원 정보를 생성하고, 상기 구성원 정보를 상기 저장부에 등록하고,
    상기 촬영 이미지 및 상기 사용자 음성 중 적어도 하나가 입력되면, 상기 촬영 이미지 및 상기 사용자 음성 중 적어도 하나와 상기 구성원 정보를 비교하여, 상기 구성원 간의 대화가 진행되는지 여부를 판단하며,
    상기 입력 패턴은,
    상기 촬영 이미지 및 상기 사용자 음성 각각이 입력되는 입력 시간대, 입력 주기, 입력 빈도 중 적어도 하나를 포함하는, 전자장치
  4. 제1항에 있어서,
    디스플레이를 더 포함하며,
    상기 프로세서는,
    기설정된 이벤트가 발생하면, 상기 업데이트된 대화 특성 정보를 표시하도록 상기 디스플레이를 제어하는, 전자 장치.
  5. 제1항에 있어서,
    디스플레이 장치와 연결 가능한 인터페이스;를 더 포함하며,
    상기 프로세서는,
    기설정된 이벤트가 발생하면, 상기 업데이트된 대화 특성 정보를 상기 인터페이스를 통해 상기 디스플레이 장치로 전송하는, 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자 음성으로부터 상기 구성원 중 적어도 하나의 구성원의 이름이 검출되면, 상기 구성원 간의 대화가 이루어지는 것으로 판단하는, 전자 장치.
  7. 제1항에 있어서,
    상기 대화 특성 정보는, 대화 시간을 포함하며,
    상기 프로세서는,
    상기 구성원 간의 대화가 진행되는 것으로 판단되면, 대화 개시 시점부터 대화 종료 시점까지의 시간을 기존 대화 시간에 가산하여, 상기 대화 시간을 업데이트하는, 전자 장치.
  8. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 대화 특성 정보는,
    대화 시간, 상기 구성원 중 대화에 참여한 구성원 현황, 대화 주제, 상기 대화가 이루어진 시간대, 대화 주기 중 적어도 하나를 포함하는, 전자 장치.
  9. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 사용자를 촬영하여 상기 촬영 이미지를 제공하는 카메라;
    상기 사용자 음성을 입력받기 위한 마이크;를 더 포함하는 전자 장치.
  10. 전자 장치의 정보 처리 방법에 있어서,
    사용자를 촬영한 촬영 이미지 및 사용자 음성 중 적어도 하나에 기초하여 상기 구성원 간의 대화가 진행되는지 여부를 판단하는 단계; 및
    그 판단 결과에 따라 상기 저장부에 저장된 대화 특성 정보를 업데이트하는 단계를 포함하는, 정보 처리 방법.
  11. 제10항에 있어서,
    상기 구성원들 각각의 이미지 및 음성을 획득하여 구성원 정보를 생성하고, 상기 구성원 정보를 상기 저장부에 등록하는 단계; 및
    상기 촬영 이미지 및 상기 사용자 음성 중 적어도 하나가 입력되면, 상기 촬영 이미지 및 상기 사용자 음성 중 적어도 하나와 상기 구성원 정보를 비교하여, 상기 구성원 간의 대화가 진행되는지 여부를 판단하는 단계;를 더 포함하는, 정보 처리 방법
  12. 제10항에 있어서,
    상기 촬영 이미지 및 상기 사용자 음성의 입력 패턴에 기초하여, 구성원 정보를 생성하고, 상기 구성원 정보를 상기 저장부에 등록하는 단계; 및
    상기 촬영 이미지 및 상기 사용자 음성 중 적어도 하나가 입력되면, 상기 촬영 이미지 및 상기 사용자 음성 중 적어도 하나와 상기 구성원 정보를 비교하여, 상기 구성원 간의 대화가 진행되는지 여부를 판단하는 단계;를 더 포함하고,
    상기 입력 패턴은,
    상기 촬영 이미지 및 상기 사용자 음성 각각이 입력되는 입력 시간대, 입력 주기, 입력 빈도 중 적어도 하나를 포함하는, 정보 처리 방법.
  13. 제10항에 있어서,
    기설정된 이벤트가 발생하면, 상기 업데이트된 대화 특성 정보를 표시하도록 상기 디스플레이를 제어하는 단계;를 더 포함하는 정보 처리 방법.
  14. 제10항에 있어서,
    기설정된 이벤트가 발생하면, 상기 업데이트된 대화 특성 정보를 상기 인터페이스를 통해 상기 디스플레이 장치로 전송하는 단계;를 더 포함하는 정보 처리 방법.
  15. 제10항에 있어서,
    상기 사용자 음성으로부터 상기 구성원 중 적어도 하나의 구성원의 이름이 검출되면, 상기 구성원 간의 대화가 이루어지는 것으로 판단하는 단계;를 더 포함하는 정보 처리 방법.
  16. 제10항에 있어서,
    상기 대화 특성 정보는, 대화 시간을 포함하며,
    상기 구성원 간의 대화가 진행되는 것으로 판단되면, 대화 개시 시점부터 대화 종료 시점까지의 시간을 기존 대화 시간에 가산하여, 상기 대화 시간을 업데이트하는 단계;를 더 포함하는 정보 처리 방법.
  17. 제10항 내지 제15항 중 어느 한 항에 있어서,
    상기 대화 특성 정보는,
    대화 시간, 상기 구성원 중 대화에 참여한 구성원 현황, 대화 주제, 상기 대화가 이루어진 시간대, 대화 주기 중 적어도 하나를 포함하는, 정보 처리 방법.
KR1020150127691A 2015-09-09 2015-09-09 전자 장치 및 그 정보 처리 방법 KR20170030296A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150127691A KR20170030296A (ko) 2015-09-09 2015-09-09 전자 장치 및 그 정보 처리 방법
US15/048,099 US20170068512A1 (en) 2015-09-09 2016-02-19 Electronic apparatus and information processing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150127691A KR20170030296A (ko) 2015-09-09 2015-09-09 전자 장치 및 그 정보 처리 방법

Publications (1)

Publication Number Publication Date
KR20170030296A true KR20170030296A (ko) 2017-03-17

Family

ID=58189404

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150127691A KR20170030296A (ko) 2015-09-09 2015-09-09 전자 장치 및 그 정보 처리 방법

Country Status (2)

Country Link
US (1) US20170068512A1 (ko)
KR (1) KR20170030296A (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102668438B1 (ko) * 2016-12-26 2024-05-24 현대자동차주식회사 음성 처리 장치, 이를 포함하는 차량 및 음성 처리 방법
US11632345B1 (en) * 2017-03-31 2023-04-18 Amazon Technologies, Inc. Message management for communal account
US11148158B2 (en) 2017-06-23 2021-10-19 Deere & Company Agricultural sprayer with compressed air spray
TWI661329B (zh) * 2017-12-15 2019-06-01 鴻海精密工業股份有限公司 身份資訊關聯系統與方法、電腦存儲介質及使用者設備
US10930265B2 (en) * 2018-11-28 2021-02-23 International Business Machines Corporation Cognitive enhancement of communication with tactile stimulation

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130198635A1 (en) * 2010-04-30 2013-08-01 American Teleconferencing Services, Ltd. Managing Multiple Participants at the Same Location in an Online Conference
US9026034B2 (en) * 2010-05-04 2015-05-05 Project Oda, Inc. Automatic detection of broadcast programming
US20140288939A1 (en) * 2013-03-20 2014-09-25 Navteq B.V. Method and apparatus for optimizing timing of audio commands based on recognized audio patterns
US20140378083A1 (en) * 2013-06-25 2014-12-25 Plantronics, Inc. Device Sensor Mode to Identify a User State
US9787631B2 (en) * 2013-07-30 2017-10-10 Wire Swiss Gmbh Unified and consistent multimodal communication framework

Also Published As

Publication number Publication date
US20170068512A1 (en) 2017-03-09

Similar Documents

Publication Publication Date Title
US11042728B2 (en) Electronic apparatus for recognition of a user and operation method thereof
US20200412975A1 (en) Content capture with audio input feedback
EP2680110B1 (en) Method and apparatus for processing multiple inputs
US10418027B2 (en) Electronic device and method for controlling the same
US10777193B2 (en) System and device for selecting speech recognition model
US10825453B2 (en) Electronic device for providing speech recognition service and method thereof
US10373648B2 (en) Apparatus and method for editing content
US20150279369A1 (en) Display apparatus and user interaction method thereof
KR20170030296A (ko) 전자 장치 및 그 정보 처리 방법
EP2706434A2 (en) Gesture recognition apparatus, control method thereof, display instrument, and computer readable medium
KR102193029B1 (ko) 디스플레이 장치 및 그의 화상 통화 수행 방법
WO2021083125A1 (zh) 通话控制方法及相关产品
KR102356623B1 (ko) 가상 비서 전자 장치 및 그 제어 방법
TW201937344A (zh) 智慧型機器人及人機交互方法
WO2021159729A1 (zh) 图像文本播报方法及其设备、电子电路和存储介质
KR20150107499A (ko) 오브젝트 인식 장치 및 그 제어 방법
US20210105437A1 (en) Information processing device, information processing method, and storage medium
KR20170089534A (ko) 전자 장치 및 그 제어 방법
CN113033245A (zh) 一种功能调节方法、装置、存储介质及电子设备
US11521424B2 (en) Electronic device and control method therefor
JP2010191530A (ja) 国籍判定装置、方法およびプログラム
KR20220143622A (ko) 전자 장치 및 그 제어 방법
KR20200056754A (ko) 개인화 립 리딩 모델 생성 방법 및 장치
KR20190142192A (ko) 전자 장치 및 전자 장치의 제어 방법
US20230015797A1 (en) User terminal and control method therefor