TWI674516B - 動畫顯示方法及人機交互裝置 - Google Patents

動畫顯示方法及人機交互裝置 Download PDF

Info

Publication number
TWI674516B
TWI674516B TW107102139A TW107102139A TWI674516B TW I674516 B TWI674516 B TW I674516B TW 107102139 A TW107102139 A TW 107102139A TW 107102139 A TW107102139 A TW 107102139A TW I674516 B TWI674516 B TW I674516B
Authority
TW
Taiwan
Prior art keywords
image
animation
user
unit
context
Prior art date
Application number
TW107102139A
Other languages
English (en)
Other versions
TW201925990A (zh
Inventor
劉金國
Original Assignee
鴻海精密工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鴻海精密工業股份有限公司 filed Critical 鴻海精密工業股份有限公司
Publication of TW201925990A publication Critical patent/TW201925990A/zh
Application granted granted Critical
Publication of TWI674516B publication Critical patent/TWI674516B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明涉及一種動畫顯示方法及人機交互裝置中。該方法應用在該人機交互裝置中。該方法包括步驟：獲取一語音採集單元採集的語音資訊；識別該語音資訊並分析出該語音資訊中的語境，其中該語境包括用戶語意及使用者情緒特徵；比對獲取的語境及一第一關係表，其中該第一關係表包括預設語境及預設動畫圖像，所述第一關係表定義了所述預設語境及所述預設動畫圖像的對應關係；根據比對結果確定出與獲取的語境相對應的動畫圖像；及控制一顯示單元顯示該動畫圖像。本發明提高了人機交互的體驗感。

Description

動畫顯示方法及人機交互裝置
本發明涉及顯示技術領域，尤其涉及一種動畫顯示方法及人機交互裝置。
現有技術中，人機交互介面中的動畫或動漫形象都是簡單的音訊動畫或圖像，其形象比較固定與單調。其顯示的動漫或動畫圖像不能體現用戶的情感和情緒，從而使顯示的動漫或圖像缺乏生動性。另外，現有的動漫或動畫圖像不能根據使用者的喜好進行自訂，使得人機交互比較乏味。
鑒於以上內容，有必要提供一種人機交互裝置及動畫顯示方法，使得使用者在與動畫顯示裝置進行交互時，所顯示的動畫能反映出對話的語境，從而使顯示的動畫更加生動，並增強了人機交互的體驗感。
一種人機交互裝置，該裝置包括一顯示單元、一語音採集單元及一處理單元，該語音採集單元用於採集使用者的語音資訊，該處理單元用於：獲取該語音採集單元採集的語音資訊；識別該語音資訊並分析出該語音資訊中的語境，其中該語境包括用戶語意及使用者情緒特徵； 比對獲取的語境及一第一關係表，其中該第一關係表包括預設語境及預設動畫圖像，所述第一關係表定義了所述預設語境及所述預設動畫圖像的對應關係；根據比對結果確定出與獲取的語境相對應的動畫圖像；及控制該顯示單元顯示該動畫圖像。
優選地，該人機交互裝置還包括一攝像單元，該攝像單元用於拍攝使用者人臉圖像，該處理單元還用於：獲取該攝像單元拍攝的人臉圖像；根據該人臉圖像分析出使用者表情；及該使用者表情確定顯示的該動畫圖像的表情。
優選地，該人機交互裝置還包括一輸入單元，該處理單元用於：接收該輸入單元輸入的設置表情的資訊；及根據該輸入的設置表情的資訊確定顯示的動畫圖像的表情。
優選地，該顯示單元還顯示一頭像選擇介面，該頭像選擇介面包括多個動畫頭像選項，每一動畫頭像選項對應一動畫頭像，該處理單元還用於：接收使用者藉由該輸入單元選擇的動畫頭像選項；及根據選擇的該動畫頭像選項對應的動畫頭像確定顯示的動畫圖像的頭像。
優選地，該人機交互裝置還包括一通訊單元，該人機交互裝置藉由該通訊單元與一伺服器連接，該處理單元還用於：接收使用者藉由該輸入單元輸入的動畫圖像的配置資訊，其中，該配置資訊包括動畫圖像的頭像及表情資訊；將動畫圖像的配置資訊藉由該通訊單元發送至該伺服器以使該伺服器生成與該配置資訊相匹配的動畫圖像； 接收該伺服器發送的動畫圖像；及控制該顯示單元顯示接收的該動畫圖像。
一種動畫顯示方法，應用在一人機交互裝置中，方法包括步驟：獲取一語音採集單元採集的語音資訊；識別該語音資訊並分析出該語音資訊中的語境，其中該語境包括用戶語意及使用者情緒特徵；比對獲取的語境及一第一關係表，其中該第一關係表包括預設語境及預設動畫圖像，所述第一關係表定義了所述預設語境及所述預設動畫圖像的對應關係；根據比對結果確定出與獲取的語境相對應的動畫圖像；及控制一顯示單元顯示該動畫圖像。
優選地，該方法還包括步驟：獲取一攝像單元拍攝的人臉圖像；根據該人臉圖像分析出使用者表情；及根據該使用者表情確定顯示的該動畫圖像的表情。
優選地，該方法還包括步驟：接收一輸入單元輸入的設置表情的資訊；及根據該輸入的設置表情的資訊確定顯示的動畫圖像的表情。
優選地，該方法還包括步驟：顯示一頭像選擇介面，該頭像選擇介面包括多個動畫頭像選項，每一動畫頭像選項對應一動畫頭像；接收使用者藉由該輸入單元選擇的動畫頭像選項；及根據選擇的該動畫頭像選項對應的動畫頭像確定顯示的動畫圖像的頭像。
優選地，該方法還包括步驟：接收使用者藉由該輸入單元輸入的動畫圖像的配置資訊，其中，該配置資訊包括動畫圖像的頭像及表情資訊；將動畫圖像的配置資訊藉由一通訊單元發送至一伺服器以使該伺服器生成與該配置資訊相匹配的動畫圖像；接收該伺服器發送的動畫圖像；及控制該顯示單元顯示接收的該動畫圖像。
本案能夠分析出使用者語音資訊中包括使用者語意及使用者情緒特徵的語境，並能夠確定與該語境相匹配的動畫圖像並將其顯示在顯示單元上。因而，本案使得用戶在與人機交互裝置進行交互時，所顯示的動畫能反映出對話的語境，從而使顯示的動畫更加生動，從而增強了人機交互的體驗感。
1‧‧‧人機交互系統
2‧‧‧人機交互裝置
3‧‧‧伺服器
21‧‧‧顯示單元
22‧‧‧語音採集單元
23‧‧‧攝像單元
24‧‧‧輸入單元
25‧‧‧通訊單元
26‧‧‧存儲單元
27‧‧‧處理單元
28‧‧‧語音輸出單元
101‧‧‧獲取模組
102‧‧‧識別模組
103‧‧‧分析模組
104‧‧‧確定模組
105‧‧‧輸出模組
106‧‧‧發送模組
200、200’‧‧‧第一關係表
30‧‧‧表情選擇介面
301‧‧‧表情選項
40‧‧‧頭像選擇介面
401‧‧‧動畫頭像選項
S801~S805‧‧‧步驟
圖1為本發明一實施方式中人機交互系統的應用環境圖。
圖2為本發明一實施方式中人機交互裝置的功能模組圖。
圖3為本發明一實施方式中人機交互系統的功能模組圖。
圖4為本發明一實施方式中第一關係表的示意圖。
圖5為本發明另一實施方式中第一關係表的示意圖。
圖6為本發明一實施方式中表情選擇介面的示意圖。
圖7為本發明一實施方式中頭像選擇介面的示意圖。
圖8為本發明一實施方式中動畫顯示方法的流程圖。
請參考圖1，所示為本發明一實施方式中人機交互系統1的應用環境圖。該人機交互系統1應用在一人機交互裝置2中。該人機交互裝置2與一伺服器3通訊連接。該人機交互裝置2顯示一人機交互介面(圖中未示)。該人機交互介面用於供使用者與該人機交互裝置2進行交互。該人機交互系統1用於在與該人機交互裝置2藉由該人機交互介面進行交互時在該人機交互介面上控制顯示一動畫圖像。本實施方式中，該人機交互裝置2可以為智慧手機、智慧型機器人、電腦等電子裝置。
請參考圖2，所示為本發明一實施方式中人機交互裝置2的功能模組圖。該人機交互裝置2包括，但不限於顯示單元21、語音採集單元22、攝像單元23、輸入單元24、通訊單元25、存儲單元26、處理單元27及語音輸出單元28。該顯示單元21用於顯示該人機交互裝置2的內容。例如，該顯示單元21用於顯示該人機交互介面及動畫圖像。在一實施方式中，該顯示單元21可以為一液晶顯示幕或有機化合物顯示幕。該語音採集單元22用於在使用者藉由該人機交互介面與該人機交互裝置2進行交互時採集使用者的語音資訊並將採集的語音資訊傳送給該處理單元27。在一實施方式中，該語音採集單元22可以為麥克風、麥克風陣列等。該攝像單元23用於拍攝使用者人臉圖像並將拍攝的人臉圖像發送該處理單元27。在一實施方式中，該攝像單元23可以為一攝像頭。該輸入單元24用於接收使用者輸入的資訊。在一實施方式中，該輸入單元24與該顯示單元21構成一觸控顯示幕。該人機交互裝置2藉由該觸控顯示幕接收使用者輸入的資訊及顯示該人機交互裝置2的內容。該通訊單元25用於供該人機交互裝置2與該伺服器3通訊連接。在一實施方式中，該通訊單元25可以為光纖、電纜等有線通訊模組。在另一實施方式中，該通訊單元25也可以為WIFI通訊模組、Zigbee通訊模組及Blue Tooth通訊模組等無線模組。
該存儲單元26用於存儲該人機交互裝置2的程式碼及資料資料。本實施方式中，該存儲單元26可以為該人機交互裝置2的內部存儲單元，例如該人機交互裝置2的硬碟或記憶體。在另一實施方式中，該存儲單元26也可以為該人機交互裝置2的外部存放裝置，例如該人機交互裝置2上配備的插接式硬碟，智慧存儲卡(Smart Media Card,SMC)，安全數位(Secure Digital,SD)卡，快閃記憶體卡(Flash Card)等。
本實施方式中，該處理單元27可以為一中央處理器(Central Processing Unit,CPU)，微處理器或其他資料處理晶片，該處理單元27用於執行軟體程式碼或運算資料。
請參考圖3，所示為本發明一實施方式中人機交互系統1的功能模組圖。本實施方式中，該人機交互系統1包括一個或多個模組，所述一個或者多個模組被存儲於該存儲單元26中，並被該處理單元27所執行。人機交互系統1包括獲取模組101、識別模組102、分析模組103、確定模組104及輸出模組105。在其他實施方式中，該人機交互系統1為內嵌在該人機交互裝置2中的程式段或代碼。
該獲取模組101用於獲取該語音採集單元22採集的語音資訊。
該識別模組102用於識別該語音資訊並分析出該語音資訊中的語境。本實施方式中，該識別模組102對獲取的語音資訊進行去噪處理，使得語音辨識時更加準確。本實施方式中，該語境包括用戶語意及使用者情緒特徵。其中，該用戶情緒包括高興、喜悅、哀愁、難過、委屈、哭泣、憤怒等情緒。例如，當獲取模組101獲取使用者發出的“今天天氣真好啊！”的語音時，該識別模組102分析出該“今天天氣真好啊！”語音對應的使用者語意為“天氣好”，及對應的使用者情緒特徵為“高興”。例如，當獲取模組101獲取使用者發出的“今天 真倒楣！”的語音時，該識別模組102分析出該“今天真倒楣！”語音對應的使用者語意為“倒楣”，及對應的使用者情緒特徵為“難過”。
該分析模組103用於比對獲取的語境及一第一關係表200(參考圖4)，其中，該第一關係表200包括預設語境及預設動畫圖像，所述第一關係表200定義了所述預設語境及所述預設動畫圖像的對應關係。
該確定模組104用於根據比對結果確定出與獲取的語境相對應的動畫圖像。例如，參考圖4所示，在該第一關係表200中，當用戶語意為“天氣好”及使用者情緒特徵為“高興”的語境時，與該語境相對應的預設動畫圖像為第一動畫圖像。例如，該第一動畫圖像為轉圈的動畫圖像。當用戶語意為“倒楣”及使用者情緒特徵為“難過”的語境時，與該語境相對應的預設動畫圖像為第二動畫圖像。例如，該第二動畫圖像可以為捂臉的動畫圖像。該分析模組103將獲取的語境與該第一關係表200中定義的動畫圖像進行比對。當根據比對結果確定與該獲取的語境相匹配的動畫圖像為第一動畫圖像時，該確定模組104確定出與獲取的語境相對應的動畫圖像為第一動畫圖像。當根據比對結果確定與該獲取的語境相匹配的動畫圖像為第二動畫圖像時，該確定模組104確定出與獲取的語境相對應的動畫圖像為第二動畫圖像。本實施方式中，該第一關係表200可以存儲在該存儲單元26中。在其他實施方式中，該第一關係表200還可以存儲在該伺服器3中。
該輸出模組105用於控制該顯示單元21顯示確定的動畫圖像。
在一實施方式中，該獲取模組101還用於獲取該攝像單元23拍攝的人臉圖像。該分析模組103還用於根據獲取的人臉圖像分析出使用者表情。該確定模組104根據該使用者表情確定顯示的動畫圖像的表情。具體的，該存儲單元26中存儲一第二關係表(圖中未示)，該第二關係表中定義多個預設人臉圖像與多個表情的對應關係，該確定模組104根據獲取的人臉圖像與該第二 關係表匹配出與該獲取的人臉圖像對應的表情。在其他實施方式中，該第二關係表還可以存儲在該伺服器3中。
在一實施方式中，該第一關係表200’(參考圖5)包括預設語境、預設動畫圖像及預設語音，所述第一關係表200’定義了所述預設語境、所述預設動畫圖像及預設語音的對應關係。該分析模組103用於比對獲取的語境及一第一關係表200’。該確定模組104還用於根據比對結果確定出與獲取的語境相對應的動畫圖像及與獲取的語境相對應的語音。例如，參考圖6所示，在該第一關係表200’中，當用戶語意為“天氣好”及使用者情緒特徵為“高興”的語境時，與該語境相對應的預設動畫圖像為轉圈的動畫圖像及與該語境相對應的預設語音為“今天天氣真好，適合戶外運動”。當用戶語意為“倒楣”及使用者情緒特徵為“難過”的語境時，與該語境相對應的預設動畫圖像為捂臉的動畫圖像及與該語境相對應的預設語音為“今天運氣真差，我很不開心”。該分析模組103將獲取的語境與該第一關係表200’進行比對。該確定模組104根據比對結果確定出與獲取的語境相對應的動畫圖像及語音。該輸出模組105控制該顯示單元21顯示確定的動畫圖像及控制該語音輸出單元28(參考圖2)輸出確定的語音。在一實施方式中，該識別模組102除了識別使用者發出的語音之外還用於識別該語音輸出單元28輸出的語音並根據使用者發出的語音及該語音輸出單元28輸出的語音分析出該些語音中的語境。
在一實施方式中，該獲取模組101還用於接收該輸入單元24輸入的設置表情的資訊。該確定模組104用於根據該設置表情的資訊確定顯示的動畫圖像的表情。具體的，該顯示單元21顯示一表情選擇介面30。請參考圖6，所示為本發明一實施方式中表情選擇介面30的示意圖。該表情選擇介面30包括多個表情選項301，每一表情選項301對應一表情。該獲取模組101接收使用者 藉由該輸入單元24選擇的表情選項301。該確定模組104根據獲取模組101獲取的表情選項301對應的表情確定顯示的動畫圖像的表情。
在一實施方式中，該輸出模組105控制顯示單元21顯示一頭像選擇介面40。請參考圖7，所示為本發明一實施方式中頭像選擇介面40的示意圖。該頭像選擇介面40包括多個動畫頭像選項401。每一動畫頭像選項401對應一動畫頭像。該獲取模組101接收使用者藉由該輸入單元24選擇的動畫頭像選項401。該確定模組104根據選擇的動畫頭像選項401對應的動畫頭像確定顯示的動畫圖像的頭像。
在一實施方式中，該人機交互系統1還包括發送模組106。該獲取模組101還用於接收使用者藉由該輸入單元24輸入的動畫圖像的配置資訊，其中，該配置資訊包括動畫圖像的頭像及表情資訊。該發送模組用於將動畫圖像的配置資訊藉由通訊單元25發送至伺服器3以使該伺服器3生成與該配置資訊相匹配的動畫圖像。該獲取模組101接收該伺服器3發送的動畫圖像，該輸出模組105控制該顯示單元21顯示該獲取模組101接收的動畫圖像。
請參考圖8，所示為本發明一實施方式中動畫顯示方法方法的流程圖。該方法應用在人機交互裝置2中。根據不同需求，該流程圖中步驟的順序可以改變，某些步驟可以省略或合併。該方法包括如下步驟。
S801：獲取語音採集單元22採集的語音資訊。
S802：識別該語音資訊並分析出該語音資訊中的語境。
本實施方式中，該人機交互裝置2對獲取的語音資訊進行語音信號預處理，例如進行去噪處理，使得語音辨識時更加準確。本實施方式中，該語境包括用戶語意及使用者情緒特徵。其中，該用戶情緒包括高興、喜悅、哀愁、難過、委屈、哭泣、憤怒等情緒。例如，當動獲取用戶發出的“今天天氣真好啊！”的語音時，該人機交互裝置2分析出該“今天天氣真好啊！”語音對應的 使用者語意為“天氣好”，及對應的使用者情緒特徵為高興。例如，當獲取用戶發出的“今天真倒楣！”的語音時，該人機交互裝置2分析出該“今天真倒楣！”語音對應的使用者語意為“倒楣”，及對應的使用者情緒特徵為難過。
S803：比對獲取的語境及一第一關係表200，其中，該第一關係表200包括預設語境及預設動畫圖像，所述第一關係表200定義了所述預設語境及所述預設動畫圖像的對應關係。
S804：根據比對結果確定出與獲取的語境相對應的動畫圖像。
例如，在該第一關係表200(參考圖4)中，當用戶語意為“天氣好”及使用者情緒特徵為“高興”的語境時，與該語境相對應的預設動畫圖像為第一動畫圖像。例如，該第一動畫圖像為轉圈的動畫圖像。當用戶語意為“倒楣”及使用者情緒特徵為“難過”的語境時，與該語境相對應的預設動畫圖像為第二動畫圖像。例如，該第二動畫圖像可以為捂臉的動畫圖像。該人機交互裝置2將獲取的語境與該第一關係表200中定義的動畫圖像進行比對。當根據比對結果確定與該獲取的語境相匹配的動畫圖像為第一動畫圖像時，該人機交互裝置2確定出與獲取的語境相對應的動畫圖像為第一動畫圖像。當根據比對結果確定與該獲取的語境相匹配的動畫圖像為第二動畫圖像時，該人機交互裝置2確定出與獲取的語境相對應的動畫圖像為第二動畫圖像。
S805：控制該顯示單元21顯示確定的該動畫圖像。
在一實施方式中，該方法還包括步驟：獲取該攝像單元23拍攝的人臉圖像；根據獲取的人臉圖像分析出使用者表情；及根據該使用者表情確定顯示的動畫圖像的表情。
具體的，該第二關係表中定義多個預設人臉圖像與多個表情的對應關係，該確定模組104根據獲取的人臉圖像與該第二關係表匹配出與該獲取 的人臉圖像對應的表情。在其他實施方式中，該第二關係表還可以存儲在伺服器3中。
在一實施方式中，該第一關係表200’(參考圖5)包括預設語境、預設動畫圖像及預設語音，所述第一關係表200’定義了所述預設語境、所述預設動畫圖像及預設語音的對應關係。該方法包括步驟：比對獲取的語境及一第一關係表200’；及根據比對結果確定出與獲取的語境相對應的動畫圖像及與獲取的語境相對應的語音。
例如，在該第一關係表200’中，當用戶語意為“天氣好”及使用者情緒特徵為“高興”的語境時，與該語境相對應的預設動畫圖像為轉圈的動畫圖像及與該語境相對應的預設語音為“今天天氣真好，適合戶外運動”。當用戶語意為“倒楣”及使用者情緒特徵為“難過”的語境時，與該語境相對應的預設動畫圖像為捂臉的動畫圖像及與該語境相對應的預設語音為“今天運氣真差，我很不開心”。該人機交互裝置2將獲取的語境與該第一關係表200’進行比對，根據比對結果確定出與獲取的語境相對應的動畫圖像及語音，及控制該顯示單元21顯示確定的動畫圖像及控制該語音輸出單元28(參考圖2)輸出確定的語音。
在一實施方式中，該人機交互裝置2除了識別使用者發出的語音之外還用於識別該語音輸出單元28輸出的語音並根據使用者發出的語音及該語音輸出單元28輸出的語音分析出該些語音中的語境。
在一實施方式中，該方法還包括步驟：接收該輸入單元24輸入的設置表情的資訊；根據該設置表情的資訊確定顯示的動畫圖像的表情。具體的，該顯示單元21顯示一表情選擇介面30(參考圖6)。該表情選擇介面30包括多個表情選項301，每一表情選項301對應一表情。該人機交互裝置2接收使用者 藉由該輸入單元24選擇的表情選項301，及將獲取的表情選項301對應的表情確定為顯示的動畫圖像的表情。
在一實施方式中，該方法還包括步驟：顯示一頭像選擇介面40(參考圖7)，該頭像選擇介面40包括多個動畫頭像選項401，每一動畫頭像選項401對應一動畫頭像；接收使用者藉由該輸入單元24選擇的動畫頭像選項401；及根據選擇的動畫頭像選項401對應的動畫頭像確定顯示的動畫圖像的頭像。
在一實施方式中，該方法還包括步驟：接收使用者藉由該輸入單元24輸入的動畫圖像的配置資訊，其中，該配置資訊包括動畫圖像的頭像及表情資訊；將動畫圖像的配置資訊藉由通訊單元25發送至伺服器3以使該伺服器3生成與該配置資訊相匹配的動畫圖像；接收該伺服器發送的動畫圖像；及控制顯示單元21顯示接收的該動畫圖像。
綜上所述，本發明符合發明專利要件，爰依法提出專利申請。惟，以上所述者僅為本發明之較佳實施方式，舉凡熟悉本案技藝之人士，於爰依本發明精神所作之等效修飾或變化，皆應涵蓋於以下之申請專利範圍內。

Claims (10)

  1. 一種人機交互裝置，該裝置包括一顯示單元、一語音採集單元及一處理單元，該語音採集單元用於採集使用者的語音資訊，其改良在於，該處理單元用於：獲取該語音採集單元採集的語音資訊；識別該語音資訊並分析出該語音資訊中的語境，其中該語境包括用戶語意及使用者情緒特徵；比對獲取的語境及一第一關係表，其中該第一關係表包括預設語境及預設動畫圖像，所述第一關係表定義了所述預設語境及所述預設動畫圖像的對應關係；根據比對結果確定出與獲取的語境相對應的動畫圖像；及控制該顯示單元顯示該動畫圖像；其中，該人機交互裝置還包括一通訊單元，該人機交互裝置藉由該通訊單元與一伺服器連接，該處理單元還用於接收使用者輸入的動畫圖像的配置資訊，及將動畫圖像的配置資訊藉由該通訊單元發送至該伺服器以使該伺服器生成與該配置資訊相匹配的動畫圖像，其中，該配置資訊包括動畫圖像的頭像及表情資訊。
  2. 如申請專利範圍第1項所述的人機交互裝置，其中，該人機交互裝置還包括一攝像單元，該攝像單元用於拍攝使用者人臉圖像，該處理單元還用於：獲取該攝像單元拍攝的人臉圖像；根據該人臉圖像分析出使用者表情；及根據該使用者表情確定顯示的該動畫圖像的表情。
  3. 如申請專利範圍第1項所述的人機交互裝置，其中，該人機交互裝置還包括一輸入單元，該處理單元用於：接收該輸入單元輸入的設置表情的資訊；及根據該輸入的設置表情的資訊確定顯示的動畫圖像的表情。
  4. 如申請專利範圍第3項所述的人機交互裝置，其中，該顯示單元還顯示一頭像選擇介面，該頭像選擇介面包括多個動畫頭像選項，每一動畫頭像選項對應一動畫頭像，該處理單元還用於：接收使用者藉由該輸入單元選擇的動畫頭像選項；及根據選擇的該動畫頭像選項對應的動畫頭像確定顯示的動畫圖像的頭像。
  5. 如申請專利範圍第1項所述的人機交互裝置，其中，該處理單元還用於：接收該伺服器發送的動畫圖像；及控制該顯示單元顯示接收的該動畫圖像。
  6. 一種動畫顯示方法，應用在一人機交互裝置中，其改良在於，方法包括步驟：獲取一語音採集單元採集的語音資訊；識別該語音資訊並分析出該語音資訊中的語境，其中該語境包括用戶語意及使用者情緒特徵；比對獲取的語境及一第一關係表，其中該第一關係表包括預設語境及預設動畫圖像，所述第一關係表定義了所述預設語境及所述預設動畫圖像的對應關係；根據比對結果確定出與獲取的語境相對應的動畫圖像；控制一顯示單元顯示該動畫圖像； 接收使用者藉由一輸入單元輸入的動畫圖像的配置資訊，其中，該配置資訊包括動畫圖像的頭像及表情資訊；及將動畫圖像的配置資訊藉由一通訊單元發送至一伺服器以使該伺服器生成與該配置資訊相匹配的動畫圖像。
  7. 如申請專利範圍第6項所述的動畫顯示方法，其中，該方法還包括步驟：獲取一攝像單元拍攝的人臉圖像；根據該人臉圖像分析出使用者表情；及根據該使用者表情確定顯示的該動畫圖像的表情。
  8. 如申請專利範圍第6項所述的動畫顯示方法，其中，該方法還包括步驟：接收一輸入單元輸入的設置表情的資訊；及根據該輸入的設置表情的資訊確定顯示的動畫圖像的表情。
  9. 如申請專利範圍第8項所述的動畫顯示方法，其中，該方法還包括步驟：顯示一頭像選擇介面，該頭像選擇介面包括多個動畫頭像選項，每一動畫頭像選項對應一動畫頭像；接收使用者藉由該輸入單元選擇的動畫頭像選項；及根據選擇的該動畫頭像選項對應的動畫頭像確定顯示的動畫圖像的頭像。
  10. 如申請專利範圍第6項所述的動畫顯示方法，其中，該方法還包括步驟：接收該伺服器發送的動畫圖像；及控制該顯示單元顯示接收的該動畫圖像。
TW107102139A 2017-11-30 2018-01-20 動畫顯示方法及人機交互裝置 TWI674516B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??201711241864.2 2017-11-30
CN201711241864.2A CN109857352A (zh) 2017-11-30 2017-11-30 动画显示方法及人机交互装置

Publications (2)

Publication Number Publication Date
TW201925990A TW201925990A (zh) 2019-07-01
TWI674516B true TWI674516B (zh) 2019-10-11

Family

ID=66632532

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107102139A TWI674516B (zh) 2017-11-30 2018-01-20 動畫顯示方法及人機交互裝置

Country Status (3)

Country Link
US (1) US20190164327A1 (zh)
CN (1) CN109857352A (zh)
TW (1) TWI674516B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569726A (zh) * 2019-08-05 2019-12-13 北京云迹科技有限公司 一种服务机器人的交互方法及***
CN110868654B (zh) * 2019-09-29 2021-07-16 深圳欧博思智能科技有限公司 一种带有虚拟人物的智能设备
US11544886B2 (en) * 2019-12-17 2023-01-03 Samsung Electronics Co., Ltd. Generating digital avatar
CN111124229B (zh) * 2019-12-24 2022-03-11 山东舜网传媒股份有限公司 通过语音交互实现网页动画控制的方法、***及浏览器
RU2723454C1 (ru) * 2019-12-27 2020-06-11 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Способ и система для создания мимики на основе текста
CN111048090A (zh) * 2019-12-27 2020-04-21 苏州思必驰信息科技有限公司 基于语音的动画交互方法及装置
CN111080750B (zh) * 2019-12-30 2023-08-18 北京金山安全软件有限公司 一种机器人动画配置方法、装置及***
CN113467840B (zh) * 2020-03-31 2023-08-22 华为技术有限公司 灭屏显示方法、终端设备及可读存储介质
CN113709020B (zh) * 2020-05-20 2024-02-06 腾讯科技（深圳）有限公司 消息发送方法、消息接收方法、装置、设备及介质
CN113793398A (zh) * 2020-07-24 2021-12-14 北京京东尚科信息技术有限公司 基于语音交互的绘画方法与装置、存储介质和电子设备
CN113450804A (zh) * 2021-06-23 2021-09-28 深圳市火乐科技发展有限公司 语音可视化方法、装置、投影设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201201115A (en) * 2010-06-17 2012-01-01 Inst Information Industry Facial expression recognition systems and methods and computer program products thereof
TW201227533A (en) * 2010-12-22 2012-07-01 Hon Hai Prec Ind Co Ltd Electronic device with emotion recognizing function and output controlling method thereof
CN103873642A (zh) * 2012-12-10 2014-06-18 北京三星通信技术研究有限公司 记载通话记录的方法及设备
CN107003997A (zh) * 2014-12-04 2017-08-01 微软技术许可有限责任公司 用于交互式对话***的情绪类型分类

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8694899B2 (en) * 2010-06-01 2014-04-08 Apple Inc. Avatars reflecting user states
US20120130717A1 (en) * 2010-11-19 2012-05-24 Microsoft Corporation Real-time Animation for an Expressive Avatar
TWI562560B (en) * 2011-05-09 2016-12-11 Sony Corp Encoder and encoding method providing incremental redundancy
CN104079703B (zh) * 2013-03-26 2019-03-29 联想(北京)有限公司 一种信息处理方法及电子设备
US20160055370A1 (en) * 2014-08-21 2016-02-25 Futurewei Technologies, Inc. System and Methods of Generating User Facial Expression Library for Messaging and Social Networking Applications
CN106325127B (zh) * 2016-08-30 2019-03-08 广东美的制冷设备有限公司 一种使家电表达情绪的方法及装置、空调
US20180226073A1 (en) * 2017-02-06 2018-08-09 International Business Machines Corporation Context-based cognitive speech to text engine
CN106959839A (zh) * 2017-03-22 2017-07-18 北京光年无限科技有限公司 一种人机交互装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201201115A (en) * 2010-06-17 2012-01-01 Inst Information Industry Facial expression recognition systems and methods and computer program products thereof
TW201227533A (en) * 2010-12-22 2012-07-01 Hon Hai Prec Ind Co Ltd Electronic device with emotion recognizing function and output controlling method thereof
CN103873642A (zh) * 2012-12-10 2014-06-18 北京三星通信技术研究有限公司 记载通话记录的方法及设备
CN107003997A (zh) * 2014-12-04 2017-08-01 微软技术许可有限责任公司 用于交互式对话***的情绪类型分类

Also Published As

Publication number Publication date
US20190164327A1 (en) 2019-05-30
TW201925990A (zh) 2019-07-01
CN109857352A (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
TWI674516B (zh) 動畫顯示方法及人機交互裝置
CN107153496B (zh) 用于输入表情图标的方法和装置
US11158102B2 (en) Method and apparatus for processing information
US20200412975A1 (en) Content capture with audio input feedback
US20190339840A1 (en) Augmented reality device for rendering a list of apps or skills of artificial intelligence system and method of operating the same
EP3217254A1 (en) Electronic device and operation method thereof
EP3410258B1 (en) Method for pushing picture, mobile terminal and storage medium
KR20100062207A (ko) 화상통화 중 애니메이션 효과 제공 방법 및 장치
KR102657519B1 (ko) 음성을 기반으로 그래픽 데이터를 제공하는 전자 장치 및 그의 동작 방법
KR102193029B1 (ko) 디스플레이 장치 및 그의 화상 통화 수행 방법
CN103529934A (zh) 用于处理多个输入的方法和装置
CN104092932A (zh) 一种声控拍摄方法及装置
CN108280166B (zh) 表情的制作方法、装置、终端及计算机可读存储介质
TW201327226A (zh) 電子設備及其根據臉部表情提供心情服務的方法
CN112154411B (zh) 使用音频数据进行设备控制
CN110602516A (zh) 基于视频直播的信息交互方法、装置及电子设备
JP7323098B2 (ja) 対話支援装置、対話支援システム、及び対話支援プログラム
US11516550B2 (en) Generating an interactive digital video content item
KR102667547B1 (ko) 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법
US10043069B1 (en) Item recognition using context data
WO2020221103A1 (zh) 显示用户情绪的方法及设备
KR20180109499A (ko) 사용자의 음성 입력에 대한 답변을 제공하는 방법 및 장치
CN110827825A (zh) 语音识别文本的标点预测方法、***、终端及存储介质
CN105871696B (zh) 一种信息发送、接收方法及移动终端
KR20190134975A (ko) 인공지능 시스템의 앱들 또는 스킬들의 리스트를 표시하는 증강 현실 장치 및 동작 방법

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees