KR102365620B1 - 감정 표정을 이용한 게임의 스토리 제어 장치 및 방법 - Google Patents

감정 표정을 이용한 게임의 스토리 제어 장치 및 방법 Download PDF

Info

Publication number
KR102365620B1
KR102365620B1 KR1020190114438A KR20190114438A KR102365620B1 KR 102365620 B1 KR102365620 B1 KR 102365620B1 KR 1020190114438 A KR1020190114438 A KR 1020190114438A KR 20190114438 A KR20190114438 A KR 20190114438A KR 102365620 B1 KR102365620 B1 KR 102365620B1
Authority
KR
South Korea
Prior art keywords
story
game
emotion
emotional
gamer
Prior art date
Application number
KR1020190114438A
Other languages
English (en)
Other versions
KR20210033127A (ko
Inventor
박승보
최순형
이준화
윤건영
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020190114438A priority Critical patent/KR102365620B1/ko
Publication of KR20210033127A publication Critical patent/KR20210033127A/ko
Application granted granted Critical
Publication of KR102365620B1 publication Critical patent/KR102365620B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/69—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by enabling or updating specific game elements, e.g. unlocking hidden features, items, levels or versions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 기술은 감정 표정을 이용한 게임의 스토리 제어 장치 및 방법을 개시한다. 본 기술의 구현 예에 따르면, 게임 기반으로 정의된 스토리 요소 별 캐릭터 스킬 또는 스토리를 각각의 감정 요소에 매칭되어 저장한 다음, 카메라를 통해 획득된 게이머의 얼굴 영상 정보로부터 도출된 감정 요소와 매칭되는 스토리로 캐릭터 스킬 또는 게임을 진행함에 따라, 게임에 대한 몰입도 및 흥미성을 더욱 향상시킬 수 있고, 게임 콘텐츠의 새로운 패러다임을 제공할 수 있다.

Description

감정 표정을 이용한 게임의 스토리 제어 장치 및 방법{STORY CONTROLLING APPARATUS AND METHOD FOR GAME USING EMOTION EXPRESSIONS}
본 발명은 감정 표정을 이용한 게임의 스토리 제어 장치 및 방법에 관한 것으로, 보다 상세하게는 게이머의 감정 표정과 매칭되는 게임 스토리로 게임을 수행함에 따라 게임의 몰입도 및 흥미성을 더욱 향상시킬 수 있도록 한 기술에 관한 것이다.
최근 들어, 게임에 대한 관심이 높아져 감에 따라, 플레이스테이션이나 닌텐도 게임기와 같은 전용 게임기나, 컴퓨터를 이용하여 게임을 즐기는 사람들의 수가 급격히 늘어가고 있다.
이러한 게임의 내용에 따라, 게임은 다양한 종류로 구분되는데, 일부의 전략 게임이나 시물레이션 게임을 제외하고는, 사람 또는 동물형태로 구성된 1인칭 또는 2인칭의 캐릭터를 게이머가 제어하여 게임을 진행하는 것이 일반적이다.
그런데, 이러한 종래의 게임은 게임프로그램을 제작할 때 미리 정해진 하나의 캐릭터를 이용하거나, 소수의 캐릭터 중에서 하나를 선택하여 게임을 진행하게 된다.
이러한 캐릭터 스킬을 이용한 다수의 게임은 기 정해진 스토리로 진행되므로, 게임 진행 횟수에 비례하여 게임에 대한 지루함도 증가되고, 이에 게임에 대한 몰입도 및 흥미성이 저하되는 한계에 도달하였다.
본 발명의 목적은, 게이머의 감정 표정과 매칭되는 게임의 스토리로 게임을 진행함에 따라, 게임에 대한 몰입도 및 흥미성을 더욱 향상시킬 수 있는 감정 표정을 이용한 게임의 스토리 제어 장치 및 방법을 제공하고자 함에 있다.
본 발명의 목적은 이상에서 언급된 목적으로 제한되지 않으며, 언급되지 않은 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 이루기 위한 본 발명의 일 실시예에 따른 감정 표정을 이용한 게임의 스토리 제어 장치는,
외부로부터 제공된 입력장치의 입력값에 매칭되어 기 정의된 캐릭터제어 UI의 스토리로 캐릭터의 스킬 또는 게임을 진행하는 게임 단말; 및 게이머의 감정 표정을 나타내는 얼굴 영상 정보를 획득하는 카메라를 포함하고,
상기 게임 단말은
상기 카메라를 통해 획득된 게이머의 얼굴 영상 정보로부터 게이머의 감정 표정을 나타내는 특징정보를 추출한 다음 추출된 특징정보로 게이머의 해당 스토리 요소의 감정요소를 도출하고, 해당 도출된 게이머의 감정요소와 매칭되는 해당 스토리 요소의 스토리를 감정 스토리 변환 규칙 서버로부터 추출한 다음 추출된 해당 스토리 요소의 스토리로 캐릭터 스킬 또는 게임을 진행하도록 구비되는 것을 일 특징으로 한다.
바람직하게 상기 게임 단말은,
게임의 규칙을 기반으로 다수의 감정 표정을 나타내는 감정요소와 매칭되는 다수의 스토리 요소 별 스토리를 정의하여 저장하는 감정 스토리 변환 규칙 서버;
카메라를 통해 획득된 게이머의 얼굴 영상 정보로부터 게이머의 감정 표정을 나타낸 특징정보를 각각 추출하고 추출된 각각 특징정보를 기반으로 해당 스토리 요소의 게이머의 감정 요소를 도출하는 표정 분석기;
상기 해당 스토리 요소의 게이머의 감정 요소와 매칭되는 감정 스토리 변환 규칙 서버의 스토리를 추출하고 추출된 해당 스토리 요소의 스토리로 캐릭터 스킬 또는 게임을 진행하는 게임 구동기를 포함할 수 있다.
바람직하게 상기 감정 스토리 변환 규칙 서버는,
게임 규칙을 기반으로 각 스토리 요소 별 스토리를 정의하고, 정의된 각 스토리 요소 별 캐릭터 스킬을 정의하며, 정의된 각 스토리 요소 별 스토리로 게임 또는 캐릭터 스킬을 각 감정 요소에 매칭하여 저장하고,
상기 표정 분석기로부터 제공받은 게이머의 해당 스토리 요소의 감정 과 유사한 감정의 해당 스토리 요소의 스토리를 추출한 다음 게임 구동기로 전달하도록 구비될 수 있다.
바람직하게 상기 감정값은,
감정 요소, 표정 판단 확률, 표정 지속 시간, 및 표정 난이도 중 적어도 하나를 포함하고, 각 스토리 요소에 따라 변동되도록 구비될 수 있다.
삭제
바람직하게 상기 게임 단말은,
게이머의 해당 스토리 요소의 감정과 감정 스토리 변환 규칙 서버의 해당 스토리 요소 별 감정 간의 유사도를 연산한 다음 유사도가 큰 해당 스토리 요소의 감정 요소와 매칭된 스토리를 게임 구동기로 전달하는 유사도 연산기를 더 포함할 수 있다.
바람직하게 상기 게임 구동기는,
유사도가 높은 해당 스토리 요소의 감정 요소와 매칭된 스토리와, 게이머의 입력 장치의 입력값과 매칭되는 캐릭터제어 UI의 스토리 중 하나로 캐릭터 스킬 또는 게임을 진행하도록 구비될 수 있다.
일 실시예의 다른 양태에 의하면, 감정 표정을 이용한 게임의 스토리 제어 방법은,
(a) 카메라를 통해 수신된 게이머의 얼굴 영상 정보로부터 게이머의 감정 표정을 나타낸 특징정보를 추출하고 추출된 특징정보를 기반으로 해당 스토리 요소의 감정 요소의 감정을 각각 연산하는 단계;
(b) 감정 스토리 변환 규칙에 의거 해당 스토리 요소의 감정 요소와 매칭된 해당 스토리 요소의 스토리를 추출하는 단계; 및
(c) 상기 추출된 해당 스토리 요소의 스토리와 게이머에 의거 선택된 스토리 중 하나로 캐릭터 스킬 또는 게임을 진행하는 단계를 포함하는 것을 일 특징으로 한다.
바람직하게 상기 감정 스토리 변환 규칙은 게임 규칙을 기반으로 각 스토리 요소의 스토리를 정의하고, 각 스토리 요소의 캐릭터 스킬을 정의한 다음 정의된 각 스토리 요소 별 스토리 및 캐릭터 스킬을 각 감정 요소에 매칭시켜 저장하도록 구비될 수 있다.
바람직하게 상기 (b) 단계는,
감정 스토리 변환 규칙에 의거 저장된 해당 스토리 요소의 감정 요소와 표정 분석기의 해당 스토리 요소의 감정 요소 간의 유사도를 연산하고, 연산 결과 최대 유사도의 감정 요소와 매칭되는 감정 요소를 유사 감정으로 설정한 다음 설정된 유사 감정과 매칭되는 해당 스토리 요소의 스토리를 게이머에게 추천하도록 구비될 수 있다.
일 실시예에 따르면, 게임 기반으로 정의된 스토리 요소 별 캐릭터 스킬 또는 스토리를 각각의 감정 요소에 매칭되어 저장한 다음, 카메라를 통해 획득된 게이머의 얼굴 영상 정보로부터 도출된 감정 요소와 매칭되는 스토리로 캐릭터 스킬 또는 게임을 진행함에 따라, 게임에 대한 몰입도 및 흥미성을 더욱 향상시킬 수 있고, 게임 콘텐츠의 새로운 패러다임을 제공할 수 있다.
본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시 예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 일 실시예의 게임의 스토리제어장치의 구성도이다.
도 2는 일 실시예의 장치의 게임 단말의 세부 구성도이다.
도 3은 일 실시예의 게임의 스토리제어과정을 보인 흐름도이다.
이하, 첨부한 도면들 및 후술되어 있는 내용을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 그러나, 본 발명은 여기서 설명되어지는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되어지는 것이다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 한편, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급되지 않는 한 복수형도 포함된다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 일 실시예는 게임 기반으로 정의된 스토리 요소 별 캐릭터 스킬 또는 스토리를 각각의 감정 요소에 매칭되어 저장한 다음, 카메라를 통해 획득된 게이머의 얼굴 영상 정보로부터 도출된 감정 요소와 매칭되는 스토리로 캐릭터 스킬 또는 게임을 진행하는 기법을 제안하고자 한다.
도 1은 일 실시 예에 따른 감정 표정을 이용한 게임의 스토리 제어 장치의 구성을 보인 도면이다. 도 1을 참조하면, 감정 표정을 이용한 게임의 스토리 제어 장치는 게임 단말(100) 및 카메라(200) 중 하나 이상을 포함할 수 있다. 여기서 카메라(200)는 복수일 수 있다.
게이머가 소지한 게임 단말(100)은 인터넷 망을 통해 제공받은 게임을 진행할 수 있다. 게임 단말(100)은 게임을 실행하는 기기로 개인용 컴퓨터(Personal Computer; PC), 타블렛(tablet) 또는 스마트폰(smart phone)과 같은 게임의 구동이 가능한 기기(device)일 수 있다. 게이머는 게임 단말(100)을 조작함으로써 게임을 진행할 수 있다.
카메라(200)는 다수로 구비될 수 있고, 카메라(200)는 게이머의 얼굴 영상 정보를 획득할 수 있다. 이에 얼굴 영상 정보는 카메라(200)를 통해 획득된 전체 영상 중 얼굴에 대한 영상 정보일 수 있다.
이러한 카메라(200)를 통해 획득된 게이머의 얼굴 영상 정보는 게임의 캐릭터(character) 또는 아바타(avatar)의 얼굴일 수 있고, 이에 카메라(200)를 통해 획득된 게이머의 감정 표정은 캐릭터 또는 아바타에 반영되어 표현될 수 있다.
도 2는 도 1에 도시된 게임 단말의 세부 구성도이다. 게임 단말(100)은, 도 2에 도시된 바와 같이, 감정 스토리 변환 규칙 서버(110), 표정 분석기(120), 유사도 연산기(130), 게임 구동기(140), 입력장치(150), 및 캐릭터제어 UI(160) 중 하나 이상을 더 포함할 수 있다.
감정 스토리 변환 규칙 서버(110)는 게임의 규칙을 기반으로 다수의 스토리 요소 별 스토리를 정의하고, 각 스토리 요소 별 캐릭터 스킬을 정의하며, 정의된 스토리 요소 별 캐릭터 스킬 및 스토리를 각 감정값과 매칭시켜 저장할 수 있다. 여기서, 스토리 요소는 장면, 몬스터, 맵, 퀘스트 등을 포함할 수 있다. 일 실시예는 다수의 스토리 요소 중 장면을 일 례로 설명하고 있으며 이에 한정하지 아니한다.
한편, 표정 분석기(120)는 카메라(200)를 통해 획득된 게이머의 얼굴 영상 정보를 전달받아 게이머의 얼굴 영상 정보에 포함된 감정 표정을 나타내는 특징정보를 추출한 다음 추출된 특징정보와 매칭되는 각 감정 요소의 감정값을 연산할 수 있다.
즉, 표정 분석기(120)는 카메라(200)를 통해 획득된 얼굴 영상에 대해 스펙트랄 분석을 수행하고 수행된 스펙트랄 분석 결과로 게이머의 감정을 나타내는 특징정보를 추출하고 추출된 특징정보와 매칭되는 게이머의 감정 요소를 수치화하여 감정값을 도출할 수 있다.
여기서, 감정값은 감정 요소, 표정 판단 확률, 및 표정 지속 시간 중 적어도 하나를 포함할 수 있다. 또한 일 실시예에서의 감정 요소는 big six emotion 기반으로 6개의 감정 E=[e1, e2, .. e6]를 일례로 설명하고 있으나, 구축된 감정 모델에 따라 다양하게 설정될 수 있으며, 이에 한정하지 아니한다. 일 실시예에서의 6개의 감정 요소는 행복, 놀람, 분노 혐오, 공포, 슬픔을 포함할 수 있다.
이에 임의의 i 번째 장면(스토리 요소)에 대한 게이머의 감정값은 각 감정 요소에 대한 각각의 가중치로 도출될 수 있다. 즉, C i (s i ) = {e1i, e2i, ,,, e6i}. 예를 들어 1 번째 장면의 감정 C 1 (s 1 )={0, 0.1, 0, 0, 0, 0.9} 이면, 대표 감정은 슬픔으로 0.9이다. 또한, 진행되지 아니한 장면에 대한 감정값은 모든 감정 요소에 대해 null로 설정된다. 즉, C 1 (s 1 )={null, null, null, null, null, null}
이러한 게임 규칙 기반으로 모든 n 개의 장면(스토리 요소)에 대한 게이머의 감정은 C1 = [C 1 (s 1 ), C 1 (s 2 ), .... C 1 (s n )] 으로 도출된다. 이에 표정 분석기(120)의 n 개의 장면에 대한 게이머의 감정 C1 = [C 1 (s 1 ), C 1 (s 2 ), .... C 1 (s n )] 는 유사도 연산기(130)로 제공된다.
한편, 유사도 연산기(130)는 수신된 표정 분석기(120)의 모든 장면 n 에 대한 게이머의 감정값 C1과 감정 스토리 변환 규칙 서버(110)에 저장된 감정값 C2 간의 유사도를 도출한다.
[식 1]
sim(C 1 (s j ), C 2 (s j )) =
Figure 112019095118154-pat00001
여기서, 임의의 장면 j 에 대한 유사도 sim(C 1 (s j ), C 2 (s j ))가 0이면 장면 j 에 대한 게이머의 감정 C 1 과 감정 스토리 변환 규칙 서버(110)의 감정 C 2 은 동일한 장면이고, 유사도 sim(C 1 (s j ), C 2 (s j ))가 6이면 장면 j 에 대한 게이머의 감정 C 1 과 감정 스토리 변환 규칙 서버(110)의 감정 C 2 은 완전히 다른 장면임을 말한다.
이러한 임의의 장면 j 에 대한 유사도 sim(C 1 (s j ), C 2 (s j ))는 식 1 이외에 감정 6으로 나눈 다음 정규화를 수행함에 따라 도출될 수 있다. 이때 유사도 sim(C 1 (s j ), C 2 (s j ))에 대한 최대값은 1이고, 최소값은 0으로 도출될 수 있다.
한편, 임의의 장면 j 에 대한 유사도 sim(C 1 (s j ), C 2 (s j ))는 cosine similarity 등의 다양한 방식으로 도출될 수 있고, 일 실시예는 식 1을 이용하여 유사도를 도출하는 것을 일례로 설명하고 있으며, 이에 한정하지 아니한다.
이에 유사도 연산기(130)는 모든 스토리 요소마다 게이머의 감정 C 1 (s j ) 과 감정 스토리 변환 규칙 서버(110)의 감정 C 2 (s j ) 간의 유사도 sim(C 1 (s j ), C 2 (s j ))를 도출한 다음 도출된 유사도가 높은 스토리 요소의 유사 감정을 출력한다. 즉, 해당 장면에서 게이머의 감정 C 1 (s j ) 과 감정 스토리 변환 규칙 서버(110)의 감정 C 2 (s j ), ... C n (s j ) 간의 유사도 sim(C 1 (s j ), C 2 (s j )),... sim(C 1 (s j ), C n (s j ))를 도출한 다음 최대 유사도를 가지는 감정값을 유사 감정이 출력된다. 여기서 유사 감정은 게이머의 감정값 C 1 (s j )과 감정 요소의 감정값의 차가 작은 감정을 나타낸다.
예를 들어, 장면 j 에 대해 게이머의 감정 C 1 (s j ) “기쁨”와 감정 스토리 변환 규칙 서버(110)에 정해진 감정 C 2 (s j )“신나는 기분”간의 유사도는 유사도 연산기(130)에서 높게 출력되고, 이러한 장면 j 에 대해 유사도를 전달받은 감정 스토리 변환 규칙 서버(110)는 장면 j 에 대해 감정 C 1 (s j )와 매칭되는 스토리 대신 감정 C 2 (s j )와 매칭되어 저장된 스토리를 게임 구동기(140)로 전달될 수 있다. 이에 게이머의 감정과 감정 스토리 변환 규칙 서버의 감정 간의 유사도가 높은 동일한 해당 스토리 요소의 스토리가 게이머에게 추천될 수 있다.
한편, 게임 구동기(140)는 게임 중 게이머에 의거 조작되는 입력 장치(150)의 입력값과 매칭되는 캐릭터제어 UI(160)의 캐릭터 스킬과 감정 스토리 변환 규칙(110)에 의거 추천받은 스토리 또는 게이머의 감정에 의거 추출된 스토리로 게임을 수행할 수 있다.
이에 일 실시 예는 게이머의 감정과 유사도가 높은 감정의 스토리를 게이머에게 추천함에 따라, 게임에 대한 몰입도 및 흥미성을 더욱 향상시킬 수 있고, 게임 콘텐츠의 새로운 패러다임을 제공할 수 있다.
도 3은 일 실시예에 따른 감정 표정을 이용한 게임의 스토리 제어 과정을 보인 흐름도로서, 도 1 내지 도 3을 참조하여 다른 실시 예의 감정 표정을 이용한 게임의 스토리 제어 방법을 설명한다.
우선, 단계(S11)(S13)에서, 일 실시예의 게임 단말(100)은 카메라(200)를 통해 획득된 게이머의 얼굴 영상 정보로부터 감정 표정을 나타내는 특징 정보를 도출하고 도출된 특징 정보에 대해 각 감정 요소 별 감정을 도출한다.
단계(S15)(S17)에서, 일 실시 예의 게임 단말(100)은 임의의 스토리 요소에서 도출된 각 감정 요소 별 감정과 감정 스토리 변환 규칙 서버의 각 감정 요소 별 감정 간의 유사도를 도출하고 도출된 유사도가 최대 높은 해상 스토리 요소의 유사 감정을 출력한다.
단계(S19)(S21)에서, 일 실시 예의 게임 단말(100)는 유사 감정과 매칭되어 저장된 스토리 요소별 스토리를 출력하고, 출력된 유사 감정과 매칭되는 스토리 요소 별 스토리와 게이머의 감정과 매칭되는 스토리 요소 별 스토리 중 하나로 게임을 수행한다.
일 실시예에 따르면 게이머의 감정과 유사도가 높은 감정의 스토리를 게이머에게 추천함에 따라, 게임에 대한 몰입도 및 흥미성을 더욱 향상시킬 수 있고, 게임 콘텐츠의 새로운 패러다임을 제공할 수 있다.
이상에서 설명된 게임 단말(200)은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.
이해의 편의를 위하여, 게임 단말(200)은 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술 분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 제어부는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
여기서, 소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction) 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어 및/또는 정보, 신호 및 데이터는, 제어부에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로 또는 일시적으로 구체화(embody)될 수 있다.
소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐 만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 대표적인 실시 예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시 예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명된 실시 예에 국한되어 정해져서는 안 되며, 후술하는 청구범위뿐만 아니라 이 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.
게임 기반으로 정의된 스토리 요소 별 캐릭터 스킬 또는 스토리를 각각의 감정 요소에 매칭되어 저장한 다음, 카메라를 통해 획득된 게이머의 얼굴 영상 정보로부터 도출된 감정 요소와 매칭되는 스토리로 캐릭터 스킬 또는 게임을 진행함에 따라, 게임에 대한 몰입도 및 흥미성을 더욱 향상시킬 수 있고, 게임 콘텐츠의 새로운 패러다임을 제공할 수 있는 감정 표정을 이용한 게임의 스토리 제어 장치 및 방법에 대한 운용의 정확성 및 신뢰도 측면, 더 나아가 성능 효율 면에 매우 큰 진보를 가져올 수 있으며, 차세대 무선 통신, 5G/6G 인터넷 망을 이용한 게임 컨텐츠 등의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.

Claims (9)

  1. 외부로부터 제공된 입력장치의 입력값에 매칭되어 기 정의된 캐릭터제어 UI의 스토리로 게임 또는 캐릭터 스킬을 진행하는 게임 단말; 및 게이머의 감정 표정을 나타내는 얼굴 영상 정보를 획득하는 카메라를 포함하고,
    상기 게임 단말은
    상기 카메라를 통해 획득된 게이머의 얼굴 영상 정보로부터 게이머의 감정 표정을 나타내는 특징정보를 추출한 다음 추출된 특징정보로 게이머의 해당 스토리 요소의 감정값을 도출하고, 해당 도출된 게이머의 감정과 매칭되는 해당 스토리 요소의 스토리를 감정 스토리 변환 규칙 서버로부터 추출한 다음 추출된 해당 스토리 요소의 스토리로 캐릭터 스킬 또는 게임을 진행하도록 구비하되,
    상기 해당 스토리 요소의 게이머의 감정값과 감정 스토리 변환 규칙에 저장된 해당 스토리 요소의 감정값 간의 유사도를 도출하고, 도출된 유사도에 의해 동일 스토리 요소인 지를 판단하며, 판단 결과 스토리 요소에 대해 기 정의된 캐릭터제어 UI의 스토리에 저장된 스토리 대신 최대 유사도를 가지는 감정값과 매칭되는 저장된 스토리로 캐릭터 스킬 또는 게임을 진행하도록 구비되는 것을
    특징으로 하는 감정 표정을 이용한 게임의 스토리 제어 장치.
  2. 제1항에 있어서, 상기 게임 단말은,
    게임의 규칙을 기반으로 다수의 감정 표정을 나타내는 감정과 매칭되는 다수의 스토리 요소 별 스토리를 정의하여 저장하는 감정 스토리 변환 규칙 서버;
    카메라를 통해 획득된 게이머의 얼굴 영상 정보로부터 게이머의 감정 표정을 나타낸 특징정보를 각각 추출하고 추출된 각각 특징정보를 기반으로 해당 스토리 요소의 게이머의 감정 요소 별 감정을 도출하는 표정 분석기; 및
    상기 해당 스토리 요소의 게이머의 감정과 매칭되는 감정 스토리 변환 규칙 서버의 스토리를 추출하고 추출된 해당 스토리 요소의 스토리로 캐릭터 스킬 또는 게임을 진행하는 게임 구동기를 포함하는 것을 특징으로 하는 감정 표정을 이용한 게임의 스토리 제어 장치.
  3. 제2항에 있어서, 상기 감정 스토리 변환 규칙 서버는,
    게임 규칙을 기반으로 각 스토리 요소 별 스토리를 정의하고, 정의된 각 스토리 요소 별 캐릭터 스킬을 정의하며, 정의된 각 스토리 요소 별 스토리 및 캐릭터 스킬을 각 감정에 매칭하여 저장하고,
    상기 표정 분석기로부터 제공받은 게이머의 해당 스토리 요소의 감정과 유사한 감정의 해당 스토리 요소의 스토리를 추출한 다음 게임 구동기로 전달하는 것을 특징으로 하는 감정 표정을 이용한 게임의 스토리 제어 장치.
  4. 제2항에 있어서, 상기 감정값은
    감정 요소, 표정 판단 확률, 및 표정 지속 시간 중 적어도 하나를 포함하고, 각 스토리 요소에 따라 변동하는 것을 특징으로 하는 감정 표정을 이용한 게임의 스토리 제어 장치.
  5. 제2항에 있어서, 상기 게임 단말은,
    게이머의 해당 스토리 요소의 감정과 감정 스토리 변환 규칙 서버의 해당 스토리 요소 별 감정 간의 유사도를 연산한 다음 유사도가 큰 해당 스토리 요소의 감정 요소와 매칭된 스토리를 상기 게임 구동기로 전달하는 유사도 연산기를 더 포함하는 것을 특징으로 하는 감정 표정을 이용한 게임의 스토리 제어 장치.
  6. 제5항에 있어서, 상기 게임 구동기는,
    유사도가 높은 해당 스토리 요소의 감정 요소와 매칭된 스토리와, 게이머의 입력 장치의 입력값과 매칭되는 캐릭터제어 UI의 스토리 중 하나로 캐릭터 스킬 또는 게임을 진행하도록 구비되는 것을 특징으로 하는 감정 표정을 이용한 게임의 스토리 제어 장치.
  7. 제1항의 게임 단말에 의해 수행되는 감정 표정을 이용한 게임의 스토리 제어 방법에 있어서,
    (a) 카메라를 통해 수신된 게이머의 얼굴 영상 정보로부터 게이머의 감정 표정을 나타낸 특징정보를 추출하고 추출된 특징정보를 기반으로 해당 스토리 요소의 감정 요소의 감정을 각각 연산하는 단계;
    (b) 감정 스토리 변환 규칙에 의거 해당 스토리 요소의 감정 요소와 매칭된 해당 스토리 요소의 스토리를 추출하는 단계; 및
    (c) 상기 추출된 해당 스토리 요소의 스토리와 게이머에 의거 선택된 스토리 중 하나로 캐릭터 스킬 또는 게임을 진행하는 단계를 포함하되,
    상기 (b)단계는,
    상기 해당 스토리 요소의 게이머의 감정값과 감정 스토리 변환 규칙에 저장된 해당 스토리 요소의 감정값 간의 유사도를 도출하고, 도출된 유사도에 의해 동일 스토리 요소인 지를 판단하며, 판단 결과 스토리 요소에 대해 기 정의된 캐릭터제어 UI의 스토리에 저장된 스토리 대신 최대 유사도를 가지는 감정값과 매칭되는 저장된 스토리를 추출하도록 구비되는 것을 특징으로 하는 감정 표정을 이용한 게임의 스토리 제어 방법.
  8. 제7항에 있어서, 상기 감정 스토리 변환 규칙은
    게임 규칙을 기반으로 각 스토리 요소의 스토리를 정의하고, 각 스토리 요소의 스토리 또는 캐릭터 스킬을 정의한 다음 정의된 각 스토리 요소 별 스토리 또는 캐릭터 스킬을 각 감정 요소에 매칭시켜 저장하도록 구비되는 것을 특징으로 하는 감정 표정을 이용한 게임의 스토리 제어 방법.
  9. 제8항에 있어서, 상기 (b) 단계는,
    감정 스토리 변환 규칙에 의거 저장된 해당 스토리 요소의 감정 요소와 표정 분석기의 해당 스토리 요소의 감정 요소 간의 유사도를 연산하고,
    연산 결과 최대 유사도의 감정 요소와 매칭되는 감정 요소를 유사 감정으로 설정한 다음 설정된 유사 감정과 매칭되는 해당 스토리 요소의 스토리를 게이머에게 추천하도록 구비되는 것을 특징으로 하는 감정 표정을 이용한 게임의 스토리 제어 방법.
KR1020190114438A 2019-09-18 2019-09-18 감정 표정을 이용한 게임의 스토리 제어 장치 및 방법 KR102365620B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190114438A KR102365620B1 (ko) 2019-09-18 2019-09-18 감정 표정을 이용한 게임의 스토리 제어 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190114438A KR102365620B1 (ko) 2019-09-18 2019-09-18 감정 표정을 이용한 게임의 스토리 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210033127A KR20210033127A (ko) 2021-03-26
KR102365620B1 true KR102365620B1 (ko) 2022-02-21

Family

ID=75259466

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190114438A KR102365620B1 (ko) 2019-09-18 2019-09-18 감정 표정을 이용한 게임의 스토리 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102365620B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016149063A (ja) * 2015-02-13 2016-08-18 オムロン株式会社 感情推定装置及び感情推定方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101933281B1 (ko) * 2016-11-30 2018-12-27 주식회사 트라이캐치미디어 게임플레이어의 얼굴 인식을 통한 게임운영 방법
KR20190090654A (ko) * 2018-01-25 2019-08-02 주식회사 넥슨코리아 게임 제공 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016149063A (ja) * 2015-02-13 2016-08-18 オムロン株式会社 感情推定装置及び感情推定方法

Also Published As

Publication number Publication date
KR20210033127A (ko) 2021-03-26

Similar Documents

Publication Publication Date Title
US20230016824A1 (en) Voice help system via hand held controller
US10987593B2 (en) Dynamic interfaces for launching direct gameplay
US10315116B2 (en) Dynamic virtual environment customization based on user behavior clustering
JP7125539B2 (ja) ゲーム内リソースサーフェシングプラットフォーム
US20120252583A1 (en) Computer implemented method for calculating a game score to create a ranking
KR102007371B1 (ko) 게임 플레이 전략 추천 방법 및 장치
CN109939439B (zh) 虚拟角色的卡住检测方法、模型训练方法、装置及设备
CN111701240A (zh) 虚拟物品的提示方法、装置、存储介质和电子装置
US20220387897A1 (en) Systems and methods for video streaming analysis
KR102365620B1 (ko) 감정 표정을 이용한 게임의 스토리 제어 장치 및 방법
US11068284B2 (en) System for managing user experience and method therefor
KR101619526B1 (ko) 온라인 게임 내 사제 관리 시스템 및 그 제공방법
CN110314379B (zh) 动作输出深度训练模型的学习方法及相关设备
KR20210032838A (ko) 감정을 이용한 게임 장치 및 방법
CN115944921A (zh) 游戏数据处理方法、装置、设备及介质
CN116943204A (zh) 虚拟对象的控制方法、装置和存储介质及电子设备
KR102343354B1 (ko) 게임의 에너지 충전 장치 및 방법
KR102343359B1 (ko) 친구 감정 표정을 이용한 게임의 에너지 충전 장치 및 방법
KR102235538B1 (ko) 가이드 컨텐츠 제공 방법 및 장치
KR20210032729A (ko) 감정 기반의 게임 장치 및 방법
KR20200092242A (ko) 게임 플레이 전략 추천 방법 및 장치
KR20220053021A (ko) 비디오 게임 오버레이
US11504618B2 (en) Server-based video help in a video game
KR101394969B1 (ko) 온라인 게임의 랜드마크 제공 방법 및 장치
US20230211234A1 (en) Video recording system and method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant