JP7431497B2 - 映像通話およびオブジェクト認識を基盤としたゲーム提供方法およびシステム - Google Patents

映像通話およびオブジェクト認識を基盤としたゲーム提供方法およびシステム Download PDF

Info

Publication number
JP7431497B2
JP7431497B2 JP2018145866A JP2018145866A JP7431497B2 JP 7431497 B2 JP7431497 B2 JP 7431497B2 JP 2018145866 A JP2018145866 A JP 2018145866A JP 2018145866 A JP2018145866 A JP 2018145866A JP 7431497 B2 JP7431497 B2 JP 7431497B2
Authority
JP
Japan
Prior art keywords
user
party
video
game
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018145866A
Other languages
English (en)
Other versions
JP2019048043A (ja
Inventor
クムリョン キム
セウン キム
ジョンヨン イ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2019048043A publication Critical patent/JP2019048043A/ja
Application granted granted Critical
Publication of JP7431497B2 publication Critical patent/JP7431497B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/87—Communicating with other players during game play, e.g. by e-mail or chat
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M7/00—Arrangements for interconnection between switching centres
    • H04M7/006—Networks other than PSTN/ISDN providing telephone service, e.g. Voice over Internet Protocol (VoIP), including next generation networks with a packet-switched transport layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Description

以下の説明は、映像通話環境でゲームを提供する技術に関する。
近年、通信デバイスは、音声通話サービスやメッセージサービスはもちろん、無線インターネットサービスや地上波／衛星放送サービスなどのような多様なサービスを提供している。
特に、映像の圧縮技術と復元技術の発展とカメラが備えられたデバイスの商用化に伴い、相手の顔を確認しながら通話することのできる映像通話サービスの提供が活発化している。
映像通話サービスを提供する技術の一例として、特許文献１（登録日２００３年０９月２９日）には、無線環境の移動電話網で移動電話端末機間のビデオ電話サービスを提供する技術が開示されている。
韓国登録特許公報第１０－０４０１２６２号公報
インターネット電話（ＶｏＩＰ）技術に基づき、通話映像に含まれるオブジェクト情報を基盤としたゲームを提供する方法およびシステムを提供する。
映像通話環境で通話映像のオブジェクトの認識結果によってゲーム要素を制御する方法およびシステムを提供する。
コンピュータによって実現される電子機器におけるゲーム提供方法であって、インターネット電話チャネルを介して前記電子機器のユーザと相手との間に映像通話が連結されると、映像通話画面においてゲームコンテンツを実行する段階、映像通話画面の中で前記ゲームコンテンツに対応するオブジェクトを認識する段階、およびオブジェクトの認識結果を前記ゲームコンテンツに対するモーションデータとして利用することにより、前記ゲームコンテンツにおけるゲーム要素を制御する段階を含む、ゲーム提供方法を提供する。
一側面によると、前記制御する段階は、前記オブジェクトの認識結果によるエフェクト（ｅｆｆｅｃｔ）のテクスチャを前記通話映像に合成して表示する段階を含む。
他の側面によると、前記提供する段階は、前記映像通話が連結されると、ユーザ映像と相手映像とを含む映像通話画面を提供する段階を含み、前記認識する段階は、顔認識技術を利用して前記ユーザ映像で前記ユーザの顔を認識する段階を含む。
また他の側面によると、前記制御する段階は、前記ユーザの顔の認識結果によるエフェクトが反映されたユーザ映像を表示すると同時に、前記相手の電子機器に伝達する段階を含む。
また他の側面によると、前記提供する段階は、前記映像通話が連結されると、ユーザ映像と相手映像とを含む映像通話画面を提供する段階を含み、前記認識する段階は、前記相手の電子機器から前記相手のジェスチャ情報を受信し、前記ユーザ映像で前記ジェスチャ情報にマッチングする位置を認識する段階を含む。
また他の側面によると、前記制御する段階は、前記ジェスチャ情報にマッチングする位置の認識結果によるエフェクトが反映されたユーザ映像を表示すると同時に、前記相手の電子機器に伝達する段階を含む。
また他の側面によると、前記提供する段階は、前記映像通話が連結されると、ユーザ映像と相手映像とをリアルタイムでやり取りして前記ユーザ映像と前記相手映像とを含む映像通話画面を表示する段階を含み、前記制御する段階は、前記ユーザの顔の認識結果によるエフェクトが反映されたユーザ映像を表示すると同時に、前記相手の電子機器に伝達する段階、および前記相手の電子機器から前記相手の顔の認識結果によるエフェクトが反映された相手映像を受信して表示する段階を含む。
また他の側面によると、前記制御する段階は、前記オブジェクトの認識結果によるゲーム進行状況に関する情報を前記相手の電子機器と共有する段階、および前記共有情報に基づいて前記ユーザと前記相手の勝敗を決定して前記映像通話画面に表示する段階を含む。
また他の側面によると、前記提供する段階は、前記ユーザのアカウントと前記相手のアカウントとの間に設定された通信セッションに対応するメッセンジャーチャットルームで前記ユーザまたは前記相手によって前記ゲームコンテンツが選択されると、前記映像通話を連結し、前記映像通話画面において前記ゲームコンテンツを実行する。
また他の側面によると、前記提供する段階は、前記ユーザと前記相手との間に前記映像通話が連結された状態で、前記ユーザまたは前記相手によって選択されたゲームコンテンツを実行する。
また他の側面によると、前記認識する段階は、前記オブジェクトの認識結果と共に、前記ユーザの音声情報を、前記ゲームコンテンツに対するモーションデータとして認識する段階を含む。
コンピュータと結合して前記ゲーム提供方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラムを提供する。
前記ゲーム提供方法をコンピュータに実行させるためのプログラムが記録されていることを特徴とする、コンピュータで読み取り可能な記録媒体を提供する。
コンピュータによって実現される電子機器におけるゲーム提供システムであって、コンピュータで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、インターネット電話チャネルを介して前記電子機器のユーザと相手との間に映像通話が連結されると、映像通話画面においてゲームコンテンツを実行する過程、映像通話画面の中で前記ゲームコンテンツに対応するオブジェクトを認識する過程、およびオブジェクトの認識結果を前記ゲームコンテンツに対するモーションデータとして利用することにより、前記ゲームコンテンツにおけるゲーム要素を制御する過程を処理する、ゲーム提供システムを提供する。
本発明の実施形態によると、インターネット電話（ＶｏＩＰ）技術に基づき、通話映像に含まれるオブジェクト情報を基盤としたゲームを提供することにより、新たなゲーム環境と娯楽要素を提供することができる。
本発明の実施形態によると、映像通話環境で通話映像のオブジェクトの認識結果によってゲーム要素を制御することにより、相手との通話を維持しながら、リアルタイムでゲームを楽しむことができる効果がある。
本発明の一実施形態における、ネットワーク環境の例を示した図である。 本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。 本発明の一実施形態における、電子機器のプロセッサが含むことのできる構成要素の例を示した図である。 本発明の一実施形態における、電子機器が実行することのできる方法の例を示したフローチャートである。 本発明の一実施形態における、映像通話画面の構成例を示した図である。 本発明の一実施形態における、映像通話画面の構成例を示した図である。 本発明の一実施形態における、映像通話環境で提供される対戦ゲームの一例を説明するための例示図である。 本発明の一実施形態における、映像通話環境で提供される対戦ゲームの一例を説明するための例示図である。 本発明の一実施形態における、映像通話環境で提供される対戦ゲームの他の例を説明するための例示図である。 本発明の一実施形態における、映像通話環境で提供される対戦ゲームの他の例を説明するための例示図である。 本発明の一実施形態における、映像通話環境で提供される対戦ゲームのまた他の例を説明するための例示図である。 本発明の一実施形態における、映像通話環境で提供される対戦ゲームのまた他の例を説明するための例示図である。 本発明の一実施形態における、映像通話環境で提供される対戦ゲームのまた他の例を説明するための例示図である。 本発明の一実施形態における、映像通話環境で提供される対戦ゲームのまた他の例を説明するための例示図である。 本発明の一実施形態における、映像通話環境で提供される対戦ゲームのさらに他の例を説明するための例示図である。 本発明の一実施形態における、映像通話環境で提供される対戦ゲームのさらに他の例を説明するための例示図である。
以下、本発明の実施形態について、添付の図面を参照しながら詳細に説明する。
本発明の実施形態は、ゲームを提供する技術に関し、より詳細には、インターネット電話（ＶｏＩＰ）技術とオブジェクト認識技術を基盤としたゲームを提供する方法およびシステムに関する。
本明細書において具体的に開示される事項などを含む実施形態は、映像通話時の映像に含まれるオブジェクト情報を基盤としてゲームを提供することができ、これにより、娯楽要素、多様性、効率性などの側面において相当な長所を達成することができる。
本明細書において、映像通話とは、ユーザと相手との間で映像と音声をやり取りする映像電話を包括したものを意味してよく、一例として、ＩＰアドレスを利用するネットワークを介して映像と音声をデジタルパケットに変換して送信する技術のインターネット電話（ＶｏＩＰ）を意味してよい。
図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。
複数の電子機器１１０、１２０、１３０、１４０は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、タブレット、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ナビゲーション、コンピュータ、ノート型パンコン、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）などがある。一例として、第１電子機器１１０は、無線または有線通信方式を利用してネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信してよい。
通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を活用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的（ｈｉｅｒａｒｃｈｉｃａｌ）ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。
サーバ１５０、１６０それぞれは、複数の電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供するコンピュータ装置または複数のコンピュータ装置によって実現されてよい。一例として、サーバ１６０は、ネットワーク１７０を介して接続した第１電子機器１１０にアプリケーションのインストールのためのファイルを提供してよい。この場合、第１電子機器１１０は、サーバ１６０から提供されたファイルを利用してアプリケーションをインストールしてよい。また、第１電子機器１１０が含むオペレーティングシステム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ：ＯＳ）や少なくとも１つのプログラム（一例として、ブラウザや前記インストールされたアプリケーション）の制御にしたがってサーバ１５０に接続し、サーバ１５０が提供するサービスやコンテンツの提供を受けてよい。例えば、第１電子機器１１０がアプリケーションの制御にしたがってネットワーク１７０を介してサービス要請メッセージをサーバ１５０に送信すると、サーバ１５０はサービス要請メッセージに対応するコードを第１電子機器１１０に送信してよく、第１電子機器１１０はアプリケーションの制御にしたがってコードに基づく画面を構成して表示することにより、ユーザにコンテンツを提供してよい。
図２は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図２では、１つの電子機器に対する例として第１電子機器１１０の内部構成を、１つのサーバに対する例としてサーバ１５０の内部構成について説明する。他の電子機器１２０、１３０、１４０やサーバ１６０も、同一または類似の内部構成を有してよい。
第１電子機器１１０とサーバ１５０は、メモリ２１１、２２１、プロセッサ２１２、２２２、通信モジュール２１３、２２３、および入力／出力インタフェース２１４、２２４を含んでよい。メモリ２１１、２２１は、コンピュータで読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永久大容量記憶装置（ｐｅｒｍａｎｅｎｔ ｍａｓｓ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）を含んでよい。また、メモリ２１１、２２１には、オペレーティングシステムと、少なくとも１つのプログラムコード（一例として、第１電気機器１１０にインストールされ駆動するアプリケーションなどのためのコード）が格納されてよい。このようなソフトウェア構成要素は、メモリ２１１、２２１とは別のコンピュータで読み取り可能な記録媒体からロードされてよい。このような別のコンピュータで読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータで読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータで読み取り可能な記録媒体ではない通信モジュール２１３、２２３を通じてメモリ２１１、２２１にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム（一例として、上述したサーバ１６０）がネットワーク１７０を介して提供するファイルによってインストールされるコンピュータプログラム（一例として、上述したアプリケーション）に基づいてメモリ２１１、２２１にロードされてよい。
プロセッサ２１２、２２２は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１１、２２１または通信モジュール２１３、２２３によって、プロセッサ２１２、２２２に提供されてよい。例えば、プロセッサ２１２、２２２は、メモリ２１１、２２１のような記録装置に格納されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。
通信モジュール２１３、２２３は、ネットワーク１７０を介して第１電子機器１１０とサーバ１５０とが互いに通信するための機能を提供してもよいし、他の電子機器（一例として、第２電子機器１２０）または他のサーバ（一例として、サーバ１６０）と通信するための機能を提供してもよい。一例として、第１電子機器１１０のプロセッサ２１２がメモリ２１１のような記録装置に格納されたプログラムコードにしたがって生成した要求（一例として、検索要求）が、通信モジュール２１３の制御にしたがってネットワーク１７０を介してサーバ１５０に伝達されてよい。これとは逆に、サーバ１５０のプロセッサ２２２の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール２２３とネットワーク１７０を経て第１電子機器１１０の通信モジュール２１３を通じて第１電子機器１１０に受信されてもよい。例えば、通信モジュール２１３を通じて受信したサーバ１５０の制御信号や命令などは、プロセッサ２１２やメモリ２１１に伝達されてよく、コンテンツやファイルなどは、第１電子機器１１０がさらに含むことのできる格納媒体に格納されてよい。
入力／出力インタフェース２１４は、入力／出力装置２１５とのインタフェースのための手段であってよい。例えば、入力装置は、キーボードまたはマウスなどの装置を含んでよく、出力装置は、アプリケーションの通信セッションを表示するためのディスプレイのような装置を含んでよい。他の例として、入力／出力インタフェース２１４は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。より具体的な例として、第１電子機器１１０のプロセッサ２１２がメモリ２１１にロードされたコンピュータプログラムの命令を処理するにあたり、サーバ１５０や第２電子機器１２０が提供するデータを利用して構成されるサービス画面やコンテンツが、入力／出力インタフェース２１４を通じてディスプレイに表示されてよい。入力／出力インタフェース２２４も同じように、サーバ１５０のプロセッサ２２２がメモリ２２１にロードされたコンピュータプログラムの命令を処理するにあたり、サーバ１５０が提供するデータを利用して構成される情報を出力してよい。
また、他の実施形態において、第１電子機器１１０およびサーバ１５０は、図２の構成要素よりも多くの構成要素を含んでもよい。例えば、第１電子機器１１０は、上述した入力／出力装置２１５のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、第１電子機器１１０がスマートフォンである場合、一般的にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラ、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器などのような多様な構成要素が、第１電子機器１１０にさらに含まれるように実現されてよいことが理解できるであろう。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。
図３は、本発明の一実施形態における、電子機器のプロセッサが含むことのできる構成要素の例を示したブロック図であり、図４は、本発明の一実施形態における、電子機器が実行することのできる方法の例を示したフローチャートである。
本実施形態に係る第１電子機器１１０（図１）には、コンピュータによって実現されたゲーム提供システムが構成されてよい。ゲーム提供システムは、ＰＣ基盤のプログラムまたはモバイル端末専用のアプリケーションで構成されてよい。本実施形態におけるゲーム提供システムは、独立的に動作するプログラム形態で実現されてもよいし、あるいは特定のアプリケーション（例えば、メッセンジャーなど）のイン－アプリ（ｉｎ－ａｐｐ）形態で構成されて前記特定のアプリケーション上で動作が可能となるように実現されてもよい。ゲーム提供システムは、第１電子機器１１０上にインストールされるアプリケーション形態で実現され、サーバ１５０との連動によるインターネット電話（ＶｏＩＰ）技術を基盤として映像通話環境でゲームを提供してよい。
例えば、第１電子機器１１０に実現されたゲーム提供システムは、第１電子機器１１０にインストールされたアプリケーションが提供する命令に基づいてゲーム提供方法を実行してよい。図４に係るゲーム提供方法を実行するために、第１電子機器１１０のプロセッサ２１２は、構成要素として、図３に示すように、通話連結部３１０、モーション認識部３２０、およびゲーム提供部３３０を備えてよい。実施形態によって、プロセッサ２１２の構成要素は、選択的にプロセッサ２１２に含まれてもよいし、除外されてもよい。また、実施形態によって、プロセッサ２１２の構成要素は、プロセッサ２１２の機能の表現のために分離されてもよいし、併合されてもよい。
このようなプロセッサ２１２およびプロセッサ２１２の構成要素は、図４のゲーム提供方法が含む段階４１０～４５０を実行するように第１電子機器１１０を制御してよい。例えば、プロセッサ２１２およびプロセッサ２１２の構成要素は、メモリ２１１が含むオペレーティングシステムのコードと少なくとも１つのプログラムのコードによる命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。
ここで、プロセッサ２１２の構成要素は、第１電子機器１１０に格納されたプログラムコードが提供する命令（一例として、第１電子機器１１０で駆動するアプリケーションが提供する命令）にしたがってプロセッサ２１２によって実行される、プロセッサ２１２の互いに異なる機能（ｄｉｆｆｅｒｅｎｔ ｆｕｎｃｔｉｏｎｓ）の表現であってよい。例えば、第１電子機器１１０が映像通話を連結するように上述した命令にしたがって第１電子機器１１０を制御するプロセッサ２１２の機能的表現として、通話連結部３１０が利用されてよい。
段階４１０（図４）で、プロセッサ２１２は、第１電子機器１１０の制御と関連する命令がロードされたメモリ２１１から必要な命令を読み取ってよい。この場合、前記読み取られた命令は、プロセッサ２１２が、以下で説明する段階４２０～４５０を実行するように制御するための命令を含んでよい。
段階４２０で、通話連結部３１０は、インターネット電話（ＶｏＩＰ）チャネルを介して第１電子機器１１０のユーザと相手との間に映像通話を連結してよい。即ち、映像通話のためのコネクションが設定される。通話連結部３１０は、第１電子機器１１０のユーザが、通話の相手を対戦相手として選択してゲームコンテンツを選択した場合、あるいは相手の電子機器から送信された通話連結要請（相手がユーザを対戦相手として選択してゲームコンテンツを選択した場合）にしたがい、ユーザと相手との間に映像通話を連結してよい。メッセンジャーのチャットルーム、すなわち、ユーザのアカウントと相手のアカウントとの間に設定された通信セッションに対応するチャットルームでユーザまたは相手によってゲームコンテンツが選択されてもよいし、或いはユーザと相手が映像通話している最中にユーザまたは相手によってゲームコンテンツが選択されることも可能である。また、映像通話の発信段階において、ゲーム機能が付加されたオプションを選択することにより、ゲームコンテンツの選択と発信を共に進行させてもよい。このとき、対戦相手は、チャットルームの参加者や通話相手から自動で特定される。通話連結部３１０は、ユーザと相手との間に映像通話が連結されると、リアルタイムでユーザの第１電子機器１１０からはユーザ映像を取得し、相手の電子機器からは相手映像を受信することで、ユーザ映像と相手映像を含んだ映像通話画面を第１電子機器１１０のディスプレイ上に表示してよい。
段階４３０で、ゲーム提供部３３０は、ユーザ映像と相手映像を含んだ映像通話画面上にユーザまたは相手によって選択されたゲームコンテンツを実行することにより、ユーザと相手に対戦ゲームを提供してよい。言い換えれば、ゲーム提供部３３０は、インターネット電話技術を基盤とした映像通話環境で、ゲームアクティビティ（ａｃｔｉｖｉｔｙ）を提供することが可能となる。ユーザと相手との映像通話の最中に、各デバイス（ローカル）でユーザまたは相手によって選択されたゲームコンテンツが同時実行される。
段階４４０で、モーション認識部３２０は、オブジェクト認識技術に基づき、ゲームコンテンツに対するモーションデータとして、ユーザ映像に含まれたオブジェクトを認識してよい。一例として、モーション認識部３２０は、ユーザ映像で顔を認識し、認識された顔の動作（例えば、まばたきする動作、口を開ける動作、顔を動かす動作など）を認識してよい。他の例として、モーション認識部３２０は、ユーザ映像で身体の一部（例えば、手など）や事物の動きを認識してもよい。言い換えれば、モーション認識部３２０は、ユーザ映像を対象としたオブジェクトの認識結果を、ゲームコンテンツに対するモーションデータとして生成することが可能となる。また、モーション認識部３２０は、オブジェクトの認識結果と共に、ユーザの音声情報（例えば、声の大きさなど）を、ゲームコンテンツに対するモーションデータとして認識してよい。さらに、モーション認識部３２０は、相手映像に対してユーザから入力されたジェスチャ情報（例えば、タッチ座標など）を、ゲームコンテンツに対するモーションデータとして認識してよい。段階４４０の前又は途中において、認識されるべきオブジェクトが何であるかが適宜判別される。一例として、ゲームコンテンツに応じて、認識されるオブジェクトが事前に定められてよい。例えば、にらめっこゲームではユーザ映像からまばたき動作を認識し、口の大きさを比べるゲームではユーザ映像から口を大きく開ける動作を認識し、パンチゲームではユーザが相手映像に表示された顔をタッチする動作を認識する。認識されるべきオブジェクトは１つ又は複数個存在してもよいし、ゲームの間に変更されてもよい。
段階４５０で、ゲーム提供部３３０は、オブジェクトの認識結果に基づいて映像通話画面上のゲームコンテンツに該当するゲーム要素を制御し、勝敗などのゲーム結果を提供してよい。ゲーム要素とは、イメージオブジェクトで構成されたコンテンツとして映像に合成可能なものであり、オブジェクトだけでなくテクスチャをも包括したものを意味してよいが、これは、固定している形態のオブジェクトはもちろん、フラッシュやアニメーションなどの多様な形態のエフェクトが適用された動くイメージオブジェクトによっても実現可能である。ゲーム提供部３３０は、オブジェクト認識結果によるエフェクトをゲーム要素に反映してよい。このとき、通話連結部３１０は、映像通話が連結されている最中にリアルタイムでユーザ映像と相手映像をやり取りするようになるが、ユーザと相手の相互間でオブジェクト認識結果によるエフェクトが反映された通話映像をやり取りし、映像通話画面を構成して表示する。また、ゲーム提供部３３０は、ローカルでゲーム進行状況に関する情報を格納しながら、ミッション完了時にはゲーム結果を算出してよく、ゲーム進行状況とゲーム結果に関する情報を相手とやり取りしながら共有してよい。言い換えれば、ゲーム提供部３３０は、オブジェクト認識結果によるゲーム進行状況とゲーム結果を相手と共有し、共有情報に基づいて勝敗を決定することが可能となる。また、ゲーム提供部３３０は、ゲームコンテンツに応じて、ゲームコンテンツに対するモーションデータとして相手映像に対するユーザのジェスチャ情報が認識された場合、認識されたジェスチャ情報を相手の電子機器に伝達する。このとき、相手の電子機器では、第１電子機器１１０から送信されたユーザのジェスチャ情報をゲームコンテンツに対するモーションデータとして入力し、これに対応するエフェクトをゲーム要素に反映させる。例えば、相手の顔を攻撃するパンチゲームの場合、相手映像をタッチした座標値を相互間に伝達し、相手から伝達された座標値にマッチングする位置に該当のエフェクトを反映させた映像を通話映像としてやり取りしてよい。
通話連結部３１０は、第１電子機器１１０と相手の電子機器にゲーム進行情報を共有するためのチャネルを連結してよく、ゲーム提供部３３０は、インターネット電話の連結に伴い、第１電子機器１１０と相手の電子機器に生成されたチャネルを介して現在のゲーム進行状況またはゲーム結果に関する情報などを相手の電子機器と共有してよい。また、ゲーム提供部３３０は、インターネット電話チャネルを介してゲームに関する追加のメタデータを相手の電子機器とやり取りしながら、ゲーム進行状況をリアルタイムで共有することも可能である。
ゲーム提供部３３０は、ゲームコンテンツに対するモーションデータ、ゲーム進行状況やゲーム結果に関する情報などを含んだゲーム全般のデータを相手の電子機器と共有することにより、リアルタイムでゲーム現況情報（例えば、ゲーム進行率、現在の点数、点数差、勝敗予測など）を表示してよく、ゲーム結果による勝敗情報やゲーム進行状況、またはゲーム結果による各種エフェクトなどを該当のデバイスに表示してよい。このとき、通話連結部３１０は、映像通話が連結されている間にリアルタイムでユーザ映像と相手映像をやり取りするようになり、ユーザと相手の相互間でローカルのゲーム進行画面を通話映像としてやり取りして映像通話画面を構成して表示する。
各電子機器のローカルでゲーム進行状況に関する情報を格納しながらゲーム結果を直接計算した後、相手と共有するようになるが、場合によっては、ゲームコンテンツを選択したユーザの電子機器がマスター（ｍａｓｔｅｒ）の役割をし、マスターデバイスでゲームの進行に求められる要素を決定したり、必要なデータを集めてゲーム結果を計算したりすることも可能である。
図５および図６は、本発明の一実施形態における、映像通話画面の構成例を示した図である。
図５を参照すると、ユーザの第１電子機器１１０は、相手と映像通話が連結されると、リアルタイムでカメラが取得したユーザ映像５０１を相手の電子機器１２０に伝達すると同時に、相手の電子機器１２０から相手映像５０２を受信する。
第１電子機器１１０は、映像通話連結が維持されている間、ユーザ映像５０１と相手映像５０２で構成された映像通話画面５１０をディスプレイ上に表示してよい。例えば、第１電子機器１１０は、ローカル映像であるユーザ映像５０１を下端に配置し、相手映像５０２を上端に配置してよい。
相手の電子機器１２０も同様に、ユーザと相手との映像通話時に、ユーザ映像５０１をリアルタイムで受信し、ユーザ映像５０１と相手映像５０２で構成された映像通話画面５２０を表示する。
ユーザと相手との映像通話時に、それぞれの電子機器１１０、１２０では、ユーザまたは相手によって選択されたゲームコンテンツがローカルで同時に実行され、ゲーム中には、ユーザと相手の相互間でオブジェクト認識結果によるエフェクトが反映された映像をやり取りして映像通話画面を構成して表示する。
図６を参照すると、第１電子機器１１０は、ゲームコンテンツに対するモーションデータとしてユーザ映像５０１でオブジェクトを認識した後、オブジェクト認識結果に基づいて現在実行中であるゲームコンテンツのゲーム要素を制御するようになるが、このとき、オブジェクト認識結果に対応するエフェクトのテクスチャ６０をユーザ映像５０１に合成した合成映像６０１を映像通話画面５２０（即ち、相手の画面）に表示すると同時に、相手の電子機器１２０に伝達する。相手映像５０２の場合も同様に、相手の電子機器１２０で相手映像５０２のオブジェクト認識結果に対応するエフェクトのテクスチャが合成された映像を第１電子機器１１０に伝達する。
したがって、ユーザと相手の相互間でローカルによって実行中であるゲームコンテンツにしたがってオブジェクト認識結果によるエフェクトが実現された映像をやり取りしながら、映像通話環境で対戦ゲームを実現することができる。
一部のゲームコンテンツの場合、ゲームコンテンツに対するモーションデータとして、ローカル映像のオブジェクト認識結果ではなく、相手映像に対するユーザのジェスチャ情報を認識することも可能である。第１電子機器１１０は、相手映像５０２に対するユーザのジェスチャ情報（例えば、タッチ座標値など）を認識し、認識されたジェスチャ情報を相手の電子機器に伝達する。このとき、相手の電子機器では、第１電子機器１１０から送信されたユーザのジェスチャ情報をゲームコンテンツに対するモーションデータとして入力し、これに対応するエフェクトをゲーム要素に反映する。例えば、相手の顔を互いに攻撃するパンチゲームの場合、相手映像をタッチした座標値を相互に伝達し、相手から伝達された座標値にマッチングする位置に該当のエフェクトが反映された映像を通話映像としてやり取りしてよい。
図７および図８は、本発明の一実施形態における、映像通話環境で提供される対戦ゲームの一例を説明するための例示図である。
図７および図８は、映像通話環境で「口を大きく開けるゲーム」を進行する過程を示している。ユーザと相手との間に映像通話が連結されると、ゲームコンテンツが同時に実行されながら、ユーザ映像５０１と相手映像５０２で構成された映像通話画面上に「口を大きく開けるゲーム」のガイド情報７００が一定の時間だけ表示された後にゲームが始まる（図７（Ａ）画面）。第１電子機器１１０は、ユーザ映像５０１で顔認識によって口を開ける動作を認識し、認識結果によるエフェクトのテクスチャが合成された合成映像７０１を映像通話画面に表示して相手の電子機器に伝達する（図７（Ｂ）画面）。これと同様に、第１電子機器１１０は、相手の電子機器から相手映像５０２で口を開ける動作を認識した結果にしたがって該当のエフェクトが実現された合成映像７０２を受信し、映像通話画面に表示する。第１電子機器１１０は、ゲームが進行されている間、口を開ける動作を認識した結果によるゲーム進行状況の合成映像７０１、７０２を表示しながら、ゲーム進行状況に関する情報を相手とリアルタイムで共有する（図８（Ｃ）画面）。ゲームが終わると、第１電子機器１１０は、相手と共有した情報に基づいてユーザと相手の勝敗を決定し、勝敗情報８００を映像通話画面に表示する（図８（Ｄ）画面）。「口を大きく開けるゲーム」は、口を開ける動作によってミッションを実行することにより、通話映像で口を開ける動作を認識し、該当の動作に基づいて口の大きさを比べて勝敗を決定してよい。
図９および図１０は、本発明の一実施形態における、映像通話環境で提供される対戦ゲームの他の例を説明するための例示図である。
図９および図１０は、映像通話環境「とうもろこし早食いゲーム」を進行する過程を示している。ユーザと相手との間に映像通話が連結されると、ゲームコンテンツが同時に実行されながら、ユーザ映像５０１と相手映像５０２で構成された映像通話画面上に「とうもろこし早食いゲーム」のガイド情報９００が一定の時間だけ表示された後にゲームが始まる（図９（Ａ）画面）。第１電子機器１１０は、ユーザ映像５０１で顔認識によって口の開閉動作を認識し、認識結果によるエフェクトのテクスチャが合成された合成映像９０１を映像通話画面に表示して相手の電子機器に伝達する（図９（Ｂ）画面）。これと同じように、第１電子機器１１０は、相手の電子機器から相手映像５０２で口の開閉動作を認識した結果にしたがって該当のエフェクトが実現された合成映像９０２を受信し、映像通話画面に表示する。第１電子機器１１０は、ゲームが進行されている間、口の開閉動作を認識した結果によるゲーム進行状況の合成映像９０１、９０２を表示しながら、ゲーム進行状況に関する情報を相手とリアルタイムで共有する（図１０（Ｃ）画面）。ゲームが終わると、第１電子機器１１０は、相手と共有した情報に基づいてユーザと相手の勝敗を決定し、勝敗情報１０００を映像通話画面に表示する（図１０（Ｄ）画面）。「とうもろこし早食いゲーム」は、口を開け閉めし続ける動作によってミッションを実行することにより、通話映像から口の開閉動作を認識し、開閉動作の速度によって勝敗を決定してよい。
図１１および図１２は、本発明の一実施形態における、映像通話環境で提供される対戦ゲームのまた他の例を説明するための例示図である。
図１１および図１２は、映像通話環境で「バランスゲーム」を進行する過程を示している。ユーザと相手との間に映像通話が連結されると、ゲームコンテンツが同時に実行されながら、ユーザ映像５０１と相手映像５０２で構成された映像通話画面上に「バランスゲーム」のガイド情報１１００が一定の時間だけ表示された後にゲームが始まる（図１１（Ａ）画面）。第１電子機器１１０は、ユーザ映像５０１で顔認識によって顔の位置と傾きを認識し、認識結果によるエフェクトのテクスチャが合成された合成映像１１０１を映像通話画面に表示して相手の電子機器に伝達する（図１１（Ｂ）画面）。これと同じように、第１電子機器１１０は、相手の電子機器から相手映像５０２で顔の位置と傾きを認識した結果によって該当のエフェクトが実現された合成映像１１０２を受信し、映像通話画面に表示する。第１電子機器１１０は、ゲームが進行されている間、顔の位置と傾きを認識した結果によるゲーム進行状況の合成映像１１０１、１１０２を表示しながら、ゲーム進行状況に関する情報を相手とリアルタイムで共有する（図１２（Ｃ）画面）。ゲームが終わると、第１電子機器１１０は、相手と共有した情報に基づいてユーザと相手の勝敗を決定し、勝敗情報１２００を映像通話画面に表示する（図１２（Ｄ）画面）。「バランスゲーム」は、バランスを維持する動作によってミッションを実行することにより、通話映像で顔の位置と傾きを認識し、ゲームオブジェクトの均衡を維持する動作によって勝敗を決定してよい。
図１３および図１４は、本発明の一実施形態における、映像通話環境で提供される対戦ゲームのまた他の例を説明するための例示図である。
図１３および図１４は、映像通話環境で「スイーツ大食いゲーム」を進行する過程を示している。ユーザと相手との間に映像通話が連結されると、ゲームコンテンツが同時に実行されながら、ユーザ映像５０１と相手映像５０２で構成された映像通話画面上に「スイーツ大食いゲーム」のガイド情報１３００が一定の時間だけ表示された後にゲームが始まる（図１３（Ａ）画面）。第１電子機器１１０は、ユーザ映像５０１で顔認識によって口を開け閉めする動作を認識し、認識結果によるエフェクトのテクスチャが合成された合成映像１３０１を映像通話画面に表示して相手の電子機器に伝達する（図１３（Ｂ）画面）。これと同じように、第１電子機器１１０は、相手の電子機器から相手映像５０２で口を開け閉めする動作を認識した結果によって該当のエフェクトが実現された合成映像１３０２を受信し、映像通話画面に表示する。第１電子機器１１０は、ゲームが進行されている間、口を開け閉めする動作を認識した結果によるゲーム進行状況の合成映像１３０１、１３０２を表示しながら、ゲーム進行状況に関する情報を相手とリアルタイムで共有する（図１４（Ｃ）画面）。ゲームが終わると、第１電子機器１１０は、相手と共有した情報に基づいてユーザと相手の勝敗を決定し、勝敗情報１４００を映像通話画面に表示する（図１４（Ｄ）画面）。「スイーツ大食いゲーム」は、顔を動かしながら口を開け閉めする動作によってミッションを実行することにより、通話映像で顔の位置と口を開ける動作を認識し、該当の動作によるミッション実行結果に基づいて勝敗を決定してよい。
図１５および図１６は、本発明の一実施形態における、映像通話環境で提供される対戦ゲームのさらに他の例を説明するための例示図である。
図１５および図１６は、映像通話環境で「パンチゲーム」を進行する過程を示している。ユーザと相手との間に映像通話が連結されると、ゲームコンテンツが同時に実行されながら、ユーザ映像５０１と相手映像５０２で構成された映像通話画面上に「パンチゲーム」のガイド情報１５００が一定の時間だけ表示された後にゲームが始まる（図１５（Ａ）画面）。第１電子機器１１０は、ユーザによる相手映像５０２のタッチ座標を認識して相手の電子機器に伝達し、相手の電子機器から該当のタッチ座標にマッチングする位置の認識結果によるエフェクトのテクスチャが合成された合成映像１５０２を受信し、映像通話画面に表示する（図１５（Ｂ）画面）。これと同じように、第１電子機器１１０は、相手の電子機器から相手がユーザ映像５０１をタッチした座標を受信し、受信した座標にマッチングする位置の認識結果によって該当のエフェクトのテクスチャが合成された合成映像１５０１を映像通話画面に表示して相手の電子機器に伝達する。すなわち、お互いに相手映像をタッチした座標値を伝達し合い、相手から伝達された座標値にマッチングする位置にエフェクトが反映された映像を通話映像としてやり取りするのである。第１電子機器１１０は、ゲームが進行されている間、相手映像のタッチ動作を認識した結果によるゲーム進行状況の合成映像１５０１、１５０２を表示しながら、ゲーム進行状況に関する情報を相手とリアルタイムで共有する（図１６（Ｃ）画面）。ゲームが終わると、第１電子機器１１０は、相手と共有した情報に基づいてユーザと相手の勝敗を決定し、勝敗情報１６００を映像通話画面に表示する（図１６（Ｄ）画面）。「パンチゲーム」は、タッチ動作によってミッションを実行することにより、通話映像から相手の顔をタッチする動作を認識し、該当の動作の速度や回数などに応じて勝敗を決定してよい。
したがって、本発明の実施形態は、インターネット電話（ＶｏＩＰ）技術とオブジェクト認識技術を基盤とした対戦ゲームを提供することができる。
このように、本発明の実施形態によると、インターネット電話（ＶｏＩＰ）技術に基づき、通話映像に含まれたオブジェクト情報を基盤としたゲームを提供することにより、新たなゲーム環境と娯楽要素を提供することができる。また、本発明の実施形態によれば、映像通話環境において通話映像のオブジェクト認識結果によってゲーム要素を制御することにより、相手との通話を維持しながら、リアルタイムでゲームを楽しむことができる効果がある。
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）および前記ＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ格納媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータで読み取り可能な記録媒体に格納されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータで読み取り可能な媒体に記録されてよい。このとき、媒体は、コンピュータによって実行可能なプログラムを継続して格納するものであっても、実行またはダウンロードのために臨時格納するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよいが、あるコンピュータシステムに直接接続される媒体に限定されることはなく、ネットワーク上に分散存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含んでプログラム命令語が格納されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを流通するアプリストアやその他の多様なソフトウェアを供給あるいは流通するサイト、サーバなどで管理される記録媒体や格納媒体もこれに含まれる。
以上のように、実施形態を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。上記の実施形態では、ユーザと相手が１対１の通話を行う場合の例を説明してきたが、通話が１対１であることは本発明に必須ではない。３人以上のユーザが同時に通話映像をやり取りする場合にも本発明は適用可能である。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
１１０、１２０、１３０、１４０：電子機器
１５０、１６０：サーバ
１７０：ネットワーク

Claims (17)

  1. コンピュータによって実現される電子機器におけるゲーム提供方法であって、
    インターネット電話チャネルを介して前記電子機器のユーザと相手との間に映像通話が連結されると、ユーザ映像と相手映像とを含む映像通話画面においてゲームコンテンツを実行する段階、
    前記映像通話画面の中で前記ゲームコンテンツに対応するオブジェクトを認識する段階、および
    前記オブジェクトの認識結果を前記ゲームコンテンツに対するモーションデータとしてゲームの進行に合わせて前記ユーザに出力することにより、前記ゲームコンテンツにおけるゲーム要素を制御する段階
    を含み、前記認識する段階において、前記相手の電子機器から前記相手のジェスチャ情報を受信し、前記ユーザの映像の中で前記相手のジェスチャ情報にマッチングする位置を認識し、前記制御する段階において、前記ユーザの映像の中で前記相手のジェスチャ情報にマッチングする位置に、エフェクトが反映された映像を、前記ユーザ映像として前記映像通話画面で表示すると同時に、前記ユーザのジェスチャ情報を前記相手の電子機器に伝達し、
    前記ユーザのジェスチャ情報は、前記ユーザの電子機器で表示される前記相手映像に対して前記ユーザがタッチした座標を含み、前記相手のジェスチャ情報は、前記相手の電子機器で表示される前記ユーザ映像に対して前記相手がタッチした座標を含む、ゲーム提供方法。
  2. 前記制御する段階は、
    前記オブジェクトの認識結果によるエフェクトのテクスチャを前記映像通話に合成して表示する段階
    を含む、請求項１に記載のゲーム提供方法。
  3. 前記認識する段階は、
    顔認識技術を利用して前記ユーザ映像から前記ユーザの顔を認識する段階
    を含む、請求項１に記載のゲーム提供方法。
  4. 前記制御する段階は、
    前記ユーザの顔の認識結果によるエフェクトが反映されたユーザ映像を表示すると同時に、前記相手の電子機器に伝達する段階
    を含む、請求項３に記載のゲーム提供方法。
  5. 前記制御する段階は、
    前記映像通話が連結されると、ユーザ映像と相手映像とをリアルタイムでやり取りし、前記ユーザ映像と前記相手映像とを含む映像通話画面を表示する段階
    を含み、
    前記制御する段階は、
    前記ユーザの顔の認識結果によるエフェクトが反映されたユーザ映像を表示すると同時に、前記相手の電子機器に伝達する段階、および
    前記相手の電子機器から前記相手の顔の認識結果によるエフェクトが反映された相手映像を受信して表示する段階
    を含む、請求項１に記載のゲーム提供方法。
  6. 前記制御する段階は、
    前記オブジェクトの認識結果によるゲーム進行状況に関する情報を前記相手の電子機器と共有する段階、および
    前記共有された情報に基づいて前記ユーザと前記相手の勝敗を決定して前記映像通話画面に表示する段階
    を含む、請求項１に記載のゲーム提供方法。
  7. 前記制御する段階は、
    前記ユーザのアカウントと前記相手のアカウントの間に設定された通信セッションに対応するメッセンジャーチャットルームで、前記ユーザまたは前記相手によって前記ゲームコンテンツが選択されると、前記映像通話を連結して前記映像通話画面において前記ゲームコンテンツを実行すること
    を特徴とする、請求項１に記載のゲーム提供方法。
  8. 前記制御する段階は、
    前記ユーザと前記相手との間に前記映像通話が連結されている状態で、前記ユーザまたは前記相手によって選択されたゲームコンテンツを実行すること
    を特徴とする、請求項１に記載のゲーム提供方法。
  9. 前記認識する段階は、
    前記オブジェクトの認識結果と共に、前記ユーザの音声情報を、前記ゲームコンテンツに対するモーションデータとして認識する段階
    を含む、請求項１に記載のゲーム提供方法。
  10. 請求項１～９のうちのいずれか一項に記載のゲーム提供方法をゲーム提供システムのコンピュータに実行させるコンピュータプログラム。
  11. 請求項１～９のうちのいずれか一項に記載のゲーム提供方法をゲーム提供システムのコンピュータに実行させるコンピュータプログラムを記録する、コンピュータで読み取り可能な記録媒体。
  12. コンピュータによって実現される電子機器におけるゲーム提供システムであって、
    コンピュータで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサ
    を含み、
    前記少なくとも１つのプロセッサは、
    インターネット電話チャネルを介して前記電子機器のユーザと相手との間に映像通話が連結されると、ユーザ映像と相手映像とを含む映像通話画面においてゲームコンテンツを実行する過程、
    映像通話画面の中で前記ゲームコンテンツに対応するオブジェクトを認識する過程、および
    オブジェクトの認識結果を前記ゲームコンテンツに対するモーションデータとしてゲームの進行に合わせて前記ユーザに出力することにより、前記ゲームコンテンツにおけるゲーム要素を制御する過程
    を処理し、前記認識する過程において、前記相手の電子機器から前記相手のジェスチャ情報を受信し、前記ユーザの映像の中で前記相手のジェスチャ情報にマッチングする位置を認識し、前記制御する過程において、前記ユーザの映像の中で前記相手のジェスチャ情報にマッチングする位置に、エフェクトが反映された映像を、前記ユーザ映像として前記映像通話画面で表示すると同時に、前記ユーザのジェスチャ情報を前記相手の電子機器に伝達し、
    前記ユーザのジェスチャ情報は、前記ユーザの電子機器で表示される前記相手映像に対して前記ユーザがタッチした座標を含み、前記相手のジェスチャ情報は、前記相手の電子機器で表示される前記ユーザ映像に対して前記相手がタッチした座標を含む、ゲーム提供システム。
  13. 前記制御する過程は、
    前記オブジェクトの認識結果によるエフェクトのテクスチャを前記映像通話に合成して表示すること
    を特徴とする、請求項１２に記載のゲーム提供システム。
  14. 前記制御する過程は、
    前記映像通話が連結されると、ユーザ映像と相手映像とをリアルタイムでやり取りし、前記ユーザ映像と前記相手映像とを含む映像通話画面を表示し、
    前記制御する過程は、
    前記ユーザの顔の認識結果によるエフェクトが反映されたユーザ映像を表示すると同時に、前記相手の電子機器に伝達し、
    前記相手の電子機器から前記相手の顔の認識結果によるエフェクトが反映された相手映像を受信して表示すること
    を特徴とする、請求項１２に記載のゲーム提供システム。
  15. 前記認識する過程は、
    顔認識技術を利用して前記ユーザ映像から前記ユーザの顔を認識し、
    前記制御する過程は、
    前記ユーザの顔の認識結果によるエフェクトが反映されたユーザ映像を表示すると同時に、前記相手の電子機器に伝達すること
    を特徴とする、請求項１２に記載のゲーム提供システム。
  16. 前記制御する過程は、
    前記オブジェクトの認識結果によるゲーム進行状況に関する情報を前記相手の電子機器と共有し、
    前記共有された情報に基づいて前記ユーザと前記相手の勝敗を決定して前記映像通話画面に表示すること
    を特徴とする、請求項１２に記載のゲーム提供システム。
  17. 前記制御する過程は、
    前記ユーザのアカウントと前記相手のアカウントとの間に設定された通信セッションに対応するメッセンジャーチャットルームで、前記ユーザまたは前記相手によって前記ゲームコンテンツが選択されると、前記映像通話を連結して前記映像通話画面において前記ゲームコンテンツを実行すること
    を特徴とする、請求項１２に記載のゲーム提供システム。
JP2018145866A 2017-09-07 2018-08-02 映像通話およびオブジェクト認識を基盤としたゲーム提供方法およびシステム Active JP7431497B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0114552 2017-09-07
KR1020170114552A KR101961241B1 (ko) 2017-09-07 2017-09-07 영상 통화 및 객체 인식을 바탕으로 한 게임 제공 방법 및 그 시스템

Publications (2)

Publication Number Publication Date
JP2019048043A JP2019048043A (ja) 2019-03-28
JP7431497B2 true JP7431497B2 (ja) 2024-02-15

Family

ID=65517082

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018145866A Active JP7431497B2 (ja) 2017-09-07 2018-08-02 映像通話およびオブジェクト認識を基盤としたゲーム提供方法およびシステム

Country Status (4)

Country Link
US (1) US11465044B2 (ja)
JP (1) JP7431497B2 (ja)
KR (1) KR101961241B1 (ja)
CN (1) CN109474856A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109936774A (zh) * 2019-03-29 2019-06-25 广州虎牙信息科技有限公司 虚拟形象控制方法、装置及电子设备
JP7248484B2 (ja) 2019-04-03 2023-03-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システムおよびアプリケーション画面表示方法
CN112396676B (zh) 2019-08-16 2024-04-02 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN111414892B (zh) * 2020-04-09 2023-05-12 上海盛付通电子支付服务有限公司 直播中的信息发送方法
CN112153405A (zh) * 2020-09-25 2020-12-29 北京字节跳动网络技术有限公司 游戏直播互动方法及装置
CN115888072A (zh) * 2021-08-04 2023-04-04 北京字跳网络技术有限公司 视频交互方法及设备

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999060522A1 (en) 1998-05-19 1999-11-25 Sony Computer Entertainment Inc. Image processing apparatus and method, and providing medium
JP2000061145A (ja) 1998-08-25 2000-02-29 Namco Ltd ゲーム装置及び情報記憶媒体
JP2003244425A (ja) 2001-12-04 2003-08-29 Fuji Photo Film Co Ltd 伝送画像の修飾パターンの登録方法および装置ならびに再生方法および装置
US20090202114A1 (en) 2008-02-13 2009-08-13 Sebastien Morin Live-Action Image Capture
US20100062847A1 (en) 2008-09-09 2010-03-11 Skype Limited Electronic gaming system and method
JP2010142592A (ja) 2008-12-22 2010-07-01 Nintendo Co Ltd ゲームプログラムおよびゲーム装置
US20100184517A1 (en) 2000-02-29 2010-07-22 Microsoft Corporation Use of online messaging to facilitate selection of participants in game play
JP2013214283A (ja) 2012-03-30 2013-10-17 Nhn Corp メッセンジャープラットフォームでアバタ／ゲーム／エンターテイメント機能を提供するシステムおよび方法
US20150091891A1 (en) 2013-09-30 2015-04-02 Dumedia, Inc. System and method for non-holographic teleportation
JP2015230684A (ja) 2014-06-06 2015-12-21 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法及び画像処理プログラム
JP2016046538A (ja) 2014-08-19 2016-04-04 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、制御データ送信方法および情報処理システム
JP2016163131A (ja) 2015-02-27 2016-09-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像データ配信方法
JP2016083225A5 (ja) 2014-10-27 2016-12-28
JP2017112609A (ja) 2015-12-15 2017-06-22 Ｌｉｎｅ株式会社 視覚的または聴覚的効果の双方向伝達を利用した映像通話方法およびシステム
JP2017188833A (ja) 2016-04-08 2017-10-12 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100401262B1 (ko) 2001-05-08 2003-10-17 에스케이 텔레콤주식회사 이동전화망에서의 화상전화 서비스 제공 장치 및 그 방법
US8587667B2 (en) * 2007-07-09 2013-11-19 International Business Machines Corporation Beyond field-of-view tracked object positional indicators for television event directors and camera operators
KR20090084229A (ko) * 2008-01-31 2009-08-05 주식회사 케이티프리텔 영상 통화 게임 시스템, 영상 게임 서버 및 영상 게임 제공방법
CN201750430U (zh) 2010-06-30 2011-02-16 山东盛华视讯信息有限公司 一种家庭多媒体***
KR20120120858A (ko) * 2011-04-25 2012-11-02 강준규 영상통화 서비스 및 그 제공방법, 이를 위한 영상통화서비스 제공서버 및 제공단말기
US20120284758A1 (en) 2011-05-06 2012-11-08 Eric Adjesson System to enhance television viewing by merging television and the internet
CN103218843A (zh) * 2013-03-15 2013-07-24 苏州跨界软件科技有限公司 虚拟人物通讯***和方法
JP6396171B2 (ja) * 2014-10-27 2018-09-26 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999060522A1 (en) 1998-05-19 1999-11-25 Sony Computer Entertainment Inc. Image processing apparatus and method, and providing medium
JP2000061145A (ja) 1998-08-25 2000-02-29 Namco Ltd ゲーム装置及び情報記憶媒体
US20100184517A1 (en) 2000-02-29 2010-07-22 Microsoft Corporation Use of online messaging to facilitate selection of participants in game play
JP2003244425A (ja) 2001-12-04 2003-08-29 Fuji Photo Film Co Ltd 伝送画像の修飾パターンの登録方法および装置ならびに再生方法および装置
US20090202114A1 (en) 2008-02-13 2009-08-13 Sebastien Morin Live-Action Image Capture
US20100062847A1 (en) 2008-09-09 2010-03-11 Skype Limited Electronic gaming system and method
JP2010142592A (ja) 2008-12-22 2010-07-01 Nintendo Co Ltd ゲームプログラムおよびゲーム装置
JP2013214283A (ja) 2012-03-30 2013-10-17 Nhn Corp メッセンジャープラットフォームでアバタ／ゲーム／エンターテイメント機能を提供するシステムおよび方法
US20150091891A1 (en) 2013-09-30 2015-04-02 Dumedia, Inc. System and method for non-holographic teleportation
JP2015230684A (ja) 2014-06-06 2015-12-21 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法及び画像処理プログラム
JP2016046538A (ja) 2014-08-19 2016-04-04 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、制御データ送信方法および情報処理システム
JP2016083225A5 (ja) 2014-10-27 2016-12-28
JP2016163131A (ja) 2015-02-27 2016-09-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像データ配信方法
JP2017112609A (ja) 2015-12-15 2017-06-22 Ｌｉｎｅ株式会社 視覚的または聴覚的効果の双方向伝達を利用した映像通話方法およびシステム
JP2017188833A (ja) 2016-04-08 2017-10-12 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
JP2019048043A (ja) 2019-03-28
CN109474856A (zh) 2019-03-15
KR101961241B1 (ko) 2019-03-22
US20190070500A1 (en) 2019-03-07
US11465044B2 (en) 2022-10-11
KR20190027587A (ko) 2019-03-15

Similar Documents

Publication Publication Date Title
JP7431497B2 (ja) 映像通話およびオブジェクト認識を基盤としたゲーム提供方法およびシステム
US11394760B2 (en) Independent control of interactive streaming media
US10039988B2 (en) Persistent customized social media environment
US11724204B2 (en) In-game location based game play companion application
US10953318B2 (en) Enriching multiplayer electronic game sessions
JP2019516420A (ja) ゲームセッションへの参加を容易にするための方法およびシステム
CN111888759A (zh) 一种游戏技能释放方法、数据处理方法及装置
JP2016526929A (ja) 情報処理装置、制御方法及びプログラム
JP2019079510A (ja) 生放送中の音声フィードバックのための方法とシステム、および非一時的コンピュータ読取可能な記録媒体
KR20210102698A (ko) 영상 통화 봇을 이용한 커뮤니케이션을 제공하는 방법, 시스템, 및 컴퓨터 프로그램
US20220300144A1 (en) Method, system, and non-transitory computer readable record medium for providing chatroom in 3d form
US20100062847A1 (en) Electronic gaming system and method
KR20190107535A (ko) 게임 리플레이 방법 및 시스템
KR20230098114A (ko) 위치 기반 아바타 메신저 서비스 제공 방법 및 장치
JP2023527624A (ja) コンピュータプログラムおよびアバター表現方法
US20220254082A1 (en) Method of character animation based on extraction of triggers from an av stream
JP2022097475A (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
KR102219028B1 (ko) 과거 게임 데이터를 이용한 게임 제공 방법 및 그 시스템

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210414

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20210412

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230612

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230808

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20231027

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20231106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231108

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240202

R150 Certificate of patent or registration of utility model

Ref document number: 7431497

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150