JP2019080920A - 音声情報を補償する視覚的表示方法及び装置、記録媒体、プログラム、電子機器 - Google Patents

音声情報を補償する視覚的表示方法及び装置、記録媒体、プログラム、電子機器 Download PDF

Info

Publication number
JP2019080920A
JP2019080920A JP2018200242A JP2018200242A JP2019080920A JP 2019080920 A JP2019080920 A JP 2019080920A JP 2018200242 A JP2018200242 A JP 2018200242A JP 2018200242 A JP2018200242 A JP 2018200242A JP 2019080920 A JP2019080920 A JP 2019080920A
Authority
JP
Japan
Prior art keywords
voice
graphical
graphical identifier
virtual object
sound source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018200242A
Other languages
English (en)
Inventor
シュエメイ リー，
Xue Mei Li
シュエメイ リー，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Publication of JP2019080920A publication Critical patent/JP2019080920A/ja
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5378—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for displaying an additional top view, e.g. radar screens or maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stereophonic System (AREA)

Abstract

【課題】音声情報を補償する視覚的表示方法及び装置、記録媒体、プログラム、電子機器を提供する。【解決手段】グラフィカルユーザインターフェースにサムネイル地図を提供し、サムネイル地図上にゲームシーンにおける仮想オブジェクトの現在位置及び向きを示すための第１のグラフィカル識別子をレンダリングするステップＳ１と、ゲームシーンにおける第１の予定範囲内の音声を検知し、ゲームシーンにおける第１の予定範囲内の音声が検知された場合、音声の音源の方位情報を取得するステップＳ２と、音声の音源の方位情報に基づき、前記サムネイル地図上の該当位置に音声に対応する第２のグラフィカル識別子を生成するステップＳ３と、を含む。本発明によれば、ユーザは騒がしい環境で音声の種類、音声の音源の仮想オブジェクトに対する距離及び方位を認識でき、ユーザ経験が良い。【選択図】図１

Description

本発明は、ヒューマンコンピュータインタラクション技術分野に関し、特に音声情報を補償する視覚的表示方法及び装置、記録媒体、プログラム、電子機器に関する。
従来のＰＣ側ゲームでは、ユーザは、ゲーム中の音声の種類を判断し、左右チャネルの音効果により、ユーザが制御する仮想オブジェクトに対する音源の相対的な方位を判断でき、例えば、足音の変化規則により敵の移動方向を判断でき、さらに、例えば、銃声により危険源を判断できる。したがって、従来のＰＣ側ゲームでは、ユーザは、ゲーム中の音に基づいて、ユーザが制御する仮想オブジェクトが位置する環境を迅速に判断し、迅速に対応することができる。さらに、従来のＰＣ側のアプリケーション環境が良好であるため、音響効果のよいイヤホーンやオーディオと組み合わせると、没入感が容易に中断されず、ユーザにより良い経験をもたらす。
現在、ハンドヘルド端末の普及に伴い、ゲームもますますハンドヘルド端末で応用されている。しかしながら、従来のＰＣ側と比較して、ハンドヘルド端末のアプリケーション環境は比較的広く、ハンドヘルド端末が騒がしい環境で使用される場合、ユーザは、ゲーム中の音によりユーザが制御する仮想オブジェクトが位置する環境を判断することが困難であり、且つ没入感が容易に中断され、また、ほとんどのハンドヘルド端末は、左右チャネルを介して音源の方向をうまく表現できない。
なお、上記の背景技術の部分に開示された情報は、単なる本発明の背景に対する理解を深めるためのもので、当業者に知られている従来技術を構成しない情報を含んでもよい。
本発明の目的は、音声情報を補償する視覚的表示方法及び装置、記録媒体、プログラム、電子機器を提供して、少なくとも関連技術の制限及び欠陥による１つ又は複数の問題をある程度克服することにある。
本発明の一態様によれば、グラフィカルユーザインターフェースを提示することができるタッチ端末に適用される音声情報を補償する視覚的表示方法が提供され、前記グラフィカルユーザインターフェースは、少なくとも、ゲームシーンと、仮想オブジェクトとを部分的に含み、前記方法は、前記グラフィカルユーザインターフェースにサムネイル地図を提供し、前記サムネイル地図上に前記ゲームシーンにおける前記仮想オブジェクトの現在位置及び向きを示すための第１のグラフィカル識別子をレンダリングするステップと、前記ゲームシーンにおける第１の予定範囲内の音声を検知し、前記ゲームシーンにおける第１の予定範囲内の音声が検知された場合、前記音声の音源の方位情報を取得するステップと、前記音声の音源の方位情報に基づき、前記サムネイル地図上の該当位置に前記音声に対応する第２のグラフィカル識別子を生成するステップと、を含む。
好ましくは、前記音声の音源の方位情報に基づき、前記サムネイル地図上の該当位置に前記音声に対応する第２のグラフィカル識別子を生成するステップは、前記方位情報に基づき、前記音源の前記仮想オブジェクトに対する相対的な方位情報を決定するステップと、前記相対的な方位情報に基づき、前記第１のグラフィカル識別子の対応する相対的な方位に前記第２のグラフィカル識別子を表示するステップと、を含む。
好ましくは、前記相対的な方位情報に基づき、前記第１のグラフィカル識別子の対応する相対的な方位に前記第２のグラフィカル識別子を表示するステップは、前記第１のグラフィカル識別子を中心とした環状領域を設定し、前記相対的な方位情報に基づき、前記環状領域の対応する位置に前記第２のグラフィカル識別子を表示するステップを含む。
好ましくは、前記第１の予定範囲は、前記ゲームシーンにおける前記仮想オブジェクトの現在位置に応じて決定した領域範囲である。
好ましくは、前記方法は、前記音声の音源の状態及び／又は前記仮想オブジェクトに対する距離を取得し、前記状態及び／又は距離に基づいて対応する前記第２のグラフィカル識別子の表示形態を制御するステップをさらに含む。
好ましくは、前記状態及び／又は前記距離に基づいて対応する前記第２のグラフィカル識別子の表示形態を制御するステップは、前記状態及び／又は距離に基づいて対応する前記第２のグラフィカル識別子のサイズ、色、輝度、透明度、動的効果のうちの少なくとも１つを制御するステップを含む。
好ましくは、前記方法は、前記音声の種類を取得し、前記音声の種類に基づき、予定の表意グラフィカルにおいて対応する表意グラフィカルを選択して、前記音声に対応する前記第２のグラフィカル識別子とするステップをさらに含む。
好ましくは、前記方位情報は、前記音源の前記仮想オブジェクトに対する相対的な方位及び／又は前記ゲームシーンにおける前記音源の方位を含む。
好ましくは、前記方法は、前記サムネイル地図上に前記仮想オブジェクトの視野範囲を示すための第３のグラフィカル識別子を提供するステップをさらに含む。
好ましくは、前記方法は、前記音声が発生されてからの時間を記録するためのタイマーを設定し、前記時間が予定時間閾値を超えているか否かを判定し、超えていない場合に、前記音声に対応する前記第２のグラフィカル識別子を表示するステップをさらに含む。
好ましくは、前記方法は、同じ方位に位置し、且ついずれも前記予定時間閾値を超えていない複数の前記音声が検知された場合、最も遅く発生された前記音声に対応する前記第２のグラフィカル識別子を表示するステップをさらに含む。
本発明によれば、グラフィカルユーザインターフェースを提示することができるタッチ端末に適用される音声情報を補償する視覚的表示装置がさらに提供され、前記グラフィカルユーザインターフェースは、少なくとも、ゲームシーンと、仮想オブジェクトとを部分的に含み、前記装置は、前記グラフィカルユーザインターフェースにサムネイル地図を提供し、前記サムネイル地図上に前記ゲームシーンにおける前記仮想オブジェクトの現在位置及び向きを示すための第１のグラフィカル識別子をレンダリングするレンダリングモジュールと、前記ゲームシーンにおける第１の予定範囲内の音声を検知し、前記ゲームシーンにおける第１の予定範囲内の音声が検知された場合、前記音声の音源の方位情報を取得する検知取得モジュールと、前記音声の音源の方位情報に基づき、前記サムネイル地図上の該当位置に前記音声に対応する第２のグラフィカル識別子を生成する制御モジュールと、を備える。
本発明によれば、プロセッサに実行されることにより、前述したいずれか１態様に記載の音声情報を補償する視覚的表示方法を実現するコンピュータプログラムを提供する。本発明によれば、前述したコンピュータプログラムが記憶されたコンピュータ読取り可能な記憶媒体を提供する。
本発明によれば、電子機器がさらに提供され、前記機器は、プロセッサーと、前記プロセッサーの実行可能な命令を記憶するためのメモリと、を備え、ここで、前記プロセッサーは、前記実行可能な命令を実行することで、前述したいずれか１態様に記載の音声情報を補償する視覚的表示方法を実行するように構成される。
本発明の一例示的な実施例に提供された音声情報を補償する視覚的表示方法及び装置、記録媒体、電子機器によれば、グラフィカルユーザインターフェースにサムネイル地図を提供し、ゲームシーンにおける仮想オブジェクトの現在位置及び向き、及び検知された音声の音源の方位情報を、グラフィカル識別子を介してサムネイル地図上の該当位置に示すことで、ユーザがゲーム音をオフにした場合、又は、騒がしい環境である場合、又は、機器に左右チャネルを介して音源方向を表現する条件が不足である場合、サムネイル地図上の該当グラフィカル識別子の視覚的表示により、音源の方向を補償して表現する。
なお、前記一般的な記載及び後述の詳細な記載は、単なる例示の解釈的な記載であり、本発明を限定しない。
本発明の上記及び他の特徴及び利点は、図面を参照しながらその例示的な実施例を詳細に説明することにより、より明らかになるであろう。なお、以下の記載における図面は本発明の一部の実施例に過ぎず、当業者の場合、創造的な労働を付与しない前提で、これらの図面によって他の図面を得ることができる。
本発明の音声情報を補償する視覚的表示方法のフローチャートである。 本発明の音声情報を補償する視覚的表示方法に係るグラフィカルユーザインターフェースの模式図である。 本発明の一例示的な実施例における方位識別子の模式図である。 本発明の一例示的な実施例における第２のグラフィカル識別子及び関連コンポーネントの模式図である。 本発明の別の例示的な実施例における仮想オブジェクトの位置移動前の第２のグラフィカル識別子及び関連コンポーネントの模式図である。 本発明の別の例示的な実施例における仮想オブジェクトの位置移動後の第２のグラフィカル識別子及び関連コンポーネントの模式図である。 本発明の別の例示的な実施例における環状領域及び関連コンポーネントの模式図である。 本発明の別の例示的な実施例における第２のグラフィカル識別子及び関連コンポーネントの模式図である。 本発明の別の例示的な実施例における第３のグラフィカル識別子及び関連コンポーネントの模式図である。 本発明の別の例示的な実施例における第２のグラフィカル識別子及び関連コンポーネントの模式図である。
以下、図面を参照して、例示的な実施例について詳細に説明する。なお、例示的な実施例は様々な形態で実施されることができ、本発明は、ここで説明される実施例に限定されるものではないことを理解すべきである。逆に、これらの実施例を提供することによって、本開示はより具体的な統合性を有するとともに例示的な実施例の構想を全面的に当業者に伝えることができる。図面において、同じ符号は、同一又は類似の部分を示しているため、重複する説明を省略する。
また、説明する特徴、構造また特性は、任意の適切な方法で、一つ又は複数の実施形態に組み合わせることができる。以下、多くの具体的な詳細を提供して、本発明の実施例を十分に理解させる。なお、本発明の技術案における特定の詳細の中の一つ又は複数を省略しても、或いは、他の方法、構成、材料、装置、ステップなどを採用しても、本発明の技術案が実践できることは、当業者であれば理解し得ることである。また、本発明が不明瞭となることを避けるために、周知の構造、方法、装置、実現、材料、又は操作については、詳細に図示又は説明しない。
図面に示すブロック図は、単なる機能エンティティであり、必ずしも物理的に独立したエンティティに対応する必要はない。即ち、ソフトウェアの形式でこれらの機能エンティティを実現でき、又は１つ又は複数のソフトウェアをハードウェア化したモジュールにおいてこれらの機能エンティティ又は機能エンティティの一部を実現でき、又は異なるネットワーク及び／又はプロセッサー装置及び／又はマイクロコントローラー装置においてこれらの機能エンティティを実現できる。
この例示的な実施例では、まず、グラフィカルユーザインターフェースを提示することができるタッチ端末に適用される音声情報を補償する視覚的表示方法が開示され、前記グラフィカルユーザインターフェースは、少なくとも、ゲームシーンと、仮想オブジェクトとを部分的に含む。このタッチ端末は、例えば、携帯電話、タブレットＰＣ、ゲーム機、ＰＤＡ等のようなタッチスクリーンを備える様々な電子機器であってもよい。ゲームアプリケーションは、タッチ端末のアプリケーションプログラムインターフェースを介して、タッチ端末のタッチスクリーンが仮想オブジェクト、及び仮想ジョイスティックを含む仮想ジョイスティック領域、仮想戦闘シーン、仮想自然環境等を提示するように制御できる。前記グラフィカルユーザインターフェースは、タッチスクリーンの全体領域であってもよいが、タッチスクリーンの一部領域であってもよく、この例示的な実施例では、これを特に限定しない。前記仮想オブジェクトとは、ユーザが操作するゲームキャラクタであり、前記ゲームキャラクタの一部又は全体の形式でグラフィカルユーザインターフェースに表示される。例えば、１人称視点では、グラフィカルユーザインターフェースのコンテンツはユーザのマスタ視点で提示され、ユーザの没入経験が増強され、インターフェースにはゲームキャラクタの手や足のような局所しか見えない。３人称視点では、ゲームキャラクタ全体をグラフィカルユーザインターフェースに提示することができ、ユーザによる操作難易度及び眩惑を低下し、且つ画面のアクション感覚をさらに強調でき、具体的に如何に表示するかは、開発者がゲームのコンテンツに応じて選択してもよく、本発明はこれらに限定されない。図１に示すように、前記音声情報を補償する視覚的表示方法は、下記のステップを含んでもよい。
ステップＳ１：前記グラフィカルユーザインターフェースにサムネイル地図を提供し、前記サムネイル地図上に前記ゲームシーンにおける前記仮想オブジェクトの現在位置及び向きを示すための第１のグラフィカル識別子をレンダリングする。
ステップＳ２：前記ゲームシーンにおける第１の予定範囲内の音声を検知し、前記ゲームシーンにおける第１の予定範囲内の音声が検知された場合、前記音声の音源の方位情報を取得する。
ステップＳ３：前記音声の音源の方位情報に基づき、前記サムネイル地図上の該当位置に前記音声に対応する第２のグラフィカル識別子を生成する。
グラフィカルユーザインターフェースにサムネイル地図を提供し、ゲームシーンにおける仮想オブジェクトの現在位置及び向き、及び検知された音声の音源の方位情報を、グラフィカル識別子を介してサムネイル地図上の該当位置に示すことで、ユーザがゲーム音をオフにした場合、又は、騒がしい環境である場合、又は、機器に左右チャネルを介して音源方向を表現する条件が不足である場合、サムネイル地図上の該当グラフィカル識別子の視覚的表示により、音源の方向を補償して表現する。
以下、図１〜６を参照しながら、この例示的な実施例における音声情報を補償する視覚的表示方法をさらに説明する。
ステップＳ１において、前記グラフィカルユーザインターフェースにサムネイル地図を提供し、前記サムネイル地図上に前記ゲームシーンにおける前記仮想オブジェクトの現在位置及び向きを示すための第１のグラフィカル識別子をレンダリングする。
図２に示す実施例では、グラフィカルユーザインターフェースに仮想オブジェクト５０の移動を制御するための移動操作領域２０と、スキルの放出を制御するためのスキルコントロール１０と、が含まれており、本実施例では、グラフィカルユーザインターフェースにおいてサムネイル地図３０を追加して提供し、サムネイル地図上に第１のグラフィカル識別子６０をレンダリングしており、前記第１のグラフィカル識別子６０は、ゲームシーンにおける仮想オブジェクト５０の現在位置及び向きを示すためのものであり、図面に示すように、第１のグラフィカル識別子６０が３時方向を指し、即ち、現在の向きが東である。前記第１のグラフィカル識別子６０として、三角形、矢印又は他の好適なグラフィカルパターンを使用でき、本発明ではこれを限定しない。
好ましくは、図３に示すように、前記サムネイル地図において文字の形式（例えば、東、西、南、北）及び／又は方位目盛（３０°、６０°、１２０°等）でゲームシーンの各方位を示すことができる。これらの方位識別子により、ユーザに現在の大まかな向きを提示でき、移動端末のスクリーン空間の局限性により、サムネイル地図上に０〜３６０度のすべての角度の範囲を展示することが困難である場合は、重視している一部目盛領域の詳細のみスクリーン上に表示し、他の部分目盛領域については、方位の説明により概略的に展示できる。
ステップＳ２において、前記ゲームシーンにおける第１の予定範囲内の音声を検知し、前記ゲームシーンにおける第１の予定範囲内の音声が検知された場合、前記音声の音源の方位情報を取得する。
この例示的な実施例では、前記第１の予定範囲のサイズは、開発者によりゲームコンテンツに応じて設定でき、好ましくは、前記第１の予定範囲は、前記ゲームシーンにおける前記仮想オブジェクトの現在位置に応じて決定された領域範囲であり、例えば、前記第１の予定範囲は、仮想キャラクタの聴覚範囲に応じて決定された範囲であってもよいが、ゲームシーンの全体領域又はグラフィカルユーザインターフェースに表示されたゲームシーンの領域等であってもよく、もちろん、開発者は、またゲームの必要に応じて第１の予定範囲の選定規則を設定でき、例えば、予定距離範囲内で吸音障害物により完全に遮断されていない領域等のような多重条件を使用できる。
検知モジュールにより第１の予定範囲内の音声を予定周期で検知でき、前記予定周期は、開発者により自ら設定されてもよいが、検知の精度を確保するために、前記予定周期は過大に設定されてはいけない。
好ましい実施例では、さらに多くの補償を提供してさらに多くの情報を表示するために、方位情報の他に、また、前記音声の種類、前記音源の仮想オブジェクトに対する距離等のデータを同時に取得でき、これにより、音声種類取得モジュールにより前記音声の種類を取得でき、ここで、前記音声の種類は、足音、会話音、ドア開音、銃声、戦闘音等であってもよく、この例示的な実施例では、これを特に限定しない。仮想オブジェクトの座標及び音声の音源の座標を取得し、前記仮想オブジェクトの座標及び音声の音源の座標に基づいて音声の音源の仮想オブジェクトに対する距離及び方位を算出できる。
ステップＳ３において、前記方位情報に基づき、前記サムネイル地図上の該当位置に前記音声に対応するグラフィカル識別子を生成する。
音声が検知された場合に、前記音声の音源の方位情報を取得し、この方位情報は、音源の仮想オブジェクトに対する相対的な方位であってもよいが、前記ゲームシーンにおける音源の方位であってもよく、又は両者を同時に取得してもよい。開発者は、ゲームの具体的な必要に応じて決定でき、一方では、ゲームにおいて表示する必要がある情報に応じて選択でき、例えば、音源の仮想オブジェクトに対する相対的な方位のみ表記する必要がある場合に、相対的な方位を選択でき、反対な場合、ゲームシーンにおける音源の方位を得ることができる。また一方では、ゲームエンジンからデータを取得する利便性に応じて選択でき、相対的な方位を得ることがより便利である場合に、相対的な方位を使用できる。また、音源と仮想オブジェクトとは往々にして同じ座標系に位置するため、相対的な方位及びシーンにおける音源の方位は互いに換算でき、開発者がそのうちの１つを取得し、換算により別のデータを得ることもできる。音源の方位は、また、音源の座標情報に基づいて算出されることができ、開発者は、座標情報を取得してから算出することで方位情報を得ることができる。
好ましい実施例では、ステップＳ３における前記音声の音源の方位情報に基づき、前記サムネイル地図上の該当位置に前記音声に対応する第２のグラフィカル識別子を生成するステップは、前記方位情報に基づき、前記音源の前記仮想オブジェクトに対する相対的な方位情報を決定するステップと、前記相対的な方位情報に基づき、前記第１のグラフィカル識別子の対応する相対的な方位に前記第２のグラフィカル識別子を表示するステップと、を含む。
図４に示すように、ユーザに音声情報を補償して表示するために、本実施例では、サムネイル地図３０上に第１のグラフィカル識別子６０をレンダリングすることで、第１のグラフィカル識別子６０の向きに基づき、ゲームシーンにおける仮想オブジェクトの向きが真北であることを知ることができ、また、予定範囲内で２つの音声を検知し、２つの音声の音源の前記仮想オブジェクトに対する相対的な方位情報を取得し、ここで、第１の音声、第２の音声の音源の前記仮想キャラクタに対する相対的な方位情報は、それぞれ真南５０ｍ、北東１００ｍである。即ち、第２のグラフィカル識別子７１、７２が位置する方位と第１のグラフィカルユーザ識別子６０（現在の向きは真北である）とは、それぞれ１８０°及び４５°になり、ゲームシーンとサムネイル地図との比例縮尺に基づいて２つの第２のグラフィカル識別子７１、７２の第１のグラフィカル識別子６０に対する距離を算出する。図４の第２のグラフィカル識別子７１、７２は、星形でサムネイル地図に示されてよく、グラフィカル識別子は、また円形、角形、矢印等であってもよく、開発者やユーザにより自ら設定されることができ、本発明はこれらに限定されない。
この例示的な実施例では、図４に示すように、第１のグラフィカル識別子の位置は、常にサムネイル地図の中心位置に位置することができ、それに応じて、サムネイル地図に提示されるゲームシーンも変更される。また、前記第１のグラフィカル識別子の位置もユーザが前記仮想オブジェクトの移動を制御するにつれて移動でき、前記サムネイル地図に提示されるゲームシーンは相対的に固定であり、前記仮想オブジェクトが移動してサムネイル地図が現在表示しているゲームシーン範囲から外れた後でこそ、前記サムネイル地図に提示される一部ゲームシーンに相応な変化が起こり、開発者やユーザは具体的な必要に応じて相応な設定を行うことができ、本発明はこれらに限定されない。例えば、図５ａに示すように、仮想オブジェクトがゲームシーンにおけるＡ位置に位置するものとすると、相応にサムネイル地図４０に仮想オブジェクトの現在位置及び向きに対応する第１のグラフィカル識別子６０を表示し、予定範囲内に２つの音声の音源が存在していることを検出し、それぞれ第２のグラフィカル識別子７１、７２と表示する。ユーザのタッチ操作が仮想オブジェクトを移動するように制御することを検出すると、図５ｂに示すように、仮想オブジェクトがゲームシーンにおけるＢ位置まで移動し、相応に前記第１のグラフィカル識別子６０の位置及び向きも変更され、したがって、２つの音声の音源も移動され、対応する第２のグラフィカル識別子７１、７２の相対的な方位も変更される。
一好ましい実施例として、前記相対的な方位情報に基づき、前記第１のグラフィカル識別子の対応する相対的な方位に前記第２のグラフィカル識別子を表示するステップは、前記第１のグラフィカル識別子を中心とした環状領域を設定し、前記相対的な方位情報に基づき、前記環状領域の対応する位置に前記第２のグラフィカル識別子を表示するステップを含む。図６に示すように、サムネイル地図４０に第１のグラフィカル識別子６０を中心とした環状領域１０を設定し、第１のグラフィカル識別子６０の現在の向きが東であり、３つの音源の前記仮想オブジェクトに対する相対的な方位情報に基づき、第１の音７０３の仮想オブジェクトに対する距離が１００ｍ（即ち、環状領域の内径ｒ）で、方位が真西である。それとともに、前記仮想オブジェクトに対する距離が２００ｍ（即ち、環状領域の外径Ｒ）である他の２つの第２の音声、第３の音声をさらに検出し、その方位がそれぞれ東北３０°、南東であり、それから、前記第２の音、第３の音に対応する第２のグラフィカル識別子７０１、７０２が相応に環状領域の外環上の３０°、１３５°位置に表示される。ユーザは、ゲームを経験するとともに、サムネイル地図上でゲームシーンにおける予定領域範囲内の音声の相対的な方位情報及び距離情報を直感的に取得できる。ゲームのグラフィカルユーザインターフェースに展示されるコントロール及びコンテンツが比較的に多いので、図６に示すように、環状領域はサムネイル地図において破線の形式で表示でき、又は表示されず、開発者のみにより開発時に設定されることができ、本発明はこれらに限定されない。
一好ましい実施例として、前記方法は、前記音声の種類を取得し、前記音声の種類に基づき、予定の表意グラフィカルにおいて対応する表意グラフィカルを選択して、前記音声に対応する前記第２のグラフィカル識別子とするステップをさらに含む。図４に示す実施例における第２のグラフィカル識別子７１、７２のように、ゲームシーンに複数の音源が存在している場合、音声種類を区分せずにすべての音について同じグラフィカル識別子を使用できるが、この方式はプレーヤが音声種類を区分するのに不利である。したがって、異なる音声に対して異なるグラフィカル識別子を使用することが好ましく、図６に示す実施例では、音を足音、銃声及びドア開音に区分し、それに応じて、それぞれ異なる表意グラフィカルを使用して異なる音声種類をマークし、足裏表意グラフィカル７０１は足音を示し、ピストル表意グラフィカル７０２は銃声を示し、ドア状表意グラフィカル７０３はドア開音を示すためのものであり、音声種類及び表意グラフィカル、並びにその対応関係はゲームに予め記憶されることができ、音声の種類を取得した後、予定コンテンツを照会することで、対応する表意グラフィカルを選択できる。
一好ましい実施例として、前述したように、音源の仮想オブジェクトに対する距離を取得した場合、また、前記距離に基づいて対応するグラフィカル識別子の表示形態を制御でき、前記距離に基づいて対応するグラフィカル識別子の表示形態を制御するステップは、前記距離に基づいて対応するグラフィカル識別子のサイズ、色、輝度、透明度、動的効果のうちの少なくとも１つを制御するステップを含んでもよい。図７に示す実施例では、第２のグラフィカル識別子８０１、８０２のサイズはそれぞれ距離に対応する。
この例示的な実施例では、前記音声の音源の前記仮想オブジェクトに対する距離に基づいて対応する識別子グラフィカルを制御するステップは、下記の方式を含んでもよい。
方式１：前記音声の音源の前記仮想オブジェクトに対する距離に基づいて第２のグラフィカル識別子の表示形態を制御する。
この例示的な実施例では、前記第２のグラフィカル識別子の透明度と前記音声の音源の前記仮想オブジェクトに対する距離とは負の相関関係を有し、即ち、前記音声の音源の前記仮想オブジェクトに対する距離が遠いほど、第２のグラフィカル識別子の透明度が高くなり、前記音声の音源の前記仮想オブジェクトに対する距離が近いほど、第２のグラフィカル識別子の透明度が低くなる。なお、前記第２のグラフィカル識別子の透明度の取り得る値の範囲は、１００％〜０％であり、ここで、透明度が１００％である場合、前記第２のグラフィカル識別子が完全に透明になり、透明度が０％である場合、前記第２の識別子グラフィカルが完全に不透明になる。
方式２：前記音声の音源の前記仮想オブジェクトに対する距離に基づいて前記第２のグラフィカル識別子のサイズの表示形態を制御する。
この例示的な実施例では、前記第２の識別子グラフィカルのサイズと前記音声の音源の前記仮想オブジェクトに対する距離とは負の相関関係を有する。即ち、前記音声の音源の前記仮想オブジェクトに対する距離が遠いほど、第２のグラフィカル識別子のサイズが小さくなり、前記音声の音源の前記仮想オブジェクトに対する距離が近いほど、第２のグラフィカル識別子のサイズが大きくなり、図７に示すように、例えば、仮想オブジェクトの付近に２つの足音声があることが検出された場合、第２のグラフィカル識別子はそれぞれ８０１、８０２に対応し、第２のグラフィカル識別子８０２に対応する音声の音源の仮想オブジェクトに対する距離は別の音源８０１よりも近い。
方式３：前記音声の音源の前記仮想オブジェクトに対する距離に基づいて前記第２のグラフィカル識別子の輝度の表示形態を制御する。
この例示的な実施例では、前記第２のグラフィカル識別子の輝度と前記音声の音源の前記第２のグラフィカル識別子に対する距離とは負の相関関係を有し、即ち、前記音声の音源の前記仮想オブジェクトに対する距離が遠いほど、第２のグラフィカル識別子の輝度が低くなり、前記音声の音源の前記仮想オブジェクトに対する距離が近いほど、第２のグラフィカル識別子の輝度が高くなる。
なお、また、前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応して関連される前記第２のグラフィカル識別子の透明度、サイズ、輝度、又は動的効果のうちのいずれか１つ、２つ、３つ又は４つの表示形態を制御できる。
一好ましい実施例として、また、前記音声の音源の状態に基づいて対応する第２のグラフィカル識別子の表示形態を制御でき、このステップは、前記音声の音源の状態に基づいて対応する第２のグラフィカル識別子のサイズ、色、輝度、透明度、動的効果のうちの少なくとも１つを制御するステップを含んでもよい。ゲームシーンにおいて、音声の音源の種類が同一である場合、その状態が異なることもあり、ある種類の銃器の銃声を例として、あるユーザが制御する仮想オブジェクトの銃器にサプレッサーが装備されていることを検出した場合、前記銃声は、同一の位置に位置するが、サプレッサーが装備されていない同じ種類の銃器より弱く、したがって、前記銃声に応してサムネイル地図上にフィードバックされる第２のグラフィカル識別子の表示形態が異なる。前記第２のグラフィカル識別子に関連する前記音声の音源の状態の異なる表示形態は、前述に関連する相対的な距離の異なる表示形態の具体的な実施形態と同じであり、上記で詳細に記述しているので、ここでは詳細な説明を省略する。
より好ましい具体的な実施例として、前記方法は、サムネイル地図上に前記仮想オブジェクトの視野範囲を示すための第３のグラフィカル識別子を提供するステップをさらに含む。図８に示すように、サムネイル地図４０上に、第１のグラフィカル識別子６０の位置に基づいて前記仮想オブジェクトの視野範囲を示すための第３のグラフィカル識別子９０をレンダリングすることで、ユーザは、音声の音源に対する相対的な距離を直感的に取得し、対応する音声の音源ターゲットと会う前に十分に準備できるように前記音声の音源ターゲットが視野範囲に入る時間を予測できる。
より好ましい具体的な実施例として、前記方法は、前記音声が発生されてからの時間を記録するタイマーを設定し、前記時間が予定時間閾値を超えているか否かを判定し、超えていない場合に、前記音声に対応する前記第２のグラフィカル識別子を表示するステップをさらに含む。予定時間閾値を設定することで、音声情報の時効性をさらに向上できる。例えば、予定時間閾値を５秒と設定し、ゲームシーン内の第１の予定範囲内の音声の音源が検知されて、前記第２のグラフィカル識別子を介して相応にサムネイル地図上の該当位置に表示するとともに、タイマーをオンにして計時を行い、音声が発生されてからの時間が予定時間閾値を超えてから５秒後に、前記音源に対応する第２のグラフィカル識別子がサムネイル地図上からなくなる。ユーザは、ゲームシーンにおける音声情報のリアルタイム更新を連続して取得することで、予定範囲内の音声情報のリアルタイム性及び正確性を確保できる。
さらに、前記方法は、同じ方位に位置し、且ついずれも前記予定時間閾値を超えていない複数の前記音声が検知された場合、最も遅く発生された前記音声に対応する前記第２のグラフィカル識別子を表示するステップをさらに含む。ゲームにおいて複数の音声の音源ターゲットが同じ方位に位置し、且ついずれも予定時間閾値を超えていないことがあるが、サムネイル地図のサイズが有限であるため、各音声の音源に対応する第２のグラフィカル識別子を同時に図中に示すことが困難である。この場合、好ましくは、サムネイル地図に最も遅く発生された音声の音源に対応する第２のグラフィカル識別子を表示する。
以下、図９を参照しながら、本発明の方式をより具体的な実施例を介して説明し、本実施例では、複数の音声を３つの音声として本発明の視覚的表示を説明する。例えば、ゲームシーンにおける仮想オブジェクトの現在の向きが東であり、３つの音声がそれぞれ第１の音声、第２の音声、第３の音声であり、ここで、第１〜第３の音声の種類がそれぞれ足音、銃声、ドア開音であり、第１〜第３の音声の音源の仮想オブジェクトに対する距離がそれぞれ１０ｍ、２０ｍ、３０ｍであり、第１〜第３の音声の音源の仮想オブジェクトに対する方位がそれぞれ図面に示すとおりである。足裏グラフィカル７０１は足音を示し、ピストル表意グラフィカル７０２は銃声を示し、ドア状表意グラフィカル７０３はドア開音を示すためのものであり、これを基礎として、距離に基づき、足裏表意グラフィカル７０１が最も大きく、ピストル表意グラフィカル７０２が次に大きく、ドア状表意グラフィカル７０３が最も小さく、各第２のグラフィカル識別子がそれぞれサムネイル地図上の該当位置に表示される。一実施例として、プレーヤはタッチ操作により仮想オブジェクトの移動を制御でき、仮想オブジェクトの向き及び位置がゲームシーンにおいて相応に変更され、仮想オブジェクトの向きが変更されると、対応する第１のグラフィカル識別子の向きも相応に変更される。
本発明の例示的な実施例では、グラフィカルユーザインターフェースを提示することができるタッチ端末に適用される音声情報を補償する視覚的表示方法がさらに提供され、前記グラフィカルユーザインターフェースは、少なくとも、ゲームシーンと、仮想オブジェクトとを部分的に含む。このタッチ端末は、例えば、携帯電話、タブレットＰＣ、ゲーム機、ＰＤＡ等のようなタッチスクリーンを備える様々な電子機器であってもよい。ゲームアプリケーションは、タッチ端末のアプリケーションプログラムインターフェースを介して、タッチ端末のタッチスクリーンが仮想オブジェクト、及び仮想ジョイスティックを含む仮想ジョイスティック領域、仮想戦闘シーン、仮想自然環境等を提示するように制御できる。前記グラフィカルユーザインターフェースは、タッチスクリーンの全体領域であってもよく、タッチスクリーンの一部領域であってもよく、この例示的な実施例では、これを特に限定しない。前記仮想オブジェクトとは、ユーザが操作するゲームキャラクタであり、前記ゲームキャラクタの一部又は全体の形式でグラフィカルユーザインターフェースに表示される。例えば、１人称視点では、グラフィカルユーザインターフェースのコンテンツはユーザのマスタ視点で提示され、ユーザの没入経験が増強され、例えば、インターフェースにゲームキャラクタの手や足のような局所しか見えない。３人称視点では、ゲームキャラクタ全体をグラフィカルユーザインターフェースに提示することができ、ユーザの操作難易度及び眩惑を低下し、且つ画面のアクション感覚をさらに増強できるが、具体的に如何に表示するかは、開発者がゲームのコンテンツに応じて選択でき、本発明はこれらに限定されない。
本発明の例示的な実施例では、グラフィカルユーザインターフェースを提示することができるタッチ端末に適用される音声情報を補償する視覚的表示装置がさらに提供され、前記グラフィカルユーザインターフェースは、少なくとも、ゲームシーンと、仮想オブジェクトとを部分的に含み、前記装置は、前記グラフィカルユーザインターフェースにサムネイル地図を提供し、前記サムネイル地図上に前記ゲームシーンにおける前記仮想オブジェクトの現在位置及び向きを示すための第１のグラフィカル識別子をレンダリングするレンダリングモジュールと、前記ゲームシーンにおける第１の予定範囲内の音声を検知し、前記ゲームシーンにおける第１の予定範囲内の音声が検知された場合、前記音声の音源の方位情報を取得する検知取得モジュールと、前記音声の音源の方位情報に基づき、前記サムネイル地図上の該当位置に前記音声に対応する第２のグラフィカル識別子を生成する制御モジュールと、を備える。
上記の音声情報を補償する各視覚装置モジュールの具体的な詳細は、対応する音声情報を補償する視覚的表示方法の説明で既に詳細に説明しているので、ここでは詳細な説明を省略する。
なお、上記の詳細な説明において実行のための機器の幾つかのモジュール又はユニットが言及されているが、このような分割は必須のものではないことを注意すべきである。実際には、本発明の実施形態によれば、上記で説明された２つ以上のモジュール又はユニットの特徴及び機能は、１つのモジュール又はユニットにおいて具体化されることができる。逆に、上記で説明された１つのモジュール又はユニットの特徴及び機能は、複数のモジュール又はユニットにより具体化されるようにさらに分割されることもできる。
本発明の例示的な実施例では、上記方法を実現可能な電子機器がさらに提供される。
当業者であれば、本発明の各態様がシステム、方法又はプログラム製品として実現されることが理解される。したがって、本発明の各態様は、完全なハードウェア実施形態、完全なソフトウェア実施形態（ファームウェア、マイクロコード等を含む）、又はハードウェア及びソフトウェアの態様を組み合わせた実施形態の形式に具体的に実現されることができ、ここで、「回路」、「モジュール」又は「システム」と総称できる。
本発明によれば、電子機器がさらに提供され、前記機器は、プロセッサーと、前記プロセッサーの実行可能な命令を記憶するためのメモリと、を備え、ここで、前記プロセッサーは、前記実行可能な命令を実行することで、前述したいずれか１態様に記載の音声情報を補償する視覚的表示方法を実行するように構成される。
当業者であれば、明細書及びここで開示された発明を考慮した後、本発明の他の実施例を容易に構想できる。本願は、本発明の任意の変形、用途又は適応的な変更を含むことを意図し、これらの変形、用途又は適応的な変更は本発明の一般的な原理に従っており、本発明に開示されていない本技術分野の周知の常識や慣用の技術手段を含む。明細書及び実施例は単なる例示的なもので、本発明の本当の範囲及び精神は特許請求の範囲により示される。
なお、本発明は、上記で説明され、図中に示された厳密な構造に限定されず、その範囲を逸脱しない範囲内で様々な修正及び変更を行うことができることが理解されるべきである。本発明の範囲は特許請求の範囲によってのみ限定される。

Claims (15)

  1. 音声情報を補償する視覚的表示方法であって、グラフィカルユーザインターフェースを提示することができるタッチ端末に適用され、前記グラフィカルユーザインターフェースは、少なくとも、ゲームシーンと、仮想オブジェクトとを部分的に含み、
    前記方法は、
    前記グラフィカルユーザインターフェースにサムネイル地図を提供し、前記サムネイル地図上に前記ゲームシーンにおける前記仮想オブジェクトの現在位置及び向きを示すための第１のグラフィカル識別子をレンダリングするステップと、
    前記ゲームシーンにおける第１の予定範囲内の音声を検知し、前記ゲームシーンにおける第１の予定範囲内の音声が検知された場合、前記音声の音源の方位情報を取得するステップと、
    前記音声の音源の方位情報に基づき、前記サムネイル地図上の該当位置に前記音声に対応する第２のグラフィカル識別子を生成するステップと、を含む
    音声情報を補償する視覚的表示方法。
  2. 前記音声の音源の方位情報に基づき、前記サムネイル地図上の該当位置に前記音声に対応する第２のグラフィカル識別子を生成するステップは、
    前記方位情報に基づき、前記音源の前記仮想オブジェクトに対する相対的な方位情報を決定するステップと、
    前記相対的な方位情報に基づき、前記第１のグラフィカル識別子の対応する相対的な方位に前記第２のグラフィカル識別子を表示するステップと、を含む
    ことを特徴とする請求項１に記載の方法。
  3. 前記相対的な方位情報に基づき、前記第１のグラフィカル識別子の対応する相対的な方位に前記第２のグラフィカル識別子を表示するステップは、
    前記第１のグラフィカル識別子を中心とした環状領域を設定し、前記相対的な方位情報に基づき、前記環状領域の対応する位置に前記第２のグラフィカル識別子を表示するステップを含む
    ことを特徴とする請求項２に記載の方法。
  4. 前記第１の予定範囲は、前記ゲームシーンにおける前記仮想オブジェクトの現在位置に応じて決定した領域範囲である
    ことを特徴とする請求項１に記載の方法。
  5. 前記音声の音源の状態及び／又は前記仮想オブジェクトに対する距離を取得し、前記状態及び／又は距離に基づいて対応する前記第２のグラフィカル識別子の表示形態を制御するステップをさらに含む
    ことを特徴とする請求項１に記載の方法。
  6. 前記状態及び／又は前記距離に基づいて対応する前記第２のグラフィカル識別子の表示形態を制御するステップは、
    前記状態及び／又は距離に基づいて対応する前記第２のグラフィカル識別子のサイズ、色、輝度、透明度、動的効果のうちの少なくとも１つを制御するステップを含む
    ことを特徴とする請求項５に記載の方法。
  7. 前記音声の種類を取得し、前記音声の種類に基づき、予定の表意グラフィカルにおいて対応する表意グラフィカルを選択して、前記音声に対応する前記第２のグラフィカル識別子とするステップをさらに含む
    ことを特徴とする請求項１に記載の方法。
  8. 前記方位情報は、前記音源の前記仮想オブジェクトに対する相対的な方位及び／又は前記ゲームシーンにおける前記音源の方位を含む
    ことを特徴とする請求項１に記載の方法。
  9. 前記サムネイル地図上に前記仮想オブジェクトの視野範囲を示すための第３のグラフィカル識別子を提供するステップをさらに含む
    ことを特徴とする請求項１に記載の方法。
  10. 前記音声が発生されてからの時間を記録するためのタイマーを設定し、前記時間が予定時間閾値を超えているか否かを判定し、超えていない場合に、前記音声に対応する前記第２のグラフィカル識別子を表示するステップをさらに含む
    ことを特徴とする請求項１に記載の方法。
  11. 同じ方位に位置し、且ついずれも前記予定時間閾値を超えていない複数の前記音声が検知された場合、最も遅く発生された前記音声に対応する前記第２のグラフィカル識別子を表示するステップをさらに含む
    ことを特徴とする請求項１０に記載の方法。
  12. 音声情報を補償する視覚的表示装置であって、グラフィカルユーザインターフェースを提示することができるタッチ端末に適用され、前記グラフィカルユーザインターフェースは、少なくとも、ゲームシーンと、仮想オブジェクトとを部分的に含み、
    前記装置は、
    前記グラフィカルユーザインターフェースにサムネイル地図を提供し、前記サムネイル地図上に前記ゲームシーンにおける前記仮想オブジェクトの現在位置及び向きを示すための第１のグラフィカル識別子をレンダリングするレンダリングモジュールと、
    前記ゲームシーンにおける第１の予定範囲内の音声を検知し、前記ゲームシーンにおける第１の予定範囲内の音声が検知された場合、前記音声の音源の方位情報を取得する検知取得モジュールと、
    前記音声の音源の方位情報に基づき、前記サムネイル地図上の該当位置に前記音声に対応する第２のグラフィカル識別子を生成する制御モジュールと、を備える
    音声情報を補償する視覚的表示装置。
  13. プロセッサに実行されることにより、請求項１〜１１の何れか一項に記載の音声情報を補償する視覚的表示方法を実現する
    ことを特徴とするコンピュータプログラム。
  14. 請求項１３に記載のコンピュータプログラムが記憶されることを特徴とするコンピュータ読取可能な記録媒体。
  15. プロセッサーと、
    前記プロセッサーの実行可能な命令を記憶するためのメモリと、を備え、
    ここで、前記プロセッサーは、前記実行可能な命令を実行することで、請求項１〜１１のいずれか１項に記載の音声情報を補償する視覚的表示方法を実行するように構成される
    ことを特徴とする電子機器。
JP2018200242A 2017-10-27 2018-10-24 音声情報を補償する視覚的表示方法及び装置、記録媒体、プログラム、電子機器 Pending JP2019080920A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711029698.X 2017-10-27
CN201711029698.XA CN107992281A (zh) 2017-10-27 2017-10-27 补偿声音信息的视觉显示方法及装置、存储介质、设备

Publications (1)

Publication Number Publication Date
JP2019080920A true JP2019080920A (ja) 2019-05-30

Family

ID=62030625

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018200242A Pending JP2019080920A (ja) 2017-10-27 2018-10-24 音声情報を補償する視覚的表示方法及び装置、記録媒体、プログラム、電子機器

Country Status (3)

Country Link
US (1) US10765947B2 (ja)
JP (1) JP2019080920A (ja)
CN (1) CN107992281A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020156589A (ja) * 2019-03-25 2020-10-01 株式会社バンダイナムコエンターテインメント ゲームシステム、プログラム及びゲーム装置
US11971494B2 (en) 2018-05-29 2024-04-30 Tencent Technology (Shenzhen) Company Limited Sound source determining method and apparatus, and storage medium

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108245888A (zh) * 2018-02-09 2018-07-06 腾讯科技（深圳）有限公司 虚拟对象控制方法、装置及计算机设备
CN108744516B (zh) * 2018-05-29 2020-09-29 腾讯科技（深圳）有限公司 获取定位信息的方法和装置、存储介质及电子装置
CN108939535B (zh) * 2018-06-25 2022-02-15 网易（杭州）网络有限公司 虚拟场景的音效控制方法及装置、存储介质、电子设备
KR102022604B1 (ko) 2018-09-05 2019-11-04 넷마블 주식회사 주변 오디오를 시각적 표현하는 인터페이스에 기초하여 게임 서비스를 제공하는 게임 서비스 제공 서버 및 방법
CN109701271A (zh) * 2018-12-24 2019-05-03 网易（杭州）网络有限公司 显示图标的方法、装置和***
CN109908574B (zh) * 2019-02-22 2020-09-08 网易（杭州）网络有限公司 游戏角色控制方法、装置、设备和存储介质
CN109966738B (zh) 2019-02-22 2020-07-31 网易（杭州）网络有限公司 信息处理方法、处理装置、电子设备和存储介质
CN110215698A (zh) * 2019-04-29 2019-09-10 努比亚技术有限公司 游戏中危险提示方法、可穿戴设备及计算机可读存储介质
CN110115838B (zh) * 2019-05-30 2021-10-29 腾讯科技（深圳）有限公司 虚拟环境中生成标记信息的方法、装置、设备及存储介质
CN110354506B (zh) * 2019-08-20 2023-11-21 网易（杭州）网络有限公司 游戏操作方法及装置
US11291911B2 (en) * 2019-11-15 2022-04-05 Microsoft Technology Licensing, Llc Visualization of sound data extending functionality of applications/services including gaming applications/services
CN110917621B (zh) * 2019-11-20 2022-02-22 腾讯科技（深圳）有限公司 位置显示方法和装置、存储介质及电子装置
CN110898430B (zh) * 2019-11-26 2021-12-07 腾讯科技（深圳）有限公司 音源定位方法和装置、存储介质及电子装置
CN110882540B (zh) * 2019-11-26 2021-04-09 腾讯科技（深圳）有限公司 音源定位方法和装置、存储介质及电子装置
TWI724722B (zh) * 2019-12-31 2021-04-11 技嘉科技股份有限公司 電子裝置及螢幕上顯示介面的顯示方法
CN111408135B (zh) * 2020-03-20 2023-04-11 网易（杭州）网络有限公司 一种环境声源的添加方法、装置、电子设备及存储介质
CN111652874B (zh) * 2020-06-04 2023-10-20 崧智智能科技(深圳)有限公司 止通规测量方法、装置、终端和计算机可读存储介质
CN112044069B (zh) * 2020-09-10 2023-02-03 腾讯科技（深圳）有限公司 虚拟场景中的对象提示方法、装置、设备及存储介质
CN112245913A (zh) * 2020-10-22 2021-01-22 努比亚技术有限公司 一种游戏视角控制方法、移动终端以及计算机存储介质
CN112367426B (zh) * 2020-11-09 2021-06-04 Oppo广东移动通信有限公司 虚拟对象显示方法及装置、存储介质和电子设备
US20220184506A1 (en) * 2020-11-12 2022-06-16 Tencent Technology (Shenzhen) Company Limited Method and apparatus for driving vehicle in virtual environment, terminal, and storage medium
CN112494936A (zh) * 2020-11-25 2021-03-16 杭州电魂网络科技股份有限公司 一种游戏实体同步方法和***
CN112767430A (zh) * 2021-01-06 2021-05-07 维沃移动通信有限公司 信息提示方法及装置
CN112755511A (zh) * 2021-01-27 2021-05-07 维沃移动通信有限公司 电子设备的操作执行方法及装置
US11771991B2 (en) * 2021-02-15 2023-10-03 Nintendo Co., Ltd. Non-transitory computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method
CN112843716B (zh) * 2021-03-17 2024-06-11 网易（杭州）网络有限公司 虚拟物体提示与查看方法、装置、计算机设备及存储介质
CN113082699B (zh) * 2021-04-15 2024-02-02 网易（杭州）网络有限公司 游戏的显示控制方法、装置以及电子终端
CN113181632A (zh) * 2021-04-22 2021-07-30 网易（杭州）网络有限公司 一种信息提示方法、装置、存储介质及计算机设备
CN113426119A (zh) * 2021-06-23 2021-09-24 网易（杭州）网络有限公司 一种游戏中的信息提示方法、装置、电子设备及存储介质
CN113398590B (zh) * 2021-07-14 2024-04-30 网易（杭州）网络有限公司 声音处理方法、装置、计算机设备及存储介质
CN114042315B (zh) * 2021-10-29 2023-06-16 腾讯科技（深圳）有限公司 基于虚拟场景的图形显示方法、装置、设备以及介质
CN114785838B (zh) * 2022-03-30 2024-01-26 青岛海尔科技有限公司 设备的控制方法和装置、存储介质及电子装置
CN115920385A (zh) * 2022-12-15 2023-04-07 网易（杭州）网络有限公司 游戏信号反馈方法、装置、电子设备和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11272841A (ja) * 1998-03-19 1999-10-08 Konami Co Ltd 画像処理方法、ビデオゲーム装置及び記録媒体
US20070218966A1 (en) * 2006-03-15 2007-09-20 Tilston Christopher I Radar manipulation in a video game
JP2012073088A (ja) * 2010-09-28 2012-04-12 Sony Corp 位置情報提供装置、位置情報提供方法、位置情報提供システム、及びプログラム
JP2017055935A (ja) * 2015-09-16 2017-03-23 株式会社カプコン ゲームプログラムおよびゲームシステム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3690672B2 (ja) * 2002-05-17 2005-08-31 任天堂株式会社 ゲームシステムおよびゲームプログラム
WO2004045734A1 (ja) * 2002-11-20 2004-06-03 Sega Corporation ゲーム画像の表示制御プログラム及びゲーム装置並びに記憶媒体
CN1950133A (zh) * 2004-05-10 2007-04-18 世嘉股份有限公司 电子游戏装置、其数据处理方法和程序、及记录介质
US20070218965A1 (en) * 2006-03-15 2007-09-20 Tilston Christopher I Player deception in a video game
JP4671196B2 (ja) * 2006-10-31 2011-04-13 株式会社スクウェア・エニックス ネットワークゲームシステム、ネットワークゲーム用端末装置、ゲーム画面の表示方法、並びにプログラム及び記録媒体
JP5390115B2 (ja) * 2008-03-31 2014-01-15 株式会社バンダイナムコゲームス プログラム、ゲームシステム
KR102127640B1 (ko) * 2013-03-28 2020-06-30 삼성전자주식회사 휴대 단말 및 보청기와 휴대 단말에서 음원의 위치를 제공하는 방법
CN104898953B (zh) * 2015-06-16 2016-10-26 深圳市腾讯计算机***有限公司 基于触控屏的操控方法和装置
CN105224086B (zh) * 2015-10-09 2019-07-26 联想(北京)有限公司 一种信息处理方法及电子设备
JP6534376B2 (ja) * 2016-10-19 2019-06-26 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11272841A (ja) * 1998-03-19 1999-10-08 Konami Co Ltd 画像処理方法、ビデオゲーム装置及び記録媒体
US20070218966A1 (en) * 2006-03-15 2007-09-20 Tilston Christopher I Radar manipulation in a video game
JP2012073088A (ja) * 2010-09-28 2012-04-12 Sony Corp 位置情報提供装置、位置情報提供方法、位置情報提供システム、及びプログラム
JP2017055935A (ja) * 2015-09-16 2017-03-23 株式会社カプコン ゲームプログラムおよびゲームシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"METAL GEAR SOLID PORTABLE OPS", 電撃PLAYSTATION , vol. 第12巻 第40号, JPN6019041829, 8 December 2006 (2006-12-08), JP, pages 194 - 197, ISSN: 0004259895 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11971494B2 (en) 2018-05-29 2024-04-30 Tencent Technology (Shenzhen) Company Limited Sound source determining method and apparatus, and storage medium
JP2020156589A (ja) * 2019-03-25 2020-10-01 株式会社バンダイナムコエンターテインメント ゲームシステム、プログラム及びゲーム装置
JP7399623B2 (ja) 2019-03-25 2023-12-18 株式会社バンダイナムコエンターテインメント ゲームシステム、プログラム及びゲーム装置

Also Published As

Publication number Publication date
US10765947B2 (en) 2020-09-08
US20190126151A1 (en) 2019-05-02
CN107992281A (zh) 2018-05-04

Similar Documents

Publication Publication Date Title
JP2019080920A (ja) 音声情報を補償する視覚的表示方法及び装置、記録媒体、プログラム、電子機器
JP6731457B2 (ja) 音声情報を補償する視覚的表示方法及び装置、記録媒体、プログラム、電子機器
US11504620B2 (en) Method for controlling game character and electronic device and computer storage medium
JP7058842B2 (ja) マークポイント位置表示方法、電子機器及びコンピュータ読取可能な記憶媒体
US11975262B2 (en) Information processing method and apparatus, electronic device, and storage medium
WO2019153750A1 (zh) 用于对虚拟环境进行视角切换的方法、装置、设备及存储介质
US10534432B2 (en) Control apparatus
JP6281495B2 (ja) 情報処理装置、端末装置、情報処理方法及びプログラム
JP6281496B2 (ja) 情報処理装置、端末装置、情報処理方法及びプログラム
JP6731461B2 (ja) 情報処理方法及び装置、記憶媒体、電子機器
US9826297B2 (en) Accessory device that provides sensor input to a media device
JP2019072478A (ja) 情報処理方法及び装置、記憶媒体、電子機器
JP2019042509A (ja) 音声情報を補償するビジュアル方法及び装置、プログラム、記憶媒体、電子機器
JP2014149712A (ja) 情報処理装置、端末装置、情報処理方法及びプログラム
US20170269712A1 (en) Immersive virtual experience using a mobile communication device
WO2021017783A1 (zh) 视角转动的方法、装置、设备及存储介质
JP2018147002A (ja) 画像処理プログラム、画像処理システム、画像処理装置および画像処理方法
JP6859436B2 (ja) 拡張現実ソフトウェアアプリケーションのサポート
CN112245912B (zh) 虚拟场景中的声音提示方法、装置、设备及存储介质
CN107930114A (zh) 信息处理方法及装置、存储介质、电子设备
JP7186901B2 (ja) ホットスポットマップの表示方法、装置、コンピュータ機器および読み取り可能な記憶媒体
WO2019184782A1 (zh) 虚拟场景中的对象控制方法、装置及计算机设备
CN111273780A (zh) 基于虚拟环境的动画播放方法、装置、设备及存储介质
JP2020103724A (ja) ゲームシステム及びプログラム
WO2024124814A1 (zh) 游戏信号反馈方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181024

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200127

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200512