JP2008545207A - 3dユーザーインタフェースプログラムに関するビジュアルデバッギングシステム - Google Patents

3dユーザーインタフェースプログラムに関するビジュアルデバッギングシステム Download PDF

Info

Publication number
JP2008545207A
JP2008545207A JP2008519727A JP2008519727A JP2008545207A JP 2008545207 A JP2008545207 A JP 2008545207A JP 2008519727 A JP2008519727 A JP 2008519727A JP 2008519727 A JP2008519727 A JP 2008519727A JP 2008545207 A JP2008545207 A JP 2008545207A
Authority
JP
Japan
Prior art keywords
application
embedded device
state
simulation engine
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008519727A
Other languages
English (en)
Other versions
JP5237095B2 (ja
Inventor
エルミー、ババック
リッツ、ジェームズ
ダーニル、デイビッド・エル.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2008545207A publication Critical patent/JP2008545207A/ja
Application granted granted Critical
Publication of JP5237095B2 publication Critical patent/JP5237095B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3664Environments for testing or debugging software
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/10Program control for peripheral devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Processing Or Creating Images (AREA)
  • Debugging And Monitoring (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】3Dユーザーインタフェースプログラムに関するビジュアルデバッギングシステム
【解決手段】一実施形態においては、埋め込みデバイスシミュレーションエンジンと、アプリケーション実行コントローラと、状態プロバイダと、を含む装置が提供される。前記埋め込みデバイスシミュレーションエンジンは、ターゲットである埋め込みデバイス以外のコンピュータプラットフォームにおいて、前記ターゲットである埋め込みデバイスに関してオーサリングされた3Dアプリケーションをシミュレーションするために提供される。前記アプリケーション実行コントローラは、前記3Dアプリケーションが前記埋め込みデバイスシミュレーションエンジンにおいて実行される方法を制御するために提供される。前記状態プロバイダは、前記3Dアプリケーションが前記埋め込みデバイスシミュレーションエンジンの前記シミュレーションされた環境において実行されるのに応じて、前記3Dアプリケーションの1つのシーン又は複数のシーン内における3Dアイコンの、前記3Dアプリケーションにおける前記3Dアイコンの定義されたアニメーションの、及び前記3Dアプリケーションに影響を与える発生中のイベントの状態に関する情報を提供するために提供される。
【選択図】図1

Description

著作権表示
本明細書には、著作権保護の対象となる情報が含まれる。著作権所有者は、米国特許商標庁においてファイル又は記録として保管される状態の本明細書又は特許を複製することに対しては異議を唱えない。しかしながら、その他の場合に関しては全著作権を保有する。
関連出願の相互参照
本特許出願は、米国仮特許出願番号60/696,345に対する優先権を主張するものである。
本開示の諸側面は、埋め込みデバイスにおいて用いられる3Dコンテンツの開発及び実装を容易にするためのツール及び機能に関するものである。埋め込みデバイスは、音声、データ、テキスト、及び/又は画像をキャプチャ、受信、及び/又は送信するモバイルデバイスであることができる。本開示のその他の側面は、前記デバイスに関する3Dグラフィカルユーザーインタフェースプログラムのデバッギングを容易にするためのツール及び機能に関するものである。
ユーザーがターゲットである埋め込みデバイス(target embedded device)、例えば携帯電話、に究極的にエクスポートするためにプログラムをオーサリングすることを可能にする様々なアプリケーション開発プラットフォーム(例えば、BREW(登録商標)プラットフォーム)が製作及びマーケティングされている。これらのプログラムをターゲットである埋め込みデバイスにエクスポートする前に汎用コンピュータプラットフォームにおいてこれらのプログラムの実行をシミュレーションするためのソフトウェア(例えば、BREW(登録商標)シミュレータ)が存在する。
発明の概要
ターゲットである埋め込みデバイス以外のコンピュータプラットフォーム上において、前記ターゲットである埋め込みデバイスに関してオーサリングされた3Dアプリケーションをシミュレーションするための埋め込みデバイスシミュレーションエンジンを含む装置が提供される。前記埋め込みデバイスシミュレーションエンジンに加えて、前記埋め込みデバイスシミュレーションエンジンにおけるアプリケーションの実行方法を制御するためにアプリケーション実行コントローラ(application run controller)が提供される。さらに、前記埋め込みデバイスシミュレーションエンジンの前記シミュレーションされた環境において前記3Dアプリケーションが実行されるのに応じて、前記3Dアプリケーションのシーン内における3Dアイコンの、前記3Dアプリケーションにおいて定義されたアニメーションの、及び前記3Dアプリケーションに影響を与える発生中のイベントの状態に関する情報を提供するための状態プロバイダも提供される。
以下の発明を実施するための最良の形態において、本開示の制限しない実施形態例が注記される図面を参照しつつさらに詳細に説明される。なお、同一のものについては図面全体に渡って同一の参照符号を付すこととする。
次に図面をさらに詳細に参照し、図1は、3Dコンテンツ開発システム9を示す。示されているシステム9は、1つ以上のデバイスコンテンツ開発プラットフォーム10と、モバイルデバイス12と、を含む。
モバイルデバイス12は、例えば、携帯電話であることができる。示されているモバイルデバイス12は、音声、データ、テキスト、及び/又は画像をキャプチャ、受信、及び/又は送信する埋め込みデバイスである。示されているモバイルデバイス12は、モバイルデバイス12の制御及びモバイルデバイス12への情報入力を可能にするディスプレイ12及びキー14をさらに含む。
示されているデバイスコンテンツ開発プラットフォーム10は、単一のプラットフォーム、分散型プラットフォーム、又は複数の個々のプラットフォームであることができる。示されているプラットフォームは、コンピュータプラットフォーム上の対応するウィンドー又は画面と対話する及びこれらのウィンドー又は画面を提供する幾つかのソフトウェアインタフェースを含む。これらのソフトウェアインタフェースの各々は、コンピュータプラットフォーム上で実行するソフトウェアを含む。これらのインタフェース及びウィンドーは、スクリプティングウィンドー16aと、対応するスクリプティング言語インタフェース16bと、を含む。ソースコードインタフェース18bに対応するソースコードウィンドー18aが提供される。デバッギングシステム20が提供される。デバッギングシステム20は、デバッギングインタフェース20bに対応するデバッギングウィンドー20aを含む。
示されている3Dコンテンツ開発システム9は、埋め込みデバイス上での使用のために3Dユーザーインタフェースを開発及び実装するためのシステムに合わせて個別適合化することができる。より具体的には、3Dユーザーインタフェースは、インタフェース構成要素を有する物理的デバイスを(モバイルデバイス12のディスプレイ13上において)図形的に描いてシミュレーションし、従ってアイコンが埋め込まれた3次元(3D)ユーザーインタフェースとして機能する3Dグラフィカルバーチャルインタフェースの表示を行わせることができる。
スクリプティング言語インタフェース16bは、3Dユーザーインタフェースの構築に対処する1つ以上のスクリプトファイル22に結合されてこれらの1つ以上のスクリプトファイル22を生成する。具体的には、これらのスクリプトファイル22は、3Dアイコン及びシーンの定義に関する情報、及び定義されている3Dアイコン及びシーンのアニメーションのプログラミングに関する情報を提供する。アニメーションされた状態の3Dアイコン及びシーンは、モバイルデバイスの様々な動作、設定、イベント、及び/又は状態を制御又は入力するために及び/又は表示又は出力するためにモバイルデバイス12、及びそのツールと結びつけられるか又は関連づけられる。
示されているインタフェース16b、18b、及び20bの各々は、コンピュータ画面を通じて制御及び情報を受け取るための及び同じコンピュータ画面を通じて情報をユーザーに表示するための対応するウィンドーを用いることによって操作可能である。
ソースコードインタフェース18bは、ソースコードウィンドー18aと関係しており、ソースコードを用いた、典型的には相手先ブランドで販売される製品の製造メーカー(OEM)のために提供されたコードにおいて提供されるコマンドを用いたプログラムの作成に関するものである。
デバッギングインタフェース20bは、デバッギングウィンドー20aと対話し、スクリプトファイル22を検査及びデバッギングすることを目的とした前記スクリプトファイルのシミュレーションを容易にする。より具体的には、デバッギングインタフェース20bは、コンピュータ画面上のデバッギングウィンドー20aでの表示を通じて、所定の3Dアプリケーションの1つのシーン又は複数のシーンにおける3Dアイコンの状態に関する情報を提供することができる。デバッギングインタフェースは、デバッギングウィンドー20aにおいて、3Dアプリケーションにおいて定義されたアニメーションの及び3Dアプリケーションに影響を与える発生中のイベントの状態に関する情報をさらに提供することができる。
スクリプティング言語インタフェース16bは、スクリプトファイル22を作成し、ソースコードインタフェース18bは、ソースコード24を作成する。これらの型のコードのうちのいずれか又は各々をコンパイルすることで、コンパイルされたスクリプト及び/又はソースコード26を作成することができる。示されているデバイスコンテンツ開発プラットフォーム10は、ユーザーインタフェース(UI)アセットと、ユーザーインタフェースレイアウトファイルと、をさらに含む。これらのファイルは、3Dモデルファイル35と、アニメーションファイル36と、テクスチャファイル37と、ユーザーインタフェース(UI)レイアウトファイル 38と、を含む。
モバイルデバイスのグラフィックスエンジンレイヤは、ファイル35、36、37、及び38に格納された、関連するUIアセット及びUIレイアウトファイルと関係するコンパイルされたスクリプト及び/又はソースコード26に従ってモバイルデバイス12上の3Dグラフィカル機能を制御する。
デバッギングシステム20は、図2に示されるようにシミュレータプラットフォーム40の形で実装することができる。示されているシミュレータプラットフォーム40は、モバイルデバイスシミュレーションエンジン42と、シミュレーション入力/出力インタフェース44と、プラットフォーム画面及びキーボード46と、を含む。示されているプラットフォーム40は、デバッギングすべきスクリプトファイル48と、スクリプトファイルインタープリタ50と、をさらに含む。スクリプトファイルインタープリタ50は、スクリプトファイル48を解釈してモバイルデバイスシミュレーションエンジン42によってシミュレーションできるようにする。
示されているプラットフォーム画面及びキーボード46は、シミュレーションされたモバイルデバイスの画面のシミュレーションされた表示47を行わせ、プラットフォーム画面及びキーボード46のいずれか又は両方を通じて一定のシミュレーションされたキー及びコマンド入力49を受け取る能力を提供する。
さらに、プラットフォーム画面及びキーボード46は、状態ウィンドー48を表示し、コンピュータ画面のアイコン又はボタンを通じて又は例えばキーボード上の一定のキーを含む物理的制御スイッチ又は入力の使用を通じて、ポーズ50、プレイ51、及びティック52の制御を提供する。
状態ウィンドー48は、モバイルデバイスシミュレーションエンジン42のシミュレーションされた環境においてアプリケーションが実行されるのに応じてユーザーに情報を提供する。提供される情報は、3Dアプリケーションの1つのシーン又は複数のシーン内における3Dアイコンの、3Dアプリケーションにおいて定義されたアニメーションの、及び3Dアプリケーションに影響を与える発生中のイベントの状態に関する情報である。
ユーザーがスクリプトを変更するのを可能にすることによって、3Dアプリケーションの一部分の微調整(すなわち、修正)を可能にする微調整機構を提供することができる。この機構は、シミュレータプラットフォーム40の一部として提供することができ、又は、ユーザーは、デバイスコンテンツ開発プラットフォーム10のスクリプティングインタフェース16bを用いることができる。3Dアプリケーションの前記微調整は、3Dアプリケーションのアニメーションを定義すること、及び/又は3Dユーザーインタフェースにおけるアイコンの対話の流れを含む3Dアプリケーションの対話の流れを定義することを含むことができる。
示されている状態ウィンドー48は、コンピュータ画面を通じて、3Dユーザーインタフェースにおけるすべての又は部分組のアイコン、シーン内のオブジェクトのすべての又は部分組のアニメーション、及びすべての又は部分組のイベントの状態を記述した広範な情報をユーザーに提供、すなわち表示する。イベントは、3Dアプリケーション外部において発生する。例えば、イベントは、シミュレーションされたターゲットデバイスの状態の変化であることができ、又は、イベントは、3Dアイコンの操作によるか又はシミュレーションされたターゲットデバイスのデバイスキーの使用によるユーザーと3Dアプリケーションの対話の結果生じることができる。イベント例は、コマンドキー又は所定のキーが押されたことを含むターゲットデバイス自体の状態、又はデバイス内での状態の変化、例えばGPS信号が検出されたこと、又はターゲットデバイスにおける電池状態が低いことを含む。
図3は、シミュレータプラットフォーム40の1つ以上のプラットフォーム画面の概略図を示す。示されている画面60は、シミュレーションされた表示62と、状態ウィンドー64と、を含む。シミュレーションされた表示62は、スクリプトファイルインタープリタ50による解釈に従ってスクリプトファイル48内のスクリプトを実行するモバイルデバイスシミュレーションエンジン42を用いて3Dアプリケーションによって実装されている3Dユーザーインタフェースを示す。シミュレータ表示62において描かれているシーン例は、デフォルト時の周囲照明と、子犬とボールが格子縞模様の床上に存在することを示す単一のカメラの画像と、を含む。
状態ウィンドー64は、幾つかの状態表示66を含む。状態表示66は、例えば、状態ウィンドー64上において一定の情報を図形又はテキストで示すことであることができる。これらの状態表示は、図3に示される実施形態においては、現在のスクリプト状態表示68と、イベント歴状態表示70と、アクティブなアニメーション状態表示72と、アイコン状態表示74と、カメラ状態表示76と、ライト状態表示78と、を含む。
示されている実施形態においては、現在のスクリプト状態表示68は、状態ウィンドー64を通じて、次の型のスクリプト情報を描く。すなわち、アニメーション実行コントローラの現在の状態を表示し、アニメーション状態機械内における現在のアニメーション状態の数値アイデンティティ(numerical identity)によって表される。
この実施形態においては、イベント歴状態表示72は、状態ウィンドー64を通じて、次の型のイベント歴情報、すなわち、アニメーションに関連する最近のイベントのリスト、を描き、前記リストは、キー入力通知と、個々のアニメーションループの開始又は終了と、を含むことができる。
この実施形態においては、アクティブアニメーション状態表示72は、状態ウィンドー64を通じて、次の型のアクティブアニメーション情報を描く。すなわち、シーン、カメラ、ライト、又はアイコンに対して適用されている現在実行中の各アニメーションに関して、前記アニメーションの全長、実行中の前記全長の部分組、及び前記部分組内から現在表示されているアニメーションの位置が表示される。
プラットフォーム画面60の示されている概略図においては単一の状態ウィンドー64が描かれているが、示されている状態ウィンドー64において描かれている情報の1つ以上の部分に関する別個の状態ウィンドーを提供することができるか又は別個の状態ウィンドーにアクセスすることができる。例えば、現在のスクリプト状態表示情報68は、1つのウィンドーにおいて描くことができ、イベント歴状態表示70は、別のウィンドーにおいて描くことができる。
状態ウィンドー64は、ユーザーがポーズスイッチ80、プレイスイッチ82、及びティックスイッチ84を起動又は停止させるのを可能にするためのグラフィカルツールをさらに含む。これらのグラフィカルツールは、例えば、コンピュータ画面上の状態ウィンドー64内において提供されるグラフィカルボタンであることができる。ポーズスイッチ80は、3Dアプリケーションを再生の際の特定の時点において休止させ、それによって状態表示66の各々における状態情報が3Dアプリケーション内のその特定の時点に該当する情報を描くことを可能にする。プレイスイッチ82は、3Dアプリケーションが実行されるようにするか又はポーズ状態から再開させる。ティックスイッチ84は、アプリケーションを実行の際に1つのインクレメント(increment)から他のインクレメントに移動させるために用いることができる。換言すると、ティックスイッチは、スクリプトを実行する際に各々のインクレメントごとに段階的に進むために提供される。これらのインクレメントは、シミュレーションされた画面上のシーンにおいて現在表示されているアイコンのアニメーションの個々の連続フレームを含むことができる。
一般的には、状態表示66は、画面を通じて、3Dアプリケーションの1つのシーン又は複数のシーンにおける3Dアイコンの各々に関する状態情報をモニタリングし、それに従って描く。状態情報は、シーン内のオブジェクトのアニメーションのフレームの各々に関して提供される。オブジェクトは、1つ以上のライトと、1つ以上の3Dアイコンと、個々のライトの1つの又は複数のターゲットが特定された方向と、1つ以上のカメラと、これらのカメラの各々のターゲットが特定された方向と、を含むことができる。状態情報は、各々のライトの位置と、アイコンと、ライトのターゲット位置と、カメラと、シーン内におけるカメラのターゲットの位置と、をさらに含むことができ、前記オブジェクト又は所在位置が妨害されているか又は他のオブジェクトと衝突しているかどうか、及び特定のオブジェクトがアクティブ又は非アクティブであるかどうかを含む。例えば、ライト又はカメラは、スクリプト内において備えることができるが、3Dアプリケーションの実行中における所定の時点においてアクティブ又は非アクティブであることができる。
図4は、1つの特定の実施形態によるスクリーンショットの例を提供する。示されているスクリーンショット例90は、ポーズ92、プレイ94及びティック96の制御に関する画面下方のボタンを含む。さらに、示されている画面90は、スクリプト識別情報98と、イベント歴情報100と、キープレス及びデバイス状態情報102と、を含む。さらに、アクティブなアニメーション104に関する情報が提供される。アクティブアニメーション情報104は、各アクティブなアニメーションについて説明する現在のアニメーションの位置と、アニメーションの全長と、現在実行中であるアニメーション全長の部分組106と、を含む。この点に関して、アニメーションの特定のフレーム範囲108が描かれる。その範囲内の現在のフレーム110、及びアニメーション112に関する説明も提示される。
本明細書に示される実施形態においては、シーンは、一組の3D要素を包含する1つの型の3Dの「世界」である。シーンは、3D要素が存在していて配置及びアニメーション化することができる仮想環境、又は空間を定義する。すなわち、個々の3D要素の一定の特性、例えば、その位置及び方位を、前記3D要素が存在するシーンに関して定義することができる。示されている実施形態においては、アイコン、カメラ、ライト及びその他の3D要素は、シーンの各部分である。これらの3D要素は、単一のシーン又は2つ以上の別々のシーンの一部であることができる。
シーンは、ノードを含むことができる。示されている実施形態においては、シーンは、ノードを含み、各ノードは、シーン内において1つ以上のオブジェクトが添付されているポイントである。ノードは、添付されたオブジェクトの位置に関する抽象的な基準点、又は原点として機能する。ノードは、それ自体をアニメーション化することができ、その場合は、ノード上で行われたあらゆるアニメーションを添付されたオブジェクトに伝搬させることができる。モデルは、シーン内のオブジェクトの外観及び挙動を表す一組のデータである。モデルは、単一の独立したシーンオブジェクトを構成することができ、又はモデルは、幾つかのオブジェクトを具備することができる。モデル内に含まれているデータは、幾何学上のデータと、表面又は材料の特性と、を含むことができる。図3に示される例においては、ボールを取ってくる子犬が描かれている。この場合は、単一のモデルは、子犬の外見、ボール、及び子犬が座っている表面、さらにはこれらに対して適用することができる一組のアニメーションを包含し及び説明する。メッシュの幾何形状は、様々な方法で描くことができる。該メッシュの幾何形状は、色をべた塗りすること、頂部において色と色の間で平滑に陰影を付けること、又はテクスチャマップを用いて描くことができる。テクスチャは、詳細な表面にすることを目的としてモデルによって表される幾何形状上を「覆う」ために用いられる特別にフォーマット化された画像に関する名称である。示されている実施形態においては、テクスチャは、テクスチャファイルにおいて定義される。
これらのテクスチャは、例えばファイル名の指定方法によって、修正する幾何形状と関連づけられる。すなわち、名前“puppy.qxt”を有するテクスチャファイルは、モデルファイル“puppy.qxm”と関連づけられる。
各シーンは、少なくとも1つのカメラを有することができる。カメラは、シーンを観るための有利な位置を包含する。カメラ自体がシーンのオブジェクトであり、シーン内においてアニメーション化することができる。すべてのシーンに関して(世界の中心を見ている)デフォルト時のカメラを提供することができ、その他のカメラがオンの状態でない場合に起動される。
シーンは、1つ以上のライトを有することができる。さらに加えて、又は代替として、シーンは、デフォルト時の周囲「全面」照明を含むことができる。この周囲モードにおける静的照明をシミュレーションするためにモデルの頂点の色及びテクスチャ内に照明をベーキングすることが可能である。シーンにライトを加えることによって生き生きとしたダイナミックな照明を達成させることができる。ライトはノードに添付されるが、このライトは、他のノードとも関連づけられる。すなわち、ライトを他のノードと関連づけることは、ライトが輝く方向を定義する。従ってライトを「フラッシュライト」のように指向させることができる。さらに、シーン内に照らされるライトの色を定義するパラメータを含めることができる。
オブジェクトをどのようにしてアニメーション化するかを説明する1つ以上のアニメーションファイルを提供することができる。アニメーションファイルが要求されたときには、シーン内の特定のノードに適用される。示されている実施形態におけるアニメーションファイルは、細長いフィルム(又はフラッシュ内のタイムライン)のようなものであり、一組のフレームを含む。これらのフレームは、連続したシーケンスを表す必要がなく、幾つかのまったく異なるアニメーションを同じフレーム「スタック」内に含めることができ、示されている実施形態においてこれらのアニメーションが要求されたときに開始フレームと終了フレームの両方が指定されるのはこの理由によるものである。
アニメーションが起動されると、アニメーション化することが意図されている特定の名前のノードに適用される。一例として、子犬をアニメーション化するために1つのアニメーションファイルを提供することができ、他方、カメラ及びライトをアニメーション化するために別個のアニメーションファイルが提供される。アニメーションファイルにおいて指定された命令は、そのノードに添付されたオブジェクト内に入り、該オブジェクトは、これらの特定のフレームが指示するあらゆることを行う。例えば、子犬がその場で回転すること、シーン全体を飛び回ること、ジャンプすること、又はかがむことができる。
モバイルデバイスキーボードにおいて典型的に提供される4方向ナビゲーションキーを用いて様々な形で子犬をアニメーション化することができる。例えば、図3に示されるこの例においては、右のナビゲーションキーを押すことで、ボールが右に転がるようにし、その後に子犬がボールを追いかけて持ってくるようにすることが可能である。
本明細書の図において示される各々のプラットフォームによって行われる処理は、汎用コンピュータ単独で又は専用処理コンピュータと関連させて実行することができる。該処理は、単一のプラットフォームによって、又は分散型処理プラットフォームによって、若しくは別個のプラットフォームによって行うことができる。さらに、該処理は、専用ハードウェアの形態で、又は汎用コンピュータによって実行されるソフトウェアの形態で実装することができる。該処理によって取り扱われるか又は該処理の結果生成されるデータは、あらゆる型のメモリに格納することができる。一例として、これらのデータは、所定のコンピュータシステム又はサブシステムのRAM等の一時メモリに格納することができる。さらに加えて、又は代替として、該データは、より長期の記憶装置、例えば、磁気ディスク、書き換え可能光学ディスク等に格納することができる。本開示の目的上、コンピュータによって読み取り可能な媒体は、上記のメモリ技術を含むあらゆる形態のデータ格納機構、及び該構造及び該データのハードウェア又は回路表示を具備することができる。集積回路は、本明細書において開示される構造及び処理の1つ以上の部分を含むことができる。
請求項は、原請求項及び修正された請求項の両方に関して、本明細書において開示される実施形態及び教義の変形、代替、修正、改良、同等物、及び実質的同等物を包含し、現在予測されていないか又は明確に理解されていないもの、例えば出願者/特許権所有者から発生する可能性があるもの、及びその他を含む。
1つ以上のデバイスコンテンツ開発プラットフォームのブロック図である。 シミュレータプラットフォームの概略的ブロック図である。 1つ以上のプラットフォーム画面の概略図である。 例示されるデバッギングシステムの状態ウィンドーのスクリーンショット例を示した図である。

Claims (20)

  1. ターゲットである埋め込みデバイス以外のコンピュータプラットフォーム上において、前記ターゲットである埋め込みデバイスに関してオーサリングされた3Dアプリケーションをシミュレーションするための埋め込みデバイスシミュレーションエンジンと、
    前記3Dアプリケーションが前記埋め込みデバイスシミュレーションエンジンにおいて実行される方法を制御するためのアプリケーション実行コントローラと、
    前記3Dアプリケーションが前記埋め込みデバイスシミュレーションエンジンの前記シミュレーションされた環境において実行されるのに応じて、前記3Dアプリケーションのシーン内における3Dアイコンの、前記3Dアプリケーションにおける3Dアイコンのアニメーションの、及び前記3Dアプリケーションに影響を与える発生中のイベントの状態に関する情報を提供するための状態プロバイダと、を具備する装置。
  2. 前記3Dアプリケーションは、3Dユーザーインタフェースアプリケーションを具備する請求項1に記載の装置。
  3. 前記アプリケーション実行コントローラは、前記3Dアプリケーションが前記埋め込みデバイスシミュレーションエンジンを用いて実行されるようにするためのプレイ制御を含む請求項1に記載の装置。
  4. 前記アプリケーション実行コントローラは、前記3Dアプリケーションが前記埋め込みデバイスシミュレーションエンジンにおいて実行されるのに応じて前記3Dアプリケーションを休止させるためのポーズ制御を含む請求項3に記載の装置。
  5. 前記アプリケーション実行コントローラは、前記埋め込みデバイスシミュレーションエンジンによって実行中のスクリプトにおいてインクレメントごとに段階的に進むためのティック制御を含む請求項1に記載の装置。
  6. 前記インクレメントは、前記埋め込みデバイスシミュレーションエンジンのシミュレーション画面上に現在表示されている3Dアイコンのアニメーションの個々の連続フレームを含む請求項5に記載の装置。
  7. 前記3Dオブジェクトの各アニメーションフレームに関して、前記3Dアプリケーションの前記シーン内における前記3Dオブジェクトの各々に関する状態情報をモニタリングするための状態モニターをさらに具備する請求項1に記載の装置。
  8. 前記3Dオブジェクトの各アニメーションフレームに関して、前記3Dアプリケーションのシーン内における前記3Dオブジェクトの各々に関する状態情報をモニタリングするための状態モニターをさらに具備する請求項6に記載の装置。
  9. 前記シミュレーション画面において描かれているシーン内のオブジェクトは、1つ以上のライトと、1つ以上の3Dアイコンと、ライトの1つ以上ターゲットが特定された方向と、1つ以上のカメラと、カメラの1つ以上ターゲットが特定された方向と、前記シーン内の前記オブジェクトの各々に関する位置と、オブジェクトが妨害されているか又は衝突しているか及び前記オブジェクトのうちの選択されたオブジェクトがオン又はオフであるかに関する情報と、を含む請求項8に記載の装置。
  10. 前記状態プロバイダは、前記状態に関する前記情報をコンピュータ画面を通じて前記ユーザーに表示するための表示機構を含む請求項1に記載の装置。
  11. 前記状態プロバイダは、前記状態に関する前記情報をコンピュータ画面を通じて前記ユーザーに表示するための表示機構を含む請求項9に記載の装置。
  12. 前記表示機構は、前記状態に関する前記情報を状態ウィンドーを通じて表示する請求項10に記載の装置。
  13. 前記3Dアプリケーションの一部分を微調整するための微調整機構をさらに具備する請求項1に記載の装置。
  14. 前記3Dアプリケーションの一部分を微調整するための微調整機構をさらに具備する請求項10に記載の装置。
  15. 前記3Dアプリケーションの前記微調整された一部分は、前記3Dアプリケーションの定義されたアニメーションを含む請求項14に記載の装置。
  16. 前記3Dアプリケーションの前記微調整された一部分は、前記3Dアプリケーションの定義された対話の流れをさらに含む請求項15に記載の装置。
  17. 前記定義された対話の流れは、前記3Dアプリケーションによって描かれる対象となる前記シーンの3Dオブジェクトの定義された対話の流れを含む請求項16に記載の装置。
  18. ターゲットである埋め込みデバイス以外のコンピュータプラットフォーム上のデバイスシミュレーションエンジンにおいて、前記ターゲットである埋め込みデバイスに関してオーサリングされた3Dを実行しているターゲットである埋め込みデバイスをシミュレーションすることと、
    前記3Dアプリケーションが前記埋め込みデバイスシミュレーションエンジンにおいて実行される前記方法を制御することと、
    前記3Dアプリケーションが前記デバイスシミュレーションエンジンの前記シミュレーションされた環境において実行されるのに応じて、前記3Dアプリケーションのシーン内における3Dアイコンの、前記3Dアプリケーションにおける3Dアイコンのアニメーションの、及び前記3Dアプリケーションに影響を与える発生中のイベントの状態に関する情報を提供すること、とを具備する方法。
  19. 前記データによって符号化され、前記符号化されたデータは、
    ターゲットである埋め込みデバイス以外のコンピュータプラットフォーム上のデバイスシミュレーションエンジンにおいて、前記ターゲットである埋め込みデバイスに関してオーサリングされた3Dアプリケーションを実行しているターゲットである埋め込みデバイスをシミュレーションすることと、
    前記3Dアプリケーションが前記埋め込みデバイスシミュレーションエンジンにおいて実行される前記方法を制御することと、
    前記3Dアプリケーションが前記デバイスシミュレーションエンジンの前記シミュレーションされた環境において実行されるのに応じて、前記3Dアプリケーションのシーン内における3Dアイコンの、前記3Dアプリケーションにおける3Dアイコンのアニメーションの、及び前記3Dアプリケーションに影響を与える発生中のイベントの状態に関する情報を提供すること、とを行わせるための機械と相互運用可能である、機械読み取り可能媒体。
  20. ターゲットである埋め込みデバイス以外のコンピュータプラットフォーム上において、前記ターゲットである埋め込みデバイスに関してオーサリングされた3Dアプリケーションを実行しているエンジンをシミュレーションするための手段と、
    前記3Dアプリケーションがシミュレーションするための前記手段によって実行される前記方法を制御するための手段と、
    前記3Dアプリケーションがシミュレーションするための前記手段によって生じたシミュレーションされた環境において実行されるのに応じて、前記3Dアプリケーションのシーン内における3Dアイコンの、前記3Dアプリケーションにおける3Dアイコンのアニメーションの、及び前記3Dアプリケーションに影響を与える発生中のイベントの状態に関する情報を提供するための手段と、を具備する装置。
JP2008519727A 2005-06-29 2006-06-29 3dユーザーインタフェースプログラムに関するビジュアルデバッギングシステム Expired - Fee Related JP5237095B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US69634505P 2005-06-29 2005-06-29
US60/696,345 2005-06-29
PCT/US2006/026209 WO2007002952A2 (en) 2005-06-29 2006-06-29 Visual debugging system for 3d user interface program

Publications (2)

Publication Number Publication Date
JP2008545207A true JP2008545207A (ja) 2008-12-11
JP5237095B2 JP5237095B2 (ja) 2013-07-17

Family

ID=37460282

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008519727A Expired - Fee Related JP5237095B2 (ja) 2005-06-29 2006-06-29 3dユーザーインタフェースプログラムに関するビジュアルデバッギングシステム

Country Status (8)

Country Link
US (1) US8589142B2 (ja)
EP (1) EP1915693A2 (ja)
JP (1) JP5237095B2 (ja)
KR (1) KR101022075B1 (ja)
CN (2) CN102855190A (ja)
CA (1) CA2613570C (ja)
TW (1) TWI391817B (ja)
WO (1) WO2007002952A2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8301689B2 (en) * 2007-09-06 2012-10-30 Bluestreak Technology, Inc. Controlling presentation engine on remote device
US20090066702A1 (en) * 2007-09-06 2009-03-12 Luc Dion Development Tool for Animated Graphics Application
US9792718B2 (en) 2008-07-25 2017-10-17 Qualcomm Incorporated Mapping graphics instructions to associated graphics data during performance analysis
KR101286938B1 (ko) * 2008-07-25 2013-07-23 퀄컴 인코포레이티드 그래픽스 이미징을 위한 파티셔닝-기반 성능 분석
KR101431311B1 (ko) * 2008-07-25 2014-09-19 퀄컴 인코포레이티드 그래픽 이미지들의 시각적 창작 동안의 성능 분석
US20100020069A1 (en) 2008-07-25 2010-01-28 Qualcomm Incorporated Partitioning-based performance analysis for graphics imaging
US8687046B2 (en) * 2009-11-06 2014-04-01 Sony Corporation Three-dimensional (3D) video for two-dimensional (2D) video messenger applications
US9411413B2 (en) 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
US8913056B2 (en) * 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
US8963927B2 (en) * 2010-12-15 2015-02-24 Microsoft Technology Licensing, Llc Vertex-baked three-dimensional animation augmentation
US9311427B2 (en) 2012-01-03 2016-04-12 Cimpress Schweiz Gmbh Automated generation of mobile optimized website based on an existing conventional web page description
KR20130133319A (ko) * 2012-05-23 2013-12-09 삼성전자주식회사 3d그래픽 사용자 인터페이스 제작 장치 및 방법
KR20150101915A (ko) * 2014-02-27 2015-09-04 삼성전자주식회사 3차원 gui 화면의 표시 방법 및 이를 수행하기 위한 디바이스
US20150347094A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Interactive learning tool using playground
KR101913060B1 (ko) * 2018-02-12 2018-10-29 민경현 디버깅을 위한 모바일 장치 및 방법
US11567628B2 (en) * 2018-07-05 2023-01-31 International Business Machines Corporation Cognitive composition of multi-dimensional icons
CN114706660B (zh) * 2022-05-17 2022-09-09 清华大学 基于das的自定义功能扩展方法、装置、设备及存储介质
CN117421251B (zh) * 2023-12-18 2024-03-19 武汉天喻信息产业股份有限公司 一种嵌入式终端的用户界面的调试方法和***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998033145A1 (fr) * 1997-01-24 1998-07-30 Sony Corporation Generateur de donnees de formes, procede de generation de donnees de formes et moyens associes
JP2000040169A (ja) * 1995-05-24 2000-02-08 Sega Enterp Ltd 画像処理装置及びそれを用いたゲ―ム装置
JP2000112886A (ja) * 1998-10-02 2000-04-21 Nekusutekku:Kk ネットワークシステム
JP2001353678A (ja) * 2000-06-12 2001-12-25 Sony Corp オーサリング・システム及びオーサリング方法、並びに記憶媒体
JP2002049927A (ja) * 2000-08-01 2002-02-15 Victor Co Of Japan Ltd 情報処理装置
JP2005095387A (ja) * 2003-09-25 2005-04-14 Dimps:Kk ゲーム装置及びコンピュータを機能させるためのプログラム
JP2005165873A (ja) * 2003-12-04 2005-06-23 Masahiro Ito Web3D画像表示システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320949A (ja) * 1995-05-24 1996-12-03 Sega Enterp Ltd 画像処理装置及びそれを用いたゲーム装置
JP3544268B2 (ja) * 1995-10-09 2004-07-21 任天堂株式会社 三次元画像処理装置およびそれを用いた画像処理方法
JPH1033145A (ja) 1996-07-23 1998-02-10 Ootome Kamaboko Kk 鶏肉入り練製品及びその製造方法
US5913052A (en) * 1997-01-24 1999-06-15 Lucent Technologies Inc. System and method for debugging digital signal processor software with an architectural view and general purpose computer employing the same
JP3688862B2 (ja) 1997-08-06 2005-08-31 アルゼ株式会社 遊戯機ディスプレイ試験装置
US6113645A (en) 1998-04-22 2000-09-05 Scientific Learning Corp. Simulated play of interactive multimedia applications for error detection
EP1067806A1 (en) 1999-07-09 2001-01-10 CANAL+ Société Anonyme Apparatus for and method of testing applications
US20010027387A1 (en) * 2000-03-30 2001-10-04 Hideaki Miyake Debugging supporting apparatus, debugging supporting method and recording medium readable by computer with its programs recorded thereon
US6884171B2 (en) * 2000-09-18 2005-04-26 Nintendo Co., Ltd. Video game distribution network
US7155381B2 (en) * 2001-03-12 2006-12-26 Sun Microsystems, Inc. Module for developing wireless device applications using an integrated emulator
US20030236657A1 (en) * 2001-03-12 2003-12-25 Martin Ryzl Method of developing wireless device applications using an integrated emulator and an IDE
US20040150626A1 (en) * 2003-01-30 2004-08-05 Raymond Husman Operator interface panel with control for visibility of desplayed objects
US7318172B2 (en) * 2004-08-31 2008-01-08 Broadcom Corporation Wireless remote firmware debugging for embedded wireless device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000040169A (ja) * 1995-05-24 2000-02-08 Sega Enterp Ltd 画像処理装置及びそれを用いたゲ―ム装置
WO1998033145A1 (fr) * 1997-01-24 1998-07-30 Sony Corporation Generateur de donnees de formes, procede de generation de donnees de formes et moyens associes
JP2000112886A (ja) * 1998-10-02 2000-04-21 Nekusutekku:Kk ネットワークシステム
JP2001353678A (ja) * 2000-06-12 2001-12-25 Sony Corp オーサリング・システム及びオーサリング方法、並びに記憶媒体
JP2002049927A (ja) * 2000-08-01 2002-02-15 Victor Co Of Japan Ltd 情報処理装置
JP2005095387A (ja) * 2003-09-25 2005-04-14 Dimps:Kk ゲーム装置及びコンピュータを機能させるためのプログラム
JP2005165873A (ja) * 2003-12-04 2005-06-23 Masahiro Ito Web3D画像表示システム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CSND200201347001; '3Dモデルの描画処理の基礎' C MAGAZINE 第12巻、第9号, 20000901, pp.10-15, ソフトバンクパブリッシング株式会社 *
CSND200400444002; 松原拓也: '無料で開発ツールをゲット! Palm vs PocketPC プログラミング対決!' マイコンBASIC Magazine 第22巻、第5号, 20030501, pp.30-35, 電波新聞社 *
JPN6011029970; 松原拓也: '無料で開発ツールをゲット! Palm vs PocketPC プログラミング対決!' マイコンBASIC Magazine 第22巻、第5号, 20030501, pp.30-35, 電波新聞社 *
JPN6012012201; '3Dモデルの描画処理の基礎' C MAGAZINE 第12巻、第9号, 20000901, pp.10-15, ソフトバンクパブリッシング株式会社 *

Also Published As

Publication number Publication date
KR20080021824A (ko) 2008-03-07
EP1915693A2 (en) 2008-04-30
JP5237095B2 (ja) 2013-07-17
KR101022075B1 (ko) 2011-03-17
CN102855190A (zh) 2013-01-02
TWI391817B (zh) 2013-04-01
US20070225961A1 (en) 2007-09-27
CN101233496A (zh) 2008-07-30
CA2613570C (en) 2012-10-09
US8589142B2 (en) 2013-11-19
CA2613570A1 (en) 2007-01-04
TW200713122A (en) 2007-04-01
WO2007002952A2 (en) 2007-01-04
WO2007002952A3 (en) 2007-04-05

Similar Documents

Publication Publication Date Title
JP5237095B2 (ja) 3dユーザーインタフェースプログラムに関するビジュアルデバッギングシステム
US20080049015A1 (en) System for development of 3D content used in embedded devices
CN102663799B (zh) 用于利用创作***创建可播放场景的方法和装置
KR101530634B1 (ko) 체험형 학습 콘텐츠 저작 장치 및 방법
US11341706B2 (en) Virtual scene display method and apparatus, and storage medium
US20090219291A1 (en) Movie animation systems
Brackeen et al. Developing games in Java
CN110262791B (zh) 一种可视化编程方法、装置及运行器、可读存储介质
CN109513212B (zh) 一种2d***ui、剧情编辑方法及***
Davison Pro Java 6 3D Game Development: Java 3D, JOGL, JInput and JOAL APIs
Wells Unity 2020 By Example: A project-based guide to building 2D, 3D, augmented reality, and virtual reality games from scratch
CN117349917B (zh) 一种施工方案模拟***、方法以及存储介质
Thorn Unity 5. x by Example
Shekar Cocos2d cross-platform game development cookbook
Johnson et al. Learning 2D game development with Unity: a hands-on guide to game creation
Vu Tuan VR Modeling of a Power Plant for the Purpose of 3D Visualisation, Maintenance Training and Disaster Simulation Scenario
Davison Java™ 6 3D
CN118409662A (zh) 一种混合现实跨空间交互方法及装置
CN114816411A (zh) 增强现实模型转换的方法、装置、设备及存储介质
Bosch Vila Development of a 2D lateral action videogame for Android platforms= Desenvolupament d’un videojoc d’acció lateral per a plataformes Android
CN116832436A (zh) 一种游戏中的视角切换方法
CN117953128A (zh) 三维图像的获取***
Fontanini Game Development with SlimDX
Bevilacqua Slick2D Game Development
Unreal et al. Unreal Engine 3

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110614

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110914

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110922

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111014

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111021

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120529

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120612

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120925

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130125

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130328

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5237095

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees