JP2019532319A - 合成ユーザ・インタフェース - Google Patents
合成ユーザ・インタフェース Download PDFInfo
- Publication number
- JP2019532319A JP2019532319A JP2019503215A JP2019503215A JP2019532319A JP 2019532319 A JP2019532319 A JP 2019532319A JP 2019503215 A JP2019503215 A JP 2019503215A JP 2019503215 A JP2019503215 A JP 2019503215A JP 2019532319 A JP2019532319 A JP 2019532319A
- Authority
- JP
- Japan
- Prior art keywords
- data
- processing unit
- graphic
- real
- web
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R13/00—Arrangements for displaying electric variables or waveforms
- G01R13/02—Arrangements for displaying electric variables or waveforms for displaying measured electric variables in digital form
- G01R13/029—Software therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/363—Graphics controllers
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
- G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R13/00—Arrangements for displaying electric variables or waveforms
- G01R13/02—Arrangements for displaying electric variables or waveforms for displaying measured electric variables in digital form
- G01R13/0218—Circuits therefor
- G01R13/0236—Circuits therefor for presentation of more than one variable
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/14—Tree-structured documents
- G06F40/143—Markup, e.g. Standard Generalized Markup Language [SGML] or Document Type Definition [DTD]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
- G09G2340/0435—Change or adaptation of the frame rate of the video stream
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
- G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/02—Networking aspects
- G09G2370/027—Arrangements and methods specific for the display of internet documents
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Digital Computer Display Output (AREA)
- Image Generation (AREA)
Abstract
情報を表示するシステムには、波形及び映像データの中の少なくとも1つから構成されるリアルタイム画像データ及びウェブ入力データを受けて、ウェブ・データの第1グラフィック・レイヤ、グラティクル・データの第2グラフィック・レイヤ及びリアルタイム・データの第3グラフィック・レイヤを生成する中央演算ユニットと、この中央演算ユニットに接続されて、第1、第2及び第3グラフィック・レイヤを記憶するメモリと、メモリから第1、第2及び第3グラフィック・レイヤを読み出して、表示ウィンドウを生成するグラフィック・プロセッサと、表示ウィンドウを表示する表示装置とがある。
Description
本開示は、ビデオ・モニタリング装置に関し、特に、合成ユーザ・インタフェースを生成するビデオ・モニタリング装置に関する。
ビデオ・モニタリング装置は、ユーザ・インタフェース上又はユーザ・モニタ上に、ラスタライズされた波形及び映像(Picture:ピクチャ)表示のようなリアルタイム・データを提供する。これら装置としては、オシロスコープやその他の波形生成装置がある。また、ビデオ・セッション及びステイタス・データのようなテキスト・データについても表示されることがある。こうした装置に関するユーザ・インタフェースを生成する典型的な手法としては、低級(low level:低水準)ソフトウェアを用いるカスタム・メニューがある。ゲーム産業の製品では、プレーヤのスコア(player scores)のような、いくつかのJavascript/HTMLコンポーネントを、ゲームの景観のような生成されたデータと組み合わせることができるが、波形及び映像表示のようなリアルタイム・データを、Javascript/HTMLと組み合わせる既知の方法はない。
以下で述べる実施形態は、現在のシステムの制約を解決しようとするものである。
最新のデスクトップ・プロセッサには、典型的には、オンボードGPUがあり、これは、高価な追加のGPUカードを必要とせずに、演算とレンダリングの速度を速める機会を提供する。こうしたオンボードGPUは、Javascript/HTMLベースのユーザ・インタフェース・データと組み合わせて、映像データ及びリアルタイム波形を組み合わせたユーザ・インタフェースを生成するのに利用できる。
加えて、GPUは、フレーム・レート変換のような、異なるビデオ処理方式を実現する優れた方法を提供する。2Dテクスチャ配列は、GPU内の循環バッファを実現する優れた方法であり、これは、複数の映像フレームを保持でき、様々なフレーム・レート変換アルゴリズムの実現を可能にする。本願で開示される実施形態は、セグメント化手法をフォローしており、ここでは、GPUの2Dテクスチャ配列を循環バッファとして利用しながら、処理をCPUと1つ以上のGPUの間で分配する。もし使用するGPUが循環バッファを提供しないなら、GPUの外部にある循環バッファを使うことも可能である。
HTML及びJavascriptベースのユーザ・インタフェースは、現代的で柔軟ではあるが、残念なことに、ラスタライズ波形及び映像データを作り出すアクイジション(取込み)データにアクセスする簡単な方法を提供しない。Awesomium や Chromium Embedded Framework (CEF) のようなエンベッディング(Embedding:埋め込み)ツールは、ユーザが生成したテクスチャに、Javascript/HTMLコンポーネントを重ねる(オーバーレイする)方法を提供する。テクスチャは、GPUにおいて表される画像(例えば、ビデオ・ゲームにおける景観シーン)と考えても良い。
本願の実施形態は、Javascript/HTMLコンポーネントをラスタライズ波形及び映像データに重ねて、Javascript/HTMLで動くユーザ・インタフェースを生成するという、シンプルかつ柔軟で拡張性のある方法を生み出すもので、これは、また、Javascriptレイヤに「ウィンドウ」を生じさせ、これによって、合成ユーザ・インタフェースをユーザに提示する前に、リアルタイムのデータを取り込んで処理できる。
図1及び2に示されるように、アプリケーション22は、少なくとも1つの波形と映像(ピクチャ)データから構成されるリアルタイム画像データを、例えば、カスタムの(custom:特別注文の)PCIeベースのカードによって取込み、PCIeバスを通じて、システム・メモリ14中の大きなリング・バッファへと送る。このリング・バッファは、共有メモリ・モード(shared memory mode)に設定されるので、別の外部アプリケーションは、波形、映像、複数のフレーム又は1フレームを同時に読み出すことができ、これらをGPUメモリにテクスチャとしてアップロードできる。本説明における「テクスチャ」とは、画像を生成するグラフィック処理において利用される表面(surface)のグリップ又はマッピングである。この外部アプリケーションは、次いで、GPUを用いて、適切な順番でこれらをレイヤ(重ねる処理)し、ユーザ・インタフェースの外観(Look:外見、見た目)を実現する。
ウェブ技術ベースのユーザ・インタフェース18によって、メニューやボタンのような典型的なユーザ・インタフェース画像コンポーネントが生成でき、これは、最終的に波形及び映像上へと重ねられる(オーバーレイされる)ことになる。このユーザ・インタフェースは、システム・メモリ14中の「オフ・スクリーン」空間にレンダリングされる。
このメモリ14は、CPUによって利用されるシステム・メモリから構成されていても良く、また、上述のように、共有メモリとして設定できる。これにより、GPUが取り込む前に、波形及び映像データをコピーする必要を回避している。しかしながら、本願の実施形態では、1例のメモリ・アーキテクチャのみ提示するが、特定の1つの実施形態に限定することを意図しておらず、また、必然的にこれであるということでもない。
別のアプリケーション24は、グラティクル(graticule:方眼の目盛り又は方眼区画表示、グラット(grat)とも呼ばれる)も生成するが、これは、単純にモニタリング装置の表示上の複数ラインから成る網目である。例えば、オシロスコープの表示装置上で、グラティクルは、ある測定値に対する別の測定値の寸法を伴う軸から構成されても良い。これらは、第3のレイヤとして、表示で使用される要素に加えられることになる。
GPU16は、メモリにアクセスして、個々のレイヤ32、34及び36を処理し、38に示される画像を生成する。画像38には、ユーザから見て「トップ(一番上)」にメニュー情報を有するHTMLレイヤがあり、これに、表示装置用のグラティクル(graticule)が続き、次いで、オシロスコープに由来するトレースであっても良いリアルタイム波形データや映像データが、その後ろに続く。この合成画像は、次いで、表示ウィンドウ40を発生される。
図2は、この処理の1つの実施形態のフローチャートを示す。CPUは、上述の如く、42において、波形及び映像データを取込み、44において、これらデータをシステム・バッファに記憶する。GPUは、次いで、波形又は映像フレームを読み出し(46)、次いで、これらをレイヤ(重ねる処理)してユーザ・インタフェースにする(48)。このシステム内には、この処理のために、多くのオプションがある。
例えば、入力されるビデオ信号のフレーム・レートによって、映像データのフレーム・レートは、23.97、30、50、59.94又は60Hzのように、任意のレートにできる。これらフレームは、プログレッシブ又はインタレースであっても良い。ユーザ・インタフェースを表示するのに利用されるモニタの表示レートは、例えば、60Hzで固定であるが、別のレートに調整可能であっても良い。これは、表示のために、GPUで合成される前に、映像データ・ストリームは、フレーム・レートを変換する必要があるかもしれないことを意味する。
図3は、CPU及び1つ以上のGPUの両方を用いて、フレーム・レート変換処理を分割する例示的な実施形態を示す。図3に示されるように、CPU処理ブロック12への入力信号には、フレーム・データ信号があり、これは、実際の映像フレーム・データに加えて、入力ビデオ・フレーム・レート、表示フレーム番号、スキャン形式の中の少なくとも1つを含んでいても良い。フレーム・レート信号によって、フレーム・データが、インタレースであるか又はプログレッシブであるかをシステムが決定できる。映像フレーム・データは、GPUの中で、54において、CPUによってロードされるテクスチャ・ユニットを単位として表される。本願のGPUに関する実施形態では、複数のテクスチャ・ユニットから成る配列を利用する方法(56)も提供し、その各要素を独立にアップデートできる。GPUの2Dテクスチャ配列機能は、映像フレームの小さな循環バッファを構築するのに利用される。
図4は、2Dテクスチャ配列を用いてビデオ・フレームを処理する方法の実施形態を示す。映像データは、70において、バッファから読み出される。CPUは、映像データを有する2Dテクスチャ配列の複数の要素をロードする。各要素は、GPUやGPUプロセッサの一部分などにおいて処理する要素でも良い。2Dテクスチャ配列は、循環バッファとして設定される。GPUは、循環バッファに入る1つ以上のテクスチャに由来するデータを用いて表示フレームを生成しても良い。次いで、ラスタライザは、76において、計算された表示フレームを表示装置へ出力する。
CPU処理ブロックは、GPU中の2Dテクスチャ配列の個々の要素をアップデートする。入力されるビデオ・フレーム・レート、スキャン形式、プログレッシブかインタレースか、そして、出力表示フレーム番号によって、配列中のインデックスを新しい映像データでアップデートするか否かが定まる。GPUレンダリング・ループは、典型的には、60Hzのような出力表示スキャン・レートで動作しながら、表示されている現在のフレーム番号(数)を表すフレーム番号(Frame number)カウンタを維持する。
例えば、入力されるビデオのフレーム・レートは60pであり、これは、60Hzプログレッシブ・スキャンである。この場合、PCIeを通じたアクイジション・ハードウェアから供給されるような全ての映像フレームは、CPU側の先入れ先出し(FIFO)50のバッファへ押し込まれる。このバッファのサイズは、設定で変更可能としても良い。GPUレンダリング・ループの繰り返し毎に、上述のCPU処理ブロックは、ソフトウェアFIFOから1フレームを放出し、これを循環バッファとして構成されている2Dテクスチャ配列60の次に続くインデックス(a successive index:連続するインデックスの1つ)に入れ、そして、GPUシェーダ・コードで利用するために、循環バッファへインデックスを戻す(return:返答する)。GPUシェーダ(shader)62は、フラグメント・シェーダとも呼ばれ、適正な出力フレーム・レートへとフレーム・レート変換を行う。
循環バッファへのインデックスは、GPU16に渡される。GPU16の中では、フラグメント・シェーダ・コード(これは、画素の色を処理するGPU処理ブロックでも良い)が、上記のインデックスにおいて、データをサンプルし、これをGPUのラスタライザ64に渡す。次いで、GPUは、これを表示モニタ66へと出力する。もしGPUがフラグメント・シェーダを備えていない場合には、GPUの外部のフレーム・インタレーサ(frame interlacer)を利用することもできて、これは同様の結果を実現する。
別の実施例では、入力されるビデオのフレーム・レートは、30Hzプログレッシブ・スキャンを意味する30pである。アクイジション・ハードウェアから供給される映像フレームの全ては、CPU側の、サイズを変更可能なソフトウェアFIFOへと押し込まれる。GPUレンダリング・ループの繰り返し毎に、上述のCPU処理ブロックは、現在のフレーム番号が偶数か奇数かを確認するために調査する。もし偶数なら、ソフトウェアFIFOから1フレームを放出し、これを循環バッファとして構成されている2Dテクスチャ配列の次に続くインデックス(a successive index)に入れ、そして、GPUシェーダ・コードで利用するために、循環バッファへインデックスを戻す(return:返答する)。もし奇数なら、以前に決めたインデックスを繰り返す。これは、基本となるメカニズムであり、これによって、2Dテクスチャ配列−循環バッファに既に存在しているフレームを繰り返すか、即ち、フレーム・レート変換が実現されていないかをCPU側で決定できる。
循環バッファへのインデックスは、GPUに渡される。GPU内では、フラグメント・シェーダが、上記のインデックスにおいて、インタレースされたフレーム中の偶数又は奇数フィールドを表す適切な半分の映像からデータをサンプルし、これをGPUのラスタライザに渡す。
2Dテクスチャ配列を循環バッファとして実現し、その現在のインデックスをCPU上で実行しているソフトウェアによって決めるというような、上述のやり方でGPUの2Dテクスチャ配列を使うことによって、ストレートなやり方でフレーム・レート変換がうまく実現される。60i、50pなどのような他のフレーム・レートに関する変換を実現するのにも、同様なステップに従うことができる。
上述のような実施形態は、特別に作成されたハードウェア、ファームウェア、デジタル・シグナル・プロセッサ又はプログラムされた命令に従って動作するプロセッサを含む特別にプログラムされた汎用コンピュータ上で動作できる。本願で使用された「コントローラ」又は「プロセッサ」という用語は、マイクロプロセッサ、マイクロコンピュータ、ASIC及び専用ハードウェア・コントローラ等を意図する。実施形態の1つ以上の態様は、1つ又は複数のコンピュータ(モニタリング・モジュールを含む)その他のデバイスによって実行される、1つ又は複数のプログラム・モジュールなどのコンピュータ利用可能なデータ及びコンピュータ実行可能な命令で実現できる。概して、プログラム・モジュールとしては、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含み、これらは、コンピュータその他のデバイス内のプロセッサによって実行されると、特定のタスクを実行するか、又は、特定の抽象データ形式を実現する。コンピュータ実行可能命令は、ハードディスク、光ディスク、リムーバブル記憶媒体、ソリッド・ステート・メモリ、RAMなどの非一時的コンピュータ可読記憶媒体に記憶しても良い。当業者には理解されるように、プログラム・モジュールの機能は、様々な実施形態において必要に応じて組み合わせられるか又は分散されても良い。更に、こうした機能は、集積回路、フィールド・プログラマブル・ゲート・アレイ(FPGA)などのようなファームウェア又はハードウェア同等物において全体又は一部を具体化できる。特定のデータ構造を使用して、実施形態の1つ以上の態様をより効果的に実施することができ、そのようなデータ構造は、本願に記載されたコンピュータ実行可能命令及びコンピュータ使用可能データの範囲内と考えられる。
開示された主題の上述のバージョンは、記述したか又は当業者には明らかであろう多くの効果を有する。それでも、開示された装置、システム又は方法のすべてのバージョンにおいて、これらの効果又は特徴のすべてが要求されるわけではない。
加えて、本願の記述は、特定の特徴に言及している。本明細書における開示には、これらの特定の特徴の全ての可能な組み合わせが含まれると理解すべきである。例えば、ある特定の特徴が特定の態様又は実施形態の状況において開示される場合、その特徴は、可能である限り、他の態様及び実施例の状況においても利用できる。
また、本願において、2つ以上の定義されたステップ又は工程を有する方法に言及する場合、これら定義されたステップ又は工程は、状況的にそれらの可能性を排除しない限り、任意の順序で又は同時に実行しても良い。
説明の都合上、本発明の具体的な実施形態を図示し、説明してきたが、本発明の要旨と範囲から離れることなく、種々の変更が可能なことが理解できよう。
Claims (19)
- 波形及び映像データの中の少なくとも1つから構成されるリアルタイム画像データと、ウェブ入力データとを受けて、ウェブ・データの第1グラフィック・レイヤ、グラティクル・データの第2グラフィック・レイヤ及びリアルタイム・データの第3グラフィック・レイヤを生成する中央演算ユニットと、
上記中央演算ユニットに接続されて、上記第1、第2及び第3グラフィック・レイヤを記憶するメモリと、
該メモリから上記第1、第2及び第3グラフィック・レイヤを読み出して、表示ウィンドウを生成するグラフィック・プロセッサと、
上記表示ウィンドウを表示する表示装置と
を具える情報表示システム。 - 上記グラフィック・プロセッサが、テクスチャ処理要素から成る配列を含む請求項1のシステム。
- 上記中央演算ユニットが、フレーム・データ信号を受ける請求項1のシステム。
- 上記フレーム・データ信号が、フレーム・レート、フレーム番号及びスキャン形式のすくなとも1つから構成される請求項3のシステム。
- 上記中央演算ユニットに接続されたウェブ・ディベロッパー・フロント・エンドを更に具える請求項1のシステム。
- 上記グラフィック・プロセッシング・ユニットが、フラグメント・シェーダを更に含む請求項1のシステム。
- 上記グラフィック・プロセッシング・ユニットが、ラスタライザを更に含む請求項1のシステム。
- 中央演算ユニットにおいて、ウェブ・データと、波形及び映像データの少なくとも1つから構成されるリアルタイム画像データとを受ける処理と、
上記中央演算ユニットによって、上記ウェブ・データからウェブ・データの第1グラフィック・レイヤと、グラティクル・データの第2グラフィック・レイヤと、リアルタイム・データの第3グラフィック・レイヤを生成する処理と、
上記第1、第2及び第3グラフィック・レイヤをメモリに記憶する処理と、
グラフィック・プロセッシング・ユニットを用いて、メモリから上記第1、第2及び第3グラフィック・レイヤを読み出す処理と、
上記グラフィック・プロセッシング・ユニットを用いて、上記第1、第2及び第3グラフィック・レイヤの合成表示ウィンドウを生成する処理と
を具える異なる形式の表示データを合成する方法。 - 上記ウェブ・ベース・ユーザ・インタフェース・データを受ける処理が、ウェブ・ベース・ユーザ・インタフェースからユーザ・インタフェース・データを受ける処理を含む請求項8の方法。
- 上記リアルタイム画像データを受ける処理が、モニタリング装置の1つからリアルタイム画像データを受ける処理を含む請求項8の方法。
- 上記合成表示ウィンドウを生成する処理が、フレーム・レート変換を実行する処理を含む請求項8の方法。
- 上記合成表示ウィンドウを生成する処理が、その表示ウィンドウをラスタライズする処理を含む請求項8の方法。
- 上記中央演算ユニットで上記リアルタイム・データを受ける処理と、
上記中央演算ユニットでフレーム・データ信号を受ける処理と、
上記グラフィック・プロセッシング・ユニットに、上記映像データと共に2次元テクスチャ配列の要素をロードする処理と、
上記グラフィック・プロセッシング・ユニットで利用できる上記要素を特定するインデックスを生成する処理と、
上記グラフィック・プロセッシング・ユニットを用いて、上記インデックスで特定された上記要素をサンプルし、ラスタライズ処理へと渡す処理と
を更に具える請求項8の方法。 - 上記フレーム・データ信号で、上記リアルタイム・データをプログレッシブ・スキャン・データとして特定する請求項13の方法。
- サンプルする処理が、フラグメント・シェーダを用いて上記データをサンプルする処理を含む請求項14の方法。
- 上記フレーム・データ信号で、上記リアルタイム・データをインタレース・スキャン・データとして特定する請求項13の方法。
- 利用可能な上記要素を特定するインデックスを生成する処理が、上記インデックスが偶数か奇数かを決定する処理を更に含む請求項16の方法。
- もし上記インデックスが奇数なら、上記サンプルする処理が、要素のサンプル処理を繰り返す請求項17の方法。
- もし上記インデックスが偶数なら、上記サンプルする処理が、次に続く要素をサンプルする請求項17の方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662365290P | 2016-07-21 | 2016-07-21 | |
US62/365,290 | 2016-07-21 | ||
US15/388,801 US20180025704A1 (en) | 2016-07-21 | 2016-12-22 | Composite user interface |
US15/388,801 | 2016-12-22 | ||
PCT/US2017/042821 WO2018017692A1 (en) | 2016-07-21 | 2017-07-19 | Composite user interface |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019532319A true JP2019532319A (ja) | 2019-11-07 |
Family
ID=60988116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019503215A Pending JP2019532319A (ja) | 2016-07-21 | 2017-07-19 | 合成ユーザ・インタフェース |
Country Status (5)
Country | Link |
---|---|
US (1) | US20180025704A1 (ja) |
EP (1) | EP3488332A4 (ja) |
JP (1) | JP2019532319A (ja) |
CN (1) | CN109478130A (ja) |
WO (1) | WO2018017692A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11217344B2 (en) * | 2017-06-23 | 2022-01-04 | Abiomed, Inc. | Systems and methods for capturing data from a medical device |
CN110082580A (zh) * | 2019-04-19 | 2019-08-02 | 安徽集黎电气技术有限公司 | 一种图形化电参数监测*** |
US11748174B2 (en) * | 2019-10-02 | 2023-09-05 | Intel Corporation | Method for arbitration and access to hardware request ring structures in a concurrent environment |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5265202A (en) * | 1992-08-28 | 1993-11-23 | International Business Machines Corporation | Method and system for accessing visually obscured data in a data processing system |
US7555529B2 (en) * | 1995-11-13 | 2009-06-30 | Citrix Systems, Inc. | Interacting with software applications displayed in a web page |
US5812112A (en) * | 1996-03-27 | 1998-09-22 | Fluke Corporation | Method and system for building bit plane images in bit-mapped displays |
US5956487A (en) * | 1996-10-25 | 1999-09-21 | Hewlett-Packard Company | Embedding web access mechanism in an appliance for user interface functions including a web server and web browser |
US5790977A (en) * | 1997-02-06 | 1998-08-04 | Hewlett-Packard Company | Data acquisition from a remote instrument via the internet |
US5896131A (en) * | 1997-04-30 | 1999-04-20 | Hewlett-Packard Company | Video raster display with foreground windows that are partially transparent or translucent |
US6052107A (en) * | 1997-06-18 | 2000-04-18 | Hewlett-Packard Company | Method and apparatus for displaying graticule window data on a computer screen |
US6369830B1 (en) * | 1999-05-10 | 2002-04-09 | Apple Computer, Inc. | Rendering translucent layers in a display system |
US6707454B1 (en) * | 1999-07-01 | 2004-03-16 | Lucent Technologies Inc. | Systems and methods for visualizing multi-dimensional data in spreadsheets and other data structures |
WO2001013347A1 (fr) * | 1999-08-17 | 2001-02-22 | Advantest Corporation | Adaptateur de commande d'instrument de mesure, instrument de mesure, systeme de commande d'instrument de mesure, procede d'execution de mesure et support enregistre |
US6675193B1 (en) * | 1999-10-29 | 2004-01-06 | Invensys Software Systems | Method and system for remote control of a local system |
US6766279B2 (en) * | 2001-03-01 | 2004-07-20 | Parkinelmer Instruments Llc | System for remote monitoring and control of an instrument |
US20020188428A1 (en) * | 2001-06-07 | 2002-12-12 | Faust Paul G. | Delivery and display of measurement instrument data via a network |
WO2003083680A1 (en) * | 2002-03-22 | 2003-10-09 | Deering Michael F | Scalable high performance 3d graphics |
US20040174818A1 (en) * | 2003-02-25 | 2004-09-09 | Zocchi Donald A. | Simultaneous presentation of locally acquired and remotely acquired waveforms |
US7899659B2 (en) * | 2003-06-02 | 2011-03-01 | Lsi Corporation | Recording and displaying logic circuit simulation waveforms |
US7076735B2 (en) * | 2003-07-21 | 2006-07-11 | Landmark Graphics Corporation | System and method for network transmission of graphical data through a distributed application |
US8291309B2 (en) * | 2003-11-14 | 2012-10-16 | Rockwell Automation Technologies, Inc. | Systems and methods that utilize scalable vector graphics to provide web-based visualization of a device |
US7490295B2 (en) * | 2004-06-25 | 2009-02-10 | Apple Inc. | Layer for accessing user interface elements |
CN101536002B (zh) * | 2006-11-03 | 2015-02-04 | 气体产品与化学公司 | 用于工艺监控的***和方法 |
US20080235143A1 (en) * | 2007-03-20 | 2008-09-25 | Square D Company | Real time data tunneling for utility monitoring web applications |
US7626537B2 (en) * | 2007-07-13 | 2009-12-01 | Lockheed Martin Corporation | Radar display system and method |
US7982749B2 (en) * | 2008-01-31 | 2011-07-19 | Microsoft Corporation | Server-based rasterization of vector graphics |
US20130128120A1 (en) * | 2011-04-06 | 2013-05-23 | Rupen Chanda | Graphics Pipeline Power Consumption Reduction |
US9472018B2 (en) * | 2011-05-19 | 2016-10-18 | Arm Limited | Graphics processing systems |
US20130055072A1 (en) * | 2011-08-24 | 2013-02-28 | Robert Douglas Arnold | Multi-Threaded Graphical Display System |
WO2013185062A1 (en) * | 2012-06-08 | 2013-12-12 | Advanced Micro Devices, Inc. | Graphics library extensions |
BR112015019510A2 (pt) * | 2013-03-14 | 2017-12-12 | Intel Corp | suporte de compositor para funções gráficas. |
US10249018B2 (en) * | 2013-04-25 | 2019-04-02 | Nvidia Corporation | Graphics processor and method of scaling user interface elements for smaller displays |
KR102131644B1 (ko) * | 2014-01-06 | 2020-07-08 | 삼성전자주식회사 | 전자장치 및 전자장치에서의 웹 플랫폼 동작방법 |
CN104765594B (zh) * | 2014-01-08 | 2018-07-31 | 联发科技(新加坡)私人有限公司 | 一种显示图形用户界面的方法及装置 |
US20160292895A1 (en) * | 2015-03-31 | 2016-10-06 | Rockwell Automation Technologies, Inc. | Layered map presentation for industrial data |
US9953620B2 (en) * | 2015-07-29 | 2018-04-24 | Qualcomm Incorporated | Updating image regions during composition |
US20170132833A1 (en) * | 2015-11-10 | 2017-05-11 | Intel Corporation | Programmable per pixel sample placement using conservative rasterization |
US10204187B1 (en) * | 2015-12-28 | 2019-02-12 | Cadence Design Systems, Inc. | Method and system for implementing data reduction for waveform data |
-
2016
- 2016-12-22 US US15/388,801 patent/US20180025704A1/en not_active Abandoned
-
2017
- 2017-07-19 EP EP17831775.6A patent/EP3488332A4/en not_active Withdrawn
- 2017-07-19 WO PCT/US2017/042821 patent/WO2018017692A1/en unknown
- 2017-07-19 JP JP2019503215A patent/JP2019532319A/ja active Pending
- 2017-07-19 CN CN201780045069.8A patent/CN109478130A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20180025704A1 (en) | 2018-01-25 |
WO2018017692A1 (en) | 2018-01-25 |
EP3488332A1 (en) | 2019-05-29 |
CN109478130A (zh) | 2019-03-15 |
EP3488332A4 (en) | 2020-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10957078B2 (en) | Enhanced anti-aliasing by varying sample patterns spatially and/or temporally | |
US10096086B2 (en) | Enhanced anti-aliasing by varying sample patterns spatially and/or temporally | |
US10262454B2 (en) | Image processing apparatus and method | |
TWI602148B (zh) | 用於紋理映射至非正交網格的梯度調整 | |
US9202303B2 (en) | System and method for compositing path color in path rendering | |
US6882346B1 (en) | System and method for efficiently rendering graphical data | |
US9565414B2 (en) | Efficient stereo to multiview rendering using interleaved rendering | |
BR112019012641B1 (pt) | Método e dispositivo para renderização foveation, e memória legível por computador | |
US6864894B1 (en) | Single logical screen system and method for rendering graphical data | |
JP6882868B2 (ja) | 画像処理装置、画像処理方法、システム | |
EP2991038B1 (en) | Rendering apparatus and method | |
CN114897754B (zh) | 使用来自先前视角的渲染内容和非渲染内容生成新帧 | |
JP2019532319A (ja) | 合成ユーザ・インタフェース | |
US11244492B2 (en) | Parallel texture sampling | |
TW200807327A (en) | Texture engine, graphics processing unit and texture processing method thereof | |
JP2006526834A (ja) | ボリューム・レンダリング用の適応画像補間 | |
JP2020028096A (ja) | 画像処理装置、画像処理装置の制御方法及びプログラム | |
US9035945B1 (en) | Spatial derivative-based ray tracing for volume rendering | |
JPWO2018087856A1 (ja) | 映像合成装置及び映像合成方法 | |
US6870539B1 (en) | Systems for compositing graphical data | |
JP2005107681A (ja) | 複数画面画像表示システム、複数画像表示装置の相対位置検出方法、複数画像表示装置の相対位置検出プログラムおよび複数画像表示装置の相対位置検出プログラムを記録した記録媒体 | |
Díaz-García et al. | Fast illustrative visualization of fiber tracts | |
US20060092160A1 (en) | Method for the rapid image processing of medical images | |
JP2011086235A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
EP2808809A2 (en) | Method and apparatus for interactive review of a dataset |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20191024 |