JPH1083269A - ユーザインタフェース変換装置 - Google Patents
ユーザインタフェース変換装置Info
- Publication number
- JPH1083269A JPH1083269A JP8237588A JP23758896A JPH1083269A JP H1083269 A JPH1083269 A JP H1083269A JP 8237588 A JP8237588 A JP 8237588A JP 23758896 A JP23758896 A JP 23758896A JP H1083269 A JPH1083269 A JP H1083269A
- Authority
- JP
- Japan
- Prior art keywords
- conversion
- screen
- information
- unit
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
Abstract
(57)【要約】
【課題】 既存のアプリケーションプログラムを変更せ
ず、かつ全ての画面データを画面作成者が再作成するこ
となく、本来の画面情報から必要な情報だけを抽出し
て、自動的に変換画面を作成するユーザインタフェース
変換装置を提供する。 【解決手段】 画面情報取得部111がアプリケーショ
ン102の画面情報を取得し、注目点情報抽出部113
により画面情報の中で注目すべき点を指示し、これをも
とに変換インタフェース作成部115において変換画面
情報を生成し、変換インタフェース制御部117によっ
て、出力装置104に提示する。ユーザは入力装置10
3により、変換インタフェース制御部117を介して変
換画面を操作し、アプリケーション102を利用する。
ず、かつ全ての画面データを画面作成者が再作成するこ
となく、本来の画面情報から必要な情報だけを抽出し
て、自動的に変換画面を作成するユーザインタフェース
変換装置を提供する。 【解決手段】 画面情報取得部111がアプリケーショ
ン102の画面情報を取得し、注目点情報抽出部113
により画面情報の中で注目すべき点を指示し、これをも
とに変換インタフェース作成部115において変換画面
情報を生成し、変換インタフェース制御部117によっ
て、出力装置104に提示する。ユーザは入力装置10
3により、変換インタフェース制御部117を介して変
換画面を操作し、アプリケーション102を利用する。
Description
【0001】
【発明の属する技術分野】本発明は、グラフィカル・ユ
ーザ・インタフェース(GUI)をもつコンピュータの
オペレーティングシステム(OS)(以下、GUIのO
S)上に開発されたアプリケーション画面を、異なる利
用環境、利用ユーザに応じて、本来のアプリケーション
プログラムを変更することなく、多様な画面インタフェ
ースへ変換することを可能とするユーザインタフェース
変換装置に関し、特に本来のアプリケーション画面の論
理情報や画面情報を抽出し、それをもとに変換画面を作
成することで、変換画面作成の効率化、簡易化を図るユ
ーザインタフェース変換装置に関する。
ーザ・インタフェース(GUI)をもつコンピュータの
オペレーティングシステム(OS)(以下、GUIのO
S)上に開発されたアプリケーション画面を、異なる利
用環境、利用ユーザに応じて、本来のアプリケーション
プログラムを変更することなく、多様な画面インタフェ
ースへ変換することを可能とするユーザインタフェース
変換装置に関し、特に本来のアプリケーション画面の論
理情報や画面情報を抽出し、それをもとに変換画面を作
成することで、変換画面作成の効率化、簡易化を図るユ
ーザインタフェース変換装置に関する。
【0002】
【従来の技術】近年、GUIのOSの普及により、公共
の端末上のアプリケーションもこれらの上に構築される
ものが増えた。しかし、同じOSが稼働する他の場所の
端末で運用する場合でも、必要機能は既存のアプリケー
ションと同等であっても、その端末自体の機能の制約
や、対象とするユーザ層の違いによって画面インタフェ
ースを変更する必要が生じる。
の端末上のアプリケーションもこれらの上に構築される
ものが増えた。しかし、同じOSが稼働する他の場所の
端末で運用する場合でも、必要機能は既存のアプリケー
ションと同等であっても、その端末自体の機能の制約
や、対象とするユーザ層の違いによって画面インタフェ
ースを変更する必要が生じる。
【0003】従来多くのアプリケーションの画面インタ
フェースは、それを変更するにはソースプログラム自体
を修正する必要があった。また、一部に見られる方法と
しては、アプリケーションと画面データを分離し、画面
データだけを修正する方法や、画面上のボタンなどの一
部の部品だけをカスタマイズするような形での変更方法
(特開平4−284531号公報)、あらかじめ用意し
た画面データベースを参照して固定的に部品を置き換え
る方法(特開平6−282396号公報)が知られてい
る。
フェースは、それを変更するにはソースプログラム自体
を修正する必要があった。また、一部に見られる方法と
しては、アプリケーションと画面データを分離し、画面
データだけを修正する方法や、画面上のボタンなどの一
部の部品だけをカスタマイズするような形での変更方法
(特開平4−284531号公報)、あらかじめ用意し
た画面データベースを参照して固定的に部品を置き換え
る方法(特開平6−282396号公報)が知られてい
る。
【0004】
【発明が解決しようとする課題】同じ機能を持つアプリ
ケーションを他の環境に移植する場合、そのソースプロ
グラム、画面データを修正しなければならない。これに
は多くの労力を必要とする。また、アプリケーションの
最初の設計段階から、移植が予測される全ての環境や対
象ユーザに対して適切な設計をすることは大変困難であ
る。
ケーションを他の環境に移植する場合、そのソースプロ
グラム、画面データを修正しなければならない。これに
は多くの労力を必要とする。また、アプリケーションの
最初の設計段階から、移植が予測される全ての環境や対
象ユーザに対して適切な設計をすることは大変困難であ
る。
【0005】既存のアプリケーションを変更しない場合
でも、アプリケーションと画面データが分離されている
方法では、この構造を取り入れていないアプリケーショ
ンには適応できない。また、これらの方法では、移植時
に全ての画面データを新たに設計する必要があり、労力
を必要とする。
でも、アプリケーションと画面データが分離されている
方法では、この構造を取り入れていないアプリケーショ
ンには適応できない。また、これらの方法では、移植時
に全ての画面データを新たに設計する必要があり、労力
を必要とする。
【0006】画面上の一部の部品だけを変更する方法
は、その修正が微小である場合には有効だが、画面レイ
アウトや表現が大きく変更されるような場合には対応で
きない。
は、その修正が微小である場合には有効だが、画面レイ
アウトや表現が大きく変更されるような場合には対応で
きない。
【0007】また、汎用のアプリケーションを公共の端
末で用いようとすれば、ある端末では利用ユーザにある
機能を使用可能とするが、別の端末では使用不可とする
など本来の画面上に存在する機能を隠したり、逆に、操
作の構造を簡単にする必要などから、本来の画面上に存
在しない機能を用意するというようなきめ細かい対応が
必要となるが、これらの修正は容易でない。
末で用いようとすれば、ある端末では利用ユーザにある
機能を使用可能とするが、別の端末では使用不可とする
など本来の画面上に存在する機能を隠したり、逆に、操
作の構造を簡単にする必要などから、本来の画面上に存
在しない機能を用意するというようなきめ細かい対応が
必要となるが、これらの修正は容易でない。
【0008】さらに、公共の端末では、視覚に障害を持
つような画面情報をそのまま利用できないユーザにも対
応する必要があるが、このような機能は既存のアプリケ
ーション自体に組み込まれている必要があった。
つような画面情報をそのまま利用できないユーザにも対
応する必要があるが、このような機能は既存のアプリケ
ーション自体に組み込まれている必要があった。
【0009】そこで本発明の第1の目的は、既存のアプ
リケーションプログラムを変更せず、かつ全ての画面デ
ータを画面作成者が再作成することなく、本来の画面情
報から必要な情報だけを抽出して、自動的に変換画面を
作成するユーザインタフェース変換装置を提供すること
にある。
リケーションプログラムを変更せず、かつ全ての画面デ
ータを画面作成者が再作成することなく、本来の画面情
報から必要な情報だけを抽出して、自動的に変換画面を
作成するユーザインタフェース変換装置を提供すること
にある。
【0010】本発明の第2の目的は、画面変換要素とし
て、画面情報の属性情報の変更、画面上の部品の変更、
本来の画面上に存在しない新たな機能部品の付加機能を
持つことにより柔軟な画面変換を可能とするユーザイン
タフェース変換装置を提供することにある。
て、画面情報の属性情報の変更、画面上の部品の変更、
本来の画面上に存在しない新たな機能部品の付加機能を
持つことにより柔軟な画面変換を可能とするユーザイン
タフェース変換装置を提供することにある。
【0011】本発明の第3の目的は、ある特定の画面や
一部の部品に対して、画面作成者が手を加えたい場合
に、これらの機能を提供するユーザインタフェース変換
装置を提供することにある。
一部の部品に対して、画面作成者が手を加えたい場合
に、これらの機能を提供するユーザインタフェース変換
装置を提供することにある。
【0012】本発明の第4の目的は、画面作成者が、本
来のアプリケーション画面を参照しながら対話的に、画
面変換を行うための機能を提供するユーザインタフェー
ス変換装置を提供することにある。
来のアプリケーション画面を参照しながら対話的に、画
面変換を行うための機能を提供するユーザインタフェー
ス変換装置を提供することにある。
【0013】さらに本発明の第5の目的は、変換された
画面インタフェースを、視覚に障害を持つユーザや、高
齢のユーザのために、視覚以外のメディアによっても提
示することを可能とするユーザインタフェース変換装置
を提供することにある。
画面インタフェースを、視覚に障害を持つユーザや、高
齢のユーザのために、視覚以外のメディアによっても提
示することを可能とするユーザインタフェース変換装置
を提供することにある。
【0014】
【課題を解決するための手段】本発明は上記第1の目的
を達成するために、各種の入出力デバイスと、グラフィ
カル・ユーザ・インタフェースを備えたオペレーティン
グシステムと、前記オペレーティングシステムを介して
動作するアプリケーションプログラムとを有する情報処
理装置であって、前記アプリケーションプログラムが提
供する画面インタフェースを変換して新たな画面インタ
フェースを作成して提供するユーザインタフェース変換
装置において、入力装置からの入力イベントおよび画面
インタフェース上のウィンドウ、メニュー、ボタンなど
の描画などの画面の変化のイベントを検出するイベント
取得部と、前記イベント取得部により検出された画面変
化イベントに従って、画面上に表示されているウィンド
ウ、メニュー、ボタンなどの対話部品の論理構造情報、
配置情報、属性情報などを要素とする画面情報を抽出す
る画面情報取得部と、前記画面情報を保持する画面情報
蓄積部と、前記画面情報に対して、注目点情報蓄積部に
保持される注目点情報から、対象アプリケーションプロ
グラムの表示ウィンドウや現在フォーカスが当たってい
る対話部品などに注目点を設定し、その部分の画面情報
である注目点画面情報を抽出する注目点抽出部と、前記
注目点画面情報から変換画面を作成し、前記変換画面の
対話部品の論理構造情報、配置情報、属性情報や、本来
のアプリケーションプログラムが提供する画面インタフ
ェースの対話部品とのリンク情報や対応イベントの情報
を要素とする変換画面情報を作成する変換インタフェー
ス作成部と、前記変換画面情報を蓄積する変換画面情報
蓄積部と、前記変換インタフェース作成部で作成された
画面を出力装置に提示し、前記イベント取得部からの変
換画面に対する操作イベントを受け取り、前記変換画面
情報蓄積部の変換画面情報を参照し、前記アプリケーシ
ョンプログラムを駆動するためのイベントを発生する変
換インタフェース制御部とから構成される。
を達成するために、各種の入出力デバイスと、グラフィ
カル・ユーザ・インタフェースを備えたオペレーティン
グシステムと、前記オペレーティングシステムを介して
動作するアプリケーションプログラムとを有する情報処
理装置であって、前記アプリケーションプログラムが提
供する画面インタフェースを変換して新たな画面インタ
フェースを作成して提供するユーザインタフェース変換
装置において、入力装置からの入力イベントおよび画面
インタフェース上のウィンドウ、メニュー、ボタンなど
の描画などの画面の変化のイベントを検出するイベント
取得部と、前記イベント取得部により検出された画面変
化イベントに従って、画面上に表示されているウィンド
ウ、メニュー、ボタンなどの対話部品の論理構造情報、
配置情報、属性情報などを要素とする画面情報を抽出す
る画面情報取得部と、前記画面情報を保持する画面情報
蓄積部と、前記画面情報に対して、注目点情報蓄積部に
保持される注目点情報から、対象アプリケーションプロ
グラムの表示ウィンドウや現在フォーカスが当たってい
る対話部品などに注目点を設定し、その部分の画面情報
である注目点画面情報を抽出する注目点抽出部と、前記
注目点画面情報から変換画面を作成し、前記変換画面の
対話部品の論理構造情報、配置情報、属性情報や、本来
のアプリケーションプログラムが提供する画面インタフ
ェースの対話部品とのリンク情報や対応イベントの情報
を要素とする変換画面情報を作成する変換インタフェー
ス作成部と、前記変換画面情報を蓄積する変換画面情報
蓄積部と、前記変換インタフェース作成部で作成された
画面を出力装置に提示し、前記イベント取得部からの変
換画面に対する操作イベントを受け取り、前記変換画面
情報蓄積部の変換画面情報を参照し、前記アプリケーシ
ョンプログラムを駆動するためのイベントを発生する変
換インタフェース制御部とから構成される。
【0015】このような構成を有する本発明のユーザイ
ンタフェース変換装置にあっては、既存のアプリケーシ
ョンから画面情報を抽出し、指定した注目点の情報に対
して変換を行うことで、既存のアプリケーションプログ
ラムを変更せず、かつ全ての画面データを画面作成者が
再作成することなく、本来の画面情報から必要な情報だ
けを抽出して、自動的に変換画面を作成することが可能
となる。
ンタフェース変換装置にあっては、既存のアプリケーシ
ョンから画面情報を抽出し、指定した注目点の情報に対
して変換を行うことで、既存のアプリケーションプログ
ラムを変更せず、かつ全ての画面データを画面作成者が
再作成することなく、本来の画面情報から必要な情報だ
けを抽出して、自動的に変換画面を作成することが可能
となる。
【0016】また本発明は上記第2の目的を達成するた
めに、前記変換インタフェース作成部が、多様な画面変
換を可能とするため、前記注目点抽出部より抽出された
抽出画面情報をもとに画面変換を行う情報変換部と、前
記情報変換部を制御する変換インタフェース作成制御部
とから構成され、前記情報変換部は多様の変換を行う変
換実行部として、対話部品のサイズや配置、キャプショ
ン(項目名)などの属性情報を変換するための属性変換
情報を保持する属性変換情報蓄積部および前記属性変換
情報から属性変換を実行する属性変換部と、あるボタン
を別のボタンに置き換えるなどの部品の交換を行うため
の部品交換情報を保持する部品交換情報蓄積部および前
記部品交換情報から部品交換を実行する部品交換部と、
抽出画面情報には存在しない新たな部品を追加するため
の仮想部品追加情報を保持する仮想部品追加情報蓄積部
および前記仮想部品追加情報をもとに仮想部品の追加を
行う仮想部品追加部と、の全てまたはいずれかの組み合
わせによって少なくとも構成される。
めに、前記変換インタフェース作成部が、多様な画面変
換を可能とするため、前記注目点抽出部より抽出された
抽出画面情報をもとに画面変換を行う情報変換部と、前
記情報変換部を制御する変換インタフェース作成制御部
とから構成され、前記情報変換部は多様の変換を行う変
換実行部として、対話部品のサイズや配置、キャプショ
ン(項目名)などの属性情報を変換するための属性変換
情報を保持する属性変換情報蓄積部および前記属性変換
情報から属性変換を実行する属性変換部と、あるボタン
を別のボタンに置き換えるなどの部品の交換を行うため
の部品交換情報を保持する部品交換情報蓄積部および前
記部品交換情報から部品交換を実行する部品交換部と、
抽出画面情報には存在しない新たな部品を追加するため
の仮想部品追加情報を保持する仮想部品追加情報蓄積部
および前記仮想部品追加情報をもとに仮想部品の追加を
行う仮想部品追加部と、の全てまたはいずれかの組み合
わせによって少なくとも構成される。
【0017】このような構成を有する本発明のユーザイ
ンタフェース変換装置にあっては、画面変換要素とし
て、画面情報の属性情報の変更、画面上の部品の変更、
本来の画面上に存在しない新たな機能部品の付加機能を
持つことにより柔軟な画面変換が可能となる。
ンタフェース変換装置にあっては、画面変換要素とし
て、画面情報の属性情報の変更、画面上の部品の変更、
本来の画面上に存在しない新たな機能部品の付加機能を
持つことにより柔軟な画面変換が可能となる。
【0018】また本発明は上記第3の目的を達成するた
めに、前記変換インタフェース作成部が、より細部に渡
る画面変換を可能とするために、ある特定の画面やある
特定の部品だけを変換するための複数の特定情報変換実
行部およびその対となる特定変換情報蓄積部により構成
される変換特定情報変換部と、前記特定情報変換のため
のテンプレート情報を蓄積する変換テンプレート蓄積部
とから構成される。
めに、前記変換インタフェース作成部が、より細部に渡
る画面変換を可能とするために、ある特定の画面やある
特定の部品だけを変換するための複数の特定情報変換実
行部およびその対となる特定変換情報蓄積部により構成
される変換特定情報変換部と、前記特定情報変換のため
のテンプレート情報を蓄積する変換テンプレート蓄積部
とから構成される。
【0019】このような構成を有する本発明のユーザイ
ンタフェース変換装置にあっては、画面作成者がある特
定の画面や一部の部品に対して手を加え、部分的に特定
的な変換を行うことを可能とする。
ンタフェース変換装置にあっては、画面作成者がある特
定の画面や一部の部品に対して手を加え、部分的に特定
的な変換を行うことを可能とする。
【0020】また本発明は上記第4の目的を達成するた
めに、前記変換インタフェース作成部が、本来のアプリ
ケーションプログラムが提供する画面インタフェースを
参照しながら、変換画面を作成するために、変換画面や
変換部品を画面開発者が作成、編集するための変換画面
編集部と、前記変換部品との本来のアプリケーション画
面上の対話部品とのリンクを生成する作成部品リンク部
と、前記変換画面編集部において編集された変換画面の
前記変換画面情報から前記変換テンプレートを作成する
変換テンプレートを作成部とから構成される。
めに、前記変換インタフェース作成部が、本来のアプリ
ケーションプログラムが提供する画面インタフェースを
参照しながら、変換画面を作成するために、変換画面や
変換部品を画面開発者が作成、編集するための変換画面
編集部と、前記変換部品との本来のアプリケーション画
面上の対話部品とのリンクを生成する作成部品リンク部
と、前記変換画面編集部において編集された変換画面の
前記変換画面情報から前記変換テンプレートを作成する
変換テンプレートを作成部とから構成される。
【0021】このような構成を有する本発明のユーザイ
ンタフェース変換装置にあっては、画面作成者が、本来
のアプリケーション画面を参照しながら対話的に、画面
変換を行うための機能を提供することを可能とする。
ンタフェース変換装置にあっては、画面作成者が、本来
のアプリケーション画面を参照しながら対話的に、画面
変換を行うための機能を提供することを可能とする。
【0022】さらに本発明は上記第5の目的を達成する
ために、前記変換インタフェース制御部が、視覚に障害
を持つユーザや高齢のユーザの利用を考慮するため、マ
ウスポインタの移動やタッチ操作などのイベントに従っ
て、上記変換画面情報蓄積部の変換画面情報を参照し、
合成音声や点字、触覚ピンディスプレイ等に対する情報
への変換を行うメディア付加部を持つ。
ために、前記変換インタフェース制御部が、視覚に障害
を持つユーザや高齢のユーザの利用を考慮するため、マ
ウスポインタの移動やタッチ操作などのイベントに従っ
て、上記変換画面情報蓄積部の変換画面情報を参照し、
合成音声や点字、触覚ピンディスプレイ等に対する情報
への変換を行うメディア付加部を持つ。
【0023】このような構成を有する本発明のユーザイ
ンタフェース変換装置にあっては、変換された画面イン
タフェースを、視覚に障害を持つユーザや、高齢のユー
ザのために、視覚以外のメディアによっても提示するこ
とを可能とする。
ンタフェース変換装置にあっては、変換された画面イン
タフェースを、視覚に障害を持つユーザや、高齢のユー
ザのために、視覚以外のメディアによっても提示するこ
とを可能とする。
【0024】
【発明の実施の形態】本発明の実施の形態の例について
図面を参照して詳細に説明する。
図面を参照して詳細に説明する。
【0025】図1を参照すると、本発明の一実施例のユ
ーザインタフェース変換装置は、GUIのOS101
と、GUIのOS101上で動作するアプリケーション
プログラム(以下AP)102と、キーボード、マウ
ス、タッチパネル等で構成される入力装置103と、デ
ィスプレイ、スピーカ、点字ディスプレイ、触覚ピンデ
ィスプレイ等で構成される出力装置104と、イベント
取得部110と、画面情報取得部111と、画面情報蓄
積部112と、注目点抽出部113と、注目点情報蓄積
部114と、変換インタフェース作成部115と、変換
画面情報蓄積部116と、変換インタフェース制御部1
17とで構成されている。
ーザインタフェース変換装置は、GUIのOS101
と、GUIのOS101上で動作するアプリケーション
プログラム(以下AP)102と、キーボード、マウ
ス、タッチパネル等で構成される入力装置103と、デ
ィスプレイ、スピーカ、点字ディスプレイ、触覚ピンデ
ィスプレイ等で構成される出力装置104と、イベント
取得部110と、画面情報取得部111と、画面情報蓄
積部112と、注目点抽出部113と、注目点情報蓄積
部114と、変換インタフェース作成部115と、変換
画面情報蓄積部116と、変換インタフェース制御部1
17とで構成されている。
【0026】また図2を参照すると、変換インタフェー
ス作成部115は、変換インタフェース作成制御部20
1と、情報変換部202と、特定情報変換部203と、
変換テンプレートと蓄積部204と、変換画面編集部2
11と、作成部品リンク部212と、変換テンプレート
作成部213とで構成されている。
ス作成部115は、変換インタフェース作成制御部20
1と、情報変換部202と、特定情報変換部203と、
変換テンプレートと蓄積部204と、変換画面編集部2
11と、作成部品リンク部212と、変換テンプレート
作成部213とで構成されている。
【0027】図3を参照すると、情報変換部202は、
属性変換実行部221と、属性変換情報蓄積部222
と、部品交換実行部223と、部品交換情報蓄積部22
4と、仮想部品追加実行部225と、仮想部品追加情報
蓄積部226とで構成されている。
属性変換実行部221と、属性変換情報蓄積部222
と、部品交換実行部223と、部品交換情報蓄積部22
4と、仮想部品追加実行部225と、仮想部品追加情報
蓄積部226とで構成されている。
【0028】図4を参照すると、特定情報変換部203
は、特定属性変換実行部231と、特定属性変換情報蓄
積部232と、特定部品交換実行部233と、特定部品
交換情報蓄積部234と、特定仮想部品追加実行部23
5と、特定仮想部品追加情報蓄積部236とで構成され
ている。
は、特定属性変換実行部231と、特定属性変換情報蓄
積部232と、特定部品交換実行部233と、特定部品
交換情報蓄積部234と、特定仮想部品追加実行部23
5と、特定仮想部品追加情報蓄積部236とで構成され
ている。
【0029】さらに図5を参照すると、変換インタフェ
ース制御部117は、変換インタフェース制御実行部2
41と、メディア付加実行部242と、メディア付加情
報蓄積部243と、注目点変更制御部244と、注目点
変更情報蓄積部245で構成されている。
ース制御部117は、変換インタフェース制御実行部2
41と、メディア付加実行部242と、メディア付加情
報蓄積部243と、注目点変更制御部244と、注目点
変更情報蓄積部245で構成されている。
【0030】以下では、本実施の形態の処理を通常使用
と変更作業の2つに分けて説明する。
と変更作業の2つに分けて説明する。
【0031】図6は、本実施の形態の処理のうち、通常
使用を示すフローチャートである。
使用を示すフローチャートである。
【0032】OS101上で本装置起動(301)後、
AP102を起動する(302)。AP102が起動さ
れるとAP102のウィンドウが開き、このとき画面描
画イベントが発生する。イベント取得部110は、この
イベントを取得し(303)、画面情報取得部111へ
伝達する。画面情報取得部111はこのイベントをトリ
ガとして、このとき表示されているウィンドウやその上
にあるメニュー、ボタンなどの対話部品の構成を示す論
理構造情報、その位置やサイズを示す配置情報、また各
部品のキャプション(項目名)やフォーカスの状態など
の属性情報を取得し(304)、画面情報蓄積部112
へ蓄積する。図7はこのとき取得される画面情報の例で
ありツリー構造で構成される。
AP102を起動する(302)。AP102が起動さ
れるとAP102のウィンドウが開き、このとき画面描
画イベントが発生する。イベント取得部110は、この
イベントを取得し(303)、画面情報取得部111へ
伝達する。画面情報取得部111はこのイベントをトリ
ガとして、このとき表示されているウィンドウやその上
にあるメニュー、ボタンなどの対話部品の構成を示す論
理構造情報、その位置やサイズを示す配置情報、また各
部品のキャプション(項目名)やフォーカスの状態など
の属性情報を取得し(304)、画面情報蓄積部112
へ蓄積する。図7はこのとき取得される画面情報の例で
ありツリー構造で構成される。
【0033】画面情報が取得されると、注目点抽出部1
13は、注目点情報蓄積部114の注目点情報を参照し
(305)、画面情報蓄積部112の画面情報から、注
目点画面情報を抽出する(306)。注目点情報は、画
面情報のツリー構造の中から、注目すべき対話部品のサ
ブツリー構造を指定する。例えば、対象アプリケーショ
ンのウィンドウや、カレントウィンドウ、フォーカスの
当たっている対話部品などの指定が可能である。また逆
に、ユーザに操作させたくない対話部品や項目の指定も
可能である。図8はこのとき取得される注目点画面情報
の例である。ここでは、カレントウィンドウが指定され
ており、タイトルバー操作が不可と指定されている。
13は、注目点情報蓄積部114の注目点情報を参照し
(305)、画面情報蓄積部112の画面情報から、注
目点画面情報を抽出する(306)。注目点情報は、画
面情報のツリー構造の中から、注目すべき対話部品のサ
ブツリー構造を指定する。例えば、対象アプリケーショ
ンのウィンドウや、カレントウィンドウ、フォーカスの
当たっている対話部品などの指定が可能である。また逆
に、ユーザに操作させたくない対話部品や項目の指定も
可能である。図8はこのとき取得される注目点画面情報
の例である。ここでは、カレントウィンドウが指定され
ており、タイトルバー操作が不可と指定されている。
【0034】注目点画面情報は変換インタフェース作成
部115の変換インタフェース作成制御部201へと送
られる。変換インタフェース作成制御部201では、変
換テンプレート蓄積部204の変換テンプレートを参照
し(307)、情報変換部202、特定情報変換部20
3を制御して画面変換を行う。
部115の変換インタフェース作成制御部201へと送
られる。変換インタフェース作成制御部201では、変
換テンプレート蓄積部204の変換テンプレートを参照
し(307)、情報変換部202、特定情報変換部20
3を制御して画面変換を行う。
【0035】情報変換部202は、本実施の形態では図
3を参照すると、属性変換実行部221および属性変換
情報蓄積部222、部品交換実行部223および部品交
換情報蓄積部224、仮想部品追加実行部225および
仮想部品追加情報蓄積部226により構成されている。
属性変換実行部221、部品交換実行部223、仮想部
品追加実行部225は、変換インタフェース作成制御部
201の制御により、それぞれ、属性変換情報蓄積部2
22の属性変換情報、部品交換情報蓄積部224の部品
交換情報、仮想部品追加情報蓄積部226の仮想部品追
加情報を参照して情報変換を行う(308)。属性変換
実行部221では、部品のサイズや位置の変更、キャプ
ションの変更などの変換を行う。部品交換実行部223
では、ボタンなどの対話部品を別のボタン表示に変更す
るなどの変換を行う。仮想部品追加実行部225は、画
面上には実際には存在しない対話部品を設定する。これ
ら情報変換の詳細については、後に変換例を示して説明
する。
3を参照すると、属性変換実行部221および属性変換
情報蓄積部222、部品交換実行部223および部品交
換情報蓄積部224、仮想部品追加実行部225および
仮想部品追加情報蓄積部226により構成されている。
属性変換実行部221、部品交換実行部223、仮想部
品追加実行部225は、変換インタフェース作成制御部
201の制御により、それぞれ、属性変換情報蓄積部2
22の属性変換情報、部品交換情報蓄積部224の部品
交換情報、仮想部品追加情報蓄積部226の仮想部品追
加情報を参照して情報変換を行う(308)。属性変換
実行部221では、部品のサイズや位置の変更、キャプ
ションの変更などの変換を行う。部品交換実行部223
では、ボタンなどの対話部品を別のボタン表示に変更す
るなどの変換を行う。仮想部品追加実行部225は、画
面上には実際には存在しない対話部品を設定する。これ
ら情報変換の詳細については、後に変換例を示して説明
する。
【0036】変換が終了すると、情報変換部202によ
る変換結果は変換画面情報として変換画面情報蓄積部1
16に蓄積される(309)。変換画面情報は、変換さ
れた画面上に表示されるウィンドウやその上にあるメニ
ュー、ボタンなどの対話部品の構成を示す論理構造情
報、その位置やサイズを示す配置情報、また各部品のキ
ャプション(項目名)やフォーカスの状態などの属性情
報と、画面情報における対話部品とのリンクや対応イベ
ントの情報からなるツリー構造で構成される。
る変換結果は変換画面情報として変換画面情報蓄積部1
16に蓄積される(309)。変換画面情報は、変換さ
れた画面上に表示されるウィンドウやその上にあるメニ
ュー、ボタンなどの対話部品の構成を示す論理構造情
報、その位置やサイズを示す配置情報、また各部品のキ
ャプション(項目名)やフォーカスの状態などの属性情
報と、画面情報における対話部品とのリンクや対応イベ
ントの情報からなるツリー構造で構成される。
【0037】特定情報変換部203は、本実施の形態で
は図4を参照すると、特定属性変換実行部231および
特定属性変換情報蓄積部232、特定部品交換実行部2
33および特定部品交換情報蓄積部234、特定仮想部
品追加実行部235および特定仮想部品追加情報蓄積部
236により構成されている。特定属性変換実行部23
1、特定部品交換実行部233、特定仮想部品追加実行
部235は、変換インタフェース作成制御部201の制
御により、それぞれ、特定属性変換情報蓄積部232の
特定属性変換情報、特定部品交換情報蓄積部234の部
品交換情報、特定仮想部品追加情報蓄積部236の特定
仮想部品追加情報を参照して特定情報変換を行う(31
0)。特定情報変換は、特定のある画面のある対話部品
に対してだけ行われる変換である。特定属性変換実行部
231では、ある特定の部品のサイズや位置の変更、キ
ャプションの変更などの変換を行う。特定部品交換実行
部223では、ある特定のボタンなどの対話部品を別の
ボタン表示に変更するなどの変換を行う。特定仮想部品
追加実行部235は、画面上には実際には存在しない対
話部品をある特定画面に対して設定する。これら特定情
報変換の詳細については、後に変換例を示して説明す
る。
は図4を参照すると、特定属性変換実行部231および
特定属性変換情報蓄積部232、特定部品交換実行部2
33および特定部品交換情報蓄積部234、特定仮想部
品追加実行部235および特定仮想部品追加情報蓄積部
236により構成されている。特定属性変換実行部23
1、特定部品交換実行部233、特定仮想部品追加実行
部235は、変換インタフェース作成制御部201の制
御により、それぞれ、特定属性変換情報蓄積部232の
特定属性変換情報、特定部品交換情報蓄積部234の部
品交換情報、特定仮想部品追加情報蓄積部236の特定
仮想部品追加情報を参照して特定情報変換を行う(31
0)。特定情報変換は、特定のある画面のある対話部品
に対してだけ行われる変換である。特定属性変換実行部
231では、ある特定の部品のサイズや位置の変更、キ
ャプションの変更などの変換を行う。特定部品交換実行
部223では、ある特定のボタンなどの対話部品を別の
ボタン表示に変更するなどの変換を行う。特定仮想部品
追加実行部235は、画面上には実際には存在しない対
話部品をある特定画面に対して設定する。これら特定情
報変換の詳細については、後に変換例を示して説明す
る。
【0038】特定情報変換が終了すると、特定情報変換
部203による変換結果は変換画面情報として変換画面
情報蓄積部116に蓄積される(311)。変換画面情
報は、変換された画面上に表示されるウィンドウやその
上にあるメニュー、ボタンなどの対話部品の構成を示す
論理構造情報、その位置やサイズを示す配置情報、また
各部品のキャプション(項目名)やフォーカスの状態な
どの属性情報と、画面情報における対話部品とのリンク
や対応イベントの情報からなるツリー構造で構成され
る。
部203による変換結果は変換画面情報として変換画面
情報蓄積部116に蓄積される(311)。変換画面情
報は、変換された画面上に表示されるウィンドウやその
上にあるメニュー、ボタンなどの対話部品の構成を示す
論理構造情報、その位置やサイズを示す配置情報、また
各部品のキャプション(項目名)やフォーカスの状態な
どの属性情報と、画面情報における対話部品とのリンク
や対応イベントの情報からなるツリー構造で構成され
る。
【0039】変換が終了すると変換インタフェース制御
部117の変換インタフェース制御実行部241は、変
換画面情報蓄積部116の変換画面情報をもとに、変換
画面を出力装置104のディスプレイに表示する(31
2)。このとき、変換の結果、本来の画面が表示される
ように指定されていなければ、ディスプレイ画面上に
は、変換画面のみが表示される。図9は本来の画面、画
面情報、変換画面情報、変換画面の関係を表す概念図で
ある。
部117の変換インタフェース制御実行部241は、変
換画面情報蓄積部116の変換画面情報をもとに、変換
画面を出力装置104のディスプレイに表示する(31
2)。このとき、変換の結果、本来の画面が表示される
ように指定されていなければ、ディスプレイ画面上に
は、変換画面のみが表示される。図9は本来の画面、画
面情報、変換画面情報、変換画面の関係を表す概念図で
ある。
【0040】ユーザは変換画面表示に対して入力装置1
03から操作を行う。イベント取得部110はこの操作
イベントを取得し(313)、変換インタフェース制御
部117の変換インタフェース制御実行部241へ伝達
する。変換インタフェース制御実行部241では、変換
画面情報蓄積部116の変換画面情報を参照し(31
4)、発生イベントとこれに対応する対話部品情報とを
メディア付加実行部242へ送る。メディア付加実行部
242では、メディア付加情報蓄積部243のメディア
付加情報を参照し(315)、対応する合成音声や効果
音、点字ピン表示、触覚ピン表示などを出力装置104
に対して指示する(316)。また、このとき注目点変
更制御部244は、注目点変更情報蓄積部245の注目
点変更情報を参照し(317)、必要に応じて注目点の
変更を、注目点抽出部113へ通知する(318)。さ
らに、変換インタフェース制御実行部241は、参照し
た変換画面情報より、AP102への対応イベント発行
する(319)。AP102は、このイベントを受け取
り、何らかの動作を行い画面を再描画するか、終了する
(320)。再描画が行われた場合は、画面描画イベン
トの取得(303)からフェーズが繰り返される。AP
102が終了した場合には、システムを終了する(32
1)。
03から操作を行う。イベント取得部110はこの操作
イベントを取得し(313)、変換インタフェース制御
部117の変換インタフェース制御実行部241へ伝達
する。変換インタフェース制御実行部241では、変換
画面情報蓄積部116の変換画面情報を参照し(31
4)、発生イベントとこれに対応する対話部品情報とを
メディア付加実行部242へ送る。メディア付加実行部
242では、メディア付加情報蓄積部243のメディア
付加情報を参照し(315)、対応する合成音声や効果
音、点字ピン表示、触覚ピン表示などを出力装置104
に対して指示する(316)。また、このとき注目点変
更制御部244は、注目点変更情報蓄積部245の注目
点変更情報を参照し(317)、必要に応じて注目点の
変更を、注目点抽出部113へ通知する(318)。さ
らに、変換インタフェース制御実行部241は、参照し
た変換画面情報より、AP102への対応イベント発行
する(319)。AP102は、このイベントを受け取
り、何らかの動作を行い画面を再描画するか、終了する
(320)。再描画が行われた場合は、画面描画イベン
トの取得(303)からフェーズが繰り返される。AP
102が終了した場合には、システムを終了する(32
1)。
【0041】
【実施例】以下では、本実施例のOS101で稼働する
AP102を、図書館等の施設における公共端末で日本
各地の様々な情報を検索するためのプログラムに想定す
る場合について変換画面例により説明する。本実施例で
は、例えば図10のようなパラメータを必要とする情報
変換機能を持つとする。
AP102を、図書館等の施設における公共端末で日本
各地の様々な情報を検索するためのプログラムに想定す
る場合について変換画面例により説明する。本実施例で
は、例えば図10のようなパラメータを必要とする情報
変換機能を持つとする。
【0042】属性変換−ウィンドウ拡大は、図11のよ
うに与えられたウィンドウを指定したサイズ、位置に拡
大(または縮小する)。通常注目点のウィンドウが拡大
表示される。ここでは、タイトルバーが使用不可にされ
ている場合で表示されていない。
うに与えられたウィンドウを指定したサイズ、位置に拡
大(または縮小する)。通常注目点のウィンドウが拡大
表示される。ここでは、タイトルバーが使用不可にされ
ている場合で表示されていない。
【0043】属性変換−部品拡大は、図12のように指
定した部品を指定したサイズ、位置に拡大(または縮小
する)。ここでは、メニューバーが指定されている。
定した部品を指定したサイズ、位置に拡大(または縮小
する)。ここでは、メニューバーが指定されている。
【0044】属性変換−キャプション変換は、図13の
ように、あるキャプションを辞書を参照することによっ
て、別の名前やビットマップに変換する。ここでは、交
換部品−スクロールボタンのビットマップが、「前」、
「次」という文字や他のビットマップに変換されてい
る。
ように、あるキャプションを辞書を参照することによっ
て、別の名前やビットマップに変換する。ここでは、交
換部品−スクロールボタンのビットマップが、「前」、
「次」という文字や他のビットマップに変換されてい
る。
【0045】交換部品−スクロールボタンは、図14の
ようにスクロールバーを置き換える。ここでは、1回押
すごとに前後の頁を表示する機能となっている。
ようにスクロールバーを置き換える。ここでは、1回押
すごとに前後の頁を表示する機能となっている。
【0046】交換部品−リストボタンは、図15のよう
に、リストボックスをリスト項目を表示するボタンに置
き換える。
に、リストボックスをリスト項目を表示するボタンに置
き換える。
【0047】仮想部品−移動元、移動先ウィンドウは、
もとの画面に実際には存在しない部品を変換画面上に設
定する機能の例の一つである。図16は、GUI操作の
特徴であるドラッグ・アンド・ドロップ操作について、
初心のユーザなどが複数のファイルに対するドラッグ・
アンド・ドロップ操作を行うことを容易にするため、画
面上にドラッグ・アンド・ドロップ操作のための2つの
仮想対話部品501、502を配置している。
もとの画面に実際には存在しない部品を変換画面上に設
定する機能の例の一つである。図16は、GUI操作の
特徴であるドラッグ・アンド・ドロップ操作について、
初心のユーザなどが複数のファイルに対するドラッグ・
アンド・ドロップ操作を行うことを容易にするため、画
面上にドラッグ・アンド・ドロップ操作のための2つの
仮想対話部品501、502を配置している。
【0048】このとき、注目点抽出部113の参照する
(305)注目点情報蓄積部114の注目点情報は、背
景(デスクトップ)500を指定している。これにより
指定されるサブツリーは全ての画面情報となり、表示さ
れる対話部品の全てを操作することが可能となる。
(305)注目点情報蓄積部114の注目点情報は、背
景(デスクトップ)500を指定している。これにより
指定されるサブツリーは全ての画面情報となり、表示さ
れる対話部品の全てを操作することが可能となる。
【0049】この注目点画面情報が変換インタフェース
作成部115の変換インタフェース作成制御部201へ
と送られると。変換インタフェース作成制御部201で
は、変換テンプレート蓄積部204の変換テンプレート
を参照し(307)、情報変換部202、情報変換部2
03を制御して画面変換を行う。ここで、変換テンプレ
ートは、画面下部に仮想部品である移動元ウィンドウ5
01、移動先ウィンドウ502を配置することが指定さ
れている。
作成部115の変換インタフェース作成制御部201へ
と送られると。変換インタフェース作成制御部201で
は、変換テンプレート蓄積部204の変換テンプレート
を参照し(307)、情報変換部202、情報変換部2
03を制御して画面変換を行う。ここで、変換テンプレ
ートは、画面下部に仮想部品である移動元ウィンドウ5
01、移動先ウィンドウ502を配置することが指定さ
れている。
【0050】これにより情報変換部202の仮想部品追
加実行部225は、対応する仮想部品である移動元ウィ
ンドウ501、移動先ウィンドウ502の部品情報と対
応イベント情報からなる仮想部品追加情報を仮想部品追
加情報蓄積部226より取得し、テンプレートに指定さ
れた位置に移動元ウィンドウ503、移動先ウィンドウ
504を描画するための情報を作成し(308)、変換
画面情報蓄積部116へ送る。
加実行部225は、対応する仮想部品である移動元ウィ
ンドウ501、移動先ウィンドウ502の部品情報と対
応イベント情報からなる仮想部品追加情報を仮想部品追
加情報蓄積部226より取得し、テンプレートに指定さ
れた位置に移動元ウィンドウ503、移動先ウィンドウ
504を描画するための情報を作成し(308)、変換
画面情報蓄積部116へ送る。
【0051】変換が終了すると変換インタフェース制御
部117の変換インタフェース制御実行部241は、変
換画面情報蓄積部116の変換画面情報をもとに、変換
画面を出力装置104のディスプレイに表示する(31
2)。この場合、注目点情報で背景が指定してあるため
に本来の画面も表示され、以後ユーザが操作を行った場
合(313)にも、デスクトップの変化だけが反映され
た図16の変換画面表示が維持される。
部117の変換インタフェース制御実行部241は、変
換画面情報蓄積部116の変換画面情報をもとに、変換
画面を出力装置104のディスプレイに表示する(31
2)。この場合、注目点情報で背景が指定してあるため
に本来の画面も表示され、以後ユーザが操作を行った場
合(313)にも、デスクトップの変化だけが反映され
た図16の変換画面表示が維持される。
【0052】ユーザが仮想部品を利用するには、必要と
される複数のファイルを個々にウィンドウ503などか
ら一旦移動元ウィンドウ501へドラッグし、また、ウ
ィンドウ504などから移動先領域502へ対象となる
フォルダをドラッグした後、移動元ウィンドウ501か
ら移動先ウィンドウ502に対して、移動、コピーの実
行を指示することで、ファイルの移動やコピーが行われ
る。
される複数のファイルを個々にウィンドウ503などか
ら一旦移動元ウィンドウ501へドラッグし、また、ウ
ィンドウ504などから移動先領域502へ対象となる
フォルダをドラッグした後、移動元ウィンドウ501か
ら移動先ウィンドウ502に対して、移動、コピーの実
行を指示することで、ファイルの移動やコピーが行われ
る。
【0053】特定属性変換−キャプション変換は、図1
7のようにある特定のウィンドウのある対話部品のキャ
プションを変換する。ここでは、あるウィンドウの中の
「印刷」、「OK」、「キャンセル」のボタンのキャプ
ションを、ビットマップや「見る」、「戻る」というキ
ャプションに変更している。
7のようにある特定のウィンドウのある対話部品のキャ
プションを変換する。ここでは、あるウィンドウの中の
「印刷」、「OK」、「キャンセル」のボタンのキャプ
ションを、ビットマップや「見る」、「戻る」というキ
ャプションに変更している。
【0054】特定交換部品−日本地図、地域地図は、図
18のように都道府県や地域名が、リスト項目であるよ
うな、ある特定のウィンドウの中のリストを、地図のビ
ットマップに変換する。
18のように都道府県や地域名が、リスト項目であるよ
うな、ある特定のウィンドウの中のリストを、地図のビ
ットマップに変換する。
【0055】特定仮想部品−マクロボタンは、図19の
ようにある画面上に表示されない機能に対して、マクロ
機能を持つボタンをある特定画面に割り当てることで、
その機能を実行させるためのものである。ここでは、使
用不可指定にしたメニューバーの項目の中から、「印
刷」のボタンとして「ファイル」→「印刷」の実行機能
を割り当てている。
ようにある画面上に表示されない機能に対して、マクロ
機能を持つボタンをある特定画面に割り当てることで、
その機能を実行させるためのものである。ここでは、使
用不可指定にしたメニューバーの項目の中から、「印
刷」のボタンとして「ファイル」→「印刷」の実行機能
を割り当てている。
【0056】また、図20は上記の情報変換と、注目点
変更情報蓄積部245の注目点変更情報による注目点変
更制御部244の行う制御によって、視覚に障害を持つ
ユーザが入力装置103としてタッチパネル等を用いて
GUI操作を行うことを可能とする画面変換例である。
ここでは、注目点情報は、(a)では背景を初期注目点
とし、以後ユーザの操作に従って(b)はウィンドウ、
(c)はメニューバー、(d)はプルダウンメニュー、
(e)はダイアログボックス、(f)はコンボボックス
に注目点が変更される。このときメディア付加実行部2
42により音声や点字ディスプレイ等で項目名や動作結
果がフィードバックされ、細かい対話部品にとらわれず
GUI操作が行える。
変更情報蓄積部245の注目点変更情報による注目点変
更制御部244の行う制御によって、視覚に障害を持つ
ユーザが入力装置103としてタッチパネル等を用いて
GUI操作を行うことを可能とする画面変換例である。
ここでは、注目点情報は、(a)では背景を初期注目点
とし、以後ユーザの操作に従って(b)はウィンドウ、
(c)はメニューバー、(d)はプルダウンメニュー、
(e)はダイアログボックス、(f)はコンボボックス
に注目点が変更される。このときメディア付加実行部2
42により音声や点字ディスプレイ等で項目名や動作結
果がフィードバックされ、細かい対話部品にとらわれず
GUI操作が行える。
【0057】本実施例で想定するAP102について説
明する図21はその画面である。
明する図21はその画面である。
【0058】AP102は日本国内の都道府県、市町村
の人口や産業などのデータを、ネットワーク上のデータ
ベースあるいはCD−ROMなどから検索して表示する
プログラムである。このようなプログラムはデータの汎
用性が高く、様々な利用者が活用できる可能性がある。
ここでは、OS101上での標準的な対話部品を用いて
構成されている。
の人口や産業などのデータを、ネットワーク上のデータ
ベースあるいはCD−ROMなどから検索して表示する
プログラムである。このようなプログラムはデータの汎
用性が高く、様々な利用者が活用できる可能性がある。
ここでは、OS101上での標準的な対話部品を用いて
構成されている。
【0059】図21(a)のように、メニュー項目は、
「ファイル」、「検索」、「ヘルプ」であり、「ファイ
ル」を選択すると、「開く」、「保存」、「印刷」、
「プリンタの設定」、「終了」の各項目がプルダウンメ
ニューで表示される。「検索」を選択すると、「地域別
の検索」と「キーワードで検索」が表示される。「地域
別の検索」を選択すると、図21(b)検索条件を設定
するダイアログボックスが表示され、検索条件の各項目
を設定すると、図21(c)のようにデータが表示され
る。
「ファイル」、「検索」、「ヘルプ」であり、「ファイ
ル」を選択すると、「開く」、「保存」、「印刷」、
「プリンタの設定」、「終了」の各項目がプルダウンメ
ニューで表示される。「検索」を選択すると、「地域別
の検索」と「キーワードで検索」が表示される。「地域
別の検索」を選択すると、図21(b)検索条件を設定
するダイアログボックスが表示され、検索条件の各項目
を設定すると、図21(c)のようにデータが表示され
る。
【0060】図22は、OS101上で、AP102を
通常の方法で利用する場合の一例の画面である。(a)
のデータ表示画面から、(b)でメニューの「地域別の
検索」を選択し、(c)のダイアログボックスで必要な
項目を設定して、再び(a)でデータを表示する。
通常の方法で利用する場合の一例の画面である。(a)
のデータ表示画面から、(b)でメニューの「地域別の
検索」を選択し、(c)のダイアログボックスで必要な
項目を設定して、再び(a)でデータを表示する。
【0061】公共端末のアプリケーションでは、他のア
プリケーションの操作やアプリケーションの終了、設定
などの操作をユーザには許さない場合が多い。汎用アプ
リケーションでもそれを可能とするために、注目点情報
に、カレントウィンドウを設定し、属性変換−ウィンド
ウ拡大で、カレントウィンドウを常に最大表示する設定
にすると図23(a)〜(c)のようになる。
プリケーションの操作やアプリケーションの終了、設定
などの操作をユーザには許さない場合が多い。汎用アプ
リケーションでもそれを可能とするために、注目点情報
に、カレントウィンドウを設定し、属性変換−ウィンド
ウ拡大で、カレントウィンドウを常に最大表示する設定
にすると図23(a)〜(c)のようになる。
【0062】OSを意識させないことやウィンドウ操作
をさせないために、タイトルバー、メニューバーを表示
不可にし、特定仮想部品−マクロボタンを設定して、
「地域別検索」、「印刷」機能だけを表示したものが、
図24(a)、(b)である。さらにタッチパネルなど
による操作を想定して、スクロールバーを交換部品−ス
クロールボタンに置き換えたものが図25(a)、
(b)である。
をさせないために、タイトルバー、メニューバーを表示
不可にし、特定仮想部品−マクロボタンを設定して、
「地域別検索」、「印刷」機能だけを表示したものが、
図24(a)、(b)である。さらにタッチパネルなど
による操作を想定して、スクロールバーを交換部品−ス
クロールボタンに置き換えたものが図25(a)、
(b)である。
【0063】図26は高齢のユーザの利用を想定して属
性変換−部品拡大により表示サイズを大きくし、さらに
ボタンのキャプションを、特定属性変換−キャプション
変換により、「検索」を「選ぶ」、「△」を「前頁」、
「▽」を「次頁」、「OK」を「見る」、「キャンセ
ル」を「戻る」に変更したものである。また、メディア
付加機能によって、音声でもフィードバックを行う。
性変換−部品拡大により表示サイズを大きくし、さらに
ボタンのキャプションを、特定属性変換−キャプション
変換により、「検索」を「選ぶ」、「△」を「前頁」、
「▽」を「次頁」、「OK」を「見る」、「キャンセ
ル」を「戻る」に変更したものである。また、メディア
付加機能によって、音声でもフィードバックを行う。
【0064】図27は子供のユーザの利用を想定して、
特定属性変換−キャプション変換と、特定交換部品−日
本地図、地域地図により、キャプションやリストをビッ
トマップに変換したものである。また、メディア付加機
能によって効果音がフィードバックされる。
特定属性変換−キャプション変換と、特定交換部品−日
本地図、地域地図により、キャプションやリストをビッ
トマップに変換したものである。また、メディア付加機
能によって効果音がフィードバックされる。
【0065】図28は、視覚障害者のタッチパネルでの
利用を想定して、特定交換部品により、スクロールバー
を換行単位で読み上げ部品に交換し、注目点変更機能と
属性変換−部品拡大、と仮想部品「戻る」ボタンを用い
て、操作を可能としている。
利用を想定して、特定交換部品により、スクロールバー
を換行単位で読み上げ部品に交換し、注目点変更機能と
属性変換−部品拡大、と仮想部品「戻る」ボタンを用い
て、操作を可能としている。
【0066】次に実施例の処理のうち変更作業について
説明する。
説明する。
【0067】図29、変更作業を示すフローチャートで
ある。
ある。
【0068】OS101上で本装置を編集モードで起動
(401)後、AP102を起動する(402)。AP
102が起動されるとAP102のウィンドウが開き、
このとき画面描画イベントが発生する。この画面描画イ
ベントを取得し、変換画面が表示されるまでの動作は、
図6の303〜312までと同様である。
(401)後、AP102を起動する(402)。AP
102が起動されるとAP102のウィンドウが開き、
このとき画面描画イベントが発生する。この画面描画イ
ベントを取得し、変換画面が表示されるまでの動作は、
図6の303〜312までと同様である。
【0069】ここで変換したい画面が表示される部分ま
では通常のAP操作を行う。この場合の動作は図6の3
13〜320と同様であり、312で再び変換画面が表
示される。
では通常のAP操作を行う。この場合の動作は図6の3
13〜320と同様であり、312で再び変換画面が表
示される。
【0070】編集画面への切替操作を行う(403)と
その状態の画面での部品の編集が可能となる。ここでは
部品を専用のエディタで作成(404)した後、設定し
たい部品を選択し(405)、この部品に対するリン
ク、イベントを設定する(406)。リンクの設定は、
現在のAP操作時の画面情報から、本来の画面の表示部
品のリストが表示されこの中から設定したい部品に対応
する部品を選択する。次に変換条件を設定する。ここで
は、部品に対する情報変換および特定情報変換方法がリ
ストとして提示され、この中から条件を選択し、必要な
パラメータを入力する。設定が終わると変換画面表示が
新しい設定のものに変更される。
その状態の画面での部品の編集が可能となる。ここでは
部品を専用のエディタで作成(404)した後、設定し
たい部品を選択し(405)、この部品に対するリン
ク、イベントを設定する(406)。リンクの設定は、
現在のAP操作時の画面情報から、本来の画面の表示部
品のリストが表示されこの中から設定したい部品に対応
する部品を選択する。次に変換条件を設定する。ここで
は、部品に対する情報変換および特定情報変換方法がリ
ストとして提示され、この中から条件を選択し、必要な
パラメータを入力する。設定が終わると変換画面表示が
新しい設定のものに変更される。
【0071】
【発明の効果】以上説明したように、このような構成を
有する本発明のユーザインタフェース変換装置にあって
は、既存のアプリケーションから画面情報を抽出し、指
定した注目点の情報に対して変換を行うことで、既存の
アプリケーションプログラムを変更せず、かつ全ての画
面データを画面作成者が再作成することなく、本来の画
面情報から必要な情報だけを抽出して、自動的に変換画
面を作成することが可能となる。
有する本発明のユーザインタフェース変換装置にあって
は、既存のアプリケーションから画面情報を抽出し、指
定した注目点の情報に対して変換を行うことで、既存の
アプリケーションプログラムを変更せず、かつ全ての画
面データを画面作成者が再作成することなく、本来の画
面情報から必要な情報だけを抽出して、自動的に変換画
面を作成することが可能となる。
【0072】また、画面変換要素として、画面情報の属
性情報の変更、画面上の部品の変更、本来の画面上に存
在しない新たな機能部品の付加機能を持つことにより柔
軟な画面変換が可能となり、画面作成者がある特定の画
面や一部の部品に対して手を加え、部分的に特定的な変
換を行うことや、画面作成者が、本来のアプリケーショ
ン画面を参照しながら対話的に、画面変換を行うための
機能を提供することを可能とする。
性情報の変更、画面上の部品の変更、本来の画面上に存
在しない新たな機能部品の付加機能を持つことにより柔
軟な画面変換が可能となり、画面作成者がある特定の画
面や一部の部品に対して手を加え、部分的に特定的な変
換を行うことや、画面作成者が、本来のアプリケーショ
ン画面を参照しながら対話的に、画面変換を行うための
機能を提供することを可能とする。
【0073】さらに、変換された画面インタフェース
を、視覚に障害を持つユーザや、高齢のユーザのため
に、視覚以外のメディアによっても提示することを可能
とする。
を、視覚に障害を持つユーザや、高齢のユーザのため
に、視覚以外のメディアによっても提示することを可能
とする。
【図1】本発明の一実施の形態におけるユーザインタフ
ェース変換装置の構成図である。
ェース変換装置の構成図である。
【図2】本発明の一実施の形態における変換インタフェ
ース作成部の構成図である。
ース作成部の構成図である。
【図3】本発明の一実施の形態における情報変換部の構
成図である。
成図である。
【図4】本発明の一実施の形態における特定情報変換部
の構成図である。
の構成図である。
【図5】本発明の一実施の形態における変換インタフェ
ース制御部の構成図である。
ース制御部の構成図である。
【図6】本発明の一実施の形態におけるユーザインタフ
ェース変換装置の通常使用におけるフローチャートであ
る。
ェース変換装置の通常使用におけるフローチャートであ
る。
【図7】本発明の一実施の形態における表示画面から抽
出する画面情報の例である。
出する画面情報の例である。
【図8】本発明の一実施の形態における注目点画面情報
の例である。
の例である。
【図9】本発明の一実施の形態における本来の画面から
変換画面への変換を示す概念図である。
変換画面への変換を示す概念図である。
【図10】本発明の一実施例における情報変換機能の例
である。
である。
【図11】本発明の一実施例における属性変換−ウィン
ドウ拡大の例である。
ドウ拡大の例である。
【図12】本発明の一実施例における属性変換−部品拡
大の例である。
大の例である。
【図13】本発明の一実施例における属性変換−キャプ
ション変換の例である。
ション変換の例である。
【図14】本発明の一実施例における交換部品−スクロ
ールボタンの変換例である。
ールボタンの変換例である。
【図15】本発明の一実施例における交換部品−リスト
ボタンの変換例である。
ボタンの変換例である。
【図16】本発明の一実施例における仮想部品−移動元
ウィンドウ、移動先ウィンドウの変換例である。
ウィンドウ、移動先ウィンドウの変換例である。
【図17】本発明の一実施例における特定属性変換−キ
ャプション変換の例である。
ャプション変換の例である。
【図18】本発明の一実施例における特定交換部品−日
本地図、地域地図の変換例である。
本地図、地域地図の変換例である。
【図19】本発明の一実施例における特定仮想部品−マ
クロボタンの変換例である。
クロボタンの変換例である。
【図20】本発明の一実施例における視覚障害者向けの
変換画面例である。
変換画面例である。
【図21】本発明の一実施例において想定するAP10
2の表示画面例である。
2の表示画面例である。
【図22】本発明の一実施例において想定するAP10
2の利用時の表示画面例である。
2の利用時の表示画面例である。
【図23】本発明の一実施例において想定するAP10
2のカレントウィンドウ拡大表示の変換画面例である。
2のカレントウィンドウ拡大表示の変換画面例である。
【図24】本発明の一実施例において想定するAP10
2の変換画面例である。
2の変換画面例である。
【図25】本発明の一実施例において想定するAP10
2の変換画面例である。
2の変換画面例である。
【図26】本発明の一実施例において想定するAP10
2の高齢のユーザに対する変化画面例である。
2の高齢のユーザに対する変化画面例である。
【図27】本発明の一実施例において想定するAP10
2の子供のユーザに対する変換画面例である。
2の子供のユーザに対する変換画面例である。
【図28】本発明の一実施例において想定するAP10
2の視覚障害を持つユーザに対する変換画面例である。
2の視覚障害を持つユーザに対する変換画面例である。
【図29】本発明の一実施例におけるユーザインタフェ
ース変換装置の変更作業時におけるフローチャートであ
る。
ース変換装置の変更作業時におけるフローチャートであ
る。
101 グラフィカル・ユーザインタフェースのOS 102 アプリケーション 103 キーボード、マウス、タッチパネル等の入力デ
バイス 104 ディスプレイ、スピーカ、点字ディスプレイ、
触覚ピンディスプレイ等の出力デバイス 110 イベント取得部 111 画面情報取得部 112 画面情報蓄積部 113 注目点抽出部 114 注目点情報蓄積部 115 変換インタフェース作成部 116 変換画面情報蓄積部 117 変換インタフェース制御部 118 画面変化通知情報蓄積部 201 変換インタフェース作成制御部 202 情報変換部 203 特定情報変換部 204 変換テンプレート蓄積部 211 変換画面編集部 212 作成部品リンク部 213 変換テンプレート作成部 214 探索テーブル構成部 221 属性変換実行部 222 属性変換情報蓄積部 223 部品交換実行部 224 部品交換情報蓄積部 225 仮想部品追加実行部 226 仮想部品追加情報蓄積部 321 特定属性変換実行部 322 特定属性変換情報蓄積部 323 特定部品交換実行部 324 特定部品交換情報蓄積部 325 特定仮想部品追加実行部 326 特定仮想部品追加情報蓄積部 241 変換インタフェース制御実行部 242 メディア付加実行部 243 メディア付加情報蓄積部 244 注目点変更制御部 245 注目点変更情報蓄積部 301 システム起動 302 AP起動 303 画面描画イベント取得 304 画面情報取得 305 注目点情報参照 306 注目点画面情報取得 307 変換テンプレート参照 308 情報変換 309 変換画面情報蓄積 310 特定情報変換 311 変換画面情報蓄積 312 変換画面表示 313 ユーザ操作イベント取得 314 変換画面情報参照 315 メディア付加情報参照 316 メディア付加実行 317 注目点変更情報参照 318 注目点変更 319 対応イベント発行 320 AP動作 321 システム終了 401 システムを編集モードで起動 402 AP起動 403 操作切替 404 部品の作成 405 部品の選択 406 リンク、イベント設定 407 変換条件設定 408 変換画面変更 409 システム終了
バイス 104 ディスプレイ、スピーカ、点字ディスプレイ、
触覚ピンディスプレイ等の出力デバイス 110 イベント取得部 111 画面情報取得部 112 画面情報蓄積部 113 注目点抽出部 114 注目点情報蓄積部 115 変換インタフェース作成部 116 変換画面情報蓄積部 117 変換インタフェース制御部 118 画面変化通知情報蓄積部 201 変換インタフェース作成制御部 202 情報変換部 203 特定情報変換部 204 変換テンプレート蓄積部 211 変換画面編集部 212 作成部品リンク部 213 変換テンプレート作成部 214 探索テーブル構成部 221 属性変換実行部 222 属性変換情報蓄積部 223 部品交換実行部 224 部品交換情報蓄積部 225 仮想部品追加実行部 226 仮想部品追加情報蓄積部 321 特定属性変換実行部 322 特定属性変換情報蓄積部 323 特定部品交換実行部 324 特定部品交換情報蓄積部 325 特定仮想部品追加実行部 326 特定仮想部品追加情報蓄積部 241 変換インタフェース制御実行部 242 メディア付加実行部 243 メディア付加情報蓄積部 244 注目点変更制御部 245 注目点変更情報蓄積部 301 システム起動 302 AP起動 303 画面描画イベント取得 304 画面情報取得 305 注目点情報参照 306 注目点画面情報取得 307 変換テンプレート参照 308 情報変換 309 変換画面情報蓄積 310 特定情報変換 311 変換画面情報蓄積 312 変換画面表示 313 ユーザ操作イベント取得 314 変換画面情報参照 315 メディア付加情報参照 316 メディア付加実行 317 注目点変更情報参照 318 注目点変更 319 対応イベント発行 320 AP動作 321 システム終了 401 システムを編集モードで起動 402 AP起動 403 操作切替 404 部品の作成 405 部品の選択 406 リンク、イベント設定 407 変換条件設定 408 変換画面変更 409 システム終了
Claims (6)
- 【請求項1】グラフィカル・ユーザ・インタフェースを
備えたオペレーティングシステム上で動作するアプリケ
ーションプログラムが提供する画面インタフェースを変
換して新たな画面インタフェースを作成して提供するイ
ンタフェース変換装置において、 前記アプリケーションプログラムが提供する画面の変化
をトリガとして前記アプリケーションプログラムの画面
情報を取得し、前記画面情報の中から注目すべき箇所を
決定して、変換テンプレートを参照することにより変換
画面情報を生成し変換画面を表示することを特徴とする
ユーザインタフェース変換装置。 - 【請求項2】各種の入出力デバイスと、グラフィカル・
ユーザ・インタフェースを備えたオペレーティングシス
テムと、前記オペレーティングシステムを介して動作す
るアプリケーションプログラムとを有する情報処理装置
であって、前記アプリケーションプログラムが提供する
画面インタフェースを変換して新たな画面インタフェー
スを作成して提供するユーザインタフェース変換装置に
おいて、 入力装置からの入力イベントおよび画面インタフェース
上のウィンドウ、メニュー、ボタンなどの描画などの画
面の変化のイベントを検出するイベント取得部と、 前記イベント取得部により検出された画面変化イベント
に従って、画面上に表示されているウィンドウ、メニュ
ー、ボタンなどの対話部品の論理構造情報、配置情報、
属性情報などを要素とする画面情報を抽出する画面情報
取得部と、 前記画面情報を保持する画面情報蓄積部と、 前記画面情報に対して、注目点情報蓄積部に保持される
注目点情報から、対象アプリケーションプログラムの表
示ウィンドウや現在フォーカスが当たっている対話部品
などに注目点を設定し、その部分の画面情報である注目
点画面情報を抽出する注目点抽出部と、 前記注目点画面情報から変換画面を作成し、前記変換画
面の対話部品の論理構造情報、配置情報、属性情報や、
本来のアプリケーションプログラムが提供する画面イン
タフェースの対話部品とのリンク情報や対応イベントの
情報を要素とする変換画面情報を作成する変換インタフ
ェース作成部と、 前記変換画面情報を蓄積する変換画面情報蓄積部と、 前記変換インタフェース作成部で作成された画面を出力
装置に提示し、前記イベント取得部からの変換画面に対
する操作イベントを受け取り、前記変換画面情報蓄積部
の変換画面情報を参照し、前記アプリケーションプログ
ラムを駆動するためのイベントを発生する変換インタフ
ェース制御部とから構成されることを特徴とするユーザ
インタフェース変換装置。 - 【請求項3】前記変換インタフェース作成部が、 多様な画面変換を可能とするため、前記注目点抽出部よ
り抽出された抽出画面情報をもとに画面変換を行う情報
変換部と、 前記情報変換部を制御する変換インタフェース作成制御
部とから構成され、 前記情報変換部は多様の変換を行う変換実行部として、 対話部品のサイズや配置、キャプション(項目名)など
の属性情報を変換するための属性変換情報を保持する属
性変換情報蓄積部および前記属性変換情報から属性変換
を実行する属性変換部と、 あるボタンを別のボタンに置き換えるなどの部品の交換
を行うための部品交換情報を保持する部品交換情報蓄積
部および前記部品交換情報から部品交換を実行する部品
交換部と、 抽出画面情報には存在しない新たな部品を追加するため
の仮想部品追加情報を保持する仮想部品追加情報蓄積部
および前記仮想部品追加情報をもとに仮想部品の追加を
行う仮想部品追加部と、の全てまたはいずれかの組み合
わせによって少なくとも構成されることを特徴とする請
求項2に記載のユーザインタフェース変換装置。 - 【請求項4】前記変換インタフェース作成部が、 より細部に渡る画面変換を可能とするために、ある特定
の画面やある特定の部品だけを変換するための複数の特
定情報変換実行部およびその対となる特定変換情報蓄積
部により構成される変換特定情報変換部と、 前記特定情報変換のためのテンプレート情報を蓄積する
変換テンプレート蓄積部とを備えることを特徴とする請
求項3に記載のユーザインタフェース変換装置。 - 【請求項5】前記変換インタフェース作成部が、 本来のアプリケーションプログラムが提供する画面イン
タフェースを参照しながら、変換画面を作成するため
に、変換画面や変換部品を画面開発者が作成、編集する
ための変換画面編集部と、 前記変換部品との本来のアプリケーション画面上の対話
部品とのリンクを生成する作成部品リンク部と、 前記変換画面編集部において編集された変換画面の前記
変換画面情報から前記変換テンプレートを作成する変換
テンプレートを作成部とを備えることを特徴とする請求
項4に記載のユーザインタフェース変換装置。 - 【請求項6】前記変換インタフェース制御部が、 視覚に障害を持つユーザや高齢のユーザの利用を考慮す
るため、前記変換インタフェース作成部で作成された画
面を出力装置に提示し、前記イベント取得部からの変換
画面に対する操作イベントを受け取り、前記変換画面情
報蓄積部の変換画面情報を参照し、前記上記アプリケー
ションプログラムを駆動するためのイベントを発生する
変換インタフェース制御実行部と、 マウスポインタの移動やタッチ操作などのイベントに従
って、前記変換画面情報蓄積部の変換画面情報を参照
し、合成音声や点字、触覚ピンディスプレイ等に対する
情報への変換を行うためのメディア付加情報を保持する
メディア付加情報蓄積部と、 前記メディア付加情報に従いメディアを付加するメディ
ア付加実行部と、 ユーザの注目したい部品に対して注目点を変更するため
の注目点変更情報を保持するための注目点変更情報蓄積
部部と、 前記注目点変更情報蓄積部の前記注目点変更情報を参照
して、ユーザの操作に応じた注目点制御を行うための注
目点変更制御部とから構成されることを特徴とする請求
項2に記載のユーザインタフェース変換装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8237588A JPH1083269A (ja) | 1996-09-09 | 1996-09-09 | ユーザインタフェース変換装置 |
US08/925,950 US5956029A (en) | 1996-09-09 | 1997-09-08 | User interface conversion method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8237588A JPH1083269A (ja) | 1996-09-09 | 1996-09-09 | ユーザインタフェース変換装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH1083269A true JPH1083269A (ja) | 1998-03-31 |
Family
ID=17017553
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8237588A Pending JPH1083269A (ja) | 1996-09-09 | 1996-09-09 | ユーザインタフェース変換装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5956029A (ja) |
JP (1) | JPH1083269A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006268631A (ja) * | 2005-03-25 | 2006-10-05 | Fuji Xerox Co Ltd | 情報処理装置および情報処理プログラム |
JP2008269575A (ja) * | 2007-03-29 | 2008-11-06 | Hitachi Software Eng Co Ltd | ソースコード生成装置 |
JP2009519542A (ja) * | 2005-12-12 | 2009-05-14 | マイクロソフト コーポレーション | 代替グラフィックス・パイプ |
US7913191B2 (en) | 2006-03-17 | 2011-03-22 | International Business Machines Corporation | Common input/output interface for application programs |
WO2012101700A1 (ja) * | 2011-01-27 | 2012-08-02 | 日本電気株式会社 | UI(User Interface)作成支援装置、UI作成支援方法及びプログラム |
US8456658B2 (en) | 2010-07-27 | 2013-06-04 | Konica Minolta Business Technologies, Inc. | Image processing system, image processing apparatus, method for controlling display of function setting screen, and recording medium |
WO2022180804A1 (ja) * | 2021-02-26 | 2022-09-01 | 日本電信電話株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
Families Citing this family (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6246403B1 (en) * | 1998-10-08 | 2001-06-12 | Hewlett-Packard Company | Method and apparatus for generating a graphical user interface |
US7328405B1 (en) * | 1998-12-09 | 2008-02-05 | Netscape Communications Corporation | Smart browsing providers |
US7555721B2 (en) | 1998-12-30 | 2009-06-30 | Aol Llc, A Delaware Limited Liability Company | Customized user interface |
US7353234B2 (en) * | 1998-12-30 | 2008-04-01 | Aol Llc, A Delaware Limited Liability Company | Customized user interface based on user record information |
US6545690B1 (en) * | 1999-09-29 | 2003-04-08 | Lucent Technologies Inc. | Liaison interface |
US7187947B1 (en) | 2000-03-28 | 2007-03-06 | Affinity Labs, Llc | System and method for communicating selected information to an electronic device |
US20020049867A1 (en) * | 2000-08-29 | 2002-04-25 | Yoshitomo Kumagai | Application transfer method, application transfer system and storage medium therefore |
GB0108044D0 (en) * | 2001-03-30 | 2001-05-23 | British Telecomm | Application synchronisation |
US20040117804A1 (en) * | 2001-03-30 | 2004-06-17 | Scahill Francis J | Multi modal interface |
CA2463922C (en) | 2001-06-27 | 2013-07-16 | 4 Media, Inc. | Improved media delivery platform |
CA2480663A1 (en) * | 2002-03-28 | 2003-10-09 | British Telecommunications Public Limited Company | Synchronisation in multi-modal interfaces |
ATE345534T1 (de) * | 2002-09-04 | 2006-12-15 | Oce Tech Bv | Verfahren und vorrichtung zur physikalischen verwaltung eines dokuments |
US20040233236A1 (en) * | 2003-05-24 | 2004-11-25 | Yang Dennis Woojun | Apparatus and method for generating application programming interface |
US7765523B2 (en) * | 2003-07-10 | 2010-07-27 | Computer Associates Think, Inc. | System and method for generating a web-enabled graphical user interface plug-in |
US7761842B2 (en) * | 2003-07-11 | 2010-07-20 | Computer Associates Think, Inc. | System and method for generating a graphical user interface (GUI) element |
US20050010877A1 (en) * | 2003-07-11 | 2005-01-13 | Arthur Udler | System and method for dynamic generation of a graphical user interface |
US7673245B2 (en) * | 2003-10-15 | 2010-03-02 | Sap Aktiengesellschaft | Converting user interface panels |
US20070130529A1 (en) * | 2003-10-15 | 2007-06-07 | Paul Shrubsole | Automatic generation of user interface descriptions through sketching |
US7849412B2 (en) * | 2004-05-21 | 2010-12-07 | Computer Associates Think, Inc. | System and method for generating a web control in a Windows development environment |
KR20060015397A (ko) * | 2004-08-14 | 2006-02-17 | 삼성전자주식회사 | Gui 운영 체제에서의 바탕 화면 변경 장치 및 방법 |
US8510662B1 (en) * | 2005-06-27 | 2013-08-13 | Oracle America, Inc. | Effects framework for GUI components |
US20070061722A1 (en) * | 2005-09-13 | 2007-03-15 | International Business Machines Corporation | Transparency learning aide skin for GUI-based applications |
US7921375B2 (en) * | 2005-12-16 | 2011-04-05 | Microsoft Corporation | Integrating user interfaces from one application into another |
US20070156029A1 (en) * | 2005-12-31 | 2007-07-05 | Morris Margaret E | Discernment of human health through electronic system input/output devices |
US8732661B2 (en) * | 2007-02-01 | 2014-05-20 | Microsoft Corporation | User experience customization framework |
WO2012050417A1 (en) * | 2010-10-14 | 2012-04-19 | Peng Ooi Goh | Method and system for modelling or transforming a process |
US9384408B2 (en) | 2011-01-12 | 2016-07-05 | Yahoo! Inc. | Image analysis system and method using image recognition and text search |
US9134888B2 (en) * | 2011-01-27 | 2015-09-15 | Nec Corporation | UI creation support system, UI creation support method, and non-transitory storage medium |
US8635519B2 (en) | 2011-08-26 | 2014-01-21 | Luminate, Inc. | System and method for sharing content based on positional tagging |
US20130086112A1 (en) | 2011-10-03 | 2013-04-04 | James R. Everingham | Image browsing system and method for a digital content platform |
US8737678B2 (en) | 2011-10-05 | 2014-05-27 | Luminate, Inc. | Platform for providing interactive applications on a digital content platform |
USD737290S1 (en) | 2011-10-10 | 2015-08-25 | Yahoo! Inc. | Portion of a display screen with a graphical user interface |
USD736224S1 (en) | 2011-10-10 | 2015-08-11 | Yahoo! Inc. | Portion of a display screen with a graphical user interface |
US8255495B1 (en) | 2012-03-22 | 2012-08-28 | Luminate, Inc. | Digital image and content display systems and methods |
US8234168B1 (en) | 2012-04-19 | 2012-07-31 | Luminate, Inc. | Image content and quality assurance system and method |
US8495489B1 (en) | 2012-05-16 | 2013-07-23 | Luminate, Inc. | System and method for creating and displaying image annotations |
USD740299S1 (en) * | 2012-10-17 | 2015-10-06 | Aol Inc. | Display screen portion with graphical user interface |
US20140115483A1 (en) | 2012-10-18 | 2014-04-24 | Aol Inc. | Systems and methods for processing and organizing electronic content |
USD745875S1 (en) * | 2012-12-13 | 2015-12-22 | Symantec Corporation | Display device with graphical user interface |
US9389785B2 (en) * | 2014-03-17 | 2016-07-12 | Comigo Ltd. | Efficient touch emulation with navigation keys |
US10079002B2 (en) * | 2016-06-29 | 2018-09-18 | Microsoft Technology Licensing, Llc | Modifying graphical elements based on environment |
CN109491560B (zh) * | 2018-09-20 | 2021-08-13 | 华为技术有限公司 | 应用程序的启动方法和装置 |
USD966329S1 (en) * | 2020-06-15 | 2022-10-11 | Brain Technologies, Inc. | Display panel of a programmed computer system with a graphical user interface |
USD964420S1 (en) * | 2020-06-15 | 2022-09-20 | Brain Technologies, Inc. | Display panel of a programmed computer system with a graphical user interface |
USD958819S1 (en) * | 2020-07-28 | 2022-07-26 | Abbott Laboratories | Display screen with a graphical user interface |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0778782B2 (ja) * | 1989-07-19 | 1995-08-23 | インターナショナル・ビジネス・マシーンズ・コーポレーシヨン | 対話型コンピュータ・システムならびにその使用環境適合化装置および方法 |
JP2554381B2 (ja) * | 1990-03-30 | 1996-11-13 | インターナショナル・ビジネス・マシーンズ・コーポレーション | プログラミング支援装置 |
JPH04273518A (ja) * | 1991-02-28 | 1992-09-29 | Meidensha Corp | 表示画面の構成方式 |
JPH04284531A (ja) * | 1991-03-14 | 1992-10-09 | Toshiba Corp | 表示ボタンのカスタマイズ装置 |
US5287102A (en) * | 1991-12-20 | 1994-02-15 | International Business Machines Corporation | Method and system for enabling a blind computer user to locate icons in a graphical user interface |
US5347627A (en) * | 1992-04-07 | 1994-09-13 | International Business Machines Corporation | Graphical user interface including dynamic sizing and spacing |
JPH06168058A (ja) * | 1992-05-11 | 1994-06-14 | Nec Corp | 拡張入力装置制御方式 |
JP2522898B2 (ja) * | 1992-09-08 | 1996-08-07 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 動的カストマイズ方法及びグラフィックリソ―ス・エディタ |
JPH06232941A (ja) * | 1993-01-29 | 1994-08-19 | Canon Inc | データ伝送装置 |
JP2763035B2 (ja) * | 1993-03-24 | 1998-06-11 | 日本電信電話株式会社 | エンドユーザ画面カスタマイズ機能付表示システム |
JPH06289982A (ja) * | 1993-04-05 | 1994-10-18 | Nkk Corp | 手書き入力用描画入出力制御システム |
JP3265131B2 (ja) * | 1994-08-29 | 2002-03-11 | 日本電気株式会社 | イベント生成分配方式 |
JP2654543B2 (ja) * | 1994-09-06 | 1997-09-17 | 日本電気株式会社 | 音響ディスプレイ装置 |
JPH08212047A (ja) * | 1995-02-07 | 1996-08-20 | Chugoku Nippon Denki Software Kk | ウィンドウシステム非依存gui(グラフィカル・ユー ザ・インターフェイス)システム |
JPH08339350A (ja) * | 1995-06-09 | 1996-12-24 | Mitsubishi Electric Corp | 端末制御方式 |
-
1996
- 1996-09-09 JP JP8237588A patent/JPH1083269A/ja active Pending
-
1997
- 1997-09-08 US US08/925,950 patent/US5956029A/en not_active Expired - Fee Related
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006268631A (ja) * | 2005-03-25 | 2006-10-05 | Fuji Xerox Co Ltd | 情報処理装置および情報処理プログラム |
JP4645982B2 (ja) * | 2005-03-25 | 2011-03-09 | 富士ゼロックス株式会社 | 情報処理装置および情報処理プログラム |
JP2009519542A (ja) * | 2005-12-12 | 2009-05-14 | マイクロソフト コーポレーション | 代替グラフィックス・パイプ |
US7913191B2 (en) | 2006-03-17 | 2011-03-22 | International Business Machines Corporation | Common input/output interface for application programs |
JP2008269575A (ja) * | 2007-03-29 | 2008-11-06 | Hitachi Software Eng Co Ltd | ソースコード生成装置 |
JP2008269554A (ja) * | 2007-03-29 | 2008-11-06 | Hitachi Software Eng Co Ltd | ソースコード生成装置 |
US8456658B2 (en) | 2010-07-27 | 2013-06-04 | Konica Minolta Business Technologies, Inc. | Image processing system, image processing apparatus, method for controlling display of function setting screen, and recording medium |
WO2012101700A1 (ja) * | 2011-01-27 | 2012-08-02 | 日本電気株式会社 | UI(User Interface)作成支援装置、UI作成支援方法及びプログラム |
WO2022180804A1 (ja) * | 2021-02-26 | 2022-09-01 | 日本電信電話株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
US5956029A (en) | 1999-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH1083269A (ja) | ユーザインタフェース変換装置 | |
JP2752040B2 (ja) | マルチメディア適用業務を作成する方法 | |
JPH08237471A (ja) | ブロックセレクション処理の検証及び編集システム | |
JP2000331178A (ja) | 画像編集方法及び装置 | |
JP2007272870A (ja) | 印刷制御装置、gui表示方法、プリンタドライバ及び記録媒体 | |
US5634024A (en) | Definition execution system for operations and functions in computer system | |
JPH08328795A (ja) | ツールボタンの設定のための方法及び編集装置 | |
JP2001270201A (ja) | 構成可能なプリンタメニュー構造 | |
JP4937230B2 (ja) | 表示制御装置および表示制御プログラム | |
JP2006190088A (ja) | 情報処理装置およびその制御方法 | |
JP2007066077A (ja) | Gui生成方法、gui生成装置、コンピュータプログラム及び記憶媒体 | |
JPH09114621A (ja) | Gui画面デザイン支援方法 | |
JP3716016B2 (ja) | 画面探索インタフェース装置 | |
JPH09106337A (ja) | ユーザーインタフェース生成装置 | |
JP3345027B2 (ja) | メニュー編集装置 | |
JPH0744343A (ja) | 操作支援情報自動生成装置 | |
JPH08171589A (ja) | 操作マニュアル作成装置付き電子機器 | |
JP2003196278A (ja) | 文字入力方法、文字入力プログラム及びコンピュータ読み取り可能な記録媒体 | |
JP2760296B2 (ja) | メニュー対話情報処理装置 | |
JP3525443B2 (ja) | 文書処理装置 | |
JPH10260961A (ja) | Www用htmlファイル作成方法及び装置 | |
JPH1083334A (ja) | 情報処理装置及び記録媒体 | |
JP2001051771A (ja) | 画像処理システム及び方法 | |
JP2001175379A (ja) | 表示処理装置および記憶媒体 | |
JP3168762B2 (ja) | 対話処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20010522 |