JPH1083269A - ユーザインタフェース変換装置 - Google Patents

ユーザインタフェース変換装置

Info

Publication number
JPH1083269A
JPH1083269A JP8237588A JP23758896A JPH1083269A JP H1083269 A JPH1083269 A JP H1083269A JP 8237588 A JP8237588 A JP 8237588A JP 23758896 A JP23758896 A JP 23758896A JP H1083269 A JPH1083269 A JP H1083269A
Authority
JP
Japan
Prior art keywords
conversion
screen
information
unit
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8237588A
Other languages
English (en)
Inventor
Yoshihiko Okada
世志彦 岡田
Katsuhiro Yamanaka
克弘 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP8237588A priority Critical patent/JPH1083269A/ja
Priority to US08/925,950 priority patent/US5956029A/en
Publication of JPH1083269A publication Critical patent/JPH1083269A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

(57)【要約】 【課題】 既存のアプリケーションプログラムを変更せ
ず、かつ全ての画面データを画面作成者が再作成するこ
となく、本来の画面情報から必要な情報だけを抽出し
て、自動的に変換画面を作成するユーザインタフェース
変換装置を提供する。 【解決手段】 画面情報取得部１１１がアプリケーショ
ン１０２の画面情報を取得し、注目点情報抽出部１１３
により画面情報の中で注目すべき点を指示し、これをも
とに変換インタフェース作成部１１５において変換画面
情報を生成し、変換インタフェース制御部１１７によっ
て、出力装置１０４に提示する。ユーザは入力装置１０
３により、変換インタフェース制御部１１７を介して変
換画面を操作し、アプリケーション１０２を利用する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、グラフィカル・ユ
ーザ・インタフェース（ＧＵＩ）をもつコンピュータの
オペレーティングシステム（ＯＳ）（以下、ＧＵＩのＯ
Ｓ）上に開発されたアプリケーション画面を、異なる利
用環境、利用ユーザに応じて、本来のアプリケーション
プログラムを変更することなく、多様な画面インタフェ
ースへ変換することを可能とするユーザインタフェース
変換装置に関し、特に本来のアプリケーション画面の論
理情報や画面情報を抽出し、それをもとに変換画面を作
成することで、変換画面作成の効率化、簡易化を図るユ
ーザインタフェース変換装置に関する。
【０００２】
【従来の技術】近年、ＧＵＩのＯＳの普及により、公共
の端末上のアプリケーションもこれらの上に構築される
ものが増えた。しかし、同じＯＳが稼働する他の場所の
端末で運用する場合でも、必要機能は既存のアプリケー
ションと同等であっても、その端末自体の機能の制約
や、対象とするユーザ層の違いによって画面インタフェ
ースを変更する必要が生じる。
【０００３】従来多くのアプリケーションの画面インタ
フェースは、それを変更するにはソースプログラム自体
を修正する必要があった。また、一部に見られる方法と
しては、アプリケーションと画面データを分離し、画面
データだけを修正する方法や、画面上のボタンなどの一
部の部品だけをカスタマイズするような形での変更方法
（特開平４−２８４５３１号公報）、あらかじめ用意し
た画面データベースを参照して固定的に部品を置き換え
る方法（特開平６−２８２３９６号公報）が知られてい
る。
【０００４】
【発明が解決しようとする課題】同じ機能を持つアプリ
ケーションを他の環境に移植する場合、そのソースプロ
グラム、画面データを修正しなければならない。これに
は多くの労力を必要とする。また、アプリケーションの
最初の設計段階から、移植が予測される全ての環境や対
象ユーザに対して適切な設計をすることは大変困難であ
る。
【０００５】既存のアプリケーションを変更しない場合
でも、アプリケーションと画面データが分離されている
方法では、この構造を取り入れていないアプリケーショ
ンには適応できない。また、これらの方法では、移植時
に全ての画面データを新たに設計する必要があり、労力
を必要とする。
【０００６】画面上の一部の部品だけを変更する方法
は、その修正が微小である場合には有効だが、画面レイ
アウトや表現が大きく変更されるような場合には対応で
きない。
【０００７】また、汎用のアプリケーションを公共の端
末で用いようとすれば、ある端末では利用ユーザにある
機能を使用可能とするが、別の端末では使用不可とする
など本来の画面上に存在する機能を隠したり、逆に、操
作の構造を簡単にする必要などから、本来の画面上に存
在しない機能を用意するというようなきめ細かい対応が
必要となるが、これらの修正は容易でない。
【０００８】さらに、公共の端末では、視覚に障害を持
つような画面情報をそのまま利用できないユーザにも対
応する必要があるが、このような機能は既存のアプリケ
ーション自体に組み込まれている必要があった。
【０００９】そこで本発明の第１の目的は、既存のアプ
リケーションプログラムを変更せず、かつ全ての画面デ
ータを画面作成者が再作成することなく、本来の画面情
報から必要な情報だけを抽出して、自動的に変換画面を
作成するユーザインタフェース変換装置を提供すること
にある。
【００１０】本発明の第２の目的は、画面変換要素とし
て、画面情報の属性情報の変更、画面上の部品の変更、
本来の画面上に存在しない新たな機能部品の付加機能を
持つことにより柔軟な画面変換を可能とするユーザイン
タフェース変換装置を提供することにある。
【００１１】本発明の第３の目的は、ある特定の画面や
一部の部品に対して、画面作成者が手を加えたい場合
に、これらの機能を提供するユーザインタフェース変換
装置を提供することにある。
【００１２】本発明の第４の目的は、画面作成者が、本
来のアプリケーション画面を参照しながら対話的に、画
面変換を行うための機能を提供するユーザインタフェー
ス変換装置を提供することにある。
【００１３】さらに本発明の第５の目的は、変換された
画面インタフェースを、視覚に障害を持つユーザや、高
齢のユーザのために、視覚以外のメディアによっても提
示することを可能とするユーザインタフェース変換装置
を提供することにある。
【００１４】
【課題を解決するための手段】本発明は上記第１の目的
を達成するために、各種の入出力デバイスと、グラフィ
カル・ユーザ・インタフェースを備えたオペレーティン
グシステムと、前記オペレーティングシステムを介して
動作するアプリケーションプログラムとを有する情報処
理装置であって、前記アプリケーションプログラムが提
供する画面インタフェースを変換して新たな画面インタ
フェースを作成して提供するユーザインタフェース変換
装置において、入力装置からの入力イベントおよび画面
インタフェース上のウィンドウ、メニュー、ボタンなど
の描画などの画面の変化のイベントを検出するイベント
取得部と、前記イベント取得部により検出された画面変
化イベントに従って、画面上に表示されているウィンド
ウ、メニュー、ボタンなどの対話部品の論理構造情報、
配置情報、属性情報などを要素とする画面情報を抽出す
る画面情報取得部と、前記画面情報を保持する画面情報
蓄積部と、前記画面情報に対して、注目点情報蓄積部に
保持される注目点情報から、対象アプリケーションプロ
グラムの表示ウィンドウや現在フォーカスが当たってい
る対話部品などに注目点を設定し、その部分の画面情報
である注目点画面情報を抽出する注目点抽出部と、前記
注目点画面情報から変換画面を作成し、前記変換画面の
対話部品の論理構造情報、配置情報、属性情報や、本来
のアプリケーションプログラムが提供する画面インタフ
ェースの対話部品とのリンク情報や対応イベントの情報
を要素とする変換画面情報を作成する変換インタフェー
ス作成部と、前記変換画面情報を蓄積する変換画面情報
蓄積部と、前記変換インタフェース作成部で作成された
画面を出力装置に提示し、前記イベント取得部からの変
換画面に対する操作イベントを受け取り、前記変換画面
情報蓄積部の変換画面情報を参照し、前記アプリケーシ
ョンプログラムを駆動するためのイベントを発生する変
換インタフェース制御部とから構成される。
【００１５】このような構成を有する本発明のユーザイ
ンタフェース変換装置にあっては、既存のアプリケーシ
ョンから画面情報を抽出し、指定した注目点の情報に対
して変換を行うことで、既存のアプリケーションプログ
ラムを変更せず、かつ全ての画面データを画面作成者が
再作成することなく、本来の画面情報から必要な情報だ
けを抽出して、自動的に変換画面を作成することが可能
となる。
【００１６】また本発明は上記第２の目的を達成するた
めに、前記変換インタフェース作成部が、多様な画面変
換を可能とするため、前記注目点抽出部より抽出された
抽出画面情報をもとに画面変換を行う情報変換部と、前
記情報変換部を制御する変換インタフェース作成制御部
とから構成され、前記情報変換部は多様の変換を行う変
換実行部として、対話部品のサイズや配置、キャプショ
ン（項目名）などの属性情報を変換するための属性変換
情報を保持する属性変換情報蓄積部および前記属性変換
情報から属性変換を実行する属性変換部と、あるボタン
を別のボタンに置き換えるなどの部品の交換を行うため
の部品交換情報を保持する部品交換情報蓄積部および前
記部品交換情報から部品交換を実行する部品交換部と、
抽出画面情報には存在しない新たな部品を追加するため
の仮想部品追加情報を保持する仮想部品追加情報蓄積部
および前記仮想部品追加情報をもとに仮想部品の追加を
行う仮想部品追加部と、の全てまたはいずれかの組み合
わせによって少なくとも構成される。
【００１７】このような構成を有する本発明のユーザイ
ンタフェース変換装置にあっては、画面変換要素とし
て、画面情報の属性情報の変更、画面上の部品の変更、
本来の画面上に存在しない新たな機能部品の付加機能を
持つことにより柔軟な画面変換が可能となる。
【００１８】また本発明は上記第３の目的を達成するた
めに、前記変換インタフェース作成部が、より細部に渡
る画面変換を可能とするために、ある特定の画面やある
特定の部品だけを変換するための複数の特定情報変換実
行部およびその対となる特定変換情報蓄積部により構成
される変換特定情報変換部と、前記特定情報変換のため
のテンプレート情報を蓄積する変換テンプレート蓄積部
とから構成される。
【００１９】このような構成を有する本発明のユーザイ
ンタフェース変換装置にあっては、画面作成者がある特
定の画面や一部の部品に対して手を加え、部分的に特定
的な変換を行うことを可能とする。
【００２０】また本発明は上記第４の目的を達成するた
めに、前記変換インタフェース作成部が、本来のアプリ
ケーションプログラムが提供する画面インタフェースを
参照しながら、変換画面を作成するために、変換画面や
変換部品を画面開発者が作成、編集するための変換画面
編集部と、前記変換部品との本来のアプリケーション画
面上の対話部品とのリンクを生成する作成部品リンク部
と、前記変換画面編集部において編集された変換画面の
前記変換画面情報から前記変換テンプレートを作成する
変換テンプレートを作成部とから構成される。
【００２１】このような構成を有する本発明のユーザイ
ンタフェース変換装置にあっては、画面作成者が、本来
のアプリケーション画面を参照しながら対話的に、画面
変換を行うための機能を提供することを可能とする。
【００２２】さらに本発明は上記第５の目的を達成する
ために、前記変換インタフェース制御部が、視覚に障害
を持つユーザや高齢のユーザの利用を考慮するため、マ
ウスポインタの移動やタッチ操作などのイベントに従っ
て、上記変換画面情報蓄積部の変換画面情報を参照し、
合成音声や点字、触覚ピンディスプレイ等に対する情報
への変換を行うメディア付加部を持つ。
【００２３】このような構成を有する本発明のユーザイ
ンタフェース変換装置にあっては、変換された画面イン
タフェースを、視覚に障害を持つユーザや、高齢のユー
ザのために、視覚以外のメディアによっても提示するこ
とを可能とする。
【００２４】
【発明の実施の形態】本発明の実施の形態の例について
図面を参照して詳細に説明する。
【００２５】図１を参照すると、本発明の一実施例のユ
ーザインタフェース変換装置は、ＧＵＩのＯＳ１０１
と、ＧＵＩのＯＳ１０１上で動作するアプリケーション
プログラム（以下ＡＰ）１０２と、キーボード、マウ
ス、タッチパネル等で構成される入力装置１０３と、デ
ィスプレイ、スピーカ、点字ディスプレイ、触覚ピンデ
ィスプレイ等で構成される出力装置１０４と、イベント
取得部１１０と、画面情報取得部１１１と、画面情報蓄
積部１１２と、注目点抽出部１１３と、注目点情報蓄積
部１１４と、変換インタフェース作成部１１５と、変換
画面情報蓄積部１１６と、変換インタフェース制御部１
１７とで構成されている。
【００２６】また図２を参照すると、変換インタフェー
ス作成部１１５は、変換インタフェース作成制御部２０
１と、情報変換部２０２と、特定情報変換部２０３と、
変換テンプレートと蓄積部２０４と、変換画面編集部２
１１と、作成部品リンク部２１２と、変換テンプレート
作成部２１３とで構成されている。
【００２７】図３を参照すると、情報変換部２０２は、
属性変換実行部２２１と、属性変換情報蓄積部２２２
と、部品交換実行部２２３と、部品交換情報蓄積部２２
４と、仮想部品追加実行部２２５と、仮想部品追加情報
蓄積部２２６とで構成されている。
【００２８】図４を参照すると、特定情報変換部２０３
は、特定属性変換実行部２３１と、特定属性変換情報蓄
積部２３２と、特定部品交換実行部２３３と、特定部品
交換情報蓄積部２３４と、特定仮想部品追加実行部２３
５と、特定仮想部品追加情報蓄積部２３６とで構成され
ている。
【００２９】さらに図５を参照すると、変換インタフェ
ース制御部１１７は、変換インタフェース制御実行部２
４１と、メディア付加実行部２４２と、メディア付加情
報蓄積部２４３と、注目点変更制御部２４４と、注目点
変更情報蓄積部２４５で構成されている。
【００３０】以下では、本実施の形態の処理を通常使用
と変更作業の２つに分けて説明する。
【００３１】図６は、本実施の形態の処理のうち、通常
使用を示すフローチャートである。
【００３２】ＯＳ１０１上で本装置起動（３０１）後、
ＡＰ１０２を起動する（３０２）。ＡＰ１０２が起動さ
れるとＡＰ１０２のウィンドウが開き、このとき画面描
画イベントが発生する。イベント取得部１１０は、この
イベントを取得し（３０３）、画面情報取得部１１１へ
伝達する。画面情報取得部１１１はこのイベントをトリ
ガとして、このとき表示されているウィンドウやその上
にあるメニュー、ボタンなどの対話部品の構成を示す論
理構造情報、その位置やサイズを示す配置情報、また各
部品のキャプション（項目名）やフォーカスの状態など
の属性情報を取得し（３０４）、画面情報蓄積部１１２
へ蓄積する。図７はこのとき取得される画面情報の例で
ありツリー構造で構成される。
【００３３】画面情報が取得されると、注目点抽出部１
１３は、注目点情報蓄積部１１４の注目点情報を参照し
（３０５）、画面情報蓄積部１１２の画面情報から、注
目点画面情報を抽出する（３０６）。注目点情報は、画
面情報のツリー構造の中から、注目すべき対話部品のサ
ブツリー構造を指定する。例えば、対象アプリケーショ
ンのウィンドウや、カレントウィンドウ、フォーカスの
当たっている対話部品などの指定が可能である。また逆
に、ユーザに操作させたくない対話部品や項目の指定も
可能である。図８はこのとき取得される注目点画面情報
の例である。ここでは、カレントウィンドウが指定され
ており、タイトルバー操作が不可と指定されている。
【００３４】注目点画面情報は変換インタフェース作成
部１１５の変換インタフェース作成制御部２０１へと送
られる。変換インタフェース作成制御部２０１では、変
換テンプレート蓄積部２０４の変換テンプレートを参照
し（３０７）、情報変換部２０２、特定情報変換部２０
３を制御して画面変換を行う。
【００３５】情報変換部２０２は、本実施の形態では図
３を参照すると、属性変換実行部２２１および属性変換
情報蓄積部２２２、部品交換実行部２２３および部品交
換情報蓄積部２２４、仮想部品追加実行部２２５および
仮想部品追加情報蓄積部２２６により構成されている。
属性変換実行部２２１、部品交換実行部２２３、仮想部
品追加実行部２２５は、変換インタフェース作成制御部
２０１の制御により、それぞれ、属性変換情報蓄積部２
２２の属性変換情報、部品交換情報蓄積部２２４の部品
交換情報、仮想部品追加情報蓄積部２２６の仮想部品追
加情報を参照して情報変換を行う（３０８）。属性変換
実行部２２１では、部品のサイズや位置の変更、キャプ
ションの変更などの変換を行う。部品交換実行部２２３
では、ボタンなどの対話部品を別のボタン表示に変更す
るなどの変換を行う。仮想部品追加実行部２２５は、画
面上には実際には存在しない対話部品を設定する。これ
ら情報変換の詳細については、後に変換例を示して説明
する。
【００３６】変換が終了すると、情報変換部２０２によ
る変換結果は変換画面情報として変換画面情報蓄積部１
１６に蓄積される（３０９）。変換画面情報は、変換さ
れた画面上に表示されるウィンドウやその上にあるメニ
ュー、ボタンなどの対話部品の構成を示す論理構造情
報、その位置やサイズを示す配置情報、また各部品のキ
ャプション（項目名）やフォーカスの状態などの属性情
報と、画面情報における対話部品とのリンクや対応イベ
ントの情報からなるツリー構造で構成される。
【００３７】特定情報変換部２０３は、本実施の形態で
は図４を参照すると、特定属性変換実行部２３１および
特定属性変換情報蓄積部２３２、特定部品交換実行部２
３３および特定部品交換情報蓄積部２３４、特定仮想部
品追加実行部２３５および特定仮想部品追加情報蓄積部
２３６により構成されている。特定属性変換実行部２３
１、特定部品交換実行部２３３、特定仮想部品追加実行
部２３５は、変換インタフェース作成制御部２０１の制
御により、それぞれ、特定属性変換情報蓄積部２３２の
特定属性変換情報、特定部品交換情報蓄積部２３４の部
品交換情報、特定仮想部品追加情報蓄積部２３６の特定
仮想部品追加情報を参照して特定情報変換を行う（３１
０）。特定情報変換は、特定のある画面のある対話部品
に対してだけ行われる変換である。特定属性変換実行部
２３１では、ある特定の部品のサイズや位置の変更、キ
ャプションの変更などの変換を行う。特定部品交換実行
部２２３では、ある特定のボタンなどの対話部品を別の
ボタン表示に変更するなどの変換を行う。特定仮想部品
追加実行部２３５は、画面上には実際には存在しない対
話部品をある特定画面に対して設定する。これら特定情
報変換の詳細については、後に変換例を示して説明す
る。
【００３８】特定情報変換が終了すると、特定情報変換
部２０３による変換結果は変換画面情報として変換画面
情報蓄積部１１６に蓄積される（３１１）。変換画面情
報は、変換された画面上に表示されるウィンドウやその
上にあるメニュー、ボタンなどの対話部品の構成を示す
論理構造情報、その位置やサイズを示す配置情報、また
各部品のキャプション（項目名）やフォーカスの状態な
どの属性情報と、画面情報における対話部品とのリンク
や対応イベントの情報からなるツリー構造で構成され
る。
【００３９】変換が終了すると変換インタフェース制御
部１１７の変換インタフェース制御実行部２４１は、変
換画面情報蓄積部１１６の変換画面情報をもとに、変換
画面を出力装置１０４のディスプレイに表示する（３１
２）。このとき、変換の結果、本来の画面が表示される
ように指定されていなければ、ディスプレイ画面上に
は、変換画面のみが表示される。図９は本来の画面、画
面情報、変換画面情報、変換画面の関係を表す概念図で
ある。
【００４０】ユーザは変換画面表示に対して入力装置１
０３から操作を行う。イベント取得部１１０はこの操作
イベントを取得し（３１３）、変換インタフェース制御
部１１７の変換インタフェース制御実行部２４１へ伝達
する。変換インタフェース制御実行部２４１では、変換
画面情報蓄積部１１６の変換画面情報を参照し（３１
４）、発生イベントとこれに対応する対話部品情報とを
メディア付加実行部２４２へ送る。メディア付加実行部
２４２では、メディア付加情報蓄積部２４３のメディア
付加情報を参照し（３１５）、対応する合成音声や効果
音、点字ピン表示、触覚ピン表示などを出力装置１０４
に対して指示する（３１６）。また、このとき注目点変
更制御部２４４は、注目点変更情報蓄積部２４５の注目
点変更情報を参照し（３１７）、必要に応じて注目点の
変更を、注目点抽出部１１３へ通知する（３１８）。さ
らに、変換インタフェース制御実行部２４１は、参照し
た変換画面情報より、ＡＰ１０２への対応イベント発行
する（３１９）。ＡＰ１０２は、このイベントを受け取
り、何らかの動作を行い画面を再描画するか、終了する
（３２０）。再描画が行われた場合は、画面描画イベン
トの取得（３０３）からフェーズが繰り返される。ＡＰ
１０２が終了した場合には、システムを終了する（３２
１）。
【００４１】
【実施例】以下では、本実施例のＯＳ１０１で稼働する
ＡＰ１０２を、図書館等の施設における公共端末で日本
各地の様々な情報を検索するためのプログラムに想定す
る場合について変換画面例により説明する。本実施例で
は、例えば図１０のようなパラメータを必要とする情報
変換機能を持つとする。
【００４２】属性変換−ウィンドウ拡大は、図１１のよ
うに与えられたウィンドウを指定したサイズ、位置に拡
大（または縮小する）。通常注目点のウィンドウが拡大
表示される。ここでは、タイトルバーが使用不可にされ
ている場合で表示されていない。
【００４３】属性変換−部品拡大は、図１２のように指
定した部品を指定したサイズ、位置に拡大（または縮小
する）。ここでは、メニューバーが指定されている。
【００４４】属性変換−キャプション変換は、図１３の
ように、あるキャプションを辞書を参照することによっ
て、別の名前やビットマップに変換する。ここでは、交
換部品−スクロールボタンのビットマップが、「前」、
「次」という文字や他のビットマップに変換されてい
る。
【００４５】交換部品−スクロールボタンは、図１４の
ようにスクロールバーを置き換える。ここでは、１回押
すごとに前後の頁を表示する機能となっている。
【００４６】交換部品−リストボタンは、図１５のよう
に、リストボックスをリスト項目を表示するボタンに置
き換える。
【００４７】仮想部品−移動元、移動先ウィンドウは、
もとの画面に実際には存在しない部品を変換画面上に設
定する機能の例の一つである。図１６は、ＧＵＩ操作の
特徴であるドラッグ・アンド・ドロップ操作について、
初心のユーザなどが複数のファイルに対するドラッグ・
アンド・ドロップ操作を行うことを容易にするため、画
面上にドラッグ・アンド・ドロップ操作のための２つの
仮想対話部品５０１、５０２を配置している。
【００４８】このとき、注目点抽出部１１３の参照する
（３０５）注目点情報蓄積部１１４の注目点情報は、背
景（デスクトップ）５００を指定している。これにより
指定されるサブツリーは全ての画面情報となり、表示さ
れる対話部品の全てを操作することが可能となる。
【００４９】この注目点画面情報が変換インタフェース
作成部１１５の変換インタフェース作成制御部２０１へ
と送られると。変換インタフェース作成制御部２０１で
は、変換テンプレート蓄積部２０４の変換テンプレート
を参照し（３０７）、情報変換部２０２、情報変換部２
０３を制御して画面変換を行う。ここで、変換テンプレ
ートは、画面下部に仮想部品である移動元ウィンドウ５
０１、移動先ウィンドウ５０２を配置することが指定さ
れている。
【００５０】これにより情報変換部２０２の仮想部品追
加実行部２２５は、対応する仮想部品である移動元ウィ
ンドウ５０１、移動先ウィンドウ５０２の部品情報と対
応イベント情報からなる仮想部品追加情報を仮想部品追
加情報蓄積部２２６より取得し、テンプレートに指定さ
れた位置に移動元ウィンドウ５０３、移動先ウィンドウ
５０４を描画するための情報を作成し（３０８）、変換
画面情報蓄積部１１６へ送る。
【００５１】変換が終了すると変換インタフェース制御
部１１７の変換インタフェース制御実行部２４１は、変
換画面情報蓄積部１１６の変換画面情報をもとに、変換
画面を出力装置１０４のディスプレイに表示する（３１
２）。この場合、注目点情報で背景が指定してあるため
に本来の画面も表示され、以後ユーザが操作を行った場
合（３１３）にも、デスクトップの変化だけが反映され
た図１６の変換画面表示が維持される。
【００５２】ユーザが仮想部品を利用するには、必要と
される複数のファイルを個々にウィンドウ５０３などか
ら一旦移動元ウィンドウ５０１へドラッグし、また、ウ
ィンドウ５０４などから移動先領域５０２へ対象となる
フォルダをドラッグした後、移動元ウィンドウ５０１か
ら移動先ウィンドウ５０２に対して、移動、コピーの実
行を指示することで、ファイルの移動やコピーが行われ
る。
【００５３】特定属性変換−キャプション変換は、図１
７のようにある特定のウィンドウのある対話部品のキャ
プションを変換する。ここでは、あるウィンドウの中の
「印刷」、「ＯＫ」、「キャンセル」のボタンのキャプ
ションを、ビットマップや「見る」、「戻る」というキ
ャプションに変更している。
【００５４】特定交換部品−日本地図、地域地図は、図
１８のように都道府県や地域名が、リスト項目であるよ
うな、ある特定のウィンドウの中のリストを、地図のビ
ットマップに変換する。
【００５５】特定仮想部品−マクロボタンは、図１９の
ようにある画面上に表示されない機能に対して、マクロ
機能を持つボタンをある特定画面に割り当てることで、
その機能を実行させるためのものである。ここでは、使
用不可指定にしたメニューバーの項目の中から、「印
刷」のボタンとして「ファイル」→「印刷」の実行機能
を割り当てている。
【００５６】また、図２０は上記の情報変換と、注目点
変更情報蓄積部２４５の注目点変更情報による注目点変
更制御部２４４の行う制御によって、視覚に障害を持つ
ユーザが入力装置１０３としてタッチパネル等を用いて
ＧＵＩ操作を行うことを可能とする画面変換例である。
ここでは、注目点情報は、（ａ）では背景を初期注目点
とし、以後ユーザの操作に従って（ｂ）はウィンドウ、
（ｃ）はメニューバー、（ｄ）はプルダウンメニュー、
（ｅ）はダイアログボックス、（ｆ）はコンボボックス
に注目点が変更される。このときメディア付加実行部２
４２により音声や点字ディスプレイ等で項目名や動作結
果がフィードバックされ、細かい対話部品にとらわれず
ＧＵＩ操作が行える。
【００５７】本実施例で想定するＡＰ１０２について説
明する図２１はその画面である。
【００５８】ＡＰ１０２は日本国内の都道府県、市町村
の人口や産業などのデータを、ネットワーク上のデータ
ベースあるいはＣＤ−ＲＯＭなどから検索して表示する
プログラムである。このようなプログラムはデータの汎
用性が高く、様々な利用者が活用できる可能性がある。
ここでは、ＯＳ１０１上での標準的な対話部品を用いて
構成されている。
【００５９】図２１（ａ）のように、メニュー項目は、
「ファイル」、「検索」、「ヘルプ」であり、「ファイ
ル」を選択すると、「開く」、「保存」、「印刷」、
「プリンタの設定」、「終了」の各項目がプルダウンメ
ニューで表示される。「検索」を選択すると、「地域別
の検索」と「キーワードで検索」が表示される。「地域
別の検索」を選択すると、図２１（ｂ）検索条件を設定
するダイアログボックスが表示され、検索条件の各項目
を設定すると、図２１（ｃ）のようにデータが表示され
る。
【００６０】図２２は、ＯＳ１０１上で、ＡＰ１０２を
通常の方法で利用する場合の一例の画面である。（ａ）
のデータ表示画面から、（ｂ）でメニューの「地域別の
検索」を選択し、（ｃ）のダイアログボックスで必要な
項目を設定して、再び（ａ）でデータを表示する。
【００６１】公共端末のアプリケーションでは、他のア
プリケーションの操作やアプリケーションの終了、設定
などの操作をユーザには許さない場合が多い。汎用アプ
リケーションでもそれを可能とするために、注目点情報
に、カレントウィンドウを設定し、属性変換−ウィンド
ウ拡大で、カレントウィンドウを常に最大表示する設定
にすると図２３（ａ）〜（ｃ）のようになる。
【００６２】ＯＳを意識させないことやウィンドウ操作
をさせないために、タイトルバー、メニューバーを表示
不可にし、特定仮想部品−マクロボタンを設定して、
「地域別検索」、「印刷」機能だけを表示したものが、
図２４（ａ）、（ｂ）である。さらにタッチパネルなど
による操作を想定して、スクロールバーを交換部品−ス
クロールボタンに置き換えたものが図２５（ａ）、
（ｂ）である。
【００６３】図２６は高齢のユーザの利用を想定して属
性変換−部品拡大により表示サイズを大きくし、さらに
ボタンのキャプションを、特定属性変換−キャプション
変換により、「検索」を「選ぶ」、「△」を「前頁」、
「▽」を「次頁」、「ＯＫ」を「見る」、「キャンセ
ル」を「戻る」に変更したものである。また、メディア
付加機能によって、音声でもフィードバックを行う。
【００６４】図２７は子供のユーザの利用を想定して、
特定属性変換−キャプション変換と、特定交換部品−日
本地図、地域地図により、キャプションやリストをビッ
トマップに変換したものである。また、メディア付加機
能によって効果音がフィードバックされる。
【００６５】図２８は、視覚障害者のタッチパネルでの
利用を想定して、特定交換部品により、スクロールバー
を換行単位で読み上げ部品に交換し、注目点変更機能と
属性変換−部品拡大、と仮想部品「戻る」ボタンを用い
て、操作を可能としている。
【００６６】次に実施例の処理のうち変更作業について
説明する。
【００６７】図２９、変更作業を示すフローチャートで
ある。
【００６８】ＯＳ１０１上で本装置を編集モードで起動
（４０１）後、ＡＰ１０２を起動する（４０２）。ＡＰ
１０２が起動されるとＡＰ１０２のウィンドウが開き、
このとき画面描画イベントが発生する。この画面描画イ
ベントを取得し、変換画面が表示されるまでの動作は、
図６の３０３〜３１２までと同様である。
【００６９】ここで変換したい画面が表示される部分ま
では通常のＡＰ操作を行う。この場合の動作は図６の３
１３〜３２０と同様であり、３１２で再び変換画面が表
示される。
【００７０】編集画面への切替操作を行う（４０３）と
その状態の画面での部品の編集が可能となる。ここでは
部品を専用のエディタで作成（４０４）した後、設定し
たい部品を選択し（４０５）、この部品に対するリン
ク、イベントを設定する（４０６）。リンクの設定は、
現在のＡＰ操作時の画面情報から、本来の画面の表示部
品のリストが表示されこの中から設定したい部品に対応
する部品を選択する。次に変換条件を設定する。ここで
は、部品に対する情報変換および特定情報変換方法がリ
ストとして提示され、この中から条件を選択し、必要な
パラメータを入力する。設定が終わると変換画面表示が
新しい設定のものに変更される。
【００７１】
【発明の効果】以上説明したように、このような構成を
有する本発明のユーザインタフェース変換装置にあって
は、既存のアプリケーションから画面情報を抽出し、指
定した注目点の情報に対して変換を行うことで、既存の
アプリケーションプログラムを変更せず、かつ全ての画
面データを画面作成者が再作成することなく、本来の画
面情報から必要な情報だけを抽出して、自動的に変換画
面を作成することが可能となる。
【００７２】また、画面変換要素として、画面情報の属
性情報の変更、画面上の部品の変更、本来の画面上に存
在しない新たな機能部品の付加機能を持つことにより柔
軟な画面変換が可能となり、画面作成者がある特定の画
面や一部の部品に対して手を加え、部分的に特定的な変
換を行うことや、画面作成者が、本来のアプリケーショ
ン画面を参照しながら対話的に、画面変換を行うための
機能を提供することを可能とする。
【００７３】さらに、変換された画面インタフェース
を、視覚に障害を持つユーザや、高齢のユーザのため
に、視覚以外のメディアによっても提示することを可能
とする。
【図面の簡単な説明】
【図１】本発明の一実施の形態におけるユーザインタフ
ェース変換装置の構成図である。
【図２】本発明の一実施の形態における変換インタフェ
ース作成部の構成図である。
【図３】本発明の一実施の形態における情報変換部の構
成図である。
【図４】本発明の一実施の形態における特定情報変換部
の構成図である。
【図５】本発明の一実施の形態における変換インタフェ
ース制御部の構成図である。
【図６】本発明の一実施の形態におけるユーザインタフ
ェース変換装置の通常使用におけるフローチャートであ
る。
【図７】本発明の一実施の形態における表示画面から抽
出する画面情報の例である。
【図８】本発明の一実施の形態における注目点画面情報
の例である。
【図９】本発明の一実施の形態における本来の画面から
変換画面への変換を示す概念図である。
【図１０】本発明の一実施例における情報変換機能の例
である。
【図１１】本発明の一実施例における属性変換−ウィン
ドウ拡大の例である。
【図１２】本発明の一実施例における属性変換−部品拡
大の例である。
【図１３】本発明の一実施例における属性変換−キャプ
ション変換の例である。
【図１４】本発明の一実施例における交換部品−スクロ
ールボタンの変換例である。
【図１５】本発明の一実施例における交換部品−リスト
ボタンの変換例である。
【図１６】本発明の一実施例における仮想部品−移動元
ウィンドウ、移動先ウィンドウの変換例である。
【図１７】本発明の一実施例における特定属性変換−キ
ャプション変換の例である。
【図１８】本発明の一実施例における特定交換部品−日
本地図、地域地図の変換例である。
【図１９】本発明の一実施例における特定仮想部品−マ
クロボタンの変換例である。
【図２０】本発明の一実施例における視覚障害者向けの
変換画面例である。
【図２１】本発明の一実施例において想定するＡＰ１０
２の表示画面例である。
【図２２】本発明の一実施例において想定するＡＰ１０
２の利用時の表示画面例である。
【図２３】本発明の一実施例において想定するＡＰ１０
２のカレントウィンドウ拡大表示の変換画面例である。
【図２４】本発明の一実施例において想定するＡＰ１０
２の変換画面例である。
【図２５】本発明の一実施例において想定するＡＰ１０
２の変換画面例である。
【図２６】本発明の一実施例において想定するＡＰ１０
２の高齢のユーザに対する変化画面例である。
【図２７】本発明の一実施例において想定するＡＰ１０
２の子供のユーザに対する変換画面例である。
【図２８】本発明の一実施例において想定するＡＰ１０
２の視覚障害を持つユーザに対する変換画面例である。
【図２９】本発明の一実施例におけるユーザインタフェ
ース変換装置の変更作業時におけるフローチャートであ
る。
【符号の説明】
１０１ グラフィカル・ユーザインタフェースのＯＳ １０２ アプリケーション １０３ キーボード、マウス、タッチパネル等の入力デ
バイス １０４ ディスプレイ、スピーカ、点字ディスプレイ、
触覚ピンディスプレイ等の出力デバイス １１０ イベント取得部 １１１ 画面情報取得部 １１２ 画面情報蓄積部 １１３ 注目点抽出部 １１４ 注目点情報蓄積部 １１５ 変換インタフェース作成部 １１６ 変換画面情報蓄積部 １１７ 変換インタフェース制御部 １１８ 画面変化通知情報蓄積部 ２０１ 変換インタフェース作成制御部 ２０２ 情報変換部 ２０３ 特定情報変換部 ２０４ 変換テンプレート蓄積部 ２１１ 変換画面編集部 ２１２ 作成部品リンク部 ２１３ 変換テンプレート作成部 ２１４ 探索テーブル構成部 ２２１ 属性変換実行部 ２２２ 属性変換情報蓄積部 ２２３ 部品交換実行部 ２２４ 部品交換情報蓄積部 ２２５ 仮想部品追加実行部 ２２６ 仮想部品追加情報蓄積部 ３２１ 特定属性変換実行部 ３２２ 特定属性変換情報蓄積部 ３２３ 特定部品交換実行部 ３２４ 特定部品交換情報蓄積部 ３２５ 特定仮想部品追加実行部 ３２６ 特定仮想部品追加情報蓄積部 ２４１ 変換インタフェース制御実行部 ２４２ メディア付加実行部 ２４３ メディア付加情報蓄積部 ２４４ 注目点変更制御部 ２４５ 注目点変更情報蓄積部 ３０１ システム起動 ３０２ ＡＰ起動 ３０３ 画面描画イベント取得 ３０４ 画面情報取得 ３０５ 注目点情報参照 ３０６ 注目点画面情報取得 ３０７ 変換テンプレート参照 ３０８ 情報変換 ３０９ 変換画面情報蓄積 ３１０ 特定情報変換 ３１１ 変換画面情報蓄積 ３１２ 変換画面表示 ３１３ ユーザ操作イベント取得 ３１４ 変換画面情報参照 ３１５ メディア付加情報参照 ３１６ メディア付加実行 ３１７ 注目点変更情報参照 ３１８ 注目点変更 ３１９ 対応イベント発行 ３２０ ＡＰ動作 ３２１ システム終了 ４０１ システムを編集モードで起動 ４０２ ＡＰ起動 ４０３ 操作切替 ４０４ 部品の作成 ４０５ 部品の選択 ４０６ リンク、イベント設定 ４０７ 変換条件設定 ４０８ 変換画面変更 ４０９ システム終了

Claims (6)

    【特許請求の範囲】
  1. 【請求項１】グラフィカル・ユーザ・インタフェースを
    備えたオペレーティングシステム上で動作するアプリケ
    ーションプログラムが提供する画面インタフェースを変
    換して新たな画面インタフェースを作成して提供するイ
    ンタフェース変換装置において、 前記アプリケーションプログラムが提供する画面の変化
    をトリガとして前記アプリケーションプログラムの画面
    情報を取得し、前記画面情報の中から注目すべき箇所を
    決定して、変換テンプレートを参照することにより変換
    画面情報を生成し変換画面を表示することを特徴とする
    ユーザインタフェース変換装置。
  2. 【請求項２】各種の入出力デバイスと、グラフィカル・
    ユーザ・インタフェースを備えたオペレーティングシス
    テムと、前記オペレーティングシステムを介して動作す
    るアプリケーションプログラムとを有する情報処理装置
    であって、前記アプリケーションプログラムが提供する
    画面インタフェースを変換して新たな画面インタフェー
    スを作成して提供するユーザインタフェース変換装置に
    おいて、 入力装置からの入力イベントおよび画面インタフェース
    上のウィンドウ、メニュー、ボタンなどの描画などの画
    面の変化のイベントを検出するイベント取得部と、 前記イベント取得部により検出された画面変化イベント
    に従って、画面上に表示されているウィンドウ、メニュ
    ー、ボタンなどの対話部品の論理構造情報、配置情報、
    属性情報などを要素とする画面情報を抽出する画面情報
    取得部と、 前記画面情報を保持する画面情報蓄積部と、 前記画面情報に対して、注目点情報蓄積部に保持される
    注目点情報から、対象アプリケーションプログラムの表
    示ウィンドウや現在フォーカスが当たっている対話部品
    などに注目点を設定し、その部分の画面情報である注目
    点画面情報を抽出する注目点抽出部と、 前記注目点画面情報から変換画面を作成し、前記変換画
    面の対話部品の論理構造情報、配置情報、属性情報や、
    本来のアプリケーションプログラムが提供する画面イン
    タフェースの対話部品とのリンク情報や対応イベントの
    情報を要素とする変換画面情報を作成する変換インタフ
    ェース作成部と、 前記変換画面情報を蓄積する変換画面情報蓄積部と、 前記変換インタフェース作成部で作成された画面を出力
    装置に提示し、前記イベント取得部からの変換画面に対
    する操作イベントを受け取り、前記変換画面情報蓄積部
    の変換画面情報を参照し、前記アプリケーションプログ
    ラムを駆動するためのイベントを発生する変換インタフ
    ェース制御部とから構成されることを特徴とするユーザ
    インタフェース変換装置。
  3. 【請求項３】前記変換インタフェース作成部が、 多様な画面変換を可能とするため、前記注目点抽出部よ
    り抽出された抽出画面情報をもとに画面変換を行う情報
    変換部と、 前記情報変換部を制御する変換インタフェース作成制御
    部とから構成され、 前記情報変換部は多様の変換を行う変換実行部として、 対話部品のサイズや配置、キャプション（項目名）など
    の属性情報を変換するための属性変換情報を保持する属
    性変換情報蓄積部および前記属性変換情報から属性変換
    を実行する属性変換部と、 あるボタンを別のボタンに置き換えるなどの部品の交換
    を行うための部品交換情報を保持する部品交換情報蓄積
    部および前記部品交換情報から部品交換を実行する部品
    交換部と、 抽出画面情報には存在しない新たな部品を追加するため
    の仮想部品追加情報を保持する仮想部品追加情報蓄積部
    および前記仮想部品追加情報をもとに仮想部品の追加を
    行う仮想部品追加部と、の全てまたはいずれかの組み合
    わせによって少なくとも構成されることを特徴とする請
    求項２に記載のユーザインタフェース変換装置。
  4. 【請求項４】前記変換インタフェース作成部が、 より細部に渡る画面変換を可能とするために、ある特定
    の画面やある特定の部品だけを変換するための複数の特
    定情報変換実行部およびその対となる特定変換情報蓄積
    部により構成される変換特定情報変換部と、 前記特定情報変換のためのテンプレート情報を蓄積する
    変換テンプレート蓄積部とを備えることを特徴とする請
    求項３に記載のユーザインタフェース変換装置。
  5. 【請求項５】前記変換インタフェース作成部が、 本来のアプリケーションプログラムが提供する画面イン
    タフェースを参照しながら、変換画面を作成するため
    に、変換画面や変換部品を画面開発者が作成、編集する
    ための変換画面編集部と、 前記変換部品との本来のアプリケーション画面上の対話
    部品とのリンクを生成する作成部品リンク部と、 前記変換画面編集部において編集された変換画面の前記
    変換画面情報から前記変換テンプレートを作成する変換
    テンプレートを作成部とを備えることを特徴とする請求
    項４に記載のユーザインタフェース変換装置。
  6. 【請求項６】前記変換インタフェース制御部が、 視覚に障害を持つユーザや高齢のユーザの利用を考慮す
    るため、前記変換インタフェース作成部で作成された画
    面を出力装置に提示し、前記イベント取得部からの変換
    画面に対する操作イベントを受け取り、前記変換画面情
    報蓄積部の変換画面情報を参照し、前記上記アプリケー
    ションプログラムを駆動するためのイベントを発生する
    変換インタフェース制御実行部と、 マウスポインタの移動やタッチ操作などのイベントに従
    って、前記変換画面情報蓄積部の変換画面情報を参照
    し、合成音声や点字、触覚ピンディスプレイ等に対する
    情報への変換を行うためのメディア付加情報を保持する
    メディア付加情報蓄積部と、 前記メディア付加情報に従いメディアを付加するメディ
    ア付加実行部と、 ユーザの注目したい部品に対して注目点を変更するため
    の注目点変更情報を保持するための注目点変更情報蓄積
    部部と、 前記注目点変更情報蓄積部の前記注目点変更情報を参照
    して、ユーザの操作に応じた注目点制御を行うための注
    目点変更制御部とから構成されることを特徴とする請求
    項２に記載のユーザインタフェース変換装置。
JP8237588A 1996-09-09 1996-09-09 ユーザインタフェース変換装置 Pending JPH1083269A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP8237588A JPH1083269A (ja) 1996-09-09 1996-09-09 ユーザインタフェース変換装置
US08/925,950 US5956029A (en) 1996-09-09 1997-09-08 User interface conversion method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8237588A JPH1083269A (ja) 1996-09-09 1996-09-09 ユーザインタフェース変換装置

Publications (1)

Publication Number Publication Date
JPH1083269A true JPH1083269A (ja) 1998-03-31

Family

ID=17017553

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8237588A Pending JPH1083269A (ja) 1996-09-09 1996-09-09 ユーザインタフェース変換装置

Country Status (2)

Country Link
US (1) US5956029A (ja)
JP (1) JPH1083269A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006268631A (ja) * 2005-03-25 2006-10-05 Fuji Xerox Co Ltd 情報処理装置および情報処理プログラム
JP2008269575A (ja) * 2007-03-29 2008-11-06 Hitachi Software Eng Co Ltd ソースコード生成装置
JP2009519542A (ja) * 2005-12-12 2009-05-14 マイクロソフト コーポレーション 代替グラフィックス・パイプ
US7913191B2 (en) 2006-03-17 2011-03-22 International Business Machines Corporation Common input/output interface for application programs
WO2012101700A1 (ja) * 2011-01-27 2012-08-02 日本電気株式会社 ＵＩ（User Interface）作成支援装置、ＵＩ作成支援方法及びプログラム
US8456658B2 (en) 2010-07-27 2013-06-04 Konica Minolta Business Technologies, Inc. Image processing system, image processing apparatus, method for controlling display of function setting screen, and recording medium
WO2022180804A1 (ja) * 2021-02-26 2022-09-01 日本電信電話株式会社 表示制御装置、表示制御方法および表示制御プログラム

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6246403B1 (en) * 1998-10-08 2001-06-12 Hewlett-Packard Company Method and apparatus for generating a graphical user interface
US7328405B1 (en) * 1998-12-09 2008-02-05 Netscape Communications Corporation Smart browsing providers
US7555721B2 (en) 1998-12-30 2009-06-30 Aol Llc, A Delaware Limited Liability Company Customized user interface
US7353234B2 (en) * 1998-12-30 2008-04-01 Aol Llc, A Delaware Limited Liability Company Customized user interface based on user record information
US6545690B1 (en) * 1999-09-29 2003-04-08 Lucent Technologies Inc. Liaison interface
US7187947B1 (en) 2000-03-28 2007-03-06 Affinity Labs, Llc System and method for communicating selected information to an electronic device
US20020049867A1 (en) * 2000-08-29 2002-04-25 Yoshitomo Kumagai Application transfer method, application transfer system and storage medium therefore
GB0108044D0 (en) * 2001-03-30 2001-05-23 British Telecomm Application synchronisation
US20040117804A1 (en) * 2001-03-30 2004-06-17 Scahill Francis J Multi modal interface
CA2463922C (en) 2001-06-27 2013-07-16 4 Media, Inc. Improved media delivery platform
CA2480663A1 (en) * 2002-03-28 2003-10-09 British Telecommunications Public Limited Company Synchronisation in multi-modal interfaces
ATE345534T1 (de) * 2002-09-04 2006-12-15 Oce Tech Bv Verfahren und vorrichtung zur physikalischen verwaltung eines dokuments
US20040233236A1 (en) * 2003-05-24 2004-11-25 Yang Dennis Woojun Apparatus and method for generating application programming interface
US7765523B2 (en) * 2003-07-10 2010-07-27 Computer Associates Think, Inc. System and method for generating a web-enabled graphical user interface plug-in
US7761842B2 (en) * 2003-07-11 2010-07-20 Computer Associates Think, Inc. System and method for generating a graphical user interface (GUI) element
US20050010877A1 (en) * 2003-07-11 2005-01-13 Arthur Udler System and method for dynamic generation of a graphical user interface
US7673245B2 (en) * 2003-10-15 2010-03-02 Sap Aktiengesellschaft Converting user interface panels
US20070130529A1 (en) * 2003-10-15 2007-06-07 Paul Shrubsole Automatic generation of user interface descriptions through sketching
US7849412B2 (en) * 2004-05-21 2010-12-07 Computer Associates Think, Inc. System and method for generating a web control in a Windows development environment
KR20060015397A (ko) * 2004-08-14 2006-02-17 삼성전자주식회사 Ｇｕｉ 운영 체제에서의 바탕 화면 변경 장치 및 방법
US8510662B1 (en) * 2005-06-27 2013-08-13 Oracle America, Inc. Effects framework for GUI components
US20070061722A1 (en) * 2005-09-13 2007-03-15 International Business Machines Corporation Transparency learning aide skin for GUI-based applications
US7921375B2 (en) * 2005-12-16 2011-04-05 Microsoft Corporation Integrating user interfaces from one application into another
US20070156029A1 (en) * 2005-12-31 2007-07-05 Morris Margaret E Discernment of human health through electronic system input/output devices
US8732661B2 (en) * 2007-02-01 2014-05-20 Microsoft Corporation User experience customization framework
WO2012050417A1 (en) * 2010-10-14 2012-04-19 Peng Ooi Goh Method and system for modelling or transforming a process
US9384408B2 (en) 2011-01-12 2016-07-05 Yahoo! Inc. Image analysis system and method using image recognition and text search
US9134888B2 (en) * 2011-01-27 2015-09-15 Nec Corporation UI creation support system, UI creation support method, and non-transitory storage medium
US8635519B2 (en) 2011-08-26 2014-01-21 Luminate, Inc. System and method for sharing content based on positional tagging
US20130086112A1 (en) 2011-10-03 2013-04-04 James R. Everingham Image browsing system and method for a digital content platform
US8737678B2 (en) 2011-10-05 2014-05-27 Luminate, Inc. Platform for providing interactive applications on a digital content platform
USD737290S1 (en) 2011-10-10 2015-08-25 Yahoo! Inc. Portion of a display screen with a graphical user interface
USD736224S1 (en) 2011-10-10 2015-08-11 Yahoo! Inc. Portion of a display screen with a graphical user interface
US8255495B1 (en) 2012-03-22 2012-08-28 Luminate, Inc. Digital image and content display systems and methods
US8234168B1 (en) 2012-04-19 2012-07-31 Luminate, Inc. Image content and quality assurance system and method
US8495489B1 (en) 2012-05-16 2013-07-23 Luminate, Inc. System and method for creating and displaying image annotations
USD740299S1 (en) * 2012-10-17 2015-10-06 Aol Inc. Display screen portion with graphical user interface
US20140115483A1 (en) 2012-10-18 2014-04-24 Aol Inc. Systems and methods for processing and organizing electronic content
USD745875S1 (en) * 2012-12-13 2015-12-22 Symantec Corporation Display device with graphical user interface
US9389785B2 (en) * 2014-03-17 2016-07-12 Comigo Ltd. Efficient touch emulation with navigation keys
US10079002B2 (en) * 2016-06-29 2018-09-18 Microsoft Technology Licensing, Llc Modifying graphical elements based on environment
CN109491560B (zh) * 2018-09-20 2021-08-13 华为技术有限公司 应用程序的启动方法和装置
USD966329S1 (en) * 2020-06-15 2022-10-11 Brain Technologies, Inc. Display panel of a programmed computer system with a graphical user interface
USD964420S1 (en) * 2020-06-15 2022-09-20 Brain Technologies, Inc. Display panel of a programmed computer system with a graphical user interface
USD958819S1 (en) * 2020-07-28 2022-07-26 Abbott Laboratories Display screen with a graphical user interface

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778782B2 (ja) * 1989-07-19 1995-08-23 インターナショナル・ビジネス・マシーンズ・コーポレーシヨン 対話型コンピュータ・システムならびにその使用環境適合化装置および方法
JP2554381B2 (ja) * 1990-03-30 1996-11-13 インターナショナル・ビジネス・マシーンズ・コーポレーション プログラミング支援装置
JPH04273518A (ja) * 1991-02-28 1992-09-29 Meidensha Corp 表示画面の構成方式
JPH04284531A (ja) * 1991-03-14 1992-10-09 Toshiba Corp 表示ボタンのカスタマイズ装置
US5287102A (en) * 1991-12-20 1994-02-15 International Business Machines Corporation Method and system for enabling a blind computer user to locate icons in a graphical user interface
US5347627A (en) * 1992-04-07 1994-09-13 International Business Machines Corporation Graphical user interface including dynamic sizing and spacing
JPH06168058A (ja) * 1992-05-11 1994-06-14 Nec Corp 拡張入力装置制御方式
JP2522898B2 (ja) * 1992-09-08 1996-08-07 インターナショナル・ビジネス・マシーンズ・コーポレイション 動的カストマイズ方法及びグラフィックリソ―ス・エディタ
JPH06232941A (ja) * 1993-01-29 1994-08-19 Canon Inc データ伝送装置
JP2763035B2 (ja) * 1993-03-24 1998-06-11 日本電信電話株式会社 エンドユーザ画面カスタマイズ機能付表示システム
JPH06289982A (ja) * 1993-04-05 1994-10-18 Nkk Corp 手書き入力用描画入出力制御システム
JP3265131B2 (ja) * 1994-08-29 2002-03-11 日本電気株式会社 イベント生成分配方式
JP2654543B2 (ja) * 1994-09-06 1997-09-17 日本電気株式会社 音響ディスプレイ装置
JPH08212047A (ja) * 1995-02-07 1996-08-20 Chugoku Nippon Denki Software Kk ウィンドウシステム非依存ｇｕｉ（グラフィカル・ユー ザ・インターフェイス）システム
JPH08339350A (ja) * 1995-06-09 1996-12-24 Mitsubishi Electric Corp 端末制御方式

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006268631A (ja) * 2005-03-25 2006-10-05 Fuji Xerox Co Ltd 情報処理装置および情報処理プログラム
JP4645982B2 (ja) * 2005-03-25 2011-03-09 富士ゼロックス株式会社 情報処理装置および情報処理プログラム
JP2009519542A (ja) * 2005-12-12 2009-05-14 マイクロソフト コーポレーション 代替グラフィックス・パイプ
US7913191B2 (en) 2006-03-17 2011-03-22 International Business Machines Corporation Common input/output interface for application programs
JP2008269575A (ja) * 2007-03-29 2008-11-06 Hitachi Software Eng Co Ltd ソースコード生成装置
JP2008269554A (ja) * 2007-03-29 2008-11-06 Hitachi Software Eng Co Ltd ソースコード生成装置
US8456658B2 (en) 2010-07-27 2013-06-04 Konica Minolta Business Technologies, Inc. Image processing system, image processing apparatus, method for controlling display of function setting screen, and recording medium
WO2012101700A1 (ja) * 2011-01-27 2012-08-02 日本電気株式会社 ＵＩ（User Interface）作成支援装置、ＵＩ作成支援方法及びプログラム
WO2022180804A1 (ja) * 2021-02-26 2022-09-01 日本電信電話株式会社 表示制御装置、表示制御方法および表示制御プログラム

Also Published As

Publication number Publication date
US5956029A (en) 1999-09-21

Similar Documents

Publication Publication Date Title
JPH1083269A (ja) ユーザインタフェース変換装置
JP2752040B2 (ja) マルチメディア適用業務を作成する方法
JPH08237471A (ja) ブロックセレクション処理の検証及び編集システム
JP2000331178A (ja) 画像編集方法及び装置
JP2007272870A (ja) 印刷制御装置、ｇｕｉ表示方法、プリンタドライバ及び記録媒体
US5634024A (en) Definition execution system for operations and functions in computer system
JPH08328795A (ja) ツールボタンの設定のための方法及び編集装置
JP2001270201A (ja) 構成可能なプリンタメニュー構造
JP4937230B2 (ja) 表示制御装置および表示制御プログラム
JP2006190088A (ja) 情報処理装置およびその制御方法
JP2007066077A (ja) Ｇｕｉ生成方法、ｇｕｉ生成装置、コンピュータプログラム及び記憶媒体
JPH09114621A (ja) Ｇｕｉ画面デザイン支援方法
JP3716016B2 (ja) 画面探索インタフェース装置
JPH09106337A (ja) ユーザーインタフェース生成装置
JP3345027B2 (ja) メニュー編集装置
JPH0744343A (ja) 操作支援情報自動生成装置
JPH08171589A (ja) 操作マニュアル作成装置付き電子機器
JP2003196278A (ja) 文字入力方法、文字入力プログラム及びコンピュータ読み取り可能な記録媒体
JP2760296B2 (ja) メニュー対話情報処理装置
JP3525443B2 (ja) 文書処理装置
JPH10260961A (ja) Ｗｗｗ用ｈｔｍｌファイル作成方法及び装置
JPH1083334A (ja) 情報処理装置及び記録媒体
JP2001051771A (ja) 画像処理システム及び方法
JP2001175379A (ja) 表示処理装置および記憶媒体
JP3168762B2 (ja) 対話処理システム

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20010522