JP2022539335A - 知能インタラクション・タブレットの操作方法、装置、端末機器及び記憶媒体 - Google Patents

知能インタラクション・タブレットの操作方法、装置、端末機器及び記憶媒体 Download PDF

Info

Publication number
JP2022539335A
JP2022539335A JP2021576584A JP2021576584A JP2022539335A JP 2022539335 A JP2022539335 A JP 2022539335A JP 2021576584 A JP2021576584 A JP 2021576584A JP 2021576584 A JP2021576584 A JP 2021576584A JP 2022539335 A JP2022539335 A JP 2022539335A
Authority
JP
Japan
Prior art keywords
file
display window
whiteboard
display
file display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021576584A
Other languages
English (en)
Other versions
JP7320634B2 (ja
Inventor
李▲うぇい▼ 夏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Publication of JP2022539335A publication Critical patent/JP2022539335A/ja
Application granted granted Critical
Publication of JP7320634B2 publication Critical patent/JP7320634B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G06F16/986Document structures and storage, e.g. HTML extensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/203Drawing of straight lines or curves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

本発明の実施例は、知能インタラクション・タブレットの操作方法、装置、端末機器及び記憶媒体を開示している。この方法は、ホワイトボード・アプリ・インタフェースで発生したファイル展示操作を受け付けることと、前記ホワイトボード・アプリ・インタフェースの前に配置されるファイル展示ウィンドウを開き、前記ファイル展示操作に応じて選択されたファイルを前記ファイル展示ウィンドウに表示することと、前記ホワイトボード・アプリ・インタフェースで発生した書き込み操作を受け付けることと、前記書き込み操作に応じて、前記ホワイトボード・アプリ・インタフェースに書き込み軌跡を生成することと、を含む。ホワイトボード・アプリ・インタフェースにファイル展示ウィンドウを付加し、ファイル展示ウィンドウ内にプレビューの需要に適するファイル・コンテンツの展示を行うことで、ホワイトボード・アプリ・インタフェースにおける他のタイプのファイルの迅速かつ容易な閲覧を実現し、ホワイトボードの使用中で他のファイルを閲覧するときの複雑な操作過程を簡素化し、ホワイトボードを使用する際にユーザーの操作時間のコストを低減し、情報伝送の流暢さを向上している。【選択図】図1

Description

(関連出願の相互参照)
本開示は、2019年10月09日に中国国家知識産権局に提出された、出願番号が201910953579.6である中国特許出願の優先権を主張し、その全ての内容は援用することによって本開示に組み込まれる。
本発明の実施例は、知能インタラクション・タブレット技術分野に関し、例えば、知能インタラクション・タブレットの操作方法、装置、端末機器及び記憶媒体に関する。
知能技術の発展に伴い、人々は日常生活の中で様々な電子製品に触れる機会が増えている。その中でもタッチ技術をベースにしたインタラクションな電子製品は、良好なヒューマン・コンピュータ・インタラクションの体験から、より全面的な機能統合の傾向を示している。知能インタラクション・タブレットは、会議や教育、商業展示など、グループインタラクションの場合に適した、プロジェクターやビデオ会議などの複数の機能を統合した代表的なオールインワンデバイスである。
知能インタラクション・タブレットに基づく異なる応用シーンにおける様々なアプリが開発されている。その中で、ホワイトボード・アプリは、知能インタラクション・タブレットで頻繁に使用されるアプリの1つである。本願は、ホワイトボード・アプリの使用中に提示されるユーザ・インタフェースをホワイトボード・アプリ・インタフェースと呼び、ホワイトボード・アプリが、ユーザーの指やスタイラスペンによるホワイトボード・アプリ・インタフェース上での操作を取得し、ユーザーの操作に応じて複数のタッチ・ポイントを取得し、タッチ・ポイントに基づいてユーザーの筆跡を生成してもよいし、グラフィックス、画像、テーブルなどの他のマルチメディア要素をホワイトボード・アプリ・インタフェース上に挿入してもよい。ホワイトボード・アプリを使用する過程では、異なるタイプのファイル間の展示を行うことも多い。この場合、ホワイトボード・アプリを最小化または終了してから、展示されるファイルの記憶ディレクトリに入り、対応するファイルを開いて展示し、展示終了後にホワイトボード・アプリの表示に戻る必要が生じる。複数のファイルの展示と切り替えのための操作が複雑となり、複数のファイルの展示中に視聴者への情報伝達がスムーズにできなくなる。
本出願は、関連技術においてホワイトボード・アプリを使用する際にファイル展示中のインタラクションが複雑となるという技術的問題を解決するように、知能インタラクション・タブレットの操作方法、装置、端末機器及び記憶媒体を提供する。
第1の方面によれば、本発明の実施例は、
ホワイトボード・アプリ・インタフェースで発生したファイル展示操作を受け付けることと、
前記ホワイトボード・アプリ・インタフェースの前に配置されるファイル展示ウィンドウを開き、前記ファイル展示操作に応じて選択されたファイルを前記ファイル展示ウィンドウに表示することと、
前記ホワイトボード・アプリ・インタフェースに発生した書き込み操作を受け付けることと、
前記書き込み操作に応じて、前記ホワイトボード・アプリ・インタフェースに書き込み軌跡を生成することと、
を含む知能インタラクション・タブレットの操作方法を提供する。
オプションとして、前記ファイル展示ウィンドウに表示されるコンテンツが、前記ファイル展示操作に応じて選択されたファイル及びそのファイル・タイプに対応して生成されるファイル・プレビュー・データと、前記ファイル展示操作で選択されたファイルのファイル・タイプに対応するプレビュー制御コントロールとを含む。
オプションとして、前記ファイル・タイプがドキュメント・ファイルである場合、前記プレビュー制御コントロールは、ページめくりコントロールを含み、
前記ファイル展示ウィンドウに展示されたものがドキュメント・ファイルである場合、前記操作方法は、
前記ページめくりコントロールに対するクリック操作を受け付け、前記ファイル展示ウィンドウにおける前記ドキュメント・ファイルの現在の表示ページを変更するステップをさらに含む。
オプションとして、前記プレビュー制御コントロールはスクリーンショット・コントロールを含み、
前記操作方法は、
前記スクリーンショット・コントロールに対するクリック操作を受け付け、前記ファイル展示ウィンドウに現在表示されている画面スクリーンショットを前記ホワイトボード・アプリ・インタフェースの設定領域に表示することをさらに含む。
オプションとして、前記ファイル展示操作で選択されたファイルがドキュメント・ファイルである場合、前記ファイル・プレビュー・データは、前記ドキュメント・ファイルからページ順にスクリーンショットを撮って生成された画像データであり、
前記ファイル展示操作で選択されたファイルがWebページ・ファイルである場合、前記ファイル・プレビュー・データは、前記Webページ・ファイルの元のWebページにアクセスして得られたWebページ画面である。
オプションとして、前記ホワイトボード・アプリ・インタフェースの前に配置されるファイル展示ウィンドウを開き、前記ファイル展示操作に応じて選択されたファイルを前記ファイル展示ウィンドウに表示した後、
前記ホワイトボード・アプリ・インタフェースで発生した表示調整操作を受け付け、前記ホワイトボード・アプリ・インタフェースにおける表示階層が前記ファイル展示ウィンドウより低い表示要素の表示位置を変更し、前記ファイル展示ウィンドウの表示位置を保持することをさらに含む。
オプションとして、前記ホワイトボード・アプリ・インタフェースの前に配置されるファイル展示ウィンドウを開き、前記ファイル展示操作に応じて選択されたファイルを前記ファイル展示ウィンドウに表示した後、
前記ホワイトボード・アプリ・インタフェースで発生したページ追加操作を受け付け、前記ホワイトボード・アプリ・インタフェースにおいて、既存のページの前に表示する空白ページを新たに追加し、前記ファイル展示ウィンドウが空白ページの前に最前面に表示されるように保持することをさらに含む。
オプションとして、前記ホワイトボード・アプリ・インタフェースの前に配置されるファイル展示ウィンドウを開き、前記ファイル展示操作に応じて選択されたファイルを前記ファイル展示ウィンドウに表示した後、
前記ファイル展示ウィンドウで発生した移動操作を受け付け、それに従って前記ファイル展示ウィンドウの表示位置を移動することをさらに含む。
オプションとして、前記ファイル展示ウィンドウの境界がホワイトボード・アプリ・インタフェースの設定境界外に移動した場合、前記移動操作が終了した後、前記ファイル展示ウィンドウが前記ホワイトボード・アプリ・インタフェース内に表示されるように戻される。
オプションとして、前記ホワイトボード・アプリ・インタフェースの前に配置されるファイル展示ウィンドウを開き、前記ファイル展示操作に応じて選択されたファイルを前記ファイル展示ウィンドウに表示した後、
前記ファイル展示ウィンドウで発生したズーム操作を受け付け、前記ズーム操作に従って前記ファイル展示ウィンドウの表示サイズを変更することをさらに含む。
オプションとして、前記ズーム操作は、ホット・ゾーン操作またはマルチフィンガー・ズーム操作である。
オプションとして、前記ホワイトボード・アプリ・インタフェースの前に配置されるファイル展示ウィンドウを開き、前記ファイル展示操作に応じて選択されたファイルを前記ファイル展示ウィンドウに表示した後、
前記ファイル展示ウィンドウで発生したウィンドウ活性化操作に応じて、前記ファイル展示ウィンドウが選択状態になり、前記ファイル展示ウィンドウが選択状態でマスク層により覆われ、全てのプレビュー制御コントロールが無効状態になることをさらに含む。
オプションとして、前記ホワイトボード・アプリ・インタフェースの前に配置されるファイル展示ウィンドウを開き、前記ファイル展示操作に応じて選択されたファイルを前記ファイル展示ウィンドウに表示した後、
ホワイトボード・ファイル保存時のウィンドウ保存操作を受け付け、前記ファイル・プレビュー・データを前記ホワイトボード・ファイルに保存することをさらに含む。
オプションとして、前記操作方法は、
前記ファイル展示ウィンドウの最大化操作を受け付け、前記ファイル展示ウィンドウに展示されたファイルに対して最大化表示を行うことと、
前記最大化表示が行われたファイル上にコメント操作を実行することと、をさらに含み、
前記最大化表示が行われたファイルが前記ホワイトボード・アプリ・インタフェースを覆う。
第2の方面によれば、本発明の実施例は、
ホワイトボード・アプリ・インタフェースのタッチ操作指令をモニタリングすることと、
前記タッチ操作指令の種類を判断することと、
前記タッチ操作指令がファイル展示操作指令であると判断された場合、前記ホワイトボード・アプリ・インタフェースの前にファイル展示ウィンドウを付加し、前記ファイル展示ウィンドウに前記ファイル展示操作指令で選択されたファイルを表示することと、
前記タッチ操作指令が書き込み操作指令であると判断された場合、前記ホワイトボード・アプリ・インタフェースに前記書き込み操作指令に対応して生成された書き込み軌跡を生成することと、を含む知能インタラクション・タブレットの操作方法を提供する。
オプションとして、前記ファイル展示ウィンドウに表示されるコンテンツが、前記ファイル展示操作指令に応じて選択されたファイル及びそのファイル・タイプに対応して生成されるファイル・プレビュー・データと、前記ファイル展示操作指令で選択されたファイルのファイル・タイプに対応するプレビュー制御コントロールとを含む。
オプションとして、前記ホワイトボード・アプリ・インタフェースの前にファイル展示ウィンドウを付加することは、
前記ホワイトボード・アプリ・インタフェースにファイル展示ウィンドウが現在存在しない場合、前記ホワイトボード・アプリ・インタフェースに最前面レイヤーを付加し、前記最前面レイヤーにファイル展示ウィンドウを描画することと、
前記ホワイトボード・アプリ・インタフェースにファイル展示ウィンドウが現在存在する場合、前記最前面レイヤーに新たなファイル展示ウィンドウを描画することと、を含む。
オプションとして、前記書き込み軌跡は、前記最前面レイヤーからタッチ・イベントが互いに分離される元のレイヤーに表示される。
オプションとして、前記操作方法は、
前記ファイル展示ウィンドウにおけるスクリーンショット操作が検出された場合、前記ファイル展示ウィンドウの表示コンテンツをスクリーンショットして、スクリーンショット・バッファ領域に保存し、前記スクリーンショット・バッファ領域に直前付加されたスクリーンショット・データを前記元のレイヤーの所定領域に表示することをさらに含む。
オプションとして、前記ファイル・プレビュー・データが前記ファイル展示操作指令で選択されたファイル及びそのファイル・タイプに対応して生成されることは、
前記ファイル展示操作指令で選択されたファイルがドキュメント・ファイルである場合、前記ドキュメント・ファイルを読み取ってページ順にスクリーンショットを撮って少なくとも1枚の画像データが得られ、前記画像データをスクリーンショットの順に整理してファイル・プレビュー・データを得て所定の展示フォルダに保存することと、
前記ファイル展示操作指令で選択されたファイルがWebページ・ファイルである場合、前記Webページ・ファイルの元のURLを読み取り、前記元のURLにアクセスして対応するWebページ画面データを取得して、ファイル・プレビュー・データを得、前記元のURLを所定の展示フォルダに保存することと、
前記ファイル展示操作指令で選択されたファイルがオーディオ・ビデオ・ファイルである場合、前記オーディオ・ビデオ・ファイルをバックアップしてファイル・プレビュー・データを得て所定の展示フォルダに保存することと、を含む。
オプションとして、前記ファイル・タイプがドキュメント・ファイルである場合、対応するプレビュー制御コントロールはページめくりコントロールを含み、
前記タッチ操作指令がファイル展示操作指令である場合、前記ホワイトボード・アプリ・インタフェースの前にファイル展示ウィンドウを付加し、前記ファイル展示ウィンドウに前記ファイル展示操作指令で選択されたファイルを表示した後、
前記ファイル展示ウィンドウに展示されたのがドキュメント・ファイルである場合、前記ページめくりコントロールのクリック操作を受け付け、前記ファイル展示ウィンドウにおける前記ドキュメント・ファイルの現在画像データを、スクリーンショットの順に対応して変更することをさらに含む。
オプションとして、前記操作方法は、
ホワイトボード・ファイルを保存する際にウィンドウ保存操作が検出された場合、前記展示フォルダ内のファイル・プレビュー・データを前記ホワイトボード・ファイルに保存することをさらに含む。
オプションとして、前記操作方法は、
前記ホワイトボード・アプリ・インタフェースを閉じる時に、前記展示フォルダ内のファイル・プレビュー・データを削除することをさらに含む。
オプションとして、前記タッチ操作指令の種類を判断することは、
前記ホワイトボード・アプリ・インタフェースのツール・バーでファイル展示コントロールをトリガーするタッチ・イベントがモニタリングされ、前記ファイル展示コントロールのトリガーに応じてポップアップされたファイル一覧インタフェースで少なくとも1つのファイルを選択するタッチ・イベントがモニタリングされた場合、タッチ操作指令がファイル展示操作指令であり、前記ファイル一覧インタフェースにおいて選択されたファイルが前記ファイル展示操作指令で選択されたファイルであると判断されることと、
前記ホワイトボード・アプリ・インタフェースでタッチ・ポイントが連続して移動するタッチ・イベントがモニタリングされた場合、タッチ操作指令が書き込み操作指令であると判断されることと、を含む。
第3の方面によれば、本発明の実施例は、
ホワイトボード・アプリ・インタフェースで発生したファイル展示操作を受け付けるウィンドウ付加手段と、
前記ホワイトボード・アプリ・インタフェースの前に配置されるファイル展示ウィンドウを開き、前記ファイル展示操作に応じて選択されたファイルを前記ファイル展示ウィンドウに表示するファイル表示手段と、
前記ホワイトボード・アプリ・インタフェースに発生した書き込み操作を受け付ける書き込み受付手段と、
前記書き込み操作に応じて、前記ホワイトボード・アプリ・インタフェースに書き込み軌跡を生成する書き込み表示手段と、を含む知能インタラクション・タブレットの操作装置を提供する。
オプションとして、前記ファイル展示ウィンドウに表示されるコンテンツが、前記ファイル展示操作に応じて選択されたファイル及びそのファイル・タイプに対応して生成されるファイル・プレビュー・データと、前記ファイル展示操作で選択されたファイルのファイル・タイプに対応するプレビュー制御コントロールとを含む。
オプションとして、前記ファイル・タイプがドキュメント・ファイルである場合、前記プレビュー制御コントロールは、ページめくりコントロールを含み、
前記操作装置は、
ファイル展示ウィンドウに展示されたのがドキュメント・ファイルである場合、前記ページめくりコントロールに対するクリック操作を受け付け、前記ファイル展示ウィンドウにおける前記ドキュメント・ファイルの現在の表示ページを変更するドキュメントページめくり手段をさらに含む。
オプションとして、前記プレビュー制御コントロールはスクリーンショット・コントロールを含み、
前記操作装置は、
前記スクリーンショット・コントロールに対するクリック操作を受け付け、前記ファイル展示ウィンドウに現在表示されている画面スクリーンショットを前記ホワイトボード・アプリ・インタフェースの設定領域に表示するウィンドウスクリーンショット手段をさらに含む。
オプションとして、前記ファイル展示操作で選択されたファイルがドキュメント・ファイルである場合、前記ファイル・プレビュー・データは、前記ドキュメント・ファイルからページ順にスクリーンショットを撮って生成された画像データであり、
前記ファイル展示操作で選択されたファイルがWebページ・ファイルである場合、前記ファイル・プレビュー・データは、前記Webページ・ファイルの元のWebページにアクセスして得られたWebページ画面である。
オプションとして、前記操作装置は、
前記ホワイトボード・アプリ・インタフェースで発生した表示調整操作を受け付け、前記ホワイトボード・アプリ・インタフェースにおける表示階層が前記ファイル展示ウィンドウより低い表示要素の表示位置を変更し、前記ファイル展示ウィンドウの表示位置を保持する表示調整手段をさらに含む。
オプションとして、前記操作装置は、
前記ホワイトボード・アプリ・インタフェースで発生したページ追加操作を受け付け、前記ホワイトボード・アプリ・インタフェースにおいて、既存のページの前に表示する空白ページを新たに追加し、前記ファイル展示ウィンドウの最前面表示を保持するページ追加手段をさらに含む。
オプションとして、前記操作装置は、
前記ファイル展示ウィンドウで発生した移動操作を受け付け、それに従って前記ファイル展示ウィンドウの表示位置を移動するウィンドウ移動手段をさらに含む。
オプションとして、前記ファイル展示ウィンドウの境界がホワイトボード・アプリ・インタフェースの設定境界外に移動した場合、前記移動操作が終了した後、前記ファイル展示ウィンドウが前記ホワイトボード・アプリ・インタフェース内に表示されるように戻される。
オプションとして、前記操作装置は、
前記ファイル展示ウィンドウで発生したズーム操作を受け付け、前記ズーム操作に従って前記ファイル展示ウィンドウの表示サイズを変更するウィンドウ・ズーム手段をさらに含む。
オプションとして、前記ズーム操作は、ホット・ゾーン操作またはマルチフィンガー・ズーム操作である。
オプションとして、前記操作装置は、
前記ファイル展示ウィンドウで発生したウィンドウ活性化操作に応じて、前記ファイル展示ウィンドウが選択状態になり、前記ファイル展示ウィンドウが選択状態でマスク層により覆われ、全てのプレビュー制御コントロールが無効状態になるウィンドウ活性化手段をさらに含む。
オプションとして、前記操作装置は、
ホワイトボード・ファイル保存時のウィンドウ保存操作を受け付け、前記ファイル・プレビュー・データを前記ホワイトボード・ファイルに保存するファイル保存手段をさらに含む。
オプションとして、前記操作装置は、
前記ファイル展示ウィンドウの最大化操作を受け付け、前記ファイル展示ウィンドウに展示されたファイルに対して最大化表示を行う最大化表示手段と、
前記最大化表示が行われたファイル上にコメント操作を実行するウィンドウコメント手段と、をさらに含み、
前記最大化表示が行われたファイルが前記ホワイトボード・アプリ・インタフェースを覆う。
第4の方面によれば、本発明の実施例は、
ホワイトボード・アプリ・インタフェースのタッチ操作指令をモニタリングするタッチモニタリング手段と、
前記タッチ操作指令の種類を判断する指令判断手段と、
前記タッチ操作指令がファイル展示操作指令である場合、前記ホワイトボード・アプリ・インタフェースの前にファイル展示ウィンドウを付加し、前記ファイル展示ウィンドウに前記ファイル展示操作指令で選択されたファイルを表示するウィンドウ表示手段と、
前記タッチ操作指令が書き込み操作指令であると判断された場合、前記ホワイトボード・アプリ・インタフェースに前記書き込み操作指令に対応して生成された書き込み軌跡を生成する軌跡表示手段と、を含む知能インタラクション・タブレットの操作装置を提供する。
オプションとして、前記ファイル展示ウィンドウに表示されるコンテンツが、前記ファイル展示操作指令に応じて選択されたファイル及びそのファイル・タイプに対応して生成されるファイル・プレビュー・データと、前記ファイル展示操作指令で選択されたファイルのファイル・タイプに対応するプレビュー制御コントロールとを含む。
オプションとして、前記ホワイトボード・アプリ・インタフェースの前にファイル展示ウィンドウを付加することは、
前記ホワイトボード・アプリ・インタフェースにファイル展示ウィンドウが現在存在しない場合、前記ホワイトボード・アプリ・インタフェースに最前面レイヤーを付加し、前記最前面レイヤーにファイル展示ウィンドウを描画することと、
前記ホワイトボード・アプリ・インタフェースにファイル展示ウィンドウが現在存在する場合、前記最前面レイヤーに新たなファイル展示ウィンドウを描画することと、を含む。
オプションとして、前記書き込み軌跡は、前記最前面レイヤーからタッチ・イベントが互いに分離される元のレイヤーに表示される。
オプションとして、前記操作装置は、
前記ファイル展示ウィンドウにおけるスクリーンショット操作が検出された場合、前記ファイル展示ウィンドウの表示コンテンツをスクリーンショットして、スクリーンショット・バッファ領域に保存し、前記スクリーンショット・バッファ領域に直前付加されたスクリーンショット・データを前記元のレイヤーの所定領域に表示するスクリーンショット表示手段をさらに含む。
オプションとして、前記ファイル・プレビュー・データが前記ファイル展示操作指令で選択されたファイル及びそのファイル・タイプに対応して生成されることは、
前記ファイル展示操作指令で選択されたファイルがドキュメント・ファイルである場合、前記ドキュメント・ファイルを読み取ってページ順にスクリーンショットを撮って少なくとも1枚の画像データが得られ、前記画像データをスクリーンショットの順に整理してファイル・プレビュー・データを得て所定の展示フォルダに保存することと、
前記ファイル展示操作指令で選択されたファイルがWebページ・ファイルである場合、前記Webページ・ファイルの元のURLを読み取り、前記元のURLにアクセスして対応するWebページ画面データを取得して、ファイル・プレビュー・データを得、前記元のURLを所定の展示フォルダに保存することと、
前記ファイル展示操作指令で選択されたファイルがオーディオ・ビデオ・ファイルである場合、前記オーディオ・ビデオ・ファイルをバックアップしてファイル・プレビュー・データを得て所定の展示フォルダに保存することと、を含む。
オプションとして、前記ファイル・タイプがドキュメント・ファイルである場合、対応するプレビュー制御コントロールはページめくりコントロールを含み、
操作装置は、
ファイル展示ウィンドウに展示されたのがドキュメント・ファイルである場合、前記ページめくりコントロールのクリック操作を受け付け、前記ファイル展示ウィンドウにおける前記ドキュメント・ファイルの現在画像データを、スクリーンショットの順に対応して変更するページめくり表示手段をさらに含む。
オプションとして、前記操作装置は、
ホワイトボード・ファイルを保存する際にウィンドウ保存操作が検出された場合、前記展示フォルダ内のファイル・プレビュー・データを前記ホワイトボード・ファイルに保存するデータ保存手段をさらに含む。
オプションとして、前記操作装置は、
前記ホワイトボード・アプリ・インタフェースを閉じる時に、前記展示フォルダ内のファイル・プレビュー・データを削除するデータ削除手段をさらに含む。
オプションとして、前記指令判断手段は、
前記ホワイトボード・アプリ・インタフェースのツール・バーでファイル展示コントロールをトリガーするタッチ・イベントがモニタリングされ、前記ファイル展示コントロールのトリガーに応じてポップアップされたファイル一覧インタフェースで少なくとも1つのファイルを選択するタッチ・イベントがモニタリングされた場合、タッチ操作指令がファイル展示操作指令であり、前記ファイル一覧インタフェースにおいて選択されたファイルが前記ファイル展示操作指令で選択されたファイルであると判断する第1の判断モジュールと、
前記ホワイトボード・アプリ・インタフェースでタッチ・ポイントが連続して移動するタッチ・イベントがモニタリングされた場合、タッチ操作指令が書き込み操作指令であると判断する第2の判断モジュールと、を含む。
第5の方面によれば、本発明の実施例は、
1つ又は複数のプロセッサと、
1つ又は複数のプログラムを記憶するためのメモリと、を含み、
前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサにより実行されると、前記1つ又は複数のプロセッサに第1の方面と第2の方面のいずれか1つに記載された知能インタラクション・タブレットの操作方法を実現させる端末機器をさらに提供する。
第6の方面によれば、本発明の実施例は、コンピュータプログラムが記憶され、該プログラムがプロセッサにより実行されると、第1の方面と第2の方面のいずれか1つに記載された知能インタラクション・タブレットの操作方法が実現されるコンピュータ読み取り可能な記憶媒体をさらに提供する。
上記の知能インタラクション・タブレットの操作方法、装置、端末機器及び記憶媒体では、ホワイトボード・アプリ・インタフェースで発生したファイル展示操作を受け付け、前記ホワイトボード・アプリ・インタフェースの前に配置されるファイル展示ウィンドウを開き、前記ファイル展示操作に応じて選択されたファイルを前記ファイル展示ウィンドウに表示し、前記ホワイトボード・アプリ・インタフェースで発生した書き込み操作を受け付け、前記書き込み操作に応じて、前記ホワイトボード・アプリ・インタフェースに書き込み軌跡を生成する。ホワイトボード・アプリ・インタフェースにファイル展示ウィンドウを付加し、ファイル展示ウィンドウ内にプレビューの需要に適するファイル・コンテンツの展示を行うことで、関連技術においてファイルを開いて展示するためにホワイトボード・アプリを最小化したり終了したりする必要があるという問題を解決し、ホワイトボード・アプリ・インタフェースにおける他のタイプのファイルの迅速かつ容易な閲覧を実現し、ホワイトボードの使用中で他のファイルを閲覧するときの複雑な操作過程を簡素化し、ホワイトボードを使用する際にユーザーの操作時間のコストを低減し、情報伝送の流暢さを向上している。
そして、ファイル展示ウィンドウは、ホワイトボード・アプリ・インタフェース上に配置され、ホワイトボード・アプリ・インタフェース内の他の表示要素から操作が分離されているため、ユーザーは、ホワイトボード・アプリの書き込みや要素の挿入などの機能を利用してファイル展示ウィンドウに表示されたファイルを連続的に展示することができ、フォーカス効果と一貫性のあるコンテンツ展示を実現している。
図1は、本発明の実施例1に係る知能インタラクション・タブレットの操作方法のフローチャートである。 図2は、本発明の実施例1に係る知能インタラクション・タブレットのタッチ入力のインタフェースの模式図である。 図3は、本発明の実施例に係るファイル展示操作の模式図である。 図4は、本発明の実施例に係るファイル展示ウィンドウの模式図である。 図5は、本発明の実施例2に係る知能インタラクション・タブレットの操作方法のフローチャートである。 図6は、本発明の実施例に係るファイル展示ウィンドウスクリーンショットの模式図である。 図7は、本発明の実施例に係るファイル展示ウィンドウ移動の模式図である。 図8は、本発明の実施例3に係る知能インタラクション・タブレットの操作方法のフローチャートである。 図9は、本発明の実施例4に係る知能インタラクション・タブレットの操作装置の構成の模式図である。 図10は、本発明の実施例5に係る知能インタラクション・タブレットの操作装置の構成の模式図である。 図11は、本発明の実施例6に係る端末機器の構成の模式図である。
以下、添付の図面および実施例を参照しながら、本願をさらなる詳細な説明を行う。ここで説明される具体的な実施例は、本願を説明するためだけであるが、限定するためではないと理解すべきである。また、説明の便宜上、図面において、構成のすべてではなく本願に関する一部のみ示している。
なお、本願の明細書は、紙数の都合上、すべての可能な実施形態を網羅していないが、
本願の明細書を読んだ当業者であれば、技術的特徴が互いに矛盾しない限り、技術的特徴の任意の組み合わせが選択可能な実施形態を構成できることは、想到できるはずである。
例えば、実施例1の1つの実施の形態では、ドラッグされたファイルが他のフォーマットのファイルである場合、ファイル展示操作であると確認し、ドラッグ操作に対応するファイルがファイル展示操作で選択されたファイルであると確認してもよいという技術的特徴が記載されている。実施例1のもう1つの実施の形態では、最大化のプレビュー制御コントロールがトリガーされると、ファイル展示ウィンドウがホワイトボード・アプリ・インタフェース全体に充填されるというもう1つの技術的特徴が記載されている。上記の2つの技術的特徴は互いに矛盾しないので、本願の明細書を読んだ当業者であれば、両方の特徴を備えた実施の形態も選択可能なものであること、すなわち、ファイルをドラッグしてファイル表示ウィンドウを開いた後、このファイル表示ウィンドウが、最大化のプレビューコントロールのトリガーによりホワイトボード・アプリ・インタフェース全体に充填できることは、想到できるはずである。
異なる実施例に記載される互いに矛盾しない技術的特徴は、任意に組み合わせて選択可能な実施形態を構成することができる。
例えば、実施例2では、スクリーンショット・コントロールをトリガーした後スクリーンショットを行うとき、スクリーンショットの範囲の識別枠を調整してスクリーンショットの範囲を調整することができることが記載されている。本願の明細書の紙数を抑制するために、実施例1と実施例3では、この特徴を記載していない。しかし、本願の明細書を読んだ当業者であれば、実施例1および3で提供された知能インタラクション・タブレットの操作方法にもこの特徴を含むことができる、すなわち、ファイル展示ウィンドウが表示されている場合、スクリーンショット・コントロールのトリガーでトリガースクリーンショットを行い、スクリーンショットのときにスクリーンショット範囲の識別枠の調整によってスクリーンショット範囲を調整することができることは、想到することができるはずである。
以下、各実施例を詳細に説明する。
実施例1
図1は、本発明の実施例1に係る知能インタラクション・タブレットの操作方法のフローチャートである。実施例で提供される知能インタラクション・タブレットの操作方法は、知能インタラクション・タブレットの操作装置により実行できる。この知能インタラクション・タブレットの操作装置は、ソフトウェア及び/又はハードウェアによって実現できる。この知能インタラクション・タブレットの操作装置は、2つ又は複数の物理的実体で構成されてもよいし、1つの物理的実体で構成されてもよい。例えば、知能インタラクション・タブレットの操作装置は、携帯電話や産業用制御コンピュータなどであってもよい。
実施例では、理解を容易にするために、知能インタラクション・タブレットを実際の支持体として用いて、知能インタラクション・タブレットの操作方法を実施する際の、ターゲットの選択の調整、関連付け、応答の調整の詳細なプロセスを例示的に説明する。そのうち、知能インタラクション・タブレットは、ディスプレイ・パネルに表示されるコンテンツをタッチ技術によって制御し、ヒューマン・コンピュータ・インタラクション操作を実現するオールインワンデバイスであり、プロジェクター、電子ホワイトボード、スクリーン、音響、テレビ及びビデオ会議端末などの1つ又は複数の機能が集積されているものである。
一般的に、図2に示すように、知能インタラクション・タブレット1は、少なくとも1つの表示パネルを含む。例えば、知能インタラクション・タブレット1に、静電容量式、抵抗式、電磁式のいずれかのタッチ対応表示パネルが配置されている。本実施例では、知能インタラクション・タブレットが提供されている。一部の実施例において、ユーザーが指またはスタイラスペンで表示パネルをタッチしてタッチ操作を実現でき、それに応じて、知能インタラクション・タブレットは、タッチ位置を検出し、タッチ位置に応じて応答することでタッチ機能を実現する。典型的に、知能インタラクション・タブレットには、Androidシステム、Linux(登録商標)システム、およびWindowsシステムを含む少なくとも1つのオペレーティングシステムがインストールされている。いくつかの実施形態では、知能インタラクション・タブレットには、書き込み機能を持つ少なくとも1つのアプリがインストールされていてもよい。ここで、このアプリは、オペレーティングシステムに付属しているアプリのほか、サードパーティのデバイスやサーバからダウンロードするアプリもインストールされている。オプションとして、アプリは、書き込み機能に加えて、テーブルの挿入、ピクチャの挿入、グラフィックの挿入、テーブルの描画、グラフィックの描画などの他の編集機能を備える。ここで、描画されたテーブルやグラフィックは、コンピュータで描画される標準要素である。コンピュータで描画される標準要素は、知能インタラクション・タブレットで描画される印刷標準要素として理解でき、ユーザーが書く要素とは区別される。
電子ホワイトボード、電子黒板、デジタル・ボード、知能会議用タブレットなどの知能な手書きデバイスに配置されたタッチパネルには、ユーザーの書き込み操作に応じて入力内容を表示するための書き込み領域が設定され、この書き込み領域で書き込みを行う際に、例えばスタイラスペンや指でタッチパネルに触れると、タッチパネルは電流の変化、電圧の変化や磁束の変化(容量式タッチパネル、抵抗膜式タッチパネル、電磁式タッチパネルの設定タイプに対応)を感知でき、触れ位置の座標を含む触れ信号とこの触れ信号のトリガー時間を取得し、触れ位置の座標と触れ信号のトリガー時間に基づいて、その度にスタイラスペンやユーザーの指で押して書き込むことから持ち上げて書き込みを止めるまでの過程で入力された書き込み軌跡の軌跡データを取得でき、軌跡データに基づいて、タッチパネルの書き込み領域に、ユーザーにより入力された書き込み軌跡がリアルタイムで表示される。もちろん、書き込み過程は字を書くことであってもよい。知能な手書きデバイスのタッチパネルで実現される、操作の軌跡を表示するためのいかなる入力処理は、書き込み過程とみなすことができる。なお、タッチ操作の発生位置での表示要素によっては、タッチ操作がユーザーのクリックやドラッグなどの操作として応答することができる。これらの異なる応答方式は、基礎となる座標の処理方式が同じである。通常、タッチ書き込みが発生した領域は、表示が行われている領域、すなわち図2に示す表示領域2と重なり合う。タッチや表示などの基本機能に基づくハードウェアによって、知能インタラクション・タブレットでホワイトボード・アプリの機能を実現することができ、本実施形態の実施例は、ホワイトボード・アプリを実現するものである。
図1を参照して、この知能インタラクション・タブレットの操作方法は、以下のステップを含んでも良い。
ステップS101において、ホワイトボード・アプリ・インタフェースで発生したファイル展示操作を受け付ける。
アプリ・インタフェースとは、アプリの情報を受信及び/又は展示するための対話型インタフェースである。例えば、ビデオ再生のようなアプリの対話型インタフェースが主に変化するビデオ画面を展示し、リアルタイム通信のようなアプリの対話型インタフェースが主にローカルユーザにより入力されるコンテンツ及びリモートユーザにより入力されるコンテンツを受信し、ファイル編集のようなアプリの対話型インタフェースが主にユーザーにより入力されるコンテンツを受信して展示し、ブラウザのようなアプリの対話型インタフェースが主にユーザーにより入力されるキーワードを受信し、そのキーワードに基づいて取得されたWebページ・コンテンツを展示する。
本実施形態では、対象となるアプリ・インタフェースとは、ホワイトボード・アプリの使用中に提示されるユーザ・インタフェース、すなわちホワイトボード・アプリ・インタフェースである。前述したように、ホワイトボード・アプリとは、ユーザーが書き込みや展示などの操作を行うためのアプリを指し、ユーザーによるホワイトボード・アプリ・インタフェースでの書き込み軌跡に基づいて筆跡を生成してもよいし、ホワイトボード・アプリ・インタフェースにグラフィックやピクチャ、テーブルなどの他のマルチメディア要素を挿入してもよい。ホワイトボード・アプリ・インタフェースでは、ユーザーは、物理的な黒板と同様の書き込み、描き、消去といった操作に加えて、好適な移動、保存、拡大・縮小、ピクチャの挿入、色の調整、ストロークの太さの設定などのデジタル化機能を行うことができる。ホワイトボード・アプリでは、書き込みによる操作は、関連する技術の実現のためであるが、本明細書で詳細な説明をしない。実際の応用では、ホワイトボード・アプリは、ライティングアプリ、電子ホワイトボード・アプリ、コラボレーションホワイトボード・アプリなどの名称で呼ばれることもある。名称の変更にかかわらず、上記の機能を実現するためのアプリであれば、いずれも本願のホワイトボード・アプリと同等である。
ホワイトボード・アプリを使用する過程では、通常、ホワイトボード・アプリはフルスクリーンで表示され、すなわち、ホワイトボード・アプリは、図2の知能インタラクション・タブレット1の表示領域2に満たされることになる。わかりやすくするために、以降の添付図面では、表示領域2の表示変化のみを図示する。図3を参照すると、ホワイトボード・アプリ・インタフェース20に表示されるコンテンツは、使用中で書き込みによって付加されたもの及び挿入して表示されるものに加えて、上記コンテンツに対する各種の操作に対応するツール・コントロールも含まれている。これらツールコントローは、通常、ホワイトボード・アプリ・インタフェース20におけるツール・バー21に表示される。本実施形態の例示的な説明では、ツール・バー21は、ホワイトボード・アプリ・インタフェース20の底部に表示されるが、実際のレイアウトにおいて、左側及び/又は右側に表示されてもよいし、さらには左側、右側及び底部に統合して表示されてもよい。ツール・バー21のツール・コントロールには、書き込み、消去、ページめくり(物理的な黒板の一部のみが有する)など、物理的な黒板の機能をデジタル化したものに対応するものがあり、また、入力のキャンセル、入力の復元、筆跡の選択、挿入など、ホワイトボード・アプリのもとに実現された機能的な補助コントロールがある。
本実施例のファイル展示操作は、少なくとも1つのファイルを選択し、選択されたファイルをホワイトボード・アプリ・インタフェースで開くことを決定するものであり、すなわちファイル展示操作は複合的な操作である。
本実施形態では、ファイル展示操作は、ツール・バー21に基づいて実現される複合的な操作であってもよい。図3に示すように、ツール・バー21にファイルを開くツール・コントロールが設定されており、ファイルを開くツール・コントロールがトリガーされると、ファイル一覧インタフェース23がポップアップされ、ファイル一覧インタフェース23で、デフォルトのフォルダや、前回開いたフォルダ内のファイルやサブフォルダが展示され、その中のファイルが選択されると、ファイル展示操作を受け付けたことが確認される。ファイル一覧インタフェース23のファイルが選択されたことは、ファイル一覧画面23のあるファイル(アイコン領域とファイル名領域を含む)が1本指によるタッチクリッチや多本指によるクリックなどの設定された選択操作であってもよいし、図3に例示したドラッグ選択方式、例えばこのファイルがホワイトボード・アプリ・インタフェース20でファイル一覧画面23からその以外の領域にドラッグされたことであってもよい。つまり、ホワイトボード・アプリ・インタフェース20で実現されるファイル展示操作は、少なくとも、ファイル一覧画面23をポップアップするためのファイル開きのコントロールのトリガーと、ファイル一覧画面23のあるファイルの選択とを含む、複数の動作の組み合わせである。これは、ホワイトボード・アプリの使用特性によって決定される主な実現方式でもある。知能インタラクション・タブレットの操作上のニーズが通常ホワイトボード・アプリの使用中に生じるため、ホワイトボード・アプリ・インタフェース20の表示と同時に、ホワイトボード・アプリ・インタフェース20の切り替えや調整を行うことなく、他のファイルを展示することができる。
ツール・バーによるファイル展示操作に加えて、少数の応用シーンに対応するために、ホワイトボード・アプリ・インタフェースで動作の組み合わせによってファイルの選択を行うことをファイル展示操作としてもよく、ホワイトボード・アプリのショートカットアイコンをホワイトボード・アプリ・インタフェースの提示方式とみなし、ファイルがホワイトボード・アプリのショートカットアイコンにドラッグされたことが検出された場合も、ホワイトボード・アプリ・インタフェースでファイル展示操作が発生したものとしてもよい。この場合、2種類の異なる応答結果が生じる場合がある。第1の種類について、ドラッグされたファイルがホワイトボード・アプリで生成されたフォーマットのファイルである場合、この場合の応答として、ホワイトボード・アプリを直接開いて、ホワイトボード・アプリのインタフェース全体でこのファイルを開くことである。第2の種類について、ドラッグされたファイルが別のフォーマットのファイルである場合、ファイル展示操作の発生としても確認できることである。第2の種類の場合、ドラッグ操作に対応するファイルがファイル展示操作で選択されたファイルとして確認される。
ステップS102において、前記ホワイトボード・アプリ・インタフェースの前に配置されるファイル展示ウィンドウを開き、前記ファイル展示操作に応じて選択されたファイルを、前記ファイル展示ウィンドウに表示する。
ここで、ファイル展示ウィンドウは、ホワイトボード・アプリ・インタフェースにおける、ファイル展示操作で選択されたファイルを表示するための表示領域である。ファイル展示ウィンドウは、ホワイトボード・アプリ・インタフェースの面積よりも小さい。オプションとして、ファイル展示ウィンドウと組み合わせてより良い展示を行うために、ユーザーが書き込みや展示用の要素の挿入のための十分な空白領域を確保するようにファイル展示ウィンドウをホワイトボード・アプリ・インタフェースの面積の4分の1よりも小さくする。
ファイル展示ウィンドウについて、その表示階層を最前面表示に固定することができる。一部の実施例において、ホワイトボード・アプリ・インタフェースの前に表示されるファイル展示ウィンドウは、ファイル展示ウィンドウ以外の他の表示要素に対する操作によって表示階層が変更されることはないため、ファイル展示ウィンドウは、その存在周期内での表示が、それ以外の他種類の表示要素(例えば、書き込み軌跡、挿入されたピクチャ、挿入されたテーブル)の影響を受けることなく、他のファイル展示ウィンドウによって遮蔽されるだけである。ツール・バー21に基づくファイル展示操作は、選択されたファイルを確認すると、ホワイトボード・アプリ・インタフェース20の前にファイル展示ウィンドウ22を付加するとともに、ファイル一覧画面23を閉じることがもちろんである。このときの状態が図4に示すようになる。
ファイルがホワイトボード・アプリのショートカットアイコンに直接ドラッグされた場合、ホワイトボード・アプリを開き、ホワイトボード・アプリ・インタフェースにファイル展示ウィンドウを付加する必要がある。
一部の実施例において、ホワイトボード・アプリの応用シーンは、主に会議、教育、ブレーンストーミングなどのようなヒューマン・コンピュータ・インタラクションを中心としたシーンである。
このようなシーンでは、ファイル編集の必要性が低いか、またはファイルの内容自体の変更をしないことが望ましいため、ファイル展示ウィンドウには、ファイル内容を提示するためのファイル・プレビュー・データと、閲覧プロセスを制御するためのプレビュー制御コントロールとを含みうる、ファイルを閲覧するために必要な基本的な表示要素のみが残される。実は、異なるタイプのファイルには異なるコンテンツ特徴と閲覧特徴があり、例えば、ドキュメント・ファイル(よく見られるPPTドキュメント、WORDドキュメント、やEXCELドキュメントなど)のコンテンツは主に静的なもので、プレビュー・コンテンツは主に文字、記号、ピクチャ、またはそれらの組み合わせで構成され、マルチメディア・ファイル(よく見られる異なるフォーマットのビデオ・ファイルやオーディオ・ファイルなど)は主に動的なもので、プレビュー・コンテンツは連続的な画面再生、連続的な音声再生、または両者の組み合わせで構成される。この2つのタイプのファイルは、明らかなプレビューのニーズ上の相違がある。前者のコンテンツは、情報伝達が比較的抽象的で、視聴者が情報の受信に一定の時間がかかるため、主に静的表示でコンテンツを提示する必要がある。後者のコンテンツは、情報伝達が比較的直感的で、視覚及び/又は聴覚による情報伝達が比較的高速かつ連続的であるため、主に動的かつ連続的な再生でコンテンツを提示する必要がある。そのため、実際のプレビュー・ニーズとファイルのプレビュー特性に基づいて、ファイル展示ウィンドウでは、通常、ファイル・コンテンツを直接取得して展示するのではなく、ファイル・コンテンツをある程度処理して、プレビューに合わせる方式で提示する。それに応じて、プレビュー制御コントロールの種類も対応して簡素化されている。例えば、ドキュメント・ファイルは、プレビュー中で各種の編集ツールを表示せずに、ページめくりやファイルのページ番号など閲覧用の最も基本的な操作のみを残している。マルチメディア・ファイルは、プレビュー中でプレイリストや再生方式を表示せずに、早送り、早戻し、一時停止、音量調整など単一のマルチメディア・ファイルの再生制御用のコントロールのみを残している。なお、ファイル提示ウィンドウで、対応するファイル名が同期して展示され、例えば、プレビュー制御コントロールと同じ領域に表示されてもよいし、ファイル展示ウィンドウの左上に浮かんで表示されてもよい。
一部の実施例において、ファイル展示操作で選択されたファイルを確認した後、このファイルのサフィックスに基づいて、その種類を確認することができる。ファイル・プレビュー・データの生成方法は、ファイルのタイプによって異なり、例えば、ファイル展示操作で選択されたファイルがドキュメント・ファイルである場合、ドキュメント編集状態での表示方式で直接提示されることない(すなわち、文字と挿入コンテンツを基本表示単位とすることない)ため、対応するファイル・プレビュー・データが実質的に画像データである。一部の実施例において、前記ファイル・プレビュー・データは、前記ドキュメント・ファイルからページ順にスクリーンショットを撮って生成された画像データである。ファイルのプレビュー制御コントロールは、ファイルの閲覧方式に関連するものである。ドキュメント・ファイルを閲覧する過程で、通常、ページめくりのみが必要となり、ページをめくる過程で、現在のページの状態を表示する必要があるので、図4に示すように、ファイル展示ウィンドウ22でプレビュー・コンテンツの操作に対応するのは、ページアップ、ページダウン、ページ番号状態の3つのプレビュー制御コントロールのみである。図4では、ページ番号状態のプレビュー制御コントロールは、ファイル展示ウィンドウ22に表示されているファイルのページ番号状態を展示するためのものであり、図4で現在表示されているのが合計11ページのうちの1ページ目である。このページ番号状態のプレビュー制御コントロールをクリックすることで、ファイル展示ウィンドウ22に表示されているファイルのページ閲覧を行うことも可能であり、例えば、図4に展示されているファイルの11ページの状況をファイル展示ウィンドウ22でプレビューする。もちろん、ファイル展示ウィンドウ22全体に対する操作であるフルスクリーンとクローズドのプレビュー制御コントロールもある。一部の実施例において、フルスクリーンのプレビュー制御コントロールがトリガーされると、ファイル展示ウィンドウ22に展示されているファイルが最大化され、最大化されたファイルに注釈機能コントロールが表示され、ここで、最大化されたファイルがホワイトボード・アプリ・インタフェース全体を覆うようになっており、クローズドのプレビュー制御コントロールがトリガーされると、対応するファイル展示ウィンドウ22が閉じられ、対応するファイルのプレビューが終了する。最大化とクローズドのプレビュー制御コントロールは、コンテンツのプレビュー制御とは関係なく、ファイル展示ウィンドウ22の表示状態を全体的に制御するためのものである。なお、ファイル展示ウィンドウ22でジェスチャー操作を定義することもでき、例えば、ファイル展示ウィンドウ22で上下にスワイプすると、ファイル展示ウィンドウ22の表示コンテンツが上下に追従して移動し、ファイル展示ウィンドウ22で左右にスワイプすると、ファイル展示ウィンドウ22の表示コンテンツがページアップ・ページダウンされる。
前記ファイル展示操作で選択されたファイルがWebページ・ファイルである場合、前記ファイル・プレビュー・データは、前記Webページ・ファイルの元のWebページにアクセスして得られたWebページ画面である。
ファイル展示操作で選択されたファイルがWebページ・ファイルである場合、ファイル・プレビュー・データは、Webページ・ファイルの元のWebページにアクセスしてWebページが得られ、つまり、Webページのプレビューは実際にWebページのURLにアクセスして得られたデータである。もちろん、保存したWebページ・ファイルを開くことを選択してもよい。上下にスワイプすることに対応して、Webページのコンテンツの上下調整を行うことができる。スワイプは、ファイル展示ウィンドウに任意に行われてもよいし、サイドに表示されるコントロールバーで行うように設定してもよい。
なお、ビデオやオーディオなどのファイルもあり、それらをローカルにバックアップした後、対応するファイル展示ウィンドウで再生することができる。
そのため、本実施例で説明しているファイル展示ウィンドウは、すべてのタイプのファイルに対しては同一ではない。異なるタイプのファイルに対応するファイル展示ウィンドウは、基本的なデザインスタイルが同じだけであり、実現に関しては、異なるタイプのファイルに対応する様々な基層によって実現される。例えば、そのコアにパッケージングされるものは、ドキュメント・ファイルの場合にピクチャ閲覧コントロールであり、Webページ・ファイルの場合にWebページ・ブラウザ・コントロールであり、ビデオ・ファイルの場合にビデオ・プレーヤー・コントロールであり、オーディオ・ファイルの場合にオーディオ・プレーヤー・コントロールである。それぞれのコアパッケージのもとに、同じデザインスタイルと、異なるプレビュー制御コントロールを採用して、異なるタイプのファイルに適するファイル表示ウィンドウを得ることができる。ファイル展示ウィンドウの基本的な表示特性については、異なるタイプのファイルによって、対応するファイル展示ウィンドウのそれぞれの初期サイズ及び/又はアスペクト比が異なる。例えば、PPTファイルの場合、ファイル展示ウィンドウのアスペクト比は通常16:9であり、ビデオ・ファイルの場合、ファイル表示ウィンドウのアスペクト比は、ビデオコンテンツのアスペクト比に合わせるが、例えば300ピクセルである最小の幅が設定されている。
ステップS103において、前記ホワイトボード・アプリ・インタフェースで発生した書き込み操作を受け付ける。
ステップS104において、前記書き込み操作に応じて、前記ホワイトボード・アプリ・インタフェースに書き込み軌跡を生成する。
本実施例では、ホワイトボード・アプリ・インタフェースで発生する書き込み操作は、関連技術のホワイトボード・アプリにおける通常の書き込み操作の全体的な実現と同様であるが、ファイル展示ウィンドウについては局所的な適応的調整が可能となっている。例えば、ある書き込み操作に対応する書き込み軌跡の始点がファイル展示ウィンドウに位置していない場合は、この書き込み操作が有効であると判断され、それに応じて書き込み軌跡を生成し、書き込み軌跡がファイル展示ウィンドウと重なっている場合は、ファイル展示ウィンドウの最前面表示に適するようにその重なっている部分をファイル展示ウィンドウの下に生成する。ファイル展示ウィンドウを移動したり、書き込み軌跡を移動したりして初めて、既存の重なっていた書き込み軌跡が表示される。また例えば、ある書き込み操作に対応する書き込み軌跡の始点がファイル展示ウィンドウ内に位置している場合は、この書き込み操作が無効であると判断され、書き込み軌跡を生成しないようにしたり、この書き込み操作がファイル展示ウィンドウ内の書き込み動作に対応するものと判断された場合は、ファイル展示ウィンドウでそれと重なっている書き込み軌跡を生成し、ファイル展示ウィンドウと重ならない書き込み軌跡は生成・表示しないようにしたりする。
なお、本実施例では、ファイル展示ウィンドウでのファイルプレビューと書き込み軌跡の生成は、単純な2つの別々の操作ではなく、ホワイトボード・アプリを実際に使用する際の応用シーン全体のデザインである。例えば、いくつかの会議や教育、セミナーなどの活動の前には、活動フォーカスとなる1つ又は複数の既存のファイルが用意され、実際に活動を行う際には、ホワイトボード・アプリ・インタフェースにおいて、ファイル展示ウィンドウを通じて既存のファイルを展示するとともに、活動中、ホワイトボード・アプリ・インタフェースに、展示コンテンツに対してメモや観点、アウトラインなどを記録し、最終的には活動の完全な記録を作成することができる。本実施例に基づいて行われた活動では、会議のフォーカスの提示と議事録の生成が同じインタフェースで実現されるため、情報伝達プロセスと記録生成プロセスの連続性が高く、2つのプロセスを実施する情報ウィンドウのお互いの切り替えによる表示の途切れを回避し、既存のファイルを活動フォーカスとする活動を実施する際に、デバイスの操作層でスムーズな活動体験を提供することができる。
ドキュメント・ファイルを活動フォーカスとする場合、ホワイトボード・アプリ・インタフェースでファイル展示ウィンドウを付加して、対応するファイル・プレビュー・データ(ドキュメント・ファイルをページごとにスクリーンショットしたデータ)とプレビュー制御コントロール(ページアップ、ページダウン、及びページ番号状態)を展示し、活動中に、ホワイトボード・アプリ・インタフェースで、現在展示されているページについて生成されるメモ、アウトライン、観点の手書き入力を行うことができる。現在展示されているページが検討された後、ホワイトボード・アプリ・インタフェースでプレビュー制御コントロールを直接操作してページをめくり、対応する活動記録を続けることができる。
情報収集のためにビデオやオーディオのコンテンツを分析する必要がある場合、例えば、事件を捜査する際に監視映像を分析したり、教育の際に映画について検討したりする場合、マルチメディア・ファイルを活動フォーカスとして使用し、ホワイトボード・アプリ・インタフェースにファイル展示ウィンドウを付加して、対応するファイルのプレビューデータ(完全なビデオ、オーディオ、アニメーションなど)とプレビュー制御コントロール(早送り、早戻し、一時停止、音量調整、再生プログレスバー)を展示することができる。活動中で、ファイルの再生状態を随時に調整することができ、例えば、繰り返し再生することで情報を全面的に取得するために、早戻しコントロールや再生プログレスバーのトリガーに応じて再生したり、また例えば、画面内の詳細を詳しく分析するために現在の画面を一時停止したりして、これらの再生状態の調整に応じて、取得された情報や詳細をホワイトボード・アプリ・インタフェースに直接記録することができる。
以上ようなの操作では、ファイルの展示と、活動中で生成されたコンテンツの記録は、ホワイトボード・アプリ・インタフェースで行われ、ファイルの操作は、プレビュー制御コントロールをトリガーするだけで済む。ファイルの展示と活動過程の記録は、スムーズに行うことができるため、ページ切り替えによる活動過程の中止を回避しており、ファイルの展示と活動過程の記録もホワイトボード・アプリ・インタフェースで行われ、ファイル情報の表示・伝達と活動記録の生成が高度に統合され、より良いユーザー体験を提供している。
上記したように、ホワイトボード・アプリ・インタフェースで発生したファイル展示操作を受け付け、前記ホワイトボード・アプリ・インタフェースの前に配置されるファイル展示ウィンドウを開き、前記ファイル展示操作に応じて選択されたファイルを前記ファイル展示ウィンドウに表示し、前記ホワイトボード・アプリ・インタフェースで発生した書き込み操作を受け付け、前記書き込み操作に応じて、前記ホワイトボード・アプリ・インタフェースに書き込み軌跡を生成する。ホワイトボード・アプリ・インタフェースにファイル展示ウィンドウを付加し、ファイル展示ウィンドウ内にプレビューの需要に適するファイル・コンテンツの展示を行うことで、ホワイトボード・アプリ・インタフェースにおける他のタイプのファイルの迅速かつ容易な閲覧を実現し、ホワイトボードの使用中で他のファイルを閲覧するときの複雑な操作過程を簡素化し、ホワイトボードを使用する際にユーザーの操作時間のコストを低減し、情報伝送の流暢さを向上している。そして、ファイル展示ウィンドウは、ホワイトボード・アプリ・インタフェース上に表示され、ホワイトボード・アプリ・インタフェース内の他の表示要素から操作が分離されているため、ユーザーは、ホワイトボード・アプリの書き込みや要素の挿入などの機能を利用してファイル展示ウィンドウに表示されたファイルを連続に展示することができ、フォーカス効果と一貫性のあるコンテンツ展示を実現している。
実施例2
図5は、本発明の実施例2に係る知能インタラクション・タブレットの操作方法のフローチャートである。本実施例は、上記実施例をもとにして変更されたものである。
図5を参照し、本実施例に係る知能インタラクション・タブレットの操作方法は、以下のステップを含んでも良い。
ステップS201において、ホワイトボード・アプリ・インタフェースで発生したファイル展示操作を受け付ける。
ステップS202において、前記ホワイトボード・アプリ・インタフェースの前に配置されるファイル展示ウィンドウを開き、前記ファイル展示操作に応じて選択されたファイルを前記ファイル展示ウィンドウに表示する。
ファイル展示ウィンドウがホワイトボード・アプリ・インタフェースの前に表示されるのは、最初に表示されるときの表示状態だけでなく、ファイル展示ウィンドウが表示されている間、最上位の表示階層、すなわち最前面表示となり続けることができる。本実施例でいう最前面表示は、既存のすべての表示要素によりも手前に絶対的に最前面表示されるものではなく、ホワイトボード・アプリ・インタフェースでリアルタイムに入力される表示要素により手前に相対的に最前面表示されるものである。つまり、ファイル展示ウィンドウが現在表示されている場合、新なファイル展示操作によって、既存のファイル展示ウィンドウの前にファイル展示ウィンドウがさらに付加されるが、もちろん、このような付加は、部分的に覆うだけであり、少なくとも既存のファイル展示ウィンドウの一定の幅及び/又は高さは正常に表示される。全体としては、最初に表示されるファイル展示ウィンドウは、デフォルトの位置に表示され、後続のファイル展示ウィンドウは、部分的に覆うという設定標準を参考にして表示位置の確認を行う。
新なファイル展示操作は、あるファイル展示ウィンドウに現在展示されているファイルを展示してもよいし、まだ展示されていないファイルを展示してもよい。現在展示されているファイルを展示することができる原因は、ファイル展示ウィンドウに展示されるものが実際に元のファイルではなく、元のファイルとは独立して存在する元のファイルの派生データのからである。
ファイル展示ウィンドウで開かれるファイルは、実際にはファイル展示操作で選択された元のファイルではなく、ファイル展示を実現するために元のファイルから派生したファイルであるため、理論的には1つのファイルを無制限に展示することができ、既存の展示は元のファイルの状態の変化によって影響されなく、例えば、元のファイルがモバイルストレージデバイスに保存されている場合、このファイルがファイル展示ウィンドウに表示されていれば、リムーバブルストレージデバイスが取り外されても、ファイル展示ウィンドウにおけるそのファイルの展示は、依然として影響されなく正常に表示することができる。
複数のファイル展示ウィンドウを1つずつ開いて最終的に形成する方法以外に、ステップS101の操作を参照して、操作ごとに複数のファイルを選択して対応する判定やドラッグを行うだけでも、最終的には複数のファイル展示ウィンドウを開くことが可能となる。
ステップS203において、ホワイトボード・アプリ・インタフェースで発生した書き込み操作を受け付ける。
ステップS204において、書き込み操作に応じて、ホワイトボード・アプリ・インタフェースに書き込み軌跡を生成する。
ホワイトボード・アプリを使用した活動(教育、会議、セミナーを含んでよい)過程で、ファイル展示操作と書き込み操作の両方が随時にトリガーされる可能性がある。例えば、ホワイトボード・アプリが起動された後に、ファイル展示ウィンドウが最初に開かれたり、書き込み操作が最初に受信されて書き込み軌跡が生成されたり、あるファイルの展示についてメモが取られたり、あるファイルの展示についてのメモの取りを終了した後に新たなファイルを開いて展示したりする可能性がある。したがって、本実施例では、ファイル展示操作と書き込み操作は、厳密な実行順序はなく、交互に実行することができ、ある操作のトリガーを受けると、対応する表示変化を行うことができる。
本実施例では、ホワイトボード・アプリ・インタフェースで発生したファイル展示操作を受け付け、前記ホワイトボード・アプリ・インタフェースの前に配置されるファイル展示ウィンドウを開き、前記ファイル展示操作に応じて選択されたファイルを前記ファイル展示ウィンドウに表示し、前記ホワイトボード・アプリ・インタフェースで発生した書き込み操作を受け付け、前記書き込み操作に応じて、前記ホワイトボード・アプリ・インタフェースに書き込み軌跡を生成することで、ホワイトボード・アプリ・インタフェースにファイル展示ウィンドウを付加して、ファイル展示ウィンドウ内にプレビューの需要に適するファイル・コンテンツの展示を行うことを実現し、ホワイトボード・アプリ・インタフェースにおける他のタイプのファイルの迅速かつ容易な閲覧を実現し、ホワイトボードの使用中で他のファイルを閲覧するときの複雑な操作過程を簡素化し、ホワイトボードを使用する際にユーザーの操作時間のコストを低減し、情報伝送の流暢さを向上している。そして、ファイル展示ウィンドウは、ホワイトボード・アプリ・インタフェース上に表示され、ホワイトボード・アプリ・インタフェース内の他の表示要素から操作が分離されているため、ユーザーは、ホワイトボード・アプリの書き込みや要素の挿入などの機能を利用してファイル展示ウィンドウに表示されたファイルを連続に展示することができ、フォーカス効果と一貫性のあるコンテンツ展示を実現している。
オプションとして、本実施例は、以下のステップS205を含む。
ステップS205において、スクリーンショット・コントロールに対するクリック操作を受け付け、ファイル展示ウィンドウに現在表示されている画面スクリーンショットをホワイトボード・アプリ・インタフェースの設定領域に表示する。
一部の実施例において、スクリーンショット効果は図6に示すようになる。実現では、設定領域は、ホワイトボード・アプリ・インタフェース20での固定位置、または、ファイル展示ウィンドウ22を基準とした相対的な固定位置、または、既存のスクリーンショットを基準とした相対的な固定位置とすることができる。最終的に実現される効果としては、スクリーンショットで得られた画面が、既存のスクリーンショットで得られた画面を完全に覆うことはない。ユーザーがファイル展示ウィンドウ22のスクリーンショット・コントロールをトリガーすると、スクリーンショットプロセスがトリガーされ、図6では、ホワイトボード・アプリ・インタフェース20の右上にスクリーンショットが表示されているが、ファイル展示ウィンドウ22がホワイトボード・アプリ・インタフェース20の右側にある場合、ホワイトボード・アプリ・インタフェース20の左側または左上にスクリーンショットを表示することが可能である。また、この操作の実行目的は、展示ファイルに本来有するコンテンツの一部を、現在のインタラクションのためにホワイトボード・アプリに付加することと同等であることに留意すべきである。例えば、活動過程で、ファイル展示ウィンドウ22に現在展示されているコンテンツを重点として検討する必要がある。この場合、スクリーンショット・コントロールをトリガーすることで、現在展示されているコンテンツのスクリーンショットを完成することができる。スクリーンショットについて、デフォルトでファイル展示ウィンドウ22のファイル・プレビュー・データ全体に対して行うものであってよい。スクリーンショット範囲の識別枠によってスクリーンショット範囲を調整することができ、例えば、現在展示されているコンテンツにおけるあるテーブルだけに注目して検討する必要がある場合、そのテーブルのスクリーンショットを撮るようにスクリーンショット範囲を調整することができ、この調整プロセスはファイル展示ウィンドウ内に制約される。スクリーンショットによって得られた画面のホワイトボード・アプリ・インタフェースにおける表示は、ホワイトボード・アプリの使用中にリアルタイムに生成される表示要素であり、その表示階層は、ファイル展示ウィンドウと同じものではなく、書き込み軌跡と同じものである。つまり、スクリーンショットの後にステップS206の操作が行われる場合、スクリーンショットは表示調整操作に追従して並進移動やズームなどが行われるが、ファイル展示ウィンドウ22は応答しないことになる。スクリーンショットを行ったら、ホワイトボード・アプリ・インタフェースで、得られたコンテンツに注釈を付けたり、丸で囲んだり、ハイライトしたりするようなホワイトボード・アプリの通常操作を行うことができる。このスクリーンショット操作に基づいて、アプリソフトを切り替えたり、対象ファイルを別途開いたり、対象ファイルを修正したりすることなく、対象ファイルの素材をホワイトボード・アプリ・インタフェースに素早く付加することができ、簡単で正確な操作である。
コンテンツから見ると、ドキュメント・ファイルの場合、ファイル展示方式に応じて、ファイルのプレビューデータの1ページ分を直接スクリーンショット画像としてもよいし(例えばPPTドキュメント、WORDドキュメント、PDFドキュメント)、ファイルのプレビューデータの2ページ分をつなぎ合わせたスクリーンショット画像としてもよい(例えばWORDドキュメント、PDFドキュメント)。Webページ・ファイルの場合、スクリーンショット画像は現在の表示範囲に基づいて生成されたものとすることができる。ビデオ・ファイルの場合、スクリーンショット画像は1フレームの画面とすることができる。
オプションとして、本実施例は、以下のステップS206を含む。
ステップS206において、ホワイトボード・アプリ・インタフェースで発生した表示調整操作を受け付け、ホワイトボード・アプリ・インタフェースにおける表示階層がファイル展示ウィンドウより低い表示要素の表示位置を変更し、ファイル展示ウィンドウの表示位置を保持する。
ホワイトボード・アプリ・インタフェースで発生する表示調整操作は、主にホワイトボード・アプリ・インタフェースにおける表示位置、サイズ比、表示ページの切り替えなどを調整するものであり、調整対象は主にホワイトボード・アプリの使用中にホワイトボード・アプリ・インタフェースでリアルタイムに生成される表示要素(例えば入力された書き込み軌跡、挿入されたピクチャやテーブルなど)である。関連技術では、表示要素のズーム、移動やページめぐりなどの操作を既に有しているが、本実施例では、ファイル展示ウィンドウは、既存のリアルタイム生成された表示要素の表示位置の調整に応答しないこと、すなわち、この調整は、ファイル展示ウィンドウ以外の表示要素の表示位置や表示コンテンツを変更するだけであり、ファイル展示ウィンドウがその最前面表示のために最も高い表示階層を持つとともに、他のすべての表示要素がファイル展示ウィンドウよりも低い表示階層を持つように設定されることを強調しておく必要がある。このような操作方式によって、ファイル展示ウィンドウを参考して、対照して説明する必要のある既存の表示要素を、ファイル展示ウィンドウに隣接する位置に調整して、情報の視聴者が説明中に対照する両方を直感的に感じやすくするようにしてもよいし、既存の表示要素をファイル展示ウィンドウから離れた位置に調整して、ユーザーが書き込むための空白領域を多く残してもよい。例えば、多本指のズームによるサイズ比の調整(表示範囲の変更)、多本指のドラッグによる表示位置の調整(表示位置の変更)などの操作は、直接既存のホワイトボード・アプリの使用体験によって、ファイル展示ウィンドウの調整に適応させることができ、操作手順が簡単である。また例えば、ファイル展示ウィンドウよりも低い表示階層の表示要素を調整する場合、ファイル展示ウィンドウの表示はそのままにして、ユーザーは、ホワイトボード・アプリ・インタフェースで書き込み操作を行うための空白領域が不足している場合に、ファイル展示ウィンドウの通常の表示を維持すると同時に、表示調整操作によって空白領域を拡大し、空白領域の拡大操作は簡単かつ正確で、ファイル展示ウィンドウの表示に影響を与えない。一部の実施例において、ユーザーがホワイトボード・アプリ・インタフェースで筆跡を移動する時、筆跡の一部または全部を知能インタラクション・タブレットの表示領域外に移動して、書き込み・注釈ためのより多くの空白領域を確保することができる。
オプションとして、本実施例は、以下のステップS207を含む。
ステップS207において、ホワイトボード・アプリ・インタフェースで発生したページ追加操作を受け付け、ホワイトボード・アプリ・インタフェースにおいて、既存のページの前に表示する空白ページを新たに追加し、ファイル展示ウィンドウが空白ページにより手前に最前面表示されるように保持する。
最前面表示されるファイル展示ウィンドウが最も高い表示レベルを持つ。ホワイトボード・アプリ・インタフェースで発生したページ追加操作(ツール・バーのページ追加コントロールによってトリガー)によって空白ページの追加がトリガーされ、ファイル展示ウィンドウの表示レベルと既存のページの表示レベルの間の関係に応じて、空白ページが既存のページの前に表示され、既存のファイル展示ウィンドウが空白ページにより手前に最前面表示され、元の表示位置は変化しないようにする。ファイル展示ウィンドウを活動フォーカスとして活動記録を行う過程で、活動フォーカスが変わったり、検討の重点が変わったりすると、ページ追加操作で次の活動フォーカスや検討の重点の関連記録に迅速に入り、異なる活動フォーカスや検討の重点に対応して異なるページに記録する方式で、生成された活動記録は明確に整理され、後で閲覧しやすくなっている。なお、同じ活動フォーカスや検討の重点について、記録したい内容が多ければ、空白ページの追加によって複数のページで記録することも可能で、1ページに広範囲の書き込みをするために空白領域を調整していくことを回避し、活動の記録を閲覧する利便性ももたらすことも可能である。
オプションとして、本実施例は、以下のステップS208を含む。
ステップS208において、ファイル展示ウィンドウで発生した移動操作を受け付け、それに従ってファイル展示ウィンドウの表示位置を移動する。
実際にファイル展示を行うとき、先にリアルタイムに入力された表示要素や、ホワイトボード・アプリ・インタフェースで先に開いたファイルのプレビューとの対照説明を展示目的としてよい。しかし、ファイル展示ウィンドウが対照説明対象をちょうど覆っている場合、ファイル展示ウィンドウでの移動操作によりその表示位置を調整することができる。調整過程では、ファイル展示ウィンドウが移動操作の移動軌跡に沿って、全く同じ表示位置の調整を行い、つまり、ファイル展示ウィンドウの一部がホワイトボード・アプリ・インタフェースに表示されない可能性があるようにしてもよい。ファイル展示ウィンドウが移動操作の移動軌跡に沿って、一定の制約範囲内で調整され、例えば、ファイル展示ウィンドウは、多くとも移動軌跡に沿ってホワイトボード・アプリ・インタフェースの境界に触れるところまで移動し、その完全な表示を維持するように、この方向へのさらなる移動軌跡に沿って移動しなくなるようにしてもよい。
図7を参照すると、ファイル展示ウィンドウ22bは、初期表示時にはファイル展示ウィンドウ22aを大きく覆うように設定され、移動操作に応じて、ファイル展示ウィンドウ22aがホワイトボード・アプリ・インタフェース20の右側に移動する。
なお、追従と完全表示の組み合わせを実現することも可能であってもよく、一部の実施例において、ファイル展示ウィンドウが移動軌跡に追従して全く同じ表示位置の調整を行うが、前記ファイル展示ウィンドウの境界がホワイトボード・アプリ・インタフェースの設定境界外に移動した場合、前記移動操作が終了した後、前記ファイル展示ウィンドウが前記ホワイトボード・アプリ・インタフェース内に表示されるように戻され、この戻す過程に、例えばバウンス、移動などの動作効果を追加することができる。
オプションとして、本実施例は、以下のステップS209を含む。
ステップS209において、前記ファイル展示ウィンドウで発生したズーム操作を受け付け、前記ズーム操作に従って前記ファイル展示ウィンドウの表示サイズを変更する。
ファイル展示ウィンドウの初期サイズはデフォルトである。
このようなデフォルト表示は、範囲が大きすぎると、このファイル展示ウィンドウ外のコンテンツの表示に影響を与え、範囲が小さすぎると、このファイル展示ウィンドウ内のコンテンツの正常な表示に影響を与える可能性がある。これにより、実際の表示要求に応じてファイル展示ウィンドウのサイズに対してズーム操作のような調整を行う必要がある。
ズームの実現では、前記ズーム操作はホット・ゾーン操作によって実現することができる。一部の実施例において、ファイル展示ウィンドウの1つまたは複数のコーナーがズーム・ホット・ゾーンとして設定され、ズーム・ホット・ゾーンでドラッグ操作が検出されると、ファイル展示ウィンドウの長さと幅が同じ割合でズームされ、ファイル展示ウィンドウ内の表示コンテンツも同じ割合でズームされる。なお、ファイル展示ウィンドウで多本指のズーム操作を行い、複数本の指の相対的な距離の変化状態に応じて、対応するサイズ調整を行うようにしてもよい。一部の実施例において、調整メカニズムとホット・ゾーン操作と同じであるが、トリガー方式とズーム中心が異なる。
また、知能インタラクション・タブレットはマウス操作にも対応しているため、ズームや並進移動の操作もマウスで行うことができる。
オプションとして、本実施例は、以下のステップS210を含む。
ステップS210において、ファイル展示ウィンドウで発生したウィンドウ活性化操作に応じて、ファイル展示ウィンドウが選択状態になり、ファイル展示ウィンドウが選択状態でマスク層により覆われ、全てのプレビュー制御コントロールが無効状態になる。
ウィンドウ活性化操作は、タッチしながら長押し、連続クリックなどで実現することができる。設定されたウィンドウ活性化操作が検出されると、このファイル展示ウィンドウが唯一の操作可能な状態になり、他のすべての表示要素(他のファイル展示ウィンドウを含む)が、いかなる操作に対してもフィードバックしなくなる。選択状態では、ファイル展示ウィンドウがマスク層で覆われ、関連するプレビューコントロールも無効な状態になる。活性化状態では、ファイル展示ウィンドウでズーム、移動や削除などファイル展示ウィンドウ自信に対応する操作のみができ、このような操作の定義は、ファイル展示ウィンドウが、ホワイトボード・アプリ・インタフェースでリアルタイムに生成された他の表示要素と同じになるようにして、操作感の一貫性がよりよくなり、より良いユーザーインタラクションを提供することができる。
オプションとして、本実施例は、以下のステップS211を含む。
ステップS211において、ホワイトボード・ファイル保存時のウィンドウ保存操作を受け付け、ファイル・プレビュー・データをホワイトボード・ファイルに保存する。
ホワイトボード・ファイルの保存と同時に、ファイル展示ウィンドウにおける当該ファイルを保存するコマンドがある場合、ファイル展示ウィンドウでのファイル・プレビュー・データがホワイトボード・ファイルに保存され、その後ホワイトボード・ファイルを開くとき、ファイル展示ウィンドウを同期に開いてファイル・プレビュー・データを展示することができる。
ホワイトボード・アプリの実際の使用では、ファイル展示操作は、通常、一時的な操作であり、操作の目的は、展示ファイルとの一時的な対照のために使用され、本当に追加する必要なコンテンツも、スクリーンショットでホワイトボード・アプリ・インタフェースに追加されるので、ファイル展示操作に関連するファイルは、通常、必ず保存しないものであり、特に例えばビデオ・ファイルは、通常、比較的大きな記憶スペースを占有し、ビデオ・ファイル保存後のファイル転送は、面倒なので、保存する必要があるか否かをユーザーにより確認する必要があるため、ホワイトボード・ファイルの保存を受信した際には、ウィンドウコンテンツを保存するか否かをポップアップで提示し、ウィンドウ保存操作を受け付けた後に、ファイル・プレビュー・データをホワイトボード・ファイルに保存するようにしている。
オプションとして、本実施例は、以下のステップS212~S213を含む。
ステップS212において、前記ファイル展示ウィンドウの最大化操作を受け付け、前記ファイル展示ウィンドウに展示されたファイルに対して最大化表示を行、最大化操作は、前記ファイル展示ウィンドウに展示されているファイルを最大化表示するためである。一部の実施例において、最大化操作は、設定されるタッチ操作であってもよいし、ファイル展示ウィンドウに最大化コントロールを設けて、この最大化コントロールをタッチすることによって最大化操作をトリガーしてもよい。
ステップS213において、前記最大化表示が行われたファイル上にコメント操作を実行し、コメント操作は、筆跡、やグラフィック、ピクチャの挿入などの操作を含んでも良い。
前記最大化表示が行われたファイルが前記ホワイトボード・アプリ・インタフェースを覆う。
ウィンドウを最大化すると、ファイル展示ウィンドウに現在表示されているコンテンツのフリーズスクリーンのコメントに対応する。すなわち、コメントの開始後、現在のページは、スワイプやページめくりに対応しなくなり、ビデオの再生も一時停止し、コメントの終了後、元の状態に戻る。コメント機能は、ユーザーの操作のために、簡単な書き込みの消去と共有を導入し、現在の表示コンテンツを重点として説明するとき、現在の表示画面を最大化して表示し続けることで、表示効果を向上し、情報の視聴者の注目度を高く保つことができる。
なお、ステップS201、ステップS202、ステップS203、ステップS204、ステップS205、ステップS206、ステップS207、ステップS208、ステップS209、ステップS210、ステップS211、ステップS212-S213は、特に厳密な順序で実行することはなく、上記の番号や説明の順序は、あくまでも図5の説明に合わせるだけである。例えば、実際には、ホワイトボード・アプリの使用周期全体において、ステップS201とステップS202が順に実行され、ステップS203とステップS204が順に実行されるだけであるが、これらのステップのいずれかは、現在ファイル展示ウィンドウが開いている限り、随時に実行することができる。
これまでの説明では、ある操作がその操作に対応するファイル展示ウィンドウにのみ影響を与えることは特に強調されていないでしたが、上記のすべての操作において、1つの操作は1つのファイル展示ウィンドウにのみ影響を与えること、すなわち、1つのファイル展示ウィンドウで発生した操作はこのファイル展示ウィンドウにのみ影響を与え、他のファイル展示ウィンドウを通じてこの操作に対するフィードバックはないことが理解されるべきである。
以上、ファイル展示ウィンドウが表示された後、ファイル展示ウィンドウ及び/又はホワイトボード・アプリ・インタフェースに対する後続の操作は、ファイル展示ウィンドウがその表示状態を維持している間に、ホワイトボード・アプリ・インタフェースの表示要素の表示状態を調整することで、ホワイトボード・アプリ・インタフェースの表示要素が、活動中のファイル展示ウィンドウの通常の表示に適応するようにして、簡単で正確に調整することができる。ホワイトボード・アプリ・インタフェースの表示要素の通常の表示状態を維持している間に、ファイル展示ウィンドウの表示状態を調整することで、ファイル展示ウィンドウが他のファイル展示ウィンドウや表示要素の通常の表示に適応するようにして、簡単かつ正確に調整することができる。活動中の情報伝達や過程記録のニーズがランダムかつ多様に変化する場合の容易なインタラクションを実現している。
実施例3
図8は、本願の実施例3に係る知能インタラクション・タブレットの操作方法のフローチャートである。本実施例に係る知能インタラクション・タブレットの操作方法は、上記実施例に係る知能インタラクション・タブレットの操作方法と同じシーンに適用される。図8を参照し、本実施例に係る知能インタラクション・タブレットの操作方法は、以下のステップを含む。
ステップS301において、ホワイトボード・アプリ・インタフェースのタッチ操作指令をモニタリングする。
ホワイトボード・アプリ・インタフェースでモニタリングできるタッチ・イベントは数多くあり、例えば、図3のツール・バー21のツール・コントロールのいずれかに対するトリガーも、対応する応答を生成する。本実施例では、図3のホワイトボード・アプリ・インタフェース20のタッチ・イベントに対応するモニタリングである場合、説明されるのはファイル展示ツール・コントロールがトリガーされたことに対する後続の応答である。
ステップS302において、前記タッチ操作指令の種類を判断する。
タッチ操作指令の種類は、タッチ・イベントが発生した位置、継続時間、移動距離など、タッチ検出で得られたパラメータに応じて確認することができる。本実施例では、主にファイル展示操作指令と書き込み操作指令を判断して後続の応答を行い、位置、継続時間、移動距離などのパラメータの取得は、タッチ技術の通常の実現であってもよいので、ここでは詳しく説明しない。一部の実施例において、前記タッチ操作指令の種類を判断することは、以下のことを含む。
前記ホワイトボード・アプリ・インタフェースのツール・バーでファイル展示コントロールをトリガーするタッチ・イベントがモニタリングされ、前記ファイル展示コントロールのトリガーに応じてポップアップされたファイル一覧インタフェースで少なくとも1つのファイルを選択するタッチ・イベントがモニタリングされた場合、タッチ操作指令がファイル展示操作指令であり、前記ファイル一覧インタフェースにおいて選択されたファイルが前記ファイル展示操作指令で選択されたファイルであると判断される。
前記ホワイトボード・アプリ・インタフェースでタッチ・ポイントが連続して移動するタッチ・イベントがモニタリングされた場合、タッチ操作指令が書き込み操作指令であると判断されることと、を含む。一般的に、1つのタッチ・ポイントが連続して移動するタッチ・イベントは、書き込み操作指令と判断される。
ステップS303において、前記タッチ操作指令がファイル展示操作指令であると判断された場合、前記ホワイトボード・アプリ・インタフェースの前にファイル展示ウィンドウを付加し、前記ファイル展示ウィンドウに前記ファイル展示操作指令で選択されたファイルを表示する。
ホワイトボード・アプリ・インタフェースで、ファイル展示ウィンドウは、ホワイトボード・アプリの使用中にリアルタイムに生成される表示要素により手前に最前面表示されるコントロールであり、ホワイトボード・アプリ・インタフェースで、すべての表示要素の表示過程は、実は描画過程であり、各表示要素の積層順序、移動操作などは、階層管理によって実現される。本実施例では、ホワイトボード・アプリ・インタフェースに少なくとも1つの最前面レイヤーを定義し、最前面レイヤーはファイル展示ウィンドウの管理に特化され、すべてのファイル展示ウィンドウの付加は最前面レイヤーに付加されるものであり、最前面レイヤー内のすべてのファイル展示ウィンドウは他のレイヤーに対して最も高い表示階層を持ち、すなわち、他のすべての階層の表示要素の前に表示され、最前面レイヤー内のファイル展示ウィンドウが等しい表示レベルを持つ。一部の実施例において、直前に操作が検出されたファイル展示ウィンドウが、すべてのファイル展示ウィンドウの最上部に表示される。
実現過程では、最前面レイヤーに対応して、元のレイヤーも定義されている。元のレイヤーは、ホワイトボード・アプリの使用中にリアルタイムに生成される表示要素を描画するために使用される。元のレイヤーの表示要素は、付加順序でお互いの描画階層の確認を行うことができる。最前面レイヤーと元のレイヤーの設定は、表示中の画像の描画を管理するだけでなく、タッチ・イベントへの応答を管理するために使用され、全体的に2つの階層の前のタッチ・イベントが互いに分離されるようになっている。一部の実施例において、最前面レイヤーの表示要素から始まるタッチ・イベントについて、最前面レイヤーの表示要素のみが応答し、元のレイヤーの表示要素から始まるタッチ・イベントについて、元のレイヤーの表示要素のみが応答する。
最前面レイヤーの階層は、元のレイヤーに相対して定義されている。ファイル展示ウィンドウがない場合、ホワイトボード・アプリ・インタフェースには最前面レイヤーはなくてもよい。即ち、ファイル展示ウィンドウの最前面レイヤーにおける描画については、まず最前面レイヤーの有無を確認する必要がある。
前記ホワイトボード・アプリ・インタフェースにファイル展示ウィンドウが現在存在しない場合、前記ホワイトボード・アプリ・インタフェースに最前面レイヤーを付加し、前記最前面レイヤーにファイル展示ウィンドウを描画する。
前記ホワイトボード・アプリ・インタフェースにファイル展示ウィンドウが現在存在する場合、前記最前面レイヤーに新たなファイル展示ウィンドウを描画する。
前記ファイル展示ウィンドウに表示されるコンテンツが、前記ファイル展示操作指令に応じて選択されたファイル及びそのファイル・タイプに対応して生成されるファイル・プレビュー・データと、前記ファイル展示操作指令で選択されたファイルのファイル・タイプに対応するプレビュー制御コントロールとを含む。
ファイル展示ウィンドウに展示されるコンテンツについて、ファイル・タイプに基づいて特定することができる。
前記ファイル展示操作で選択されたファイルがドキュメント・ファイルである場合、前記ドキュメント・ファイルを読み取ってページ順にスクリーンショットを撮って少なくとも1枚の画像データが得られ、前記画像データをスクリーンショットの順に整理してファイル・プレビュー・データを得て所定の展示フォルダに保存する。
前記ファイル展示操作で選択されたファイルがWebページ・ファイルである場合、前記Webページ・ファイルの元のURLを読み取り、前記元のURLにアクセスして対応するWebページ画面データを取得して、ファイル・プレビュー・データを得、前記元のURLを所定の展示フォルダに保存する。
前記ファイル展示操作で選択されたファイルがオーディオ・ビデオ・ファイルである場合、前記オーディオ・ビデオ・ファイルをバックアップしてファイル・プレビュー・データを得て所定の展示フォルダに保存する。
プレビュー制御コントロールは、ファイル編集作成中で存在する可能性があるコントロールとは大きく異なり、プレビューのニーズを満足すればよい。例えば、ドキュメント・ファイルは、プレビュー中で各種の編集ツールを表示せずに、ページめくりやファイルのページ番号など閲覧用の最も基本的な操作のみを残している。マルチメディア・ファイルは、プレビュー中でプレイリストや再生方式を表示せずに、早送り、早戻し、一時停止、音量調整など単一のマルチメディア・ファイルの再生制御用のコントロールのみを残している。なお、ファイル提示ウィンドウで、対応するファイル名が同期して展示され、例えば、プレビュー制御コントロールと同じ領域に表示されてもよいし、ファイル展示ウィンドウの左上に浮かんで表示されてもよい。
ステップS304において、前記タッチ操作指令が書き込み操作指令であると判断された場合、前記ホワイトボード・アプリ・インタフェースに前記書き込み操作指令に対応して生成された書き込み軌跡を生成する。
書き込み軌跡の最初の生成と表示は必ずしも一致しない場合がある。例えば、ある書き込み操作に対応する書き込み軌跡の始点がファイル展示ウィンドウにない場合は、この書き込み操作が有効であると判断され、それに応じて書き込み軌跡を生成し、書き込み軌跡がファイル展示ウィンドウと重なっている場合は、ファイル展示ウィンドウの最前面表示に適するようにその重なっている部分をファイル展示ウィンドウの下に生成する。ファイル展示ウィンドウを移動して初めて、既存の重なっていた書き込み軌跡が表示される。また例えば、ある書き込み操作に対応する書き込み軌跡の始点がファイル展示ウィンドウ内にある場合は、この書き込み操作が無効であると判断され、書き込み軌跡を生成しないようにしたり、この書き込み操作がファイル展示ウィンドウ内の書き込み動作に対応するものと判断された場合は、ファイル展示ウィンドウでそれと重なっている書き込み軌跡を生成し、ファイル展示ウィンドウと重ならない書き込み軌跡は生成・表示しないようにしたりする。
本実施例では、タッチ操作指令のモニタリングと種類の判断によって、ホワイトボード・アプリ・インタフェースでファイル展示ウィンドウの独立の表示を行っており、ファイル展示ウィンドウとホワイトボード・アプリ・インタフェースの元のレイヤーは個別にタッチ・イベントに応答することで、ホワイトボード・アプリ・インタフェースにおける他のタイプのファイルの迅速かつ容易な閲覧を実現し、ホワイトボードの使用中で他のファイルを閲覧するときの複雑な操作過程を簡素化し、ホワイトボードを使用する際にユーザーの操作時間のコストを低減し、情報伝送の流暢さを向上している。そして、ファイル展示ウィンドウは、ホワイトボード・アプリ・インタフェース上に表示され、ホワイトボード・アプリ・インタフェース内の他の表示要素からが操作分離されているため、ユーザーは、ホワイトボード・アプリの書き込みや要素の挿入などの機能を利用してファイル展示ウィンドウに表示されたファイルを連続に展示することができ、フォーカス効果と一貫性のあるコンテンツ展示を実現している。
以上のステップをもとにして、本実施例は、以下のステップS305を含んでも良い。
ステップS305において、前記ファイル展示ウィンドウにおけるスクリーンショット操作が検出された場合、前記ファイル展示ウィンドウの表示コンテンツをスクリーンショットして、スクリーンショット・バッファ領域に保存し、前記スクリーンショット・バッファ領域に直前付加されたスクリーンショット・データを前記元のレイヤーの所定領域に表示する。
元のレイヤーと最前面レイヤーの階層のデザインを基に、スクリーンショット操作について、2つの階層間のデータ転送プロセスが存在している。スクリーンショット操作が検出されると、最前面レイヤーのファイル展示ウィンドウが、まずスクリーンショット操作に応答して、現在の表示コンテンツをスクリーンショットでスクリーンショット・バッファに保存し、次に元のレイヤーが、スクリーンショット・バッファのデータ変化に応答して、最新の追加されたスクリーンショット・データを元のレイヤーの所定領域に表示する。応答は、スクリーンショット操作に対する応答でもよく、スクリーンショット・バッファへのデータ更新の検出でもよい。
以上のステップをもとにして、前記ファイル・タイプがドキュメント・ファイルである場合、対応するプレビュー制御コントロールはページめくりコントロールを含む、
ステップS303の後に、以下のステップS306をさらに含む。
ステップS306において、前記ファイル展示ウィンドウに展示されたのがドキュメント・ファイルである場合、前記ページめくりコントロールのクリック操作を受け付け、前記ファイル展示ウィンドウにおける前記ドキュメント・ファイルの現在画像データを、スクリーンショットの順に対応して変更する。
以上のステップをもとにして、本実施例は、以下のステップS307を含んでもよい。
ステップS307において、ホワイトボード・ファイルを保存する際にウィンドウ保存操作が検出された場合、前記展示フォルダ内のファイル・プレビュー・データを前記ホワイトボード・ファイルに保存する。
ファイル・プレビュー・データの保存は、後続の会議資料の整理及び会議過程のトレースが容易になる。ファイル・プレビュー・データをホワイトボード・ファイルと一緒に保存することは、一部の実施例において、ホワイトボード・ファイルの表示要素としてホワイトボード・ファイルにパッケージされてもよいし、デフォルトフォルダに保存し、ホワイトボード・ファイルとの関連を確立して保存してもよい。
一部の実施例において、以下のステップS308をさらに含んでもよい。
ステップS308において、前記ホワイトボード・アプリ・インタフェースを閉じる時に、前記展示フォルダ内のファイル・プレビュー・データを削除する。
毎回生成されるファイル・プレビュー・データは、他の会議に対しては何の価値もないし、ビデオ・ファイルの場合、対応するファイル・プレビュー・データは実際には元のファイルのコピーで、多くの記憶スペースを占有してしまう。
ホワイトボード・アプリ・インタフェースを閉じる場合は、会議の終了や現在のトピックの終了と理解できるため、ファイル・プレビュー・データが削除され、不要な記憶スペースの使用を効果的に回避することができる。
以上、タッチ操作指令のモニタリングと種類の判断によって、ホワイトボード・アプリ・インタフェースでファイル展示ウィンドウの独立の表示を行っており、ファイル展示ウィンドウとホワイトボード・アプリ・インタフェースの元のレイヤーは個別にタッチ・イベントに応答することで、ホワイトボード・アプリ・インタフェースにおける他のタイプのファイルの迅速かつ容易な閲覧を実現し、ホワイトボードの使用中で他のファイルを閲覧するときの複雑な操作過程を簡素化し、ホワイトボードを使用する際にユーザーの操作時間のコストを低減し、情報伝送の流暢さを向上している。ファイル展示ウィンドウとホワイトボード・アプリ・インタフェースの他の表示要素の独立操作は、ウィンドウ調整時の操作精度が向上し、ファイル展示ウィンドウのコンテンツの通常の表示が実現し、コンテンツの展示精度が向上する。ファイル展示ウィンドウをもとにしたタッチ・イベントのモニタリングと応答により、活動中の情報伝達や過程記録の要求がランダムかつ多様に変化する場合の容易なインタラクションを実現している。
実施例4
図9は、本発明の実施例4に係る知能インタラクション・タブレットの操作装置の構成の模式図である。図9を参照して、該知能インタラクション・タブレットの操作装置は、ウィンドウ付加手段401と、ファイル表示手段402と、書き込み受付手段403と、書き込み表示手段404とを含む。
ここで、ウィンドウ付加手段401は、ホワイトボード・アプリ・インタフェースで発生したファイル展示操作を受け付けるように構成される。ファイル表示手段402は、前記ホワイトボード・アプリ・インタフェースの前に配置されるファイル展示ウィンドウを開き、前記ファイル展示操作に応じて選択されたファイルを前記ファイル展示ウィンドウに表示するように構成される。書き込み受付手段403は、前記ホワイトボード・アプリ・インタフェースで発生した書き込み操作を受け付けるように構成される。書き込み表示手段404は、前記書き込み操作に応じて、前記ホワイトボード・アプリ・インタフェースに書き込み軌跡を生成するように構成される。
上記実施例をもとにして、前記ファイル展示ウィンドウに表示されるコンテンツが、前記ファイル展示操作に応じて選択されたファイル及びそのファイル・タイプに対応して生成されるファイル・プレビュー・データと、前記ファイル展示操作で選択されたファイルのファイル・タイプに対応するプレビュー制御コントロールとを含む。
上記実施例をもとにして、前記ファイル・タイプがドキュメント・ファイルである場合、前記プレビュー制御コントロールはページめくりコントロールを含む。
前記操作装置は、ファイル展示ウィンドウに展示されたのがドキュメント・ファイルである場合、前記ページめくりコントロールに対するクリック操作を受け付け、前記ファイル展示ウィンドウにおける前記ドキュメント・ファイルの現在の表示ページを変更するドキュメントページめくり手段をさらに含む。
上記実施例をもとにして、前記プレビュー制御コントロールはスクリーンショット・コントロールを含む。
前記操作装置は、前記スクリーンショット・コントロールに対するクリック操作を受け付け、前記ファイル展示ウィンドウに現在表示されている画面スクリーンショットを前記ホワイトボード・アプリ・インタフェースの設定領域に表示するウィンドウスクリーンショット手段をさらに含む。
上記実施例をもとにして、前記ファイル展示操作で選択されたファイルがドキュメント・ファイルである場合、前記ファイル・プレビュー・データは、前記ドキュメント・ファイルからページ順にスクリーンショットを撮って生成された画像データである。
前記ファイル展示操作で選択されたファイルがWebページ・ファイルである場合、前記ファイル・プレビュー・データは、前記Webページ・ファイルの元のWebページにアクセスして得られたWebページ画面である。
上記実施例をもとにして、前記操作装置は、前記ホワイトボード・アプリ・インタフェースで発生した表示調整操作を受け付け、前記ホワイトボード・アプリ・インタフェースにおける表示階層が前記ファイル展示ウィンドウより低い表示要素の表示位置を変更し、前記ファイル展示ウィンドウの表示位置を保持する表示調整手段をさらに含む。
上記実施例をもとにして、前記操作装置は、前記ホワイトボード・アプリ・インタフェースで発生したページ追加操作を受け付け、前記ホワイトボード・アプリ・インタフェースにおいて、既存のページの前に表示する空白ページを新たに追加し、前記ファイル展示ウィンドウの最前面表示を保持するページ追加手段をさらに含む。
上記実施例をもとにして、前記操作装置は、前記ファイル展示ウィンドウで発生した移動操作を受け付け、それに従って前記ファイル展示ウィンドウの表示位置を移動するウィンドウ移動手段をさらに含む。
上記実施例をもとにして、前記ファイル展示ウィンドウの境界がホワイトボード・アプリ・インタフェースの設定境界外に移動した場合、前記移動操作が終了した後、前記ファイル展示ウィンドウが前記ホワイトボード・アプリ・インタフェース内に表示されるように戻される。
上記実施例をもとにして、前記操作装置は、前記ファイル展示ウィンドウで発生したズーム操作を受け付け、前記ズーム操作に従って前記ファイル展示ウィンドウの表示サイズを変更するウィンドウ・ズーム手段をさらに含む。
上記実施例をもとにして、前記ズーム操作は、ホット・ゾーン操作またはマルチフィンガー・ズーム操作である。
上記実施例をもとにして、前記操作装置は、前記ファイル展示ウィンドウで発生したウィンドウ活性化操作に応じて、前記ファイル展示ウィンドウが選択状態になり、前記ファイル展示ウィンドウが選択状態でマスク層により覆われ、全てのプレビュー制御コントロールが無効状態になるウィンドウ活性化手段をさらに含む。
上記実施例をもとにして、前記操作装置は、ホワイトボード・ファイル保存時のウィンドウ保存操作を受け付け、前記ファイル・プレビュー・データを前記ホワイトボード・ファイルに保存するファイル保存手段をさらに含む。
上記実施例をもとにして、前記操作装置は、前記ファイル展示ウィンドウの最大化操作を受け付け、前記ファイル展示ウィンドウに展示されたファイルに対して最大化表示を行う最大化表示手段と、前記最大化表示が行われたファイル上にコメント操作を実行するウィンドウコメント手段と、をさらに含む。
前記最大化表示が行われたファイルが前記ホワイトボード・アプリ・インタフェースを覆う。
本発明の実施例に係る知能インタラクション・タブレットの操作装置は、知能インタラクション・タブレットの操作機器に含まれており、上記の実施例1と実施例2のいずれかに係る知能インタラクション・タブレットの操作方法を実行するためであり、対応する機能と有利な効果を有している。
実施例5
図10は、本発明の実施例5に係る知能インタラクション・タブレットの操作装置の構成の模式図である。図10を参照して、この知能インタラクション・タブレットの操作装置は、タッチモニタリング手段501と、指令判断手段502と、ウィンドウ表示手段503と、軌跡表示手段504とを含む。
ここで、タッチモニタリング手段501は、ホワイトボード・アプリ・インタフェースのタッチ操作指令をモニタリングするように構成される。指令判断手段502は、前記タッチ操作指令の種類を判断するように構成される。ウィンドウ表示手段503は、前記タッチ操作指令がファイル展示操作指令であると判断された場合、前記ホワイトボード・アプリ・インタフェースの前にファイル展示ウィンドウを付加し、前記ファイル展示ウィンドウに前記ファイル展示操作指令で選択されたファイルを表示するように構成される。軌跡表示手段504は、前記タッチ操作指令が書き込み操作指令であると判断された場合、前記ホワイトボード・アプリ・インタフェースで前記書き込み操作指令に対応して生成される書き込み軌跡を生成するように構成される。
上記実施例をもとにして、前記ファイル展示ウィンドウに表示されるコンテンツが、前記ファイル展示操作指令に応じて選択されたファイル及びそのファイル・タイプに対応して生成されるファイル・プレビュー・データと、前記ファイル展示操作指令で選択されたファイルのファイル・タイプに対応するプレビュー制御コントロールとを含む。
上記実施例をもとにして、前記ホワイトボード・アプリ・インタフェースの前にファイル展示ウィンドウを付加することは、前記ホワイトボード・アプリ・インタフェースにファイル展示ウィンドウが現在存在しない場合、前記ホワイトボード・アプリ・インタフェースに最前面レイヤーを付加し、前記最前面レイヤーにファイル展示ウィンドウを描画することと、前記ホワイトボード・アプリ・インタフェースにファイル展示ウィンドウが現在存在する場合、前記最前面レイヤーに新たなファイル展示ウィンドウを描画することと、を含む。
上記実施例をもとにして、前記書き込み軌跡は、前記最前面レイヤーからタッチ・イベントが互いに分離される元のレイヤーに表示される。
上記実施例をもとにして、前記操作装置は、前記ファイル展示ウィンドウにおけるスクリーンショット操作が検出された場合、前記ファイル展示ウィンドウの表示コンテンツをスクリーンショットして、スクリーンショット・バッファ領域に保存し、前記スクリーンショット・バッファ領域に直前付加されたスクリーンショット・データを前記元のレイヤーの所定領域に表示するスクリーンショット表示手段をさらに含む。
上記実施例をもとにして、前記ファイル・プレビュー・データが前記ファイル展示操作指令で選択されたファイル及びそのファイル・タイプに対応して生成されることは、以下のことを含む。
前記ファイル展示操作指令で選択されたファイルがドキュメント・ファイルである場合、前記ドキュメント・ファイルを読み取ってページ順にスクリーンショットを撮って少なくとも1枚の画像データが得られ、前記画像データをスクリーンショットの順に整理してファイル・プレビュー・データを得て所定の展示フォルダに保存する。
前記ファイル展示操作指令で選択されたファイルがWebページ・ファイルである場合、前記Webページ・ファイルの元のURLを読み取り、前記元のURLにアクセスして対応するWebページ画面データを取得して、ファイル・プレビュー・データを得、前記元のURLを所定の展示フォルダに保存する。
前記ファイル展示操作指令で選択されたファイルがオーディオ・ビデオ・ファイルである場合、前記オーディオ・ビデオ・ファイルをバックアップしてファイル・プレビュー・データを得て所定の展示フォルダに保存する。
上記実施例をもとにして、前記ファイル・タイプがドキュメント・ファイルである場合、対応するプレビュー制御コントロールはページめくりコントロールを含む。
操作装置は、ファイル展示ウィンドウに展示されたのがドキュメント・ファイルである場合、前記ページめくりコントロールのクリック操作を受け付け、前記ファイル展示ウィンドウにおける前記ドキュメント・ファイルの現在画像データを、スクリーンショットの順に対応して変更するページめくり表示手段をさらに含む。
上記実施例をもとにして、前記操作装置は、ホワイトボード・ファイルを保存する際にウィンドウ保存操作が検出された場合、前記展示フォルダ内のファイル・プレビュー・データを前記ホワイトボード・ファイルに保存するデータ保存手段をさらに含む。
上記実施例をもとにして、前記操作装置は、前記ホワイトボード・アプリ・インタフェースを閉じる時に、前記展示フォルダ内のファイル・プレビュー・データを削除するデータ削除手段をさらに含む。
上記実施例をもとにして、前記指令判断手段502は、前記ホワイトボード・アプリ・インタフェースのツール・バーでファイル展示コントロールをトリガーするタッチ・イベントがモニタリングされ、前記ファイル展示コントロールのトリガーに応じてポップアップされたファイル一覧インタフェースで少なくとも1つのファイルを選択するタッチ・イベントがモニタリングされた場合、タッチ操作指令がファイル展示操作指令であり、前記ファイル一覧インタフェースにおいて選択されたファイルが前記ファイル展示操作指令で選択されたファイルであると判断する第1の判断モジュールと、前記ホワイトボード・アプリ・インタフェースでタッチ・ポイントが連続して移動するタッチ・イベントがモニタリングされた場合、タッチ操作指令が書き込み操作指令であると判断する第2の判断モジュールと、を含む。
本発明の実施例に係る知能インタラクション・タブレットの操作装置は、知能インタラクション・タブレットの操作機器に含まれており、上記の実施例3に係る知能インタラクション・タブレットの操作方法を実行するためであり、対応する機能と有利な効果を有している。
なお、上記知能インタラクション・タブレットの操作装置の実施例では、含まれる各ユニットとモジュールは、機能論理によって分割されているだけであるが、対応する機能を果たすことができるものであれば、上記の分割に限定されるものではない。各機能ユニットの具体的な名称は、本発明の保護範囲を限定するものではなく、互いに区別するためのものである。
実施例6
図11は、本発明の実施例6に係る端末機器の構成の模式図である。該端末機器は、ここまで記載された知能インタラクション・タブレットの操作機器のハードウェア提示方式である。図11に示すように、該端末機器は、プロセッサ610と、メモリ620と、入力装置630と、出力装置640と、通信装置650とを含み、端末機器のプロセッサ610の数が1つ又は複数であってもよい。図11で、1つのプロセッサ610を例にして、端末機器のプロセッサ610、メモリ620、入力装置630、出力装置640及び通信装置650は、バス又は他の方式で接続され、図11においてバスで接続されることを挙げる。
メモリ620は、コンピュータ読み取り可能な記憶媒体として、ソフトウェアプログラム、コンピュータにより実行可能なプログラム、及び本発明の実施例の知能インタラクション・タブレットの操作方法に対応するプログラム指令/モジュール(例えば、知能インタラクション・タブレットの操作装置のタッチモニタリング手段501、指令判断手段502、ウィンドウ表示手段503及び軌跡表示手段504)のようなモジュールを記憶するものである。プロセッサ610は、メモリ620に記憶されたソフトウェアプログラム、コマンド及びモジュールを実行することで、端末機器の各機能応用及びデータ処理を実行して、上記の知能インタラクション・タブレットの操作方法を実現することができる。
メモリ620は、操作システム、少なくとも1つの機能に必要なアプリを記憶できるプログラム記憶領域と、端末機器の使用によって作成されたデータなどを記憶できるデータ記憶領域とを主に含んでもよい。なお、メモリ620は、高速RAMを含んでも良いし、例えば少なくとも1つの磁気ディスクメモリ、フラッシュメモリ、又は他の不揮発性ソリッドステートストレージデバイスなどの不揮発性メモリを含んでも良い。一部の実施例において、メモリ620は、プロセッサ610に対して遠隔的に設けられるメモリを含んでも良い。これら遠隔メモリは、ネットワークを介して端末機器に接続されてもよい。上記ネットワークの例として、インターネット、企業構内ネットワーク、ローカルエリアネットワーク、移動体通信ネットワーク及びその組み合わせを含んでもよい。
入力装置630は、入力される数字又は文字情報を受信し、端末機器のユーザーの設定及び機能制御に関するキー信号の入力を発生することに用いられる。出力装置640は、表示スクリーンなどの表示機器を含んでも良い。
上記端末機器は、知能インタラクション・タブレットの操作装置を含み、任意の知能インタラクション・タブレットの操作方法を実行でき、対応する機能と有利な効果を有している。
実施例7
本発明の実施例は、コンピュータにより実行可能なコマンドを記憶する記憶媒体を提供し、前記コンピュータにより実行可能なコマンドは、コンピュータプロセッサにより実行されると、本願のいずれかの実施例に係る知能インタラクション・タブレットの操作方法の関連操作を実行し、対応する機能と有利な効果を有している。
当業者であれば、本願の実施例を方法、システム、またはコンピュータプログラム製品として提供することができる。
そこで、本願は、ハードウェアのみによる実施例、ソフトウェアのみによる実施例、またはソフトウェアとハードウェアの組み合わせによる実施例の形式を採用することができる。そして、本願は、コンピュータで使用可能なプログラムコードを含む1つまたは複数のコンピュータで使用可能な記憶媒体(磁気ディスクメモリ、CD-ROM、光学的メモリなどを含んで良い)で実施されるコンピュータプログラム製品の形式を採用することができる。本願は、本願の実施例による方法、機器(システム)、及びコンピュータプログラム製品のフローチャート及び/又はブロック図を参照して説明される。コンピュータプログラムコマンドによって、フローチャート及び/又はブロック図の各フロー及び/又はブロック、及びフローチャート及び/又はブロック図のフロー及び/又はブロックの組み合わせを実現することができると理解すべきである。これらコンピュータプログラムコマンドは、汎用コンピュータ、専用コンピュータ、埋め込み型プロセッサまたは他のプログラマブルなデータ処理機器のプロセッサに提供されて1つの機器を作り出すことで、コンピュータまたは他のプログラマブルなデータ処理機器のプロセッサにより実行されるコマンドによって、フローチャートの1つまたは複数のフロー、及び/又はブロック図の1つまたは複数のブロックで指定される機能を実現するための装置を作り出すようにすることができる。これらコンピュータプログラムコマンドは、コンピュータまたは他のプログラマブルなデータ処理機器に特定の方式で動作するように指示することができるコンピュータ読み取り可能なメモリに保存することで、コンピュータ読み取り可能なメモリに記憶されたコマンドは、フローチャートの1つまたは複数のフロー、及び/又はブロック図の1つまたは複数のブロックで指定される機能を実現するためのコマンド装置を含む製造品を作り出すようにすることもできる。これらのコンピュータプログラムコマンドは、コンピュータまたは他のプログラマブルなデータ処理機器にロードされ、コンピュータやその他のプログラマブルな機器で一連の操作ステップを実行してコンピュータによる処理を生成するようにすることで、コンピュータまたは他のプログラマブルなデータ処理機器で実行されるコマンドは、フローチャートの1つまたは複数のフロー、及び/又はブロック図の1つまたは複数のブロックで指定される機能を実現するためのステップを提供することもできる。
一般的な構成では、コンピューティングデバイスは、1つまたは複数のプロセッサ(CPU)、入力/出力インタフェース、ネットワークインタフェース、及びメモリを含む。メモリは、コンピュータ読み取り可能な媒体のうち、非永久的なメモリ、ランダムアクセスメモリ(RAM)、及び/又はリードオンリーメモリ(RAM)やフラッシュメモリ(flash RAM)などの不揮発性メモリなどの形式を含む場合がある。メモリは、コンピュータ読み取り可能な媒体の例である。
コンピュータ読み取り可能な媒体は、永久性と非永久性、リムーバブルと非リムーバブルな媒体を含み、任意の方法または技術によって情報記憶を行うことができる。情報は、コンピュータ読み取り可能なコマンド、データ構成、プログラムのモジュールまたは他のデータであってもよい。コンピュータの記憶媒体の例としては、PRAM(Phase Change Memory)、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、その他のRAM(Random Access Memory)、ROM(Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、フラッシュメモリや他のメモリ技術、CD-ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)や他の光学記憶装置、磁気カートリッジテープ、磁気テープディスク記憶装置や他の磁気記憶装置、または他の任意の非輸送媒体を含み、コンピュータでアクセス可能な情報を記憶するために使用できる。本明細書における規定に従って、コンピュータ読み取り可能な媒体は、変調されたデータ信号やキャリアなどの一時的なコンピュータ読み取り可能な媒体を含なまい。
なお、「含む」、「構成する」やその任意の他の変形という用語は、非排他的な包含をカバーすることが意図され、一連の要素からなるプロセス、方法、商品や機器は、それらの要素だけでなく、明示的に記載されていない他の要素、またはそのようなプロセス、方法、商品や機器に固有の要素を含むようにする。さらなる限定がされるものではない場合、「1つの・・・を含む」という記述で修飾された要素は、その要素が含まれるプロセス、方法、商品や機器において他の同一の要素も存在することを排除するものではない。

Claims (20)

  1. ホワイトボード・アプリ・インタフェースで発生した、少なくとも1つのファイルを選択して且つ選択されたファイルをホワイトボード・アプリ・インタフェースに開くためのファイル展示操作を受け付けることと、
    前記ホワイトボード・アプリ・インタフェースの前に配置される1つの表示領域であって、かつ面積が前記ホワイトボード・アプリ・インタフェースより小さいファイル展示ウィンドウを開き、前記ファイル展示操作に応じて選択されたファイルを前記ファイル展示ウィンドウに表示することと、
    前記ホワイトボード・アプリ・インタフェースに発生した書き込み操作を受け付けることと、
    前記書き込み操作に応じて、前記ホワイトボード・アプリ・インタフェースに書き込み軌跡を生成することと、を含み、
    前記ファイル展示ウィンドウは、前記ホワイトボード・アプリの表示要素により手前に最前面表示されるコントロールであり、前記ファイル展示ウィンドウに表示されるコンテンツは、前記ファイル展示操作に応じて選択されたファイル及びそのファイル・タイプに対応して生成されるファイル・プレビュー・データと、前記ファイル展示操作で選択されたファイルのファイル・タイプに対応するプレビュー制御コントロールとを含むことを特徴とする知能インタラクション・タブレットの操作方法。
  2. 前記ファイル・タイプがドキュメント・ファイルである場合、前記プレビュー制御コントロールは、ページめくりコントロールを含み、
    前記ファイル展示ウィンドウに展示されたものがドキュメント・ファイルである場合、前記操作方法は、
    前記ページめくりコントロールに対するクリック操作を受け付け、前記ファイル展示ウィンドウにおける前記ドキュメント・ファイルの現在の表示ページを変更するステップをさらに含む
    ことを特徴とする請求項1に記載の操作方法。
  3. 前記プレビュー制御コントロールは、スクリーンショット・コントロールを含み、
    前記操作方法は、
    前記スクリーンショット・コントロールに対するクリック操作を受け付け、前記ファイル展示ウィンドウに現在表示されている画面スクリーンショットを前記ホワイトボード・アプリ・インタフェースに表示することをさらに含む
    ことを特徴とする請求項1に記載の操作方法。
  4. 前記ファイル展示操作で選択されたファイルがドキュメント・ファイルである場合、前記ファイル・プレビュー・データは、前記ドキュメント・ファイルからページ順にスクリーンショットを撮って生成された画像データであり、
    前記ファイル展示操作で選択されたファイルがWebページ・ファイルである場合、前記ファイル・プレビュー・データは、前記Webページ・ファイルの元のWebページにアクセスして得られたWebページ画面である
    ことを特徴とする請求項1に記載の操作方法。
  5. 前記ホワイトボード・アプリ・インタフェースの前に配置されるファイル展示ウィンドウを開き、前記ファイル展示操作に応じて選択されたファイルを前記ファイル展示ウィンドウに表示した後、
    前記ホワイトボード・アプリ・インタフェースで発生した表示調整操作を受け付け、前記ホワイトボード・アプリ・インタフェースにおける表示階層が前記ファイル展示ウィンドウより低い表示要素の表示位置を変更し、前記ファイル展示ウィンドウの表示位置を保持することをさらに含む
    ことを特徴とする請求項1に記載の操作方法。
  6. 前記ホワイトボード・アプリ・インタフェースで発生した表示調整操作を受け付け、前記ホワイトボード・アプリ・インタフェースにおける表示階層が前記ファイル展示ウィンドウより低い表示要素の表示位置を変更し、前記ファイル展示ウィンドウの表示位置を保持することは、具体的に、
    前記ホワイトボード・アプリ・インタフェースで発生した筆跡の移動操作を受け付け、知能インタラクション・タブレットの表示領域外に筆跡の一部または全部を移動して、ユーザーによる書き込みのためのより多くの空白領域を確保し、前記ファイル展示ウィンドウの表示位置を保持する
    ことを特徴とする請求項5に記載の操作方法。
  7. 前記ホワイトボード・アプリ・インタフェースの前に配置されるファイル展示ウィンドウを開き、前記ファイル展示操作に応じて選択されたファイルを前記ファイル展示ウィンドウに表示した後、
    前記ホワイトボード・アプリ・インタフェースで発生したページ追加操作を受け付け、前記ホワイトボード・アプリ・インタフェースにおいて、既存のページの前に表示する空白ページを新たに追加し、前記ファイル展示ウィンドウを空白ページの前に保持することをさらに含む
    ことを特徴とする請求項1に記載の操作方法。
  8. 前記ホワイトボード・アプリ・インタフェースの前に配置されるファイル展示ウィンドウを開き、前記ファイル展示操作に応じて選択されたファイルを前記ファイル展示ウィンドウに表示した後、
    前記ファイル展示ウィンドウで発生した移動操作を受け付け、それに従って前記ファイル展示ウィンドウの表示位置を移動することと、
    前記ファイル展示ウィンドウの境界がホワイトボード・アプリ・インタフェースの設定境界外に移動した場合、前記移動操作が終了した後、前記ファイル展示ウィンドウが前記ホワイトボード・アプリ・インタフェース内に表示されるように戻されることと、をさらに含む
    ことを特徴とする請求項1に記載の操作方法。
  9. 前記ホワイトボード・アプリ・インタフェースの前に配置されるファイル展示ウィンドウを開き、前記ファイル展示操作に応じて選択されたファイルを前記ファイル展示ウィンドウに表示した後、
    前記ファイル展示ウィンドウで発生したズーム操作を受け付け、前記ズーム操作に従って前記ファイル展示ウィンドウの表示サイズを変更することをさらに含む
    ことを特徴とする請求項1に記載の操作方法。
  10. 前記ホワイトボード・アプリ・インタフェースの前に配置されるファイル展示ウィンドウを開き、前記ファイル展示操作に応じて選択されたファイルを前記ファイル展示ウィンドウに表示した後、
    前記ファイル展示ウィンドウで発生したウィンドウ活性化操作に応じて、前記ファイル展示ウィンドウが選択状態になり、前記ファイル展示ウィンドウが選択状態でマスク層により覆われ、全てのプレビュー制御コントロールが無効状態になり、前記ファイル展示ウィンドウが選択状態になった後、前記ファイル展示ウィンドウのズーム、移動または削除のような操作のみが可能となることをさらに含む
    ことを特徴とする請求項1に記載の操作方法。
  11. 前記ホワイトボード・アプリ・インタフェースの前に配置されるファイル展示ウィンドウを開き、前記ファイル展示操作に応じて選択されたファイルを前記ファイル展示ウィンドウに表示した後、
    ホワイトボード・ファイル保存時のウィンドウ保存操作を受け付け、前記ファイル・プレビュー・データを前記ホワイトボード・ファイルに保存することをさらに含む
    ことを特徴とする請求項1に記載の操作方法。
  12. 前記ファイル展示ウィンドウの最大化操作を受け付け、前記ファイル展示ウィンドウに展示されたファイルに対して最大化表示を行うことと、
    前記最大化表示が行われたファイル上にコメント操作を実行することと、をさらに含み、
    前記最大化表示が行われたファイルが前記ホワイトボード・アプリ・インタフェースを覆う
    ことを特徴とする請求項1に記載の操作方法。
  13. ホワイトボード・アプリ・インタフェースのタッチ操作指令をモニタリングすることと、
    前記タッチ操作指令の種類を判断することと、
    前記タッチ操作指令が、少なくとも1つのファイルを選択してホワイトボード・アプリ・インタフェースに選択されたファイルを開くためのファイル展示操作指令であると判断された場合、前記ホワイトボード・アプリ・インタフェースの前に、前記ホワイトボード・アプリ・インタフェースの1つの表示領域であって、かつ面積が前記ホワイトボード・アプリ・インタフェースより小さいファイル展示ウィンドウを付加し、前記ファイル展示ウィンドウに前記ファイル展示操作指令で選択されたファイルを表示することと、
    前記タッチ操作指令が書き込み操作指令であると判断された場合、前記ホワイトボード・アプリ・インタフェースに前記書き込み操作指令に対応して生成された書き込み軌跡を生成することと、を含み、
    前記ファイル展示ウィンドウは、前記ホワイトボード・アプリの表示要素により手前に最前面表示されるコントロールであり、前記ファイル展示ウィンドウに表示されるコンテンツは、前記ファイル展示操作指令に応じて選択されたファイル及びそのファイル・タイプに対応して生成されるファイル・プレビュー・データと、前記ファイル展示操作指令で選択されたファイルのファイル・タイプに対応するプレビュー制御コントロールとを含むことを特徴とする知能インタラクション・タブレットの操作方法。
  14. 前記ホワイトボード・アプリ・インタフェースの前にファイル展示ウィンドウを付加することは、
    前記ホワイトボード・アプリ・インタフェースにファイル展示ウィンドウが現在存在しない場合、前記ホワイトボード・アプリ・インタフェースに最前面レイヤーを付加し、前記最前面レイヤーにファイル展示ウィンドウを描画することと、
    前記ホワイトボード・アプリ・インタフェースにファイル展示ウィンドウが現在存在する場合、前記最前面レイヤーに新たなファイル展示ウィンドウを描画することと、を含む
    ことを特徴とする請求項13に記載の操作方法。
  15. 前記書き込み軌跡は、前記最前面レイヤーからタッチ・イベントが互いに分離される元のレイヤーに表示される
    ことを特徴とする請求項14に記載の操作方法。
  16. 前記ファイル展示ウィンドウにおけるスクリーンショット操作が検出された場合、前記ファイル展示ウィンドウの表示コンテンツをスクリーンショットして、スクリーンショット・バッファ領域に保存し、前記スクリーンショット・バッファ領域に直前付加されたスクリーンショット・データを前記元のレイヤーの所定領域に表示することをさらに含む
    ことを特徴とする請求項15に記載の操作方法。
  17. 前記ファイル・プレビュー・データが前記ファイル展示操作指令で選択されたファイル及びそのファイル・タイプに対応して生成されることは、
    前記ファイル展示操作指令で選択されたファイルがドキュメント・ファイルである場合、前記ドキュメント・ファイルを読み取ってページ順にスクリーンショットを撮って少なくとも1枚の画像データが得られ、前記画像データをスクリーンショットの順に整理してファイル・プレビュー・データを得て所定の展示フォルダに保存することと、
    前記ファイル展示操作指令で選択されたファイルがWebページ・ファイルである場合、前記Webページ・ファイルの元のURLを読み取り、前記元のURLにアクセスして対応するWebページ画面データを取得して、ファイル・プレビュー・データを得、前記元のURLを所定の展示フォルダに保存することと、
    前記ファイル展示操作指令で選択されたファイルがオーディオ・ビデオ・ファイルである場合、前記オーディオ・ビデオ・ファイルをバックアップしてファイル・プレビュー・データを得て所定の展示フォルダに保存することと、を含む
    ことを特徴とする請求項13に記載の操作方法。
  18. 前記ファイル・タイプがドキュメント・ファイルである場合、対応するプレビュー制御コントロールはページめくりコントロールを含み、
    前記タッチ操作指令がファイル展示操作指令である場合、前記ホワイトボード・アプリ・インタフェースの前にファイル展示ウィンドウを付加し、前記ファイル展示ウィンドウに前記ファイル展示操作指令で選択されたファイルを表示した後、
    前記ファイル展示ウィンドウに展示されたのがドキュメント・ファイルである場合、前記ページめくりコントロールのクリック操作を受け付け、前記ファイル展示ウィンドウにおける前記ドキュメント・ファイルの現在画像データを、スクリーンショットの順に対応して変更することをさらに含む
    ことを特徴とする請求項17に記載の操作方法。
  19. 前記タッチ操作指令の種類を判断することは、
    前記ホワイトボード・アプリ・インタフェースのツール・バーでファイル展示コントロールをトリガーするタッチ・イベントがモニタリングされ、前記ファイル展示コントロールのトリガーに応じてポップアップされたファイル一覧インタフェースで少なくとも1つのファイルを選択するタッチ・イベントがモニタリングされた場合、タッチ操作指令がファイル展示操作指令であり、前記ファイル一覧インタフェースにおいて選択されたファイルが前記ファイル展示操作指令で選択されたファイルであると判断されることと、
    前記ホワイトボード・アプリ・インタフェースでタッチ・ポイントが連続して移動するタッチ・イベントがモニタリングされた場合、タッチ操作指令が書き込み操作指令であると判断されることと、を含む、
    ことを特徴とする請求項13に記載の操作方法。
  20. 1つ又は複数のプロセッサと、
    1つ又は複数のプログラムを記憶するためのメモリと、を含み、
    前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサにより実行されると、前記1つ又は複数のプロセッサに請求項1~19のいずれか1項に記載の知能インタラクション・タブレットの操作方法を実現させる
    ことを特徴とする端末機器。
JP2021576584A 2019-10-09 2019-11-21 知能インタラクション・タブレットの操作方法、装置、端末機器及び記憶媒体 Active JP7320634B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910953579.6A CN110928460B (zh) 2019-10-09 2019-10-09 智能交互平板的操作方法、装置、终端设备和存储介质
CN201910953579.6 2019-10-09
PCT/CN2019/119998 WO2021068368A1 (zh) 2019-10-09 2019-11-21 智能交互平板的操作方法、装置、终端设备和存储介质

Publications (2)

Publication Number Publication Date
JP2022539335A true JP2022539335A (ja) 2022-09-08
JP7320634B2 JP7320634B2 (ja) 2023-08-03

Family

ID=69849054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021576584A Active JP7320634B2 (ja) 2019-10-09 2019-11-21 知能インタラクション・タブレットの操作方法、装置、端末機器及び記憶媒体

Country Status (7)

Country Link
US (1) US11620047B2 (ja)
EP (1) EP3982237A4 (ja)
JP (1) JP7320634B2 (ja)
KR (1) KR102643017B1 (ja)
CN (2) CN110928460B (ja)
AU (1) AU2019469487B2 (ja)
WO (1) WO2021068368A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112462972A (zh) * 2020-11-25 2021-03-09 广州视源电子科技股份有限公司 白板页面新建方法、装置、交互平板和存储介质
CN113011140A (zh) * 2021-02-10 2021-06-22 北京字跳网络技术有限公司 视图展示方法、装置和电子设备
CN114997116A (zh) * 2021-03-01 2022-09-02 北京字跳网络技术有限公司 一种文档的编辑方法、装置、设备及存储介质
CN113434064B (zh) * 2021-07-01 2022-03-29 掌阅科技股份有限公司 手写阅读器笔锋切换方法、电子设备和存储介质
CN113626101B (zh) * 2021-08-04 2024-06-18 深圳市闪联信息技术有限公司 一种无痕退出的电子白板***及其无痕退出方法
CN116601597A (zh) * 2021-12-02 2023-08-15 广州视臻信息科技有限公司 交互实现方法、装置、交互平板及存储介质
CN114610188B (zh) * 2022-02-09 2024-02-13 广东能龙教育股份有限公司 一种界面笔迹书写方法及***、控制装置、存储介质
CN116755594A (zh) * 2023-08-11 2023-09-15 江苏中威科技软件***有限公司 一种基于文件底板的白板的实现装置及方法
CN117591484A (zh) * 2023-11-29 2024-02-23 广东保伦电子股份有限公司 一种白板内容数据的实时存储方法、设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11327789A (ja) * 1998-03-12 1999-11-30 Ricoh Co Ltd カラー表示装置および電子黒板システム
JP2003323387A (ja) * 2002-05-02 2003-11-14 Megafusion Corp 情報交換システムおよび情報交換プログラム
JP2008546101A (ja) * 2005-06-02 2008-12-18 ポリビジョン コーポレーション 仮想フリップチャート方法および装置
JP2014106810A (ja) * 2012-11-28 2014-06-09 Ricoh Co Ltd 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP2014522538A (ja) * 2011-06-08 2014-09-04 ヴィディオ・インコーポレーテッド 改善されたインタラクティブコンテンツをビデオ通信システムで共有するためのシステムおよび方法
JP2015099999A (ja) * 2013-11-18 2015-05-28 東京エレクトロン株式会社 情報処理装置、情報処理方法、および情報処理システム
JP2015527628A (ja) * 2012-06-10 2015-09-17 アップル インコーポレイテッド 異なる機器の間での画像及びコメントの共有
US20170031568A1 (en) * 2015-07-30 2017-02-02 Sharp Kabushiki Kaisha Information processing apparatus, information processing method and storage medium
JP2018005636A (ja) * 2016-07-04 2018-01-11 富士通株式会社 送信制御プログラム、送信制御方法および情報処理装置
JP2019117571A (ja) * 2017-12-27 2019-07-18 シャープ株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3399401A (en) * 1964-06-29 1968-08-27 Army Usa Digital computer and graphic input system
US7318015B2 (en) * 2001-06-13 2008-01-08 Verizon Business Global Llc Method, system and program product for generating scenarios utilizing graphical objects representing hierarchically arranged elements of a modeled environment
US8032482B2 (en) * 2004-09-30 2011-10-04 Microsoft Corporation Method, system, and apparatus for providing a document preview
US20060154227A1 (en) * 2005-01-07 2006-07-13 Rossi Deborah W Electronic classroom
TWI340342B (en) * 2005-05-04 2011-04-11 Era Digital Media Co Interactive multimedia system
US20080184115A1 (en) * 2007-01-29 2008-07-31 Fuji Xerox Co., Ltd. Design and design methodology for creating an easy-to-use conference room system controller
US9953392B2 (en) * 2007-09-19 2018-04-24 T1V, Inc. Multimedia system and associated methods
US8874657B2 (en) 2012-04-27 2014-10-28 Seiko Epson Corporation Method for securely distributing meeting data from interactive whiteboard projector
JP6323986B2 (ja) * 2012-06-26 2018-05-16 シャープ株式会社 画像表示装置、それを含む画像表示システム、及びその制御方法
CN102830966B (zh) * 2012-07-31 2016-05-18 北京奇虎科技有限公司 一种信息展示***及方法
CN103077026A (zh) * 2012-12-28 2013-05-01 锐达互动科技股份有限公司 一种在操作***的桌面环境下进行书写的方法
CN103176741A (zh) * 2013-03-20 2013-06-26 广东国笔科技股份有限公司 人机交互的方法、终端和***
CN103309971A (zh) * 2013-06-08 2013-09-18 福州新锐同创电子科技有限公司 一种不同类型文件同屏预览的实现方法
CN104424237A (zh) * 2013-08-27 2015-03-18 鸿合科技有限公司 白板教学***附件预览方法及其白板教学***
US20150100552A1 (en) * 2013-10-07 2015-04-09 QQ Solutions Inc. Managing non-committed computerized workflows
KR20150126494A (ko) * 2014-05-02 2015-11-12 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US20150331604A1 (en) * 2014-05-14 2015-11-19 Microsoft Corporation Presenting stored files in whiteboard application
US9552473B2 (en) 2014-05-14 2017-01-24 Microsoft Technology Licensing, Llc Claiming data from a virtual whiteboard
KR102298972B1 (ko) * 2014-10-21 2021-09-07 삼성전자 주식회사 전자 장치의 엣지에서 수행되는 제스처를 기반으로 하는 동작 수행
CN105808036A (zh) 2014-12-29 2016-07-27 鸿合科技有限公司 一种电子白板软件的资源快速交互方法和装置
GB2536275A (en) * 2015-03-12 2016-09-14 Kurt Isserstedt Robert Label apparatus
CN105955802B (zh) * 2016-04-21 2020-06-12 青岛海信移动通信技术股份有限公司 一种移动终端的应用运行方法及移动终端
CN106126236B (zh) * 2016-06-24 2019-08-20 北京奇虎科技有限公司 终端屏幕的分屏显示方法、装置及终端
CN105933779A (zh) * 2016-06-27 2016-09-07 北京奇虎科技有限公司 利用寄生工具包实现的视频播放方法及装置
US10848483B2 (en) * 2016-12-08 2020-11-24 Ricoh Company, Ltd. Shared terminal, communication system, and display control method, and recording medium
CN106980441A (zh) * 2017-03-29 2017-07-25 杭州弗凡科技有限公司 车载导航终端的悬浮窗***互方法及车载导航终端
CN107315828A (zh) * 2017-07-05 2017-11-03 广州阿里巴巴文学信息技术有限公司 数据处理方法、装置和终端设备
CN110058755A (zh) * 2019-04-15 2019-07-26 广州视源电子科技股份有限公司 一种演示文稿交互的方法、装置、终端设备和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11327789A (ja) * 1998-03-12 1999-11-30 Ricoh Co Ltd カラー表示装置および電子黒板システム
JP2003323387A (ja) * 2002-05-02 2003-11-14 Megafusion Corp 情報交換システムおよび情報交換プログラム
JP2008546101A (ja) * 2005-06-02 2008-12-18 ポリビジョン コーポレーション 仮想フリップチャート方法および装置
JP2014522538A (ja) * 2011-06-08 2014-09-04 ヴィディオ・インコーポレーテッド 改善されたインタラクティブコンテンツをビデオ通信システムで共有するためのシステムおよび方法
JP2015527628A (ja) * 2012-06-10 2015-09-17 アップル インコーポレイテッド 異なる機器の間での画像及びコメントの共有
JP2014106810A (ja) * 2012-11-28 2014-06-09 Ricoh Co Ltd 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP2015099999A (ja) * 2013-11-18 2015-05-28 東京エレクトロン株式会社 情報処理装置、情報処理方法、および情報処理システム
US20170031568A1 (en) * 2015-07-30 2017-02-02 Sharp Kabushiki Kaisha Information processing apparatus, information processing method and storage medium
JP2017033153A (ja) * 2015-07-30 2017-02-09 シャープ株式会社 情報処理装置、情報処理プログラムおよび情報処理方法
JP2018005636A (ja) * 2016-07-04 2018-01-11 富士通株式会社 送信制御プログラム、送信制御方法および情報処理装置
JP2019117571A (ja) * 2017-12-27 2019-07-18 シャープ株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
AU2019469487B2 (en) 2023-08-10
KR20220002584A (ko) 2022-01-06
AU2019469487A1 (en) 2022-02-10
EP3982237A1 (en) 2022-04-13
EP3982237A4 (en) 2022-11-09
CN114217726A (zh) 2022-03-22
CN110928460A (zh) 2020-03-27
CN110928460B (zh) 2021-12-03
KR102643017B1 (ko) 2024-02-29
JP7320634B2 (ja) 2023-08-03
CN114217726B (zh) 2024-06-18
WO2021068368A1 (zh) 2021-04-15
US20220083215A1 (en) 2022-03-17
US11620047B2 (en) 2023-04-04

Similar Documents

Publication Publication Date Title
JP7320634B2 (ja) 知能インタラクション・タブレットの操作方法、装置、端末機器及び記憶媒体
CN110928468B (zh) 智能交互平板的页面显示方法、装置、设备和存储介质
JP7345052B2 (ja) 知能インタラクティブパネルの制御方法及びその装置
JP5009371B2 (ja) 映像データ編集のためのインターフェースシステム
CN110928459B (zh) 智能交互平板的书写操作方法、装置、设备和存储介质
US20150046853A1 (en) Computing Device For Collaborative Project Management
US20090295826A1 (en) System and method for interaction of graphical objects on a computer controlled system
CN110928475B (zh) 智能交互平板的页面交互方法、装置、设备和存储介质
US20080288894A1 (en) User interface for documents table of contents
CN111813302B (zh) 投屏显示方法、装置、终端设备和存储介质
JP2001209470A (ja) 表示インターフェイス方法及び装置並びにプログラム記憶媒体
CN113934356B (zh) 智能交互平板的显示操作方法、装置、设备和存储介质
CN102622223A (zh) 直接分配桌面背景
CN110941373B (zh) 智能交互平板的交互方法、装置、终端设备和存储介质
CN111338538A (zh) 智能交互平板的页面操作方法、装置、设备和存储介质
US20130127826A1 (en) Parallax image authoring and viewing in digital media
CN109074209B (zh) 用户界面的细节窗格
JP6209868B2 (ja) 情報端末、情報処理プログラム、情報処理システム、及び情報処理方法
TW201319912A (zh) 觸控簡報系統及其執行方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230724

R150 Certificate of patent or registration of utility model

Ref document number: 7320634

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150