JP6785524B2 - Display device, display method and display program - Google Patents
Display device, display method and display program Download PDFInfo
- Publication number
- JP6785524B2 JP6785524B2 JP2016174363A JP2016174363A JP6785524B2 JP 6785524 B2 JP6785524 B2 JP 6785524B2 JP 2016174363 A JP2016174363 A JP 2016174363A JP 2016174363 A JP2016174363 A JP 2016174363A JP 6785524 B2 JP6785524 B2 JP 6785524B2
- Authority
- JP
- Japan
- Prior art keywords
- application
- native application
- web
- display
- web browser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
本開示は、ネイティブアプリケーションをウェブアプリケーションに連携させるための表示装置、表示方法及び表示プログラムに関する。 The present disclosure relates to display devices, display methods and display programs for linking native applications with web applications.
アプリケーションをウェブブラウザ上で実行可能なウェブアプリケーションとして実装することで、専用ソフトウェアをインストールする必要がなくなり、利便性が向上する。非特許文献1には、遠隔協調作業システムをウェブアプリケーションとして実装する方法が記載されている。ユーザの端末から所定のURLにウェブブラウザでアクセスすることによって、ドキュメント・画像・映像等を閲覧・編集するための機能を配置する共有作業スペースをウェブブラウザ上に表示することができる。ドキュメント等の配置や内容の変更は、協調作業に参加する全ユーザの端末にリアルタイムに反映される。
By implementing the application as a web application that can be executed on a web browser, it is not necessary to install dedicated software, and convenience is improved. Non-Patent
ウェブアプリケーションは、専用ソフトウェアのインストールが不要であるという利点があるが、ウェブアプリケーションで実現可能な機能は限定的である。例えば、現在ポストスクリプト形式のファイルの内容をウェブブラウザ上で表示することはできない。ウェブブラウザでサポートされていないファイルをウェブアプリケーション上で扱うためには、そのような機能をウェブアプリケーションとして開発する必要があるが、これには多大な労力を要する。一方で、C++等で実装されたネイティブアプリケーションには、ポストスクリプト形式のファイルの内容を表示できるものが存在する。 Web applications have the advantage that they do not require the installation of dedicated software, but the functions that can be realized by web applications are limited. For example, it is currently not possible to view the contents of a PostScript file on a web browser. In order to handle files that are not supported by a web browser on a web application, it is necessary to develop such a function as a web application, which requires a great deal of effort. On the other hand, some native applications implemented in C ++ or the like can display the contents of a PostScript format file.
前記課題を解決するために、本開示は、ウェブアプリケーションでは実現できない機能を持つネイティブアプリケーションを、ウェブアプリケーションに連携させることを目的とする。 In order to solve the above problems, the present disclosure aims to link a native application having a function that cannot be realized by a web application with the web application.
本開示は、ウェブブラウザ上で実行されるウェブアプリケーションと、ネイティブアプリケーションを連携させることによって、ウェブアプリケーションの機能拡張を可能にするものである。具体的には、ウェブアプリケーションでは実現できない機能を持つネイティブアプリケーションを、ウェブアプリケーションと位置・サイズを合わせて表示し、ユーザからの操作を伝える。 The present disclosure enables the function extension of a web application by linking the web application executed on the web browser with the native application. Specifically, a native application with functions that cannot be realized by a web application is displayed in the same position and size as the web application, and the operation from the user is transmitted.
具体的には、本開示に係る表示装置は、
ウェブアプリケーションでは実行できないネイティブアプリケーションを実行するネイティブアプリケーション部と、
ネイティブアプリケーションを表示するための領域がウェブアプリケーションの表示領域において透明になるように、ウェブアプリケーションを表示するウェブブラウザ部と、
前記ウェブブラウザ部からの要求に従ってネイティブアプリケーション部を起動させ、ネイティブアプリケーションの表示を前記ウェブブラウザ部が透明にした領域に重ねる端末制御部と、
を備え、
前記ウェブブラウザ部は、前記ネイティブアプリケーションの表示領域内においてユーザ入力を受けると、ユーザ入力を受けた位置及び操作内容を検出し、
前記端末制御部は、前記ネイティブアプリケーションにおけるユーザ入力を受けた位置及び操作内容を、自装置のOSのAPIを用いて前記ネイティブアプリケーション部に発生させる。
Specifically, the display device according to the present disclosure is
The native application part that executes native applications that cannot be executed by web applications,
The web browser section that displays the web application and the web browser section that displays the web application so that the area for displaying the native application is transparent in the display area of the web application.
A terminal control unit that starts the native application unit in response to a request from the web browser unit and superimposes the display of the native application on the area made transparent by the web browser unit.
With
When the web browser unit receives the user input in the display area of the native application, the web browser unit detects the position where the user input is received and the operation content, and detects the position and the operation content.
The terminal control unit generates the position and operation content received by the user in the native application in the native application unit using the API of the OS of the own device .
前記ウェブブラウザ部は、ウェブアプリケーションの表示領域においてネイティブアプリケーションの使用の要求を取得すると、使用の要求のあったネイティブアプリケーション及び表示領域を含む情報をサーバ装置に送信し、前記情報を前記サーバ装置から受信すると、当該表示領域を透明にする。 When the web browser unit acquires a request for using a native application in the display area of the web application, the web browser unit transmits information including the native application and the display area requested to be used to the server device, and the information is transmitted from the server device. Upon receipt, the display area is made transparent.
具体的には、本開示に係る表示方法は、表示装置が実行する表示方法であって、
ウェブブラウザ部がウェブアプリケーションを表示するステップと、
ウェブブラウザ部がネイティブアプリケーションを表示するための領域をウェブアプリケーションの表示領域において透明にし、端末制御部がネイティブアプリケーションを実行するネイティブアプリケーション部を起動させ、ネイティブアプリケーションの表示を前記ウェブブラウザ部が透明にした領域に重ねるステップと、
を有し、
前記ウェブブラウザ部は、前記ネイティブアプリケーションの表示領域内においてユーザ入力を受けると、ユーザ入力を受けた位置及び操作内容を検出し、
前記端末制御部は、前記ネイティブアプリケーションにおけるユーザ入力を受けた位置及び操作内容を、自装置のOSのAPIを用いて前記ネイティブアプリケーション部に発生させる。
Specifically, the display method according to the present disclosure is a display method executed by a display device.
The steps that the web browser section displays the web application,
The area for the web browser section to display the native application is made transparent in the display area of the web application, the terminal control section starts the native application section that executes the native application, and the web browser section makes the display of the native application transparent. Steps to overlap with the area
Have a,
When the web browser unit receives the user input in the display area of the native application, the web browser unit detects the position where the user input is received and the operation content, and detects the position and the operation content.
The terminal control unit generates the position and operation content received by the user in the native application in the native application unit using the API of the OS of the own device .
本開示に係る表示プログラムは、本開示に係る表示装置に備わる各機能部としてコンピュータを機能させ、本開示に係る表示方法に備わる各ステップをコンピュータに実行させる。本開示に係る表示プログラムは、記録媒体に記録することも、ネットワークを通して提供することも可能である。 The display program according to the present disclosure causes the computer to function as each functional unit provided in the display device according to the present disclosure, and causes the computer to execute each step provided in the display method according to the present disclosure. The display program according to the present disclosure can be recorded on a recording medium or provided through a network.
本開示によれば、ウェブアプリケーションでは実現できない機能を持つネイティブアプリケーションを、ウェブアプリケーションと連携させることができる。 According to the present disclosure, a native application having functions that cannot be realized by a web application can be linked with the web application.
以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。 Hereinafter, embodiments of the present disclosure will be described in detail with reference to the drawings. The present disclosure is not limited to the embodiments shown below. Examples of these implementations are merely examples, and the present disclosure can be implemented in various modifications and improvements based on the knowledge of those skilled in the art. In this specification and drawings, the components having the same reference numerals shall indicate the same components.
本開示の基本的な構成例を図1に示す。本開示に係るシステムは、サーバ装置91と表示装置92を備える。サーバ装置91はウェブサーバとして機能する。表示装置92は、ウェブブラウザ部21、ネイティブアプリケーション部23、端末制御部22を備える。サーバ装置91と表示装置92のウェブブラウザ部21は、ネットワークを介して通信が可能である。本開示の装置は、コンピュータを各機能部として機能させることで実現してもよい。
A basic configuration example of the present disclosure is shown in FIG. The system according to the present disclosure includes a
ウェブブラウザ部21は、サーバ装置91からウェブアプリケーションをダウンロードして実行する。これにより、ウェブブラウザ部21は、ウェブページを表示装置92上に表示することができる。ここでの通信には、HTTP(Hypertext Transfer Protocol)を用いてもよい。さらに、通信のリアルタイム性を高めるためにWebSocketを用いてもよい。ウェブアプリケーションは、HTML、CSS、JavaScript(登録商標)等のスクリプトに挙動を記述されたアプリケーションであることが一般的であるが、ウェブブラウザ部21上で実行可能であれば他の形式で挙動を記述してもよい。
The
ネイティブアプリケーション部23は、ウェブアプリケーションでは実現できない機能を持つアプリケーションを実行する。既存のネイティブアプリケーションをそのまま使用してもよい。ネイティブアプリケーション部23を使用せず、ウェブブラウザ部21だけを使用する表示装置92があってもよい。また、ネイティブアプリケーション部23の使用するネイティブアプリケーションは複数であってもよい。
The
ウェブブラウザ部21と端末制御部22の間の通信は、図1のようにサーバ装置91を経由してもよい。あるいは、図2及び図4のように、端末制御部22がHTTPやWebSocketに対応したサーバ機能を備え、ウェブブラウザ部21と直接通信してもよい。
Communication between the
また、表示装置92が複数あってもよい。その場合には、全ての表示装置92で同じ画面表示を行う。図1の構成で表示装置92が複数ある場合には、図3のように各表示装置92のウェブブラウザ部21と端末制御部22がサーバ装置91とネットワークを介して通信する。図2の構成で表示装置92が複数ある場合には、図4のように、ひとつのウェブブラウザ部21が全ての表示装置92に備わる端末制御部22と直接通信する。以降では、ウェブブラウザ部21と端末制御部22の間の通信は、両方の場合を含むものとする。また、ウェブブラウザ部21同士の通信は、サーバ装置91を経由するものとする。
Further, there may be a plurality of
図5に、表示装置92における本開示の代表的な画面構成を示す。例えばWindows(登録商標) OSを搭載したコンピュータを表示装置として用いて、デスクトップ上でウェブアプリケーションAWの下に位置を合わせてネイティブアプリケーションANを表示することで、統合されたアプリケーションのように表示する。ネイティブアプリケーションANの表示領域と重なるウェブアプリケーションAW上の領域では、バックグラウンドを透明化する。ウェブアプリケーションAW上の透明領域と、ネイティブアプリケーションANの位置及びサイズの整合は端末制御部22が管理する。
FIG. 5 shows a typical screen configuration of the present disclosure in the
ネイティブアプリケーションANを表示するまでの手順は以下の通りである。ウェブアプリケーションは、これに対応した振る舞いをするように作成する必要がある。
まず、ウェブブラウザ部21が所定のURLにアクセスしウェブアプリケーションをダウンロードする。ウェブアプリケーション上でユーザがネイティブアプリケーションANの使用を要求すると、当該ウェブブラウザ部21がOPENリクエストをサーバ装置91に送る。サーバ装置91は、受け取ったOPENリクエストを各表示装置92のウェブブラウザ部21に送信する。
Procedure before showing native application A N is as follows. Web applications need to be written to behave accordingly.
First, the
OPENリクエストには、図6に示すようなフォーマットのJavaScript(登録商標) Object Notation (JSON)を使用してもよい。OPENリクエストには、使用したい機能を示す識別番号(”app”)と、表示する位置(”position”)を含む。図6の例では”position”に、順に始点水平位置座標x、始点垂直位置座標y、水平方向サイズw、垂直方向サイズhを含んでいる。 For the OPEN request, Javascript (registered trademark) Object Notification (JSON) in the format shown in FIG. 6 may be used. The OPEN request includes an identification number (“app”) indicating the function to be used and a position (“position”) to be displayed. In the example of FIG. 6, "position" includes the start point horizontal position coordinate x, the start point vertical position coordinate y, the horizontal size w, and the vertical size h in this order.
OPENリクエストを受け取ったウェブブラウザ部21は、”position”で指定された領域のバックグラウンドを透明化する。透明化する領域は、機能の識別番号ごとに定められる。さらにこのときウェブブラウザ部21は、図7のような管理テーブルにエントリを追加して位置とサイズ、さらに上下の重なりを表すためのレイヤ情報を保持する。ここでは、レイヤは数字が小さいほど上にあることを表すものとし、最も上にあるときのレイヤの値を1とする。レイヤの値の更新タイミングは、ウェブアプリケーションの実装に依存する。新しくネイティブアプリケーションが配置されたときや、位置・サイズが変更されたときに、レイヤの値を1に設定してもよい。このような仕組みにより、ウェブブラウザ部21はネイティブアプリケーションapp1及びネイティブアプリケーションapp2の上下関係を把握する。
The
ネイティブアプリケーションを動作させるため、ウェブブラウザ部21の送信したOPENリクエストは端末制御部22に送信される。OPENリクエストを受け取った端末制御部22は、OSのAPI(Application Programming Interface)を利用してネイティブアプリケーションANを透明領域の下に重ねて配置する。APIは、例えば、Windows(登録商標)におけるSetWindowPosである。端末制御部22は、予め機能識別番号”app”と、表示装置92におけるネイティブアプリケーションANのパス(”path”)を対応付ける情報を有しており、OPENリクエストに含まれる”app”から、どのネイティブアプリケーションANを起動するかを決定する。対応付けのために端末制御部22に与える設定情報の例を図8に示す。
In order to operate the native application, the OPEN request transmitted by the
ウェブアプリケーション上でネイティブアプリケーションANの表示の位置・サイズを変更する場合にも、同様にウェブブラウザ部21からサーバ装置91経由で変更内容を含むMOVEリクエストを送り、ネイティブアプリケーションANの透明領域とウェブアプリケーションAWの位置及びサイズを整合させる。MOVEリクエストには、図9に示すようなフォーマットを用いてもよい。
Even when changing the position and size of the display of the native application A N on the web application similarly sends a MOVE request including the changes from the
端末制御部22へのOPENリクエストの伝達経路は、図1から図4の各構成で異なる。例えば、図1及び図3の構成の場合、サーバ装置91は、OPENリクエストを各表示装置92の端末制御部22に送信する。例えば、図2及び図4の構成の場合、OPENリクエストを送信するウェブブラウザ部21は、自装置の端末制御部22にもOPENリクエストを送る。そして、サーバ装置91からOPENリクエストを受信したウェブブラウザ部21は、受信したOPENリクエストを自装置の端末制御部22に送る。例えば、図4の構成の場合、OPENリクエストを送信するウェブブラウザ部21は、他の表示装置92における端末制御部22にもOPENリクエストを送ることも可能である。
The transmission path of the OPEN request to the
ネイティブアプリケーションANを使用する表示装置92と、使用しない表示装置92が混在する場合には、例えばURLの中にフラグを含めることで、これらを区別することができる。ウェブアプリケーションのURLが”http://foo.bar/index.html”の場合、ネイティブアプリケーションを使用しない場合のURLを”http://foo.bar/index.html?native=false”、使用する場合のURLを”http://foo.bar/index.html?native=true”としてもよい。以上の方法によって、ネイティブアプリケーションANに手を加えることなく、ウェブアプリケーションAWとネイティブアプリケーションANを連携させた画面表示が可能になる。
A
しかし、表示を重ねただけでは、ネイティブアプリケーションANに対してユーザがマウスクリックなどの操作をしようとしたときに、上に重なっているウェブアプリケーションAWが操作を受け取ってしまう。そこで、本実施形態は、ウェブアプリケーションAWの透明領域に対するユーザ入力イベントを、ネイティブアプリケーションANに伝える仕組みを有する。 However, only overlapped the display, when the user attempts an operation such as a mouse click to the native application A N, web application A W of the overlying will receive the operation. Therefore, this embodiment has a mechanism for transmitting a user input event to the transparent region of the web application A W, the native application A N.
図10に示すように、ユーザ入力イベントが発生したウェブブラウザBW上でのユーザ入力位置PIの座標を(a,b)とする。ウェブブラウザ部21は、ウェブアプリケーションAWの表示領域においてユーザ入力を検出すると、図7のテーブルを参照して座標(a,b)がどの機能の領域に含まれるかを決定する。該当するエントリが複数ある場合には、レイヤの値の小さいエントリを選択する。
As shown in FIG. 10, the coordinates of the user input position P I on the Web browser B W user input event has occurred and (a, b). The
ウェブブラウザ部21は、選択された機能の識別番号(”app”)と操作内容(”input”)を含むユーザ入力イベントを全ての表示装置92に備わる端末制御部22に送信する。このとき送信する座標は、ネイティブアプリケーションANの表示領域内での相対座標に変換したものである。すなわち、入力位置PIの座標(a,b)がネイティブアプリケーションANの表示領域内であり、ネイティブアプリケーションANの領域の始点位置を座標(X,Y)とすると、座標(a−X,b−Y)を送る。ユーザ入力イベントの通知に、図11のようなJSONフォーマットを用いてもよい。
The
端末制御部22は、”app”からイベントを渡すネイティブアプリケーションを決定する。端末制御部22によって決定されたネイティブアプリケーションは、OSのAPIを用いて当該ネイティブアプリケーションAN上での相対座標(a−X,b−Y)にイベントを発生させる。
The
(実施形態1)
ウェブアプリケーションAWとネイティブアプリケーションANを連携させるサイネージの構成例を図12に示す。本実施形態では、ソフトウェアの広告において、テキスト等をウェブアプリケーションAWで表示し、実際のソフトウェアをネイティブアプリケーションANとしてウェブアプリケーションAWの下に重ねて表示する。
(Embodiment 1)
FIG. 12 shows a configuration example of a signage that links the web application A W and the native application A N. In the present embodiment, in the software advertisement, the text or the like is displayed by the web application A W , and the actual software is displayed as the native application A N by superimposing it under the web application A W.
本実施形態では、ウェブブラウザ部21は、ウェブアプリケーションをダウンロードする。ネイティブアプリケーションは、予め表示装置92内に格納しておいてもよい。あるいは、ウェブブラウザ部21がダウンロードしてもよい。ネイティブアプリケーションは、ネイティブアプリケーション部23として表示装置92内に格納される。
In this embodiment, the
本実施形態では、ウェブアプリケーションAWにおけるネイティブアプリケーションANの表示領域は予め透明に設定されている。そして、ネイティブアプリケーションANの表示領域内でユーザ入力があった場合、ネイティブアプリケーション部23は、ネイティブアプリケーションAN上でのイベントを発生させる。これにより、ソフトウェアに興味をもったユーザは、ネイティブアプリケーションANにおいて表示されている枠内に数値を入力してボタンを押すなど、ソフトウェアを実際に操作して挙動を確認することができる。
In the present embodiment, the display area of the native application A N in the web application A W is previously transparent set. When there is user input within the display area of the native application A N,
(実施形態2)
本実施形態では、車をデザインするためのCADソフトウェアが動作するワークステーションの画面映像をネイティブアプリケーションANが表示し、それを見ながら複数の表示装置92が遠隔協調作業を行う場合の例を図13に示す。
(Embodiment 2)
In this embodiment, an example is shown in which a native application AN displays a screen image of a workstation on which CAD software for designing a car operates, and a plurality of
表示装置92−1が狭帯域ネットワークのみが利用できるモバイル環境から参加するユーザの端末であり、表示装置92−2が高性能端末と広帯域ネットワークが利用可能なユーザの端末である。サーバ装置91は、これらの表示装置92−1及び92−2に対して、共通のウェブアプリケーションAWを提供する。このとき、ワークステーションの画面映像の表示に異なるネイティブアプリケーション部23を用いることで、ワークステーションの画面映像において異なる品質のサービスを提供する。
The display device 92-1 is a terminal of a user who participates from a mobile environment where only a narrow band network can be used, and the display device 92-1 is a terminal of a user who can use a high-performance terminal and a wideband network.
これらのユーザ端末を区別するために、表示装置92−1及び92−2に備わるウェブブラウザ部21は、異なるURLにアクセスする。ウェブブラウザ部21は、ドキュメント・画像・映像等を閲覧・編集するための機能を配置する共有作業スペースとしてウェブアプリケーションAWを表示し、画面映像表示機能以外はどちらのURLに対しても同様に振る舞う。
In order to distinguish between these user terminals, the
モバイル環境から参加するユーザの表示装置92−1に対しては、新しいソフトウェアのインストールを発生させないために、ウェブアプリケーションAW上で全ての機能を実行できるようにする。そのため、モバイル環境用のURLからのアクセス時には、ウェブブラウザ上で実行可能な映像送受信の仕組みを利用して、ワークステーションの画面映像を表示するようにウェブアプリケーションを記述する。そのような映像送受信の仕組みには例えば、WebRTC(Web Real−Time Communication)がある。WebRTCによる映像送受信の品質はそれほど高くないが、事前にネイティブアプリケーションをインストールすることなく協調作業に参加できるようになることで利便性が向上する。 For the user of the display device 92-1 to participate from the mobile environment, in order not to generate the installation of the new software, to be able to perform all of the functions on the web application A W. Therefore, when accessing from the URL for the mobile environment, the web application is described so as to display the screen image of the workstation by using the image transmission / reception mechanism that can be executed on the web browser. As such a mechanism for transmitting and receiving video, for example, there is WebRTC (Web Real-Time Communication). The quality of video transmission / reception by WebRTC is not so high, but convenience is improved by being able to participate in collaborative work without installing a native application in advance.
一方、社内の会議室のように、高性能端末と広帯域ネットワークが利用可能な表示装置92−2では、ネイティブアプリケーション部23がネイティブアプリケーションANへの画面映像を表示する。そのため、高性能端末用のURLからのアクセス時には、本開示の方法を用いて映像送受信用のネイティブアプリケーションを起動するように、ウェブアプリケーションを記述する。ネイティブアプリケーション部23は、例えば、広帯域を必要とするかわりに高精細な映像が得られるJPEG2000コーデックを利用可能なアプリケーションである。このように、ネイティブアプリケーション部23を用いてネイティブアプリケーションANへの画面映像を表示することで、端末の計算リソースとネットワーク帯域を有効に活用し、デザインの細部まで確認を行うことができる。
On the other hand, as in-house conference rooms, the high-performance terminal and the broadband network is available the display device 92-2, a
(開示の効果)
以上説明したように、本開示は、ウェブブラウザ上で実行されるウェブアプリケーションAWとネイティブアプリケーションANを連携させることによって、ウェブアプリケーションAWの機能拡張を可能にする。具体的には、ウェブアプリケーションAWでは実現できない機能を持つネイティブアプリケーションANを、ウェブアプリケーションAWと位置・サイズを合わせて表示し、ユーザからの操作を伝えることで実現する。ネイティブアプリケーションANは、予めウェブアプリケーションAWと連携するよう作られたものである必要はなく、既存のネイティブアプリケーションANをそのまま利用することができる。また、複数の表示装置に対して同じ画面表示をすることが可能になることから、遠隔協調作業に応用することができる。さらに、同じ協調作業に参加するユーザの中でも、異なった品質のサービスを提供することが可能になる。
(Effect of disclosure)
As described above, the present disclosure is by linking the web application A W and native applications A N running on the web browser, allowing extension of the web application A W. Specifically, the native application A N having a function that can not be achieved in the web application A W, and displays the combined position and size as the web application A W, realized by transmitting an operation from a user. Native application A N is previously web application A W and need not be those made to cooperate, it is possible to directly utilize existing native application A N. Further, since the same screen can be displayed on a plurality of display devices, it can be applied to remote cooperative work. Furthermore, it becomes possible to provide services of different qualities even among users who participate in the same collaborative work.
本開示は情報通信産業に適用することができる。 This disclosure can be applied to the information and communication industry.
21:ウェブブラウザ部
22:端末制御部
23:ネイティブアプリケーション部
91:サーバ装置
92、92−1、92−2:表示装置
21: Web browser unit 22: Terminal control unit 23: Native application unit 91:
Claims (4)
ネイティブアプリケーションを表示するための領域がウェブアプリケーションの表示領域において透明になるように、ウェブアプリケーションを表示するウェブブラウザ部と、
前記ウェブブラウザ部からの要求に従ってネイティブアプリケーション部を起動させ、ネイティブアプリケーションの表示を前記ウェブブラウザ部が透明にした領域に重ねる端末制御部と、
を備え、
前記ウェブブラウザ部は、
前記ネイティブアプリケーションの表示領域内においてユーザ入力を受けると、ユーザ入力を受けた位置及び操作内容を検出し、
ネイティブアプリケーションの実行前と実行後でウェブアプリケーションの表示領域を変化させず、
ネイティブアプリケーションの実行後、ウェブアプリケーションの表示領域においてはウェブアプリケーションに従って表示し、
前記端末制御部は、ネイティブアプリケーションの表示領域において、前記ネイティブアプリケーションにおけるユーザ入力を受けた位置及び操作内容を、自装置のOSのAPIを用いて前記ネイティブアプリケーション部に発生させる、
表示装置。 The native application part that executes native applications that cannot be executed by web applications,
The web browser section that displays the web application and the web browser section that displays the web application so that the area for displaying the native application is transparent in the display area of the web application.
A terminal control unit that starts the native application unit in response to a request from the web browser unit and superimposes the display of the native application on the area made transparent by the web browser unit.
With
The web browser section
When a user input is received in the display area of the native application, the position where the user input is received and the operation content are detected.
Do not change the display area of the web application before and after running the native application
After running the native application, display according to the web application in the display area of the web application,
In the display area of the native application , the terminal control unit generates the position and operation content of the user input in the native application in the native application unit using the API of the OS of the own device.
Display device.
ウェブアプリケーションの表示領域においてネイティブアプリケーションの使用の要求を取得すると、使用の要求のあったネイティブアプリケーション及び表示領域を含む情報をサーバ装置に送信し、
前記情報を前記サーバ装置から受信すると、当該表示領域を透明にする、
請求項1に記載の表示装置。 The web browser section
When a request to use a native application is acquired in the display area of a web application, information including the native application and the display area requested to be used is transmitted to the server device.
When the information is received from the server device, the display area is made transparent.
The display device according to claim 1.
ウェブブラウザ部がネイティブアプリケーションを表示するための領域をウェブアプリケーションの表示領域において透明にし、端末制御部がネイティブアプリケーションを実行するネイティブアプリケーション部を起動させ、ネイティブアプリケーションの表示を前記ウェブブラウザ部が透明にした領域に重ねるステップと、
を有し、
前記ウェブブラウザ部は、前記ネイティブアプリケーションの表示領域内においてユーザ入力を受けると、ユーザ入力を受けた位置及び操作内容を検出し、
前記端末制御部は、ネイティブアプリケーションの表示領域において、前記ネイティブアプリケーションにおけるユーザ入力を受けた位置及び操作内容を、自装置のOSのAPIを用いて前記ネイティブアプリケーション部に発生させ、
前記ウェブブラウザ部は、ネイティブアプリケーションの実行前と実行後でウェブアプリケーションの表示領域を変化させず、ネイティブアプリケーションの実行後、ウェブアプリケーションの表示領域においてはウェブアプリケーションに従って表示する、
表示方法。 The steps that the web browser section displays the web application,
The area for the web browser section to display the native application is made transparent in the display area of the web application, the terminal control section starts the native application section that executes the native application, and the web browser section makes the display of the native application transparent. Steps to overlap with the area
Have,
When the web browser unit receives the user input in the display area of the native application, the web browser unit detects the position where the user input is received and the operation content, and detects the position and the operation content.
In the display area of the native application , the terminal control unit generates the position and the operation content received by the user in the native application in the native application unit using the API of the OS of the own device .
The web browser unit does not change the display area of the web application before and after the execution of the native application, and displays according to the web application in the display area of the web application after the execution of the native application.
Display method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016174363A JP6785524B2 (en) | 2016-09-07 | 2016-09-07 | Display device, display method and display program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016174363A JP6785524B2 (en) | 2016-09-07 | 2016-09-07 | Display device, display method and display program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018041240A JP2018041240A (en) | 2018-03-15 |
JP6785524B2 true JP6785524B2 (en) | 2020-11-18 |
Family
ID=61626227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016174363A Active JP6785524B2 (en) | 2016-09-07 | 2016-09-07 | Display device, display method and display program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6785524B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7354793B2 (en) * | 2019-11-26 | 2023-10-03 | 株式会社リコー | Information processing device, control method, and program |
JP2022012403A (en) * | 2020-07-01 | 2022-01-17 | キヤノン株式会社 | Program, information processing device, and control method |
JP7397051B2 (en) | 2021-12-23 | 2023-12-12 | Necパーソナルコンピュータ株式会社 | Electronic devices, display control methods, and programs |
-
2016
- 2016-09-07 JP JP2016174363A patent/JP6785524B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018041240A (en) | 2018-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210089256A1 (en) | Method and system for browser-based screen sharing | |
US10303418B2 (en) | Content item presentation system | |
US20150039998A1 (en) | Screen sharing using scripting computer language code directly executable by web browser | |
WO2013111239A1 (en) | Mobile terminal, television broadcast receiver, and device linkage method | |
US20130080560A1 (en) | System and Method for Sharing Digital Data on a Presenter Device to a Plurality of Participant Devices | |
US20220278992A1 (en) | Method and Apparatus for Securely Co-Browsing Documents and Media URLs | |
KR20140065764A (en) | System and method for function expandable collaboration screen system | |
US10389792B2 (en) | Output function dividing system | |
JP6785524B2 (en) | Display device, display method and display program | |
WO2018041087A1 (en) | Method and device for screenshot | |
CN114025244A (en) | Audio and video pushing method, device, equipment and computer readable storage medium | |
JP2009223891A (en) | Method of browsing web information using portable terminal | |
JP2009187094A (en) | Conference system and program | |
US10038750B2 (en) | Method and system of sharing data and server apparatus thereof | |
CN111033497A (en) | Providing hyperlinks in remotely viewed presentations | |
KR101353320B1 (en) | System for management contents on social network service | |
US20200104024A1 (en) | Communication terminal, information sharing system, display control method, and non-transitory computer-readable medium | |
CN111404977B (en) | Document remote demonstration and viewing method and terminal equipment | |
US20200177743A1 (en) | Information processing apparatus, information processing system and method of processing information | |
JP2015069244A (en) | Distribution system, distribution method, and program | |
US9875066B2 (en) | Single action print application creation | |
JP7031198B2 (en) | Information processing system and program | |
CN105930518A (en) | Webpage cross-screen browsing method and system | |
KR102198799B1 (en) | Conferencing apparatus and method for sharing content thereof | |
JP7367909B2 (en) | First terminal, server device, second terminal, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191029 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200421 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200612 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201020 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201023 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6785524 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |