JP2016127423A - Synchronization method of screen display, display processing device, and display processing program - Google Patents
Synchronization method of screen display, display processing device, and display processing program Download PDFInfo
- Publication number
- JP2016127423A JP2016127423A JP2014266788A JP2014266788A JP2016127423A JP 2016127423 A JP2016127423 A JP 2016127423A JP 2014266788 A JP2014266788 A JP 2014266788A JP 2014266788 A JP2014266788 A JP 2014266788A JP 2016127423 A JP2016127423 A JP 2016127423A
- Authority
- JP
- Japan
- Prior art keywords
- display
- command
- screen
- image
- drawing command
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、一方の装置と他方の装置との間で画面表示を同期する方法等に関する。 The present invention relates to a method for synchronizing screen display between one apparatus and the other apparatus.
従来、機器間で画面を転送・表示する技術が知られており、その規格には幾つかの種類がある。 Conventionally, techniques for transferring and displaying screens between devices are known, and there are several types of standards.
Wi-Fi Allianceが策定したMiracast(登録商標)は、コンテンツのレンダリング結果及びアプリケーションGUI(Graphical User Interface)等を含めたディスプレイ出力を無線化する技術である。通信路はWi-Fi Direct(登録商標)、プロトコルはRTP/RTSPで伝送し、出力するUI(User Interface)をMPEG2-TS(H.264/LPCM/AAC/AC3)に圧縮する。 Miracast (registered trademark) established by the Wi-Fi Alliance is a technology for wirelessly rendering display output including content rendering results and application GUI (Graphical User Interface). The communication path is transmitted by Wi-Fi Direct (registered trademark), the protocol is transmitted by RTP / RTSP, and the output UI (User Interface) is compressed to MPEG2-TS (H.264 / LPCM / AAC / AC3).
Apple社のAirPlay(登録商標)は、iTunesやiPhone、iPod touch、iPad(いずれも登録商標)で再生している音楽、動画や画像を他の機器でストリーミング再生する機能である。 Apple's AirPlay (registered trademark) is a function for streaming music, videos, and images played on iTunes, iPhone, iPod touch, and iPad (all registered trademarks) on other devices.
Car Connectivity ConsortiumのMirrorLink(登録商標)は、スマートフォンのようなモバイル機器と車載AV機器との通信接続に関する規格である。 MirrorLink (registered trademark) of Car Connectivity Consortium is a standard for communication connection between mobile devices such as smartphones and in-vehicle AV devices.
この他、DLNA(登録商標)ガイドライン等が知られている。 In addition, DLNA (registered trademark) guidelines and the like are known.
しかし、上記の既存技術は、描画ピクセル情報を30fps〜60fpsの速度で一方の装置から他方の装置に転送するパラパラ漫画方式であり、この場合ユーザにおいて、一方の装置の画面表示と、他方の装置の画面表示との同期に遅延を感じる場合があり、同期速度に改善の余地がある。 However, the above existing technology is a flip-flop method that transfers drawing pixel information from one device to the other device at a speed of 30 fps to 60 fps. In this case, the user can display the screen of one device and the other device. There may be a delay in the synchronization with the screen display, and there is room for improvement in the synchronization speed.
本発明は、かかる従来例の有する不都合を改善し、特に、一方の装置の画面表示と他方の装置の画面表示とを同期する際に、画面表示の同期速度を従来よりも改善することを課題とする。 It is an object of the present invention to improve the inconvenience of such a conventional example, and particularly to improve the synchronization speed of the screen display compared to the conventional one when synchronizing the screen display of one device and the screen display of the other device. And
この課題を解決する本願明は、一方の装置と他方の装置とによる画面表示の同期方法に特徴を有する。まず、命令生成ステップでは、重ね順を有する複数の図形を描画する原描画命令に基づいて、当該原描画命令により描画される一枚の画面の見かけをプリミティブにより描画する改描画命令を生成する。次いで、送信ステップでは、改描画命令を一方の装置から他方の装置に送信する。そして、表示ステップでは、一方の装置と他方の装置とが改描画命令に基づいて一枚の画面をそれぞれ描画し各装置の表示装置に表示させる。 The present application that solves this problem is characterized by a method of synchronizing screen display by one device and the other device. First, in the command generation step, based on an original drawing command for drawing a plurality of graphics having an overlapping order, a redrawing command for drawing an appearance of one screen drawn by the original drawing command with a primitive is generated. Next, in the transmission step, the revised drawing command is transmitted from one device to the other device. In the display step, one device and the other device draw a single screen based on the redraw command and display the screen on the display device of each device.
後述するプロジェクションモードにおいて、「命令生成ステップ」は、視聴装置の命令生成部が実行する処理に対応する。「送信ステップ」は、視聴装置の送信部が実行する処理に対応する。「表示ステップ」は、視聴装置の表示処理部と、操作装置の表示処理部とがそれぞれ実行する処理に対応する。 In the projection mode described later, the “command generation step” corresponds to a process executed by the command generation unit of the viewing device. The “transmission step” corresponds to a process executed by the transmission unit of the viewing device. The “display step” corresponds to a process executed by the display processing unit of the viewing device and the display processing unit of the controller device.
従来の方法では、一方の装置は、描画した画面のフレームを他方の装置に伝送し、その後に他方の装置が受信したフレームを表示していた。このため、一方の装置がフレームを表示してから、他方の装置がフレームを表示するまでのタイムラグが比較的大きかった。一方、本発明では、一方の装置が、一枚の画面の見かけをプリミティブにより描画する改描画命令を生成し、改描画命令を他方の装置に送信する。そして、一方の装置と他方の装置とが、改描画命令に基づいて同じ画面をそれぞれ描画し表示する。 In the conventional method, one device transmits a frame of a drawn screen to the other device, and then displays the frame received by the other device. For this reason, the time lag from when one device displays a frame until the other device displays a frame is relatively large. On the other hand, in the present invention, one device generates a redrawing command for drawing the appearance of one screen with primitives, and transmits the redrawing command to the other device. Then, one device and the other device draw and display the same screen based on the revised drawing command.
このため、本発明によれば、一方の装置の画面表示と他方の装置の画面表示とを同期する際に、画面表示の同期速度を従来よりも改善することができる。 For this reason, according to this invention, when synchronizing the screen display of one apparatus and the screen display of the other apparatus, the synchronous speed of a screen display can be improved rather than before.
以下、本発明を適用したコンテンツ視聴システムの実施形態を説明する。 Hereinafter, an embodiment of a content viewing system to which the present invention is applied will be described.
[システムの全体構成]
図1は、コンテンツ視聴システムの全体構成図である。テレビモニタMONには、視聴装置SKが接続されている。視聴装置SKは、モニタMONに映像信号及び音声信号を出力する。視聴装置SKは、無線LAN(Local Area Network)のアクセスポイントAPを介して操作装置SPとWi-Fi(Wireless Fidelity)に準拠した無線通信を行う。また、アクセスポイントAPは有線でWAN(Wide Area Network)に接続されている。WANにはコンテンツサーバCSが設けられ、操作装置SPはAPを介してコンテンツサーバCSと通信する。また、視聴装置SKもAPを介してコンテンツサーバCSと通信する。
[System overall configuration]
FIG. 1 is an overall configuration diagram of a content viewing system. A viewing device SK is connected to the television monitor MON. The viewing device SK outputs a video signal and an audio signal to the monitor MON. The viewing device SK performs wireless communication conforming to the operation device SP and Wi-Fi (Wireless Fidelity) via an access point AP of a wireless LAN (Local Area Network). The access point AP is connected to a WAN (Wide Area Network) by wire. The WAN is provided with a content server CS, and the controller device SP communicates with the content server CS via the AP. The viewing device SK also communicates with the content server CS via the AP.
操作装置SPと視聴装置SKとの間の通信は、お互いの装置を相互に認証した上で許可され、論理通信パスを介して行われる。また、操作装置SPとコンテンツサーバCSとの通信及び視聴装置SKとコンテンツサーバCSとの通信も同様に、お互いの装置を相互に認証した上で許可され、論理通信パスを介して行われる。 Communication between the operation device SP and the viewing device SK is permitted after mutual authentication of the devices and is performed via a logical communication path. Similarly, the communication between the operation device SP and the content server CS and the communication between the viewing device SK and the content server CS are permitted after mutual authentication of the devices and are performed via the logical communication path.
本実施形態において、操作装置SPは、Wi-Fiインターフェースを備えたスマートフォンに所定のアプリケーションプログラム(アプリ)をインストールしたものである。また、視聴装置SKは、市販のUSBメモリと同程度の大きさのスティック状の筺体に収められている。この筺体に、Wi-Fiインターフェースを内蔵すると共に、映像音声出力用のHDMI(High-Definition Multimedia Interface、登録商標)端子を備えている。 In the present embodiment, the controller device SP is obtained by installing a predetermined application program (application) on a smartphone having a Wi-Fi interface. In addition, the viewing device SK is housed in a stick-shaped housing having the same size as a commercially available USB memory. The housing has a built-in Wi-Fi interface and an HDMI (High-Definition Multimedia Interface, registered trademark) terminal for video / audio output.
ユーザは、操作装置SPを操作することにより、視聴装置SKの動作を制御する。その際ユーザの利便性を向上するために、プロジェクションモード、ビューモード、ハイブリッドモード及びセンサエミュレーション機能が利用される。 The user controls the operation of the viewing device SK by operating the operation device SP. At this time, in order to improve user convenience, a projection mode, a view mode, a hybrid mode, and a sensor emulation function are used.
プロジェクションモードは、視聴装置SKがテレビモニタMONに表示する画面と同じ画面を操作装置SPの表示装置に同期的に表示するモードである。ビューモードは、視聴装置SKがテレビモニタMONに表示する画面のシーンに応じて、操作装置SPの表示装置に異なるUIを表示するモードである。ハイブリッドモードは、視聴装置SKがテレビモニタMONに表示する画面のシーンに応じて、プロジェクションモード又はビューモードを選択的に実行するモードである。センサエミュレーション機能は、操作装置SPに装備されている各種センサの機能を、視聴装置SK上で再現することにより、視聴装置SKのアプリケーションプログラムが各種センサの機能を利用できるようにする機能である。本実施形態では、操作装置SPとしての携帯端末(スマートフォン)に装備されている各種センサの機能を、視聴装置SK上で再現する。以上の各モード及び機能については、追って詳述する。 The projection mode is a mode in which the same screen as the screen displayed on the television monitor MON by the viewing device SK is synchronously displayed on the display device of the operating device SP. The view mode is a mode in which a different UI is displayed on the display device of the operation device SP according to the scene of the screen displayed on the television monitor MON by the viewing device SK. The hybrid mode is a mode in which the projection mode or the view mode is selectively executed according to the scene of the screen displayed on the television monitor MON by the viewing device SK. The sensor emulation function is a function that allows the application program of the viewing device SK to use the functions of the various sensors by reproducing the functions of the various sensors provided in the operation device SP on the viewing device SK. In the present embodiment, the functions of various sensors provided in the mobile terminal (smartphone) as the operation device SP are reproduced on the viewing device SK. Each of the above modes and functions will be described in detail later.
操作装置SPは、プログラムの実行により種々の機能を実現する処理装置と、処理装置が処理に用いる情報を記憶する記憶装置とを備えている。また、操作装置SPは、ユーザが情報を入力するための入力装置と、ユーザに情報を表示する表示装置とを有する。更に、操作装置SPは、視聴装置SKやコンテンツサーバCSと通信するための通信装置を備えている。本実施形態では、入力装置兼表示装置としてタッチパネルを備えている。通信装置は前述のようにWi-Fiインターフェースである。 The operating device SP includes a processing device that realizes various functions by executing a program, and a storage device that stores information used by the processing device for processing. The operation device SP includes an input device for a user to input information and a display device for displaying information to the user. Furthermore, the operating device SP includes a communication device for communicating with the viewing device SK and the content server CS. In this embodiment, a touch panel is provided as an input device and display device. The communication device is a Wi-Fi interface as described above.
一方、視聴装置SKのハードウェアは、プログラムの実行により種々の機能を実現する処理装置と、処理装置が処理に用いる情報を記憶する記憶装置とを備えている。また、入力装置を接続するための入力インターフェース(入力I/F)と、表示装置を接続するための表示インターフェース(表示I/F)とを有する。更に、操作装置SPやコンテンツサーバCSと通信するための通信装置を備えている。本実施形態において、入力I/FはUSB端子であり、主にメンテナンス時にUSB機器を接続する目的で設けられている。また前述のように、表示I/FはHDMI(登録商標)端子であり、通信装置はWi-Fiインターフェースである。 On the other hand, the hardware of the viewing device SK includes a processing device that realizes various functions by executing a program, and a storage device that stores information used by the processing device for processing. Also, an input interface (input I / F) for connecting an input device and a display interface (display I / F) for connecting a display device are provided. Furthermore, a communication device for communicating with the operation device SP and the content server CS is provided. In the present embodiment, the input I / F is a USB terminal and is provided mainly for the purpose of connecting a USB device during maintenance. As described above, the display I / F is an HDMI (registered trademark) terminal, and the communication device is a Wi-Fi interface.
また、本実施形態では、操作装置SP及び視聴装置SKに共通のプラットフォームを搭載する。そのプラットフォームは、例えば、Android(登録商標)である。以下では、このプラットフォーム上で実行される各モード及び機能について詳述する。 In the present embodiment, a common platform is mounted on the operation device SP and the viewing device SK. The platform is, for example, Android (registered trademark). In the following, each mode and function executed on this platform will be described in detail.
[プロジェクションモード]
プロジェクションモードは、視聴装置SKがテレビモニタMONに表示する画面と、操作装置SPの表示装置に表示する画面とを同期する。つまり、視聴装置SKが表示する画面と同じ画面を操作装置SPが同期的に表示するモードである。このプロジェクションモードの構成図を図2に示す。視聴装置SKの記憶装置11は、原描画命令、描画ライブラリ及び改描画命令を記憶する。
[Projection mode]
In the projection mode, the screen displayed on the television monitor MON by the viewing device SK and the screen displayed on the display device of the operation device SP are synchronized. That is, in this mode, the controller device SP synchronously displays the same screen as the screen displayed by the viewing device SK. A configuration diagram of the projection mode is shown in FIG. The
「原描画命令」は、重ね順を有する複数の図形を描画する指示を含む描画命令である。
「重ね順を有する図形」は、重ね順を設定された異なるレイヤに描画される複数の図形でもよいし、図形毎に重ね順を設定された複数の図形でもよい。
「描画ライブラリ」は、プラットフォームに装備された描画ライブラリである。
「改描画命令」は、原描画命令により描画される一枚の画面の見かけをプリミティブにより描画する描画命令である。
「プリミティブ」は、点、線、三角形、四角形などの基本的な図形構成要素である。
「一枚の画面の見かけ」とは、重ね順を考慮して複数の図形を2次元に描いた際に視認できる一枚の絵をいう。
The “original drawing command” is a drawing command including an instruction to draw a plurality of figures having an overlapping order.
The “figure having the overlapping order” may be a plurality of figures drawn on different layers set with the overlapping order, or a plurality of figures set with the overlapping order for each figure.
The “drawing library” is a drawing library installed in the platform.
The “revised drawing command” is a drawing command for drawing the appearance of one screen drawn by the original drawing command with a primitive.
“Primitive” is a basic figure component such as a point, a line, a triangle, or a rectangle.
“Appearance of a single screen” refers to a single picture that can be visually recognized when a plurality of figures are drawn two-dimensionally in consideration of the overlapping order.
視聴装置SKが、テレビモニタMONに表示する画面を描画する場合、原描画命令が命令生成部12に渡される。命令生成部12は、描画ライブラリを利用し、原描画命令に基づいて改描画命令を生成し、記憶装置11に格納する(命令生成ステップ)。例えば、図3(a)に示すように、原描画命令が長い直線L1の前面に塗りつぶした四角形Qを描画するものである場合、四角形の背面にある直線L1の点線部分は隠れて見えないので、描画された画面の見かけは図3(b)に示すようになる。そこで、改描画命令は、図3(b)に示す四角形Qとその両脇に繋がる2本の短い直線L2,L3をそれぞれプリミティブにより描画する描画命令として生成する。これにより、改描画命令により描画されるピクセルの総数は、原描画命令により描画されるピクセルの総数に比べて減少する。
When the viewing device SK draws a screen to be displayed on the television monitor MON, the original drawing command is passed to the
命令生成部12により、1枚の画面を描画するための改描画命令が記憶装置11に格納されると、送信部13は、1枚の画面を描画するための改描画命令を記憶装置11から読み出して操作装置SPに送信する(送信ステップ)。
When the
また、命令実行部14は、1枚の画面を描画するための改描画命令を記憶装置11から読み出し、表示処理部15の描画ドライバに入力する。表示処理部15の描画ドライバは、改描画命令に基づいて1枚の画面を描画し、テレビモニタMONに表示する(表示ステップ)。
Further, the
これに並行して、操作装置SPでは、受信部23が、視聴装置SKから送信された改描画命令を受信し、記憶装置21に格納する。操作装置SPの命令実行部24は、1枚の画面を描画するための改描画命令を記憶装置21から読み出し、表示処理部25の描画ドライバに入力する。本実施形態において、視聴装置SKのプラットフォームと操作装置SPのプラットフォームとは同一であり、両装置の描画ドライバの仕様も同一である。表示処理部25の描画ドライバは、改描画命令に基づいて1枚の画面を描画し、表示装置26に表示する(表示ステップ)。
In parallel with this, in the controller device SP, the receiving
このプロジェクションモードによれば、1枚の画面をプリミティブにより描画する改描画命令を視聴装置SKから操作装置SPに転送し、視聴装置SKと操作装置SPとが同じ改描画命令に基づいて分散描画処理を行う。このため、従来のように、一方の装置が描画した画面の描画ピクセル情報を他方の装置に転送し装置間で同じ画面を表示する方法に比べ、装置間における表示の同期速度を改善することができる。 According to this projection mode, a redrawing command for drawing one screen with primitives is transferred from the viewing device SK to the operating device SP, and the viewing device SK and the operating device SP perform distributed drawing processing based on the same redrawing command. I do. For this reason, it is possible to improve the display synchronization speed between devices as compared with the conventional method of transferring drawing pixel information of a screen drawn by one device to the other device and displaying the same screen between the devices. it can.
また、本実施形態によれば、視聴装置SKのプラットフォームと操作装置SPのプラットフォームとが同一なので、操作装置SPのアプリケーションプログラムは、視聴装置SKから受信した改描画命令をそのまま描画ドライバに入力することにより、視聴装置SKと同一の画面を表示することができる。このため、視聴装置SKのアプリケーションプログラムにとらわれずに、操作装置SPのアプリケーションソフトウェアを開発することができる。同様に、視聴装置SKのアプリケーションプログラムは、視聴装置SK用の改描画命令をそのまま操作装置SPに送信することにより、操作装置SPに同一の画面を表示することができる。このため、操作装置SPのアプリケーションプログラムにとらわれずに、視聴装置SKのアプリケーションプログラムを開発することができる。 In addition, according to the present embodiment, since the platform of the viewing device SK and the platform of the operating device SP are the same, the application program of the operating device SP inputs the revised drawing command received from the viewing device SK as it is to the drawing driver. Thus, the same screen as that of the viewing device SK can be displayed. For this reason, the application software of the operating device SP can be developed without being bound by the application program of the viewing device SK. Similarly, the application program of the viewing device SK can display the same screen on the operating device SP by transmitting the revision drawing command for the viewing device SK as it is to the operating device SP. Therefore, the application program for the viewing device SK can be developed without being bound by the application program for the operation device SP.
[プロジェクションモードにおける画像対策処理]
視聴装置SKが画像を表示する場合、プロジェクションモードにおいては、視聴装置SKから操作装置SPに画像データを転送しなければならない。しかし、視聴装置SKから操作装置SPに画像データを転送する場合、画像のデータ容量が比較的大きく転送に時間を要するため、装置間の表示の同期速度を悪化させる。そこで、この課題を解決する画像対策処理をプロジェクションモードに搭載する。
[Image processing in projection mode]
When the viewing device SK displays an image, the image data must be transferred from the viewing device SK to the operation device SP in the projection mode. However, when image data is transferred from the viewing device SK to the operation device SP, the data capacity of the image is relatively large and it takes time to transfer, so the display synchronization speed between the devices is deteriorated. Therefore, image countermeasure processing that solves this problem is installed in the projection mode.
図4は、画像対策処理を搭載したプロジェクションモードの構成図である。図2のプロジェクションモードと比較すると、図4では、視聴装置SKの記憶装置11と、操作装置SPの記憶装置21とが、それぞれ画像データと画像識別子との関連付けを記憶するようになっている。「画像識別子」は、画像データを特定するための一意の識別子であり、他の画像データと重複しない値が指定される。
FIG. 4 is a configuration diagram of a projection mode equipped with image countermeasure processing. Compared with the projection mode of FIG. 2, in FIG. 4, the
視聴装置SKの命令生成部12は、プロジェクションモードにおいて、原描画命令が画像の描画を含むことを検知すると、図5に示す画像対策処理を実行する。命令生成部12は、S1において、描画すべき画像の画像データに既に画像識別子が付与されているか否かを判定する。即ち、当該画像データと画像識別子との関連付けが記憶装置11に既に登録されているか否かを判定する。
When the
この結果、当該画像データに画像識別子が付与されていない場合、即ち、初めて描画する画像である場合、S2において、当該画像データに固有の画像識別子を付与し、当該画像データと画像識別子との関連付けを記憶装置11に登録する。また、命令生成部12は、S3において、原描画命令に基づいて生成する改描画命令に当該画像識別子を埋め込む。即ち、改描画命令が画面上の所定の領域に所定の画像を描画するように、描画命令文に当該画像に対応する画像識別子を埋め込む。
As a result, when the image identifier is not assigned to the image data, that is, when the image is drawn for the first time, a unique image identifier is assigned to the image data in S2, and the association between the image data and the image identifier is performed. Is registered in the
送信部13は、S4において、S2の画像データと画像識別子とを関連付けて操作装置SPに送信する。また、送信部13は、当該画像識別子を埋め込んだ改描画命令を操作装置SPに送信する。ここで、画像識別子を関連付けた画像データの送信は、改描画命令の送信と同時に行ってもよい。又は、画像識別子を関連付けた画像データの送信は、S2とS3の処理の間に行うことも可能である。視聴装置SKの命令実行部14は、改描画命令に画像識別子が埋め込まれている場合、当該画像識別子に関連付けて格納されている画像データを記憶装置から読み出して表示処理部15の描画ドライバに渡す。表示処理部15の描画ドライバは、改描画命令に基づいて当該画像を含む1枚の画面をレンダリングし、テレビモニタMONに表示させる。
In S4, the
一方、S1において、描画しようとする画像の画像データに固有の画像識別子が既に付与されている場合、即ち、その画像の描画が2回目以降である場合、命令生成部12は、S5において、当該画像データに関連付けられた固有の画像識別子を記憶装置11から読み出す。また、命令生成部12は、S6において、原描画命令に基づいて生成する改描画命令に当該画像識別子を埋め込む。即ち、改描画命令が画面上の所定の領域に所定の画像を描画するように、描画命令文に当該画像に対応する画像識別子を埋め込む。送信部13は、S7において、当該画像識別子を埋め込んだ改描画命令を操作装置SPに送信する。
On the other hand, if a unique image identifier has already been assigned to the image data of the image to be rendered in S1, that is, if the image has been rendered for the second time or later, the
これに対し、操作装置SPでは、受信部23が、視聴装置SKから送信された画像データと画像識別子とを受信し、これらを関連付けて記憶装置21に格納する。本実施形態において、その格納先はキャッシュ領域である。また、受信部23は、画像識別情報を埋め込まれた改描画命令を操作装置SPから受信し、記憶装置21に格納する。操作装置SPの命令実行部24は、改描画命令に画像識別子が埋め込まれている場合、当該画像識別子に関連付けて格納されている記憶装置21内の画像データを表示処理部25の描画ドライバに渡す。表示処理部25の描画ドライバは、改描画命令に基づいて当該画像を含む1枚の画面をレンダリングし、操作装置SPの表示装置に表示させる。
On the other hand, in the controller device SP, the receiving
以上の画像対策処理によれば、視聴装置SKから操作装置SPに渡した画像データを操作装置SPの記憶装置21に保管する。そして、同じ画像を再度描画する際には、視聴装置SKから操作装置SPに画像識別子を渡し、操作装置SPは画像識別子に対応する画像データを自己の記憶装置21から読み出して利用する。このため、同じ画像を再度描画する際には、視聴装置SKから操作装置SPに画像データを伝送する必要がない。よって、比較的大容量の画像データを装置間で伝送する頻度を最小限に抑えることができる。これにより、プロジェクションモードにおいて、装置間の表示同期速度の低下を抑えることができる。
According to the above image countermeasure processing, the image data transferred from the viewing device SK to the operation device SP is stored in the
プロジェクションモードは、視聴装置SKの画面表示を操作装置SPの表示装置に投影する。視聴装置SKがテレビモニタMONに表示する画面を、操作装置SPの表示装置に投影する際、投影のリアルタイム性を確保できないと、操作者に違和感を与え、結果的に操作装置SPがコントローラとしての役割を果たせない。一方、本実施形態のプロジェクションモードによれば、物理的に離れた2デバイス間で投影のリアルタイム性を確保しつつ、視聴装置SKが表示する画面を操作装置SPの表示装置に表示することができる。 In the projection mode, the screen display of the viewing device SK is projected onto the display device of the operating device SP. When the screen displayed on the television monitor MON by the viewing device SK is projected onto the display device of the operation device SP, if the real time property of the projection cannot be secured, the operator feels uncomfortable, and as a result, the operation device SP functions as a controller. Can't play a role. On the other hand, according to the projection mode of the present embodiment, the screen displayed by the viewing device SK can be displayed on the display device of the operation device SP while securing the real-time performance of projection between two physically separated devices. .
また、プロジェクションモードによれば、視聴装置SK側のアプリケーションプログラムが提供するUIを、操作装置SP上の表示装置に完全再現することができる。これにより、テレビモニタMONに接続された視聴装置SKの側で主体的に動作するアプリケーションプログラムを、スマートフォン等の操作装置SPの側から操作するのに好適な環境が整う。 Further, according to the projection mode, the UI provided by the application program on the viewing device SK side can be completely reproduced on the display device on the operation device SP. Thereby, an environment suitable for operating an application program that mainly operates on the side of the viewing device SK connected to the television monitor MON from the side of the operating device SP such as a smartphone is prepared.
以上のプロジェクションモード及び画像対策処理の説明において、視聴装置SKの命令生成部12、送信部13、命令実行部14及び表示処理部15は、視聴装置SKの処理装置がプログラムを実行することにより実現する。また、操作装置SPの受信部23、命令実行部24及び表示処理部25は、操作装置SPの処理装置がプログラムを実行することにより実現する。
In the above description of the projection mode and the image countermeasure processing, the
[センサエミュレーション]
次に、センサエミュレーションの機能を図6に基づいて説明する。操作装置SPは、スマートフォン等の携帯端末であり、手元で操作すること及び移動体端末であることを前提としたハードウェアを備えている。このため、操作装置SPは、視聴装置SKには搭載されていない各種のハードウェアセンサを備えている。一方、視聴装置SKは、USBメモリ程度の比較的小さく軽量かつ比較的安価な装置であり、操作装置SPに比べ搭載しているハードウェアが限られている。そこで、操作装置SPのハードウェアセンサの機能を、疑似的に視聴装置SKの機能として利用することを考える(センサエミュレーション機能)。即ち、操作装置SPのハードウェアセンサの出力を、あたかも視聴装置SKに搭載されたハードウェアセンサの出力であるかのように、視聴装置SKにリアルタイムに伝送する。これにより、視聴装置SKのアプリケーションプログラムは、操作装置SPのアプリケーションプログラムと同じようにハードウェアセンサの出力を利用する処理を実行することが可能となる。
[Sensor emulation]
Next, the sensor emulation function will be described with reference to FIG. The operating device SP is a mobile terminal such as a smartphone, and includes hardware that is operated on hand and is assumed to be a mobile terminal. Therefore, the operation device SP includes various hardware sensors that are not mounted on the viewing device SK. On the other hand, the viewing device SK is a device that is relatively small, light, and relatively inexpensive such as a USB memory, and has limited hardware as compared with the operation device SP. Therefore, it is considered to use the function of the hardware sensor of the operating device SP as a function of the viewing device SK (sensor emulation function). That is, the output of the hardware sensor of the operating device SP is transmitted to the viewing device SK in real time as if it were the output of the hardware sensor mounted on the viewing device SK. As a result, the application program of the viewing device SK can execute processing that uses the output of the hardware sensor in the same manner as the application program of the controller device SP.
図6において、操作装置SPは、ハードウェアセンサ31の出力に基づくセンサ値情報を視聴装置SKに送信する送信部32を備えている。一方、視聴装置SKは、操作装置SPからセンサ値情報を受信する受信部42を備えている。また、視聴装置SKは、当該センサ値情報に基づく入力情報をハードウェアセンサ31に相当する仮想センサデバイス41に入力する入力部43を備えている。更に、視聴装置SKは、仮想センサデバイス41の出力に基づいて自装置の動作を制御する動作制御部44を備えている。
In FIG. 6, the controller device SP includes a
これを更に詳述すると、本実施形態において、センサ値情報は、複数のハードウェアセンサ31を区別するセンサ識別子とセンサ値との関連付けを含む。入力部43は、複数の仮想センサデバイス41のうち、センサ識別子に対応する仮想センサデバイスに入力情報を入力する。
More specifically, in this embodiment, the sensor value information includes an association between a sensor identifier and a sensor value that distinguish the plurality of
本実施形態において、操作装置SPのハードウェアセンサ31は、圧力センサ、近接センサ、温度センサ、湿度センサ、GPS、ジャイロセンサ、加速度センサ、照明センサ及び磁界センサ等を含む。各ハードウェアセンサは、センサの出力信号値を、それぞれ対応するセンサドライバ35に入力する。各センサドライバ35は、各センサから取得した出力信号値をアプリケーションプログラム用のセンサ値に変換し送信部32に渡す。送信部32は、アプリケーションプログラムの処理により、取得した各センサのセンサ値と各センサのセンサ識別子とを関連付けたセンサ値情報を生成し、視聴装置SKにリアルタイムに送信する。ここで「センサ識別子」とは、一のセンサデバイスを特定するための一意の識別子であり、他のセンサデバイスと重複しない値が指定される。
In the present embodiment, the
視聴装置SKの受信部42は、操作装置SPから送信されたセンサ値情報を受信し、入力部43に渡す。視聴装置SKは、処理装置がプログラムを実行することにより動作する仮想センサデバイス41を備えている。仮想センサデバイス41は、操作装置SPのハードウェアセンサ31に対応する複数の仮想センサデバイスを備えている。即ち、仮想センサデバイス41は、本実施形態において、圧力センサ、近接センサ、温度センサ、湿度センサ、GPS、ジャイロセンサ、加速度センサ、照明センサ及び磁界センサ等の仮想モデルを含む。仮想センサデバイス41は、視聴装置SKのOSが認識できるように構成されている。各仮想センサデバイスには、センサ識別子が割り振られている。入力部43は、受信部42からセンサ値情報を受信すると、センサ識別子に対応する仮想センサデバイス41にセンサ値を入力する。このとき、入力部43は、仮想センサデバイス41の入力端子の仕様に適合するように、センサ値データを変換し、仮想センサデバイス41に入力する。
The receiving
仮想センサデバイス41は、上記変換後のセンサ値を入力されると、当該センサ値を出力した操作装置SPのハードウェアセンサ31と同一の出力信号値を出力するようにモデリングされている。例えば、操作装置SPの圧力センサ31に対応する視聴装置SKの仮想センサデバイス41は、圧力センサ31の出力信号値と同一の出力信号値をリアルタイムに出力する。ここで、本実施形態において、操作装置SPのプラットフォームと視聴装置SKのプラットフォームは同一である。操作装置SPのセンサドライバ35と視聴装置SPのセンサドライバ45も構成は同一である。視聴装置SKのOSは、仮想センサデバイス41から出力された信号を、視聴装置SKに搭載されたハードウェアセンサから発生した信号であると認識してOSの通常の処理を実行する。操作装置SPにおいてセンサドライバ35からアプリケーションプログラムに渡されるセンサ値と、視聴装置SKにおいてセンサドライバ45からアプリケーションプログラムに渡されるセンサ値とは同一になる。視聴装置SKの動作制御部44は、処理装置がアプリケーションプログラムを実行することにより動作し、センサドライバ45から取得したセンサ値に応じた処理を実行する。
The
以上のセンサエミュレーション機能によると、操作装置SPのハードウェアセンサが出力した信号値を、あたかも視聴装置SKでリアルタイムに発生した信号値であるかのように取り扱い、視聴装置SKの動作を制御することができる。よって、視聴装置SKのアプリケーションプログラムは、自装置に搭載していないハードウェアセンサの機能を利用することができる。 According to the sensor emulation function described above, the signal value output from the hardware sensor of the controller device SP is handled as if it were a signal value generated in real time in the viewing device SK, and the operation of the viewing device SK is controlled. Can do. Therefore, the application program of the viewing device SK can use the function of the hardware sensor that is not installed in the own device.
前述のプロジェクションモードでは、視聴装置SKの表示画面を操作装置SPのタッチパネルにリアルタイムに投影する。この状態で、センサエミュレーション機能を利用して操作装置SPのタッチパネルからタッチセンサや圧力センサ等の値を視聴装置SKにリアルタイムに反映する。これにより、視聴装置SKから操作装置SPの表示装置に投影されたUIを操作装置SPから操作することができる。よって、プロジェクションモードとセンサエミュレーション機能との組み合わせは、視聴装置SKが主体的に提供するUIを、操作装置SPからリモート操作するシステムを実現する。これは、操作とUIとの分離を実現する。また、開発者は、視聴装置SKにハードウェアセンサが搭載されている前提で視聴装置SKのアプリケーションプログラムを作成することができる。また、開発者は、視聴装置SKのアプリケーションプログラムを作成するにあたり、操作装置SPのハードウェアセンサの出力を利用することを意識する必要がない。 In the above-described projection mode, the display screen of the viewing device SK is projected in real time on the touch panel of the operating device SP. In this state, the sensor emulation function is used to reflect the values of the touch sensor, pressure sensor, and the like on the viewing device SK in real time from the touch panel of the controller device SP. Accordingly, the UI projected from the viewing device SK onto the display device of the operating device SP can be operated from the operating device SP. Therefore, the combination of the projection mode and the sensor emulation function realizes a system that remotely operates the UI provided mainly by the viewing device SK from the operation device SP. This realizes separation of operation and UI. Further, the developer can create an application program for the viewing device SK on the assumption that a hardware sensor is mounted on the viewing device SK. In addition, the developer does not need to be aware of using the output of the hardware sensor of the operating device SP when creating the application program for the viewing device SK.
以上のセンサエミュレーション機能の説明において、操作装置SPの送信部32及びセンサドライバ35は、操作装置SPの処理装置がプログラムを実行することにより実現される。また、視聴装置SKの仮想センサデバイス41、受信部42、入力部43、動作制御部44及びセンサドライバ45は、視聴装置SKの処理装置がプログラムを実行することにより実現される。ここで、センサエミュレーション機能の利用は、プロジェクションモードに限られない。また、センサの種類は問わない。
In the above description of the sensor emulation function, the
[ビューモード]
次に、ビューモードについて説明する。前述したプロジェクションモードは、視聴装置SKが表示する画面を操作装置SPの表示装置に同期的に表示させるモードである。しかし、視聴装置SKが表示するシーンによっては、操作装置SPに視聴装置SKの画面とは異なるUIを表示させたい場合がある。ビューモードは、視聴装置SKが表示する画面のシーンに応じて、視聴装置SKが表示する画面と異なるUIを操作装置SPに表示させるモードである。
[View mode]
Next, the view mode will be described. The projection mode described above is a mode in which the screen displayed by the viewing device SK is displayed synchronously on the display device of the operating device SP. However, depending on the scene displayed by the viewing device SK, it may be desired to display a UI different from the screen of the viewing device SK on the operation device SP. The view mode is a mode in which a UI different from the screen displayed by the viewing device SK is displayed on the operating device SP according to the scene of the screen displayed by the viewing device SK.
図7は、ビューモードの構成を含んでいる。図7において、視聴装置SKは、操作装置SPに操作UIを提供する。即ち、視聴装置SKの通信部61は、コンテンツの表示シーンに対応する操作UI構成情報を視聴装置SKから操作装置SPに送信する。操作装置SPの表示制御部53は、操作UI構成情報に従って自装置の表示装置26に操作UIを表示する。視聴装置SKの通信部61及び操作装置SPの表示制御部53は、視聴装置SKが表示するシーンを変更する毎に上記の動作を繰り返す。
FIG. 7 includes a view mode configuration. In FIG. 7, the viewing device SK provides an operation UI to the operation device SP. That is, the
視聴装置SKは、テレビモニタMONに表示させるシーンの識別子(表示シーン識別子)と操作UI構成情報との関連付けを、シーンごとに記憶部62に記憶している。視聴装置SKの通信部61は、表示シーンが変更される場合、変更後の表示シーンの識別子に関連付けられた操作UI構成情報を記憶部62から読み出して操作装置SPに送信する。「表示シーン識別子」は、コンテンツの表示シーン毎に固有の識別子である。
The viewing device SK stores the association between the identifier of the scene to be displayed on the television monitor MON (display scene identifier) and the operation UI configuration information in the
これを更に詳述すると、視聴装置SKにおいて、表示制御部63は、記憶部から取得した表示コンテンツをテレビモニタMONに表示する。ビューモードの実行時において、表示制御部63のシーン変更検知部は、表示制御部63が表示する表示シーンの変更を検知する。表示シーンの変更を検知する方法には幾つか考えられる。例えば、操作装置SPから取得した表示シーンを変更する操作情報に基づいて検知する方法、現在表示中のシーンの表示シーン識別子と次に表示するシーンの表示シーン識別子とが異なることを検知する方法、等が考えられる。
More specifically, in the viewing device SK, the
表示コンテンツがUIである場合、表示シーン識別子は、当該UIに含まれる選択可能なオブジェクト毎に付与されていてもよい。UIの表示において、一のオブジェクトが選択されているシーンと、他のオブジェクトが選択されているシーンは、別々の表示シーンである。この場合、当該一のオブジェクトと他のオブジェクトとにそれぞれ異なる表示シーン識別子を付与するとよい。 When the display content is a UI, the display scene identifier may be assigned to each selectable object included in the UI. In the UI display, a scene in which one object is selected and a scene in which another object is selected are separate display scenes. In this case, different display scene identifiers may be assigned to the one object and the other objects.
本実施形態において、シーン変更検知部は、表示シーンの変更を検知すると、次に表示するシーンの表示シーン識別子を通信部61を介して操作装置SPに送信する。又は、シーン変更検知部は、表示シーンの変更を検知すると、次に表示するシーンの表示シーン識別子に関連付けられた操作UI構成情報のアドレス(URL等)を記憶部62から取得し、通信部61を介して操作装置SPに送信する。操作装置SPは、視聴装置SKから送信された表示シーン識別子又は操作UI構成情報のアドレスを通信部51を介して受信し、モード選択部52に渡す。モード選択部52は、表示シーン識別子を取得した場合、表示シーン識別子をクエリ文字列として視聴装置SKのHTTPサーバ上のアドレスに付加し通信部51のHTTPクライアントに渡す。又は、モード選択部52は、操作UI構成情報のアドレスを取得した場合、視聴装置SKのHTTPサーバ上にある当該アドレスを通信部51のHTTPクライアントに渡す。
In the present embodiment, when the change of the display scene is detected, the scene change detection unit transmits the display scene identifier of the next scene to be displayed to the controller device SP via the
操作装置SPのHTTPクライアントは、モード選択部52から渡された視聴装置SKのHTTPサーバ上のアドレスに宛てて、表示シーン識別子に関連付けられた操作UI構成情報を又は操作UI構成情報の実体を直接、リクエストする。視聴装置SKのHTTPサーバは、このリクエストを受信し、リクエストに対応する操作UI構成情報を記憶部62から読み出し、操作装置SPのHTTPクライアントに送信する。操作UI構成情報は、本実施形態において、手続き型言語によるプログラムであり、例えば、HTML5やJavaScript(登録商標)等で記述し、CSS(Cascading Style Sheets)等のスタイルシートを伴ってもよい。
The HTTP client of the operation device SP directly transmits the operation UI configuration information associated with the display scene identifier or the entity of the operation UI configuration information to the address on the HTTP server of the viewing device SK passed from the
操作装置SPのHTTPクライアントは、視聴装置SKから送信された操作UI構成情報を受信し、操作UI構成情報に従って表示装置26に視聴装置SKの表示シーンに対応するUIを表示する。視聴装置SKと操作装置SPは、視聴装置SKが表示するシーンの変更が検知される毎に直ちに上記の処理を繰り返す。
The HTTP client of the operation device SP receives the operation UI configuration information transmitted from the viewing device SK, and displays a UI corresponding to the display scene of the viewing device SK on the
本実施形態において、操作UI構成情報に基づいて操作装置SPに表示したUIをユーザが入力装置54を用いて操作した場合、その後に必要となる操作装置SPと視聴装置SKとの間の通信は、操作装置SPのWebSocketクライアントと、視聴装置SKのWebSocketサーバとの間で行われる。
In the present embodiment, when the user operates the UI displayed on the operation device SP based on the operation UI configuration information using the
以上のビューモードによれば、視聴装置SKが表示するシーンに応じて、操作装置SPが表示するUIを動的に変化させることができる。つまり、視聴装置SKが表示する画面と、これをコントロールする操作装置の画面とをシーンに応じて別々にすることができる。かつ、操作装置SPのユーザは、シーン毎に適したUIを用いて視聴装置SKの動作をコントロールすることができる。よって、視聴装置SKと操作装置SPから成るシステム全体で表現できる画面のバリエーションが広がる。また、視聴装置SKのソフトウェア開発者は、簡単なSDK(ソフトウェア開発キット)を呼び出し、シーンに応じた操作UI構成情報を登録することにより、シーンに応じた所望のUIを操作装置SPに表示させることが可能である。即ち、2デバイス間でのプログラマブルな実行環境を実現できる。 According to the above view mode, the UI displayed by the controller device SP can be dynamically changed according to the scene displayed by the viewing device SK. That is, the screen displayed by the viewing device SK and the screen of the operating device that controls the screen can be made different according to the scene. In addition, the user of the operation device SP can control the operation of the viewing device SK using a UI suitable for each scene. Therefore, variations of the screen that can be expressed by the entire system including the viewing device SK and the operation device SP are widened. Further, the software developer of the viewing device SK calls a simple SDK (software development kit) and registers the operation UI configuration information corresponding to the scene, thereby causing the operation device SP to display a desired UI corresponding to the scene. It is possible. That is, a programmable execution environment between two devices can be realized.
[ハイブリッドモード]
次に、既述のプロジェクションモードとビューモードとを表示シーンに応じて選択的に実行するハイブリッドモードを説明する。図7は、ハイブリッドモードの構成図である。視聴装置SKの記憶部62は、表示シーン識別子毎に操作UI構成情報又はプロジェクションモード指示情報を関連付けて記憶している。「表示シーン識別子」及び「操作UI構成情報」は、既述の通りである。「プロジェクションモード指示情報」は、操作装置SPに既述のプロジェクションモードを実行するように指示する情報である。
[Hybrid mode]
Next, a hybrid mode in which the above-described projection mode and view mode are selectively executed according to the display scene will be described. FIG. 7 is a configuration diagram of the hybrid mode. The
視聴装置SKの表示制御部63は、記憶部から取得した表示コンテンツをテレビモニタMONに表示する。また、表示制御部63は、シーン変更検知部とプロジェクションモード処理部とを備えている。視聴装置SKのプロジェクションモード処理部は、既述のプロジェクションモードの視聴装置SK側の処理を実行する。ハイブリッドモードの実行時において、シーン変更検知部は、表示制御部63が表示するシーンの変更を検知する。表示シーンの変更を検知する方法は、既述の通りである。
The
本実施形態において、シーン変更検知部は、表示シーンの変更を検知すると、記憶部62を参照し、次に表示するシーンの表示シーン識別子に関連付けられている情報が操作UI構成情報であるか又はプロジェクションモード指示であるかを判定する。
In the present embodiment, when the scene change detection unit detects a change in the display scene, the scene change detection unit refers to the
この結果、表示シーン識別子に関連付けられている情報が操作UI構成情報である場合、シーン変更検知部は、その表示シーン識別子を通信部61を介して操作装置SPに送信する。又は、シーン変更検知部は、その表示シーン識別子に関連付けられた操作UI構成情報のアドレス(URL等)を記憶部62から取得し、通信部61を介して操作装置SPに送信する。一方、上記判定の結果、表示シーン識別子に関連付けられている情報がプロジェクションモード指示情報である場合、シーン変更検知部は、視聴装置SKのプロジェクションモード処理部に対し、既述のプロジェクションモードの視聴装置SK側の処理を実行するように指示する。また、この場合、シーン変更検知部は、プロジェクションモード実行指示を通信部61を介して操作装置SPに送信する。
As a result, when the information associated with the display scene identifier is the operation UI configuration information, the scene change detection unit transmits the display scene identifier to the controller device SP via the
操作装置SPは、視聴装置SKから送信された表示シーン識別子、操作UI構成情報のアドレス又はプロジェクションモード実行指示を通信部51を介して受信し、モード選択部52に渡す。モード選択部52は、表示シーン識別子又は操作UI構成情報のアドレスを取得した場合、ビューモードを選択する。一方、モード選択部52は、プロジェクションモード実行指示を取得した場合、プロジェクションモードを選択する。
The operation device SP receives the display scene identifier, the address of the operation UI configuration information, or the projection mode execution instruction transmitted from the viewing device SK via the
モード選択部52が、ビューモードを選択した場合、既述のビューモードの処理を視聴装置SKと操作装置SPとの共働により実行する。一方、モード選択部52が、プロジェクションモードを選択した場合、既述のプロジェクションモードの処理を視聴装置SKと操作装置SPとの共働により実行する。以上の処理を視聴装置SKの表示するシーンが変更される毎に繰り返す。
When the
以上のハイブリッドモードによれば、視聴装置SKが表示するシーンに応じて、操作装置SPの表示装置にプロジェクションモードによる投影画面又はビューモードによる操作装置用のUIを動的に切り替えて表示することができる。これにより、操作装置SPが、より高度なコントローラとなる。 According to the hybrid mode described above, the projection screen in the projection mode or the UI for the operation device in the view mode can be dynamically switched and displayed on the display device of the operation device SP according to the scene displayed by the viewing device SK. it can. Thereby, the controller device SP becomes a more advanced controller.
以上のビューモード及びハイブリッドモードの説明において、視聴装置SKの通信部61及び表示制御部63は、視聴装置SKの処理装置がプログラムを実行することにより実現する。また、操作装置SPの通信部51、モード選択部52及び表示制御部53は、操作装置SPの処理装置がプログラムを実行することにより実現する。
In the above description of the view mode and the hybrid mode, the
以上が本発明の実施形態であるが、本発明は、以上の実施形態に限定されるものではない。上記実施形態において、プロジェクションモード及びセンサエミュレーション機能は、視聴装置SKと操作装置SPとにより実行されるが、これに限らず、一方の装置と他方の装置とにより実行することができる。また、上記実施形態において、ビューモード及びハイブリッドモードも、視聴装置SKと操作装置SPとにより実行されるが、これに限らず、操作装置と***作装置とにより実行することができる。本発明の範囲は、特許請求の範囲に記載した発明の範囲であり、上記実施形態に限定されない。 Although the above is an embodiment of the present invention, the present invention is not limited to the above embodiment. In the above-described embodiment, the projection mode and the sensor emulation function are executed by the viewing device SK and the operation device SP, but are not limited thereto, and can be executed by one device and the other device. In the above embodiment, the view mode and the hybrid mode are also executed by the viewing device SK and the operation device SP. However, the view mode and the hybrid mode are not limited to this, and can be executed by the operation device and the operated device. The scope of the present invention is the scope of the invention described in the claims, and is not limited to the above embodiment.
11,62 視聴装置の記憶装置
12 視聴装置の命令生成部
13 視聴装置の送信部
14 視聴装置の命令実行部
15 視聴装置の表示処理部
21 操作装置の記憶装置
23 操作装置の受信部
24 操作装置の命令実行部
25 操作装置の表示処理部
26 操作装置の表示装置
31 操作装置のハードウェアセンサ
32 操作装置の送信部
35 操作装置のセンサドライバ
41 視聴装置の仮想センサデバイス
42 視聴装置の受信部
43 視聴装置の入力部
44 視聴装置の動作制御部
45 視聴装置のセンサドライバ
51 操作装置の通信部
52 操作装置のモード選択部
53 操作装置の表示制御部
54 操作装置の入力装置
61 視聴装置の通信部
63 視聴装置の表示制御部
AP アクセスポイント
CS コンテンツサーバ
L1,L2,L3 直線
MON テレビモニタ
Q 四角形
SK 視聴装置
SP 操作装置
DESCRIPTION OF
Claims (9)
重ね順を有する複数の図形を描画する原描画命令に基づいて、当該原描画命令により描画される一枚の画面の見かけをプリミティブにより描画する改描画命令を生成する命令生成ステップと、
前記改描画命令を前記一方の装置から前記他方の装置に送信する送信ステップと、
前記一方の装置と前記他方の装置とが前記改描画命令に基づいて前記一枚の画面をそれぞれ描画し各装置の表示装置に表示させる表示ステップと、
を備えた画面表示の同期方法。 A synchronization method of screen display by one device and the other device,
A command generation step for generating a redrawing command for drawing an appearance of a single screen drawn by the original drawing command based on the original drawing command for drawing a plurality of figures having an overlapping order;
A transmission step of transmitting the redrawing command from the one device to the other device;
A display step in which the one device and the other device each draw the one screen based on the revised drawing command and display on the display device of each device;
Method of screen display with
前記原描画命令に画像の描画が含まれている場合、前記送信ステップでは当該画像の識別子を前記一方の装置から前記他方の装置に送信し、
前記表示ステップでは、前記他方の装置は、前記一方の装置から受信した識別子に対応する画像を自装置の記憶部から読み出して描画する、画面表示の同期方法。 The screen display synchronization method according to claim 1,
When drawing of an image is included in the original drawing command, the transmitting step transmits an identifier of the image from the one device to the other device,
In the display step, the other apparatus reads out an image corresponding to the identifier received from the one apparatus from the storage unit of the own apparatus and draws the image.
前記一方の装置は映像出力端子をテレビ等の表示装置に接続された装置であり、前記他方の装置は前記一方の装置を操作可能な携帯端末である、画面表示の同期方法。 The screen display synchronization method according to claim 1 or 2,
The screen display synchronization method, wherein the one device is a device having a video output terminal connected to a display device such as a television, and the other device is a portable terminal capable of operating the one device.
重ね順を有する複数の図形を描画する原描画命令に基づいて、当該原描画命令により描画される一枚の画面の見かけをプリミティブにより描画する改描画命令を生成する命令生成部と、
前記改描画命令に基づいて前記一枚の画面を前記他の装置に描画させるために、当該改描画命令を前記他の装置に送信する送信部と、
前記改描画命令に基づいて前記一枚の画面を描画し表示装置に表示させる表示処理部と、
を備えた表示処理装置。 A display processing device that synchronizes screen display with other devices,
Based on an original drawing command for drawing a plurality of figures having an overlapping order, a command generation unit that generates a redrawing command for drawing an appearance of one screen drawn by the original drawing command with a primitive,
A transmission unit that transmits the revised drawing command to the other device in order to cause the other device to draw the one screen based on the revised drawing command;
A display processing unit that draws the one screen based on the revised drawing command and displays the screen on a display device;
A display processing apparatus.
前記原描画命令に画像の描画が含まれている場合、前記他の装置が予め格納している前記画像を前記他の装置に描画させるために、前記送信部は前記画像の識別子を前記他の装置に送信する、表示処理装置。 The display processing device according to claim 4,
When drawing of an image is included in the original drawing command, in order to cause the other device to draw the image stored in advance by the other device, the transmission unit sets the identifier of the image to the other device. A display processing device that transmits to the device.
重ね順を有する複数の図形を描画する原描画命令に基づいて、当該原描画命令により描画される一枚の画面の見かけをプリミティブにより描画する改描画命令を生成する命令生成ステップと、
前記改描画命令に基づいて前記一枚の画面を前記他の装置に描画させるために、当該改描画命令を前記他の装置に送信する送信ステップと、
前記改描画命令に基づいて前記一枚の画面を描画し表示装置に表示させる表示ステップと、
をプロセッサに実行させる表示処理プログラム。 A display processing program for synchronizing screen display with other devices,
A command generation step for generating a redrawing command for drawing an appearance of a single screen drawn by the original drawing command based on the original drawing command for drawing a plurality of figures having an overlapping order;
A transmission step of transmitting the revised drawing command to the other device in order to cause the other device to draw the one screen based on the revised drawing command;
A display step of drawing and displaying the one screen on a display device based on the revised drawing command;
Display processing program that causes a processor to execute.
前記原描画命令に画像の描画が含まれている場合、前記他の装置が予め格納している前記画像を前記他の装置に描画させるために、前記送信ステップでは前記画像の識別子を前記他の装置に送信する処理をプロセッサに実行させる、表示処理プログラム。 The display processing program according to claim 6,
When drawing of an image is included in the original drawing command, in order to cause the other device to draw the image stored in advance by the other device, the transmitting step sets the identifier of the image to the other drawing command. A display processing program for causing a processor to execute processing to be transmitted to a device.
重ね順を有する複数の図形を描画する原描画命令により描画される一枚の画面の見かけをプリミティブにより描画する改描画命令を前記他の装置から受信する受信ステップと、
前記改描画命令を描画ドライバに対して実行することにより前記一枚の画面を描画し表示装置に表示させる表示ステップと、
をプロセッサに実行させる表示処理プログラム。 A display processing program for synchronizing screen display with other devices,
A receiving step of receiving, from the other device, a redrawing command for drawing an appearance of one screen drawn by a primitive by drawing an original drawing command for drawing a plurality of figures having an overlapping order;
A display step of drawing the one screen and displaying it on a display device by executing the revised drawing command on a drawing driver;
Display processing program that causes a processor to execute.
前記他の装置から受信した改描画命令に画像の識別子が含まれている場合、当該識別子に対応する画像をローカルの記憶部から読み出して前記描画に用いる処理を前記プロセッサに実行させる表示処理プログラム。 In the display processing program according to claim 8,
A display processing program for reading an image corresponding to the identifier from a local storage unit and causing the processor to execute processing used for the drawing when an image identifier is included in the redrawing command received from the other device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014266788A JP2016127423A (en) | 2014-12-26 | 2014-12-26 | Synchronization method of screen display, display processing device, and display processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014266788A JP2016127423A (en) | 2014-12-26 | 2014-12-26 | Synchronization method of screen display, display processing device, and display processing program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016127423A true JP2016127423A (en) | 2016-07-11 |
Family
ID=56359807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014266788A Pending JP2016127423A (en) | 2014-12-26 | 2014-12-26 | Synchronization method of screen display, display processing device, and display processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016127423A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110753244A (en) * | 2018-07-24 | 2020-02-04 | 中兴通讯股份有限公司 | Scene synchronization method, terminal and storage medium |
WO2022267974A1 (en) * | 2021-06-25 | 2022-12-29 | 华为技术有限公司 | Screen projection method and related apparatus |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002197473A (en) * | 1998-09-09 | 2002-07-12 | Fuji Xerox Co Ltd | Graphic processor |
JP2012133472A (en) * | 2010-12-20 | 2012-07-12 | Nec Corp | Data transfer method and program for remote connection screen |
JP2014507033A (en) * | 2011-02-04 | 2014-03-20 | クゥアルコム・インコーポレイテッド | Data exchange between wireless source device and sink device for image display |
-
2014
- 2014-12-26 JP JP2014266788A patent/JP2016127423A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002197473A (en) * | 1998-09-09 | 2002-07-12 | Fuji Xerox Co Ltd | Graphic processor |
JP2012133472A (en) * | 2010-12-20 | 2012-07-12 | Nec Corp | Data transfer method and program for remote connection screen |
JP2014507033A (en) * | 2011-02-04 | 2014-03-20 | クゥアルコム・インコーポレイテッド | Data exchange between wireless source device and sink device for image display |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110753244A (en) * | 2018-07-24 | 2020-02-04 | 中兴通讯股份有限公司 | Scene synchronization method, terminal and storage medium |
WO2022267974A1 (en) * | 2021-06-25 | 2022-12-29 | 华为技术有限公司 | Screen projection method and related apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10349171B2 (en) | Electronic device, peripheral devices and control method therefor | |
WO2017148294A1 (en) | Mobile terminal-based apparatus control method, device, and mobile terminal | |
US11720179B1 (en) | System and method for redirecting content based on gestures | |
KR102183413B1 (en) | Method and system for presenting content using a plurality of electronic devices | |
US9674568B2 (en) | Audio/video signal synchronization method and apparatus | |
JP6651226B2 (en) | Method and apparatus for displaying information presentation items and multimedia playback device | |
US20150067521A1 (en) | Method and apparatus for presenting content using electronic devices | |
US10771866B2 (en) | Methods, systems, and media synchronizing audio and video content on multiple media devices | |
US10684696B2 (en) | Mechanism to enhance user experience of mobile devices through complex inputs from external displays | |
EP3358850A1 (en) | Content playing apparatus, method for providing ui of content playing apparatus, network server, and method for controlling by network server | |
WO2015139547A1 (en) | Method, device and system for setting up application scenario | |
WO2013023514A1 (en) | Image processing method, device and system | |
JP6467822B2 (en) | Display system, transmission device, and display system control method | |
US9693109B1 (en) | Configurable media processing based on mapping of remote controller buttons | |
CN110944140A (en) | Remote display method, remote display system, electronic device and storage medium | |
WO2017000835A1 (en) | Extended display identification data (edid) processing method and apparatus | |
KR102397886B1 (en) | Electronic device, user terminal apparatus, and control method thereof | |
JP2016127423A (en) | Synchronization method of screen display, display processing device, and display processing program | |
US10547660B2 (en) | Advertising media processing capabilities | |
KR102369121B1 (en) | Image processing apparatus, display device and control method thereof | |
JP2016127425A (en) | Operation ui providing method and program and operation target device | |
JP5869109B2 (en) | Relay device | |
JP2016127424A (en) | Device control method, device control program and controlled device | |
CN114615529A (en) | Display device, external device and audio playing method | |
US20150325110A1 (en) | Control Target Selection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180905 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190508 |