JP2014238449A - Image processor - Google Patents

Image processor Download PDF

Info

Publication number
JP2014238449A
JP2014238449A JP2013119972A JP2013119972A JP2014238449A JP 2014238449 A JP2014238449 A JP 2014238449A JP 2013119972 A JP2013119972 A JP 2013119972A JP 2013119972 A JP2013119972 A JP 2013119972A JP 2014238449 A JP2014238449 A JP 2014238449A
Authority
JP
Japan
Prior art keywords
image
electronic information
display
video
information board
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013119972A
Other languages
Japanese (ja)
Inventor
宮本 篤
Atsushi Miyamoto
篤 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2013119972A priority Critical patent/JP2014238449A/en
Publication of JP2014238449A publication Critical patent/JP2014238449A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an electronic information board capable of efficiently utilizing the entire screen by making a handwritten image properly displayable even in the case of displaying a different image other than the handwritten image in a display device.SOLUTION: The electronic information board includes a coordinate detection part 224 for detecting the coordinates position of an electronic pen 3 for approaching or coming into contact with a display surface of a display part 112 as an input coordinates position, a display control part 220 for displaying a conference image occupying a prescribed area of the display surface, and a handwritten image at the input coordinates position detected by the coordinate detection part 224, and a video display area control part 219 for performing control for changing display modes of the conference image by display control means when the input coordinates position detected by the coordinate detection part 224 is within the prescribed area in which the conference image is displayed.

Description

本発明は、画像処理装置に関し、特に電子ペンや指を用いた書込が可能な電子情報ボードに関する。   The present invention relates to an image processing apparatus, and more particularly to an electronic information board capable of writing using an electronic pen or a finger.

電子ペンや指等を用いてディスプレイに対し自在に書き込み可能な電子情報ボードが既に知られている。例えば、特許文献1には、表示部に対して電子ペン等で記述(手書き画像)することにより、表示部に文字が表示される電子情報ボードが記載されている。
昨今では、このような電子情報ボードを、物理的に離れた遠隔地等の拠点同士を接続したテレビ会議にも利用するようになっている。
例えば、遠隔会議用の端末装置に電子情報ボードを接続し、互いの端末装置が備えるカメラで取得した映像を、互いの電子情報ボードに対する書き込みとともに電子情報ボード間で送受信してボードの表示部に表示させながらテレビ会議を行う態様が知られている。
例えば上記の特許文献1によれば、一般的なビデオ会議システムに接続することにより、電子情報ボードのディスプレイ上にビデオ会議システムのカメラ画像を出力することが可能である。
There is already known an electronic information board that can be freely written on a display using an electronic pen, a finger, or the like. For example, Patent Document 1 describes an electronic information board in which characters are displayed on a display unit by writing (handwritten image) on the display unit with an electronic pen or the like.
Nowadays, such electronic information boards are also used for video conferences in which bases such as physically remote locations are connected to each other.
For example, an electronic information board is connected to a terminal device for remote conferencing, and images acquired by the cameras provided in each terminal device are transmitted and received between the electronic information boards together with writing to each other's electronic information board and displayed on the display unit of the board A mode of performing a video conference while displaying is known.
For example, according to Patent Document 1 described above, it is possible to output a camera image of a video conference system on a display of an electronic information board by connecting to a general video conference system.

しかし、例えばユーザ端末装置が有するカメラで取得した映像(カメラ映像)と電子情報ボードに対する書き込み(手書き画像)の両方を、互いの電子情報ボードに表示する場合、手書き画像よりも前面のレイヤにカメラ映像を表示することが多かった。
その場合、例えばビデオ会議システムにおける電子情報ボードにおいて、相手方の電子情報ボードからのカメラ映像を表示した状態で手書き画像を記述すると、その背面に位置する手書き画像レイヤには手書き画像が記録されているにも拘わらず、会議映像(カメラ映像)と重なる部分には手書き画像が表示されない。
そのため、会議参加者からは常に会議映像(カメラ画像)が見え、記述した手書き画像(手書き画像)が見えない、という問題があった。従って、会議参加者はカメラ映像の領域を避けて手書きを行うなどする必要があり非常に煩雑である。
本発明は、上記の課題を鑑みて、表示面への入力以外の画像を表示画面に表示している場合でも、表示面への入力を適切に表示可能とした画像処理装置を提供することを目的とする。
However, for example, when both the video (camera video) acquired by the camera of the user terminal device and the writing (handwritten image) to the electronic information board are displayed on each electronic information board, the camera is placed on the front layer of the handwritten image. In many cases, video was displayed.
In that case, for example, in an electronic information board in a video conference system, when a handwritten image is described in a state in which a camera image from the other party's electronic information board is displayed, the handwritten image is recorded in the handwritten image layer located on the back side. Nevertheless, a handwritten image is not displayed in a portion overlapping the conference video (camera video).
For this reason, there is a problem that a conference participant can always see the conference video (camera image) and cannot see the written handwritten image (handwritten image). Therefore, it is necessary for the conference participant to perform handwriting while avoiding the area of the camera video, which is very complicated.
In view of the above problems, the present invention provides an image processing apparatus capable of appropriately displaying an input to the display surface even when an image other than the input to the display surface is displayed on the display screen. Objective.

上記の課題を解決するために、請求項1の発明は、表示面における座標位置を検出する座標検出手段と、前記表示面の所定領域に画像を表示する表示制御手段と、前記座標位置が、前記所定領域にあるときに、前記表示制御手段による前記画像の表示態様を変更する制御を行う領域制御手段と、を備える画像処理装置を特徴とする。   In order to solve the above problems, the invention of claim 1 is characterized in that coordinate detection means for detecting a coordinate position on a display surface, display control means for displaying an image in a predetermined area of the display surface, and the coordinate position are: An image processing apparatus comprising: an area control unit that performs control to change a display mode of the image by the display control unit when in the predetermined area.

本発明によれば、表示面への入力以外の画像を表示画面に表示している場合でも、表示面への入力を適切に表示可能として、画面全体を効率よく活用することが可能な画像処理装置を実現することが出来る。   According to the present invention, even when an image other than the input on the display surface is displayed on the display screen, the image processing capable of appropriately displaying the input on the display surface and efficiently utilizing the entire screen A device can be realized.

本実施形態に係る電子情報ボードが適用される遠隔会議システムを示す図。The figure which shows the remote conference system with which the electronic information board which concerns on this embodiment is applied. 本発明尾実施形態に係る電子情報ボードのハードウェア構成およびソフトウェアによる機能構成を示す図。The figure which shows the hardware structure of the electronic information board which concerns on this invention tail embodiment, and the function structure by software. 遠隔会議システムの電子情報ボードが実行する処理の一例を示すシーケンス図。The sequence diagram which shows an example of the process which the electronic information board of a remote conference system performs. 本実施形態の電子情報ボードの表示部を示す図。The figure which shows the display part of the electronic information board of this embodiment. 電子情報ボードにおける電子ペンの接触位置情報および会議映像の表示位置情報の定義方式を表す図。The figure showing the definition system of the contact position information of the electronic pen in an electronic information board, and the display position information of a meeting image. 会議映像の制御処理を説明するフローチャート。The flowchart explaining the control process of a meeting image | video. 映像表示領域制御部による会議映像制御の一例を示す図。The figure which shows an example of the meeting video control by a video display area control part. 映像表示領域制御部による会議映像制御の他の例を示す図。The figure which shows the other example of the meeting video control by a video display area control part. 映像表示領域制御部による会議映像制御の他の例を示す図。The figure which shows the other example of the meeting video control by a video display area control part. 映像制御の第1の終了処理を説明するフローチャート。6 is a flowchart for explaining first end processing of video control. 映像制御の第2の終了処理を説明するフローチャート。The flowchart explaining the 2nd completion | finish process of video control.

以下に、図面を参照して本発明の実施の形態を詳細に説明する。
図1は、本実施形態に係る電子情報ボード(画像処理装置)が適用されるテレビ会議システム(画像処理システム)を示す図である。
図1に示す遠隔会議システム100において、例えば2つの電子情報ボード110(110a、110b)がLANやインターネット等のネットワークNWを介して相互に接続されている。
図1に示す会議システムでは、一方の電子情報ボード110に対して電子ペン3等の入力装置を用いて手書き画像(手書き画像領域)5が記述、削除、又は編集等がされると、ネットワークNWに接続された他方の電子情報ボードに同一の手書き画像5が表示される。
つまり、異なる拠点間で全く同じ手書き画像情報を共有することが可能である。
Embodiments of the present invention will be described below in detail with reference to the drawings.
FIG. 1 is a diagram showing a video conference system (image processing system) to which an electronic information board (image processing apparatus) according to this embodiment is applied.
In the remote conference system 100 shown in FIG. 1, for example, two electronic information boards 110 (110a, 110b) are connected to each other via a network NW such as a LAN or the Internet.
In the conference system shown in FIG. 1, when a handwritten image (handwritten image region) 5 is described, deleted, or edited on one electronic information board 110 using an input device such as the electronic pen 3, the network NW The same handwritten image 5 is displayed on the other electronic information board connected to the.
That is, it is possible to share the same handwritten image information between different bases.

また、各電子情報ボード110には、電子情報ボード110に表示すべき画像を提供する情報処理装置としての遠隔会議ユーザ端末(以下、単にユーザ端末と呼ぶ)130(130a、130b)が接続されている。
ユーザ端末130(130a、130b)は夫々カメラ(画像取得手段)131(131a、131b)を備え、各拠点における会議参加者の映像等を撮影し、手書き画像とともに他の電子情報ボードに対して送信可能である。
また、ユーザ端末130は、画像信号を外部出力するVGA出力端子等インタフェースを備えており、VGAケーブル等のケーブル124を介してVGA信号を電子情報ボード110に送信することができる。
Each electronic information board 110 is connected to a remote conference user terminal (hereinafter simply referred to as a user terminal) 130 (130a, 130b) as an information processing apparatus that provides an image to be displayed on the electronic information board 110. Yes.
Each of the user terminals 130 (130a, 130b) is provided with a camera (image acquisition means) 131 (131a, 131b), which captures images of conference participants at each site and transmits them to other electronic information boards together with handwritten images. Is possible.
Further, the user terminal 130 includes an interface such as a VGA output terminal that outputs an image signal to the outside, and can transmit the VGA signal to the electronic information board 110 via a cable 124 such as a VGA cable.

例えば、ユーザ端末130における画像信号(カメラ131で取得した画像信号)を所定のレート(例えば、毎秒30フレーム等)で電子情報ボード110に供給する。
ユーザ端末130は、各種無線通信プロトコルに準拠した無線通信により、表示画像を送信してもよい。
ユーザ端末130のカメラ131より撮影された映像が電子情報ボード110に入力されることで、手書き情報に加えて映像や音声を遠隔地の電子情報ボード110間で送受信する遠隔会議システム100を実現することが出来る。
For example, an image signal (image signal acquired by the camera 131) in the user terminal 130 is supplied to the electronic information board 110 at a predetermined rate (for example, 30 frames per second).
The user terminal 130 may transmit the display image by wireless communication complying with various wireless communication protocols.
By inputting video captured by the camera 131 of the user terminal 130 to the electronic information board 110, the remote conference system 100 that transmits and receives video and audio between the remote electronic information boards 110 in addition to handwritten information is realized. I can do it.

なお、ユーザ端末130としては、ノート型PC、デスクトップ型PCやタブレット型PC、PDA、さらにはデジタルビデオカメラ、デジタルカメラ等が適用可能である。
なお、図1に示す実施形態では電子情報ボード110a、110bがネットワークNWを介して接続されるが、これらの電子情報ボードを、ネットワークNWを介さずにスター型等の接続形態で直接接続してもよい。
As the user terminal 130, a notebook PC, a desktop PC, a tablet PC, a PDA, a digital video camera, a digital camera, or the like is applicable.
In the embodiment shown in FIG. 1, the electronic information boards 110a and 110b are connected via the network NW, but these electronic information boards are directly connected in a star type connection form without going through the network NW. Also good.

また、電子情報ボード110をネットワークに接続せずにスタンドアロンで使用する場合にも本発明を適用することが可能である。
また、カメラ131等ユーザ端末130が有する機能を全て電子情報ボード110が備えていても良い。
なお、電子情報ボード110a、110bは互いに同一の構成を有する装置であり、以下では、2以上の装置の通信等を説明する場合以外は、単に電子情報ボード110、それに接続されるユーザ端末130として説明を行う。
The present invention can also be applied to a case where the electronic information board 110 is used stand-alone without being connected to a network.
The electronic information board 110 may be provided with all the functions of the user terminal 130 such as the camera 131.
Note that the electronic information boards 110a and 110b are apparatuses having the same configuration. In the following description, the electronic information board 110 and the user terminal 130 connected to the electronic information board 110 are simply used except for the case of explaining communication between two or more apparatuses. Give an explanation.

図2は、本発明の実施形態に係る電子情報ボードのハードウェア構成およびソフトウェアによる機能構成を示す図である。
以下、図2を参照して、電子情報ボード110のハードウェア構成および機能構成について説明する。
電子情報ボード110は、画像入力インタフェース232および画像出力インタフェース234を備えており、これらのインタフェースを介してユーザ端末130と接続される。
画像入力インタフェース232は、ユーザ端末130の表示画像や、カメラ131a、マイク132bによって取得された会議映像や音声の信号を受信するインタフェースである。
FIG. 2 is a diagram showing a hardware configuration and a functional configuration by software of the electronic information board according to the embodiment of the present invention.
Hereinafter, the hardware configuration and functional configuration of the electronic information board 110 will be described with reference to FIG.
The electronic information board 110 includes an image input interface 232 and an image output interface 234, and is connected to the user terminal 130 via these interfaces.
The image input interface 232 is an interface that receives a display image of the user terminal 130, a conference video or audio signal acquired by the camera 131a and the microphone 132b.

本実施形態では、画像入力インタフェース232としてDVI(Digital Visual Interface)端子によって構成されるDVIコネクタ等を採用することができる。
画像入力インタフェース232は、ユーザ端末130からVGAケーブル等のケーブル124を介してVGA信号を受信し、電子情報ボード110が備える画像取得部206にVGA信号を供給する。
画像入力インタフェース232としては、VGA(Video Graphics Array)コネクタ、HDMI(登録商標)(High-Definition Multimedia Interface)コネクタ、Displayportコネクタ等を採用することができる。また、画像入力インタフェース234としてUSBソケットを採用することもできる。
In the present embodiment, a DVI connector configured by a DVI (Digital Visual Interface) terminal or the like can be employed as the image input interface 232.
The image input interface 232 receives a VGA signal from the user terminal 130 via the cable 124 such as a VGA cable, and supplies the VGA signal to the image acquisition unit 206 provided in the electronic information board 110.
As the image input interface 232, a VGA (Video Graphics Array) connector, an HDMI (registered trademark) (High-Definition Multimedia Interface) connector, a Displayport connector, or the like can be employed. Also, a USB socket can be adopted as the image input interface 234.

また、画像入力インタフェース232は、Bluetooth(登録商標)やWiFi等の無線通信プロトコルに準拠した無線通信により、ユーザ端末130から画像信号を受信してもよい。
画像出力インタフェース234は、電子情報ボード110の表示画像をユーザ端末130などの外部装置に出力する物理インタフェースである。本実施形態では、画像出力インタフェース234としてUSBソケットを採用することができる。
電子情報ボード110は、プロセッサ200と、ROM202と、RAM204と、画像取得部206と、座標検出部224と、接触検知装置226と、表示部112とを備えている。
In addition, the image input interface 232 may receive an image signal from the user terminal 130 by wireless communication complying with a wireless communication protocol such as Bluetooth (registered trademark) or WiFi.
The image output interface 234 is a physical interface that outputs a display image of the electronic information board 110 to an external device such as the user terminal 130. In the present embodiment, a USB socket can be adopted as the image output interface 234.
The electronic information board 110 includes a processor 200, a ROM 202, a RAM 204, an image acquisition unit 206, a coordinate detection unit 224, a contact detection device 226, and a display unit 112.

プロセッサ200は、CPUやMPU等の処理演算装置であり、WINDOWS(登録商標)シリーズ、UNIX(登録商標)、LINUX(登録商標)、TRON、ITRON、μITRONなどのOSを動作させる。
そして、これらのOSの管理下でアセンブラ、C、C++、Java(登録商標)、JavaScript(登録商標)、PERL、RUBY、PYTHONなどのプログラム言語で記述された本発明のプログラムを実行する。
The processor 200 is a processing arithmetic device such as a CPU or MPU, and operates an OS such as WINDOWS (registered trademark) series, UNIX (registered trademark), LINUX (registered trademark), TRON, ITRON, and μITRON.
Under the management of these OSs, the program of the present invention described in a program language such as assembler, C, C ++, Java (registered trademark), JavaScript (registered trademark), PERL, RUBY, or PYTHON is executed.

ROM202は、BIOSやEFI等のブートプログラムなどが保存される不揮発性メモリである。
RAM204は、DRAMやSRAM等の主記憶装置であり、本発明のプログラムを実行するための実行空間を提供する。
The ROM 202 is a non-volatile memory in which a boot program such as BIOS or EFI is stored.
The RAM 204 is a main storage device such as a DRAM or an SRAM, and provides an execution space for executing the program of the present invention.

プロセッサ200は、ソフトウェアプログラムや種々のデータなどを持続的に保持するためのハードディスク装置(不図示)から、本発明のプログラムを読み出し、RAM204に展開して実行する。
これらのプログラムは、プログラムモジュールであるイベント処理部210、表示領域生成部212、映像描画部214、映像表示領域制御部(領域制御手段)219、手書き画像生成部216が主に含まれる。
また、プロセッサ200が実行するプログラムモジュールとして、合成部218、表示制御部220が更に含まれる。
The processor 200 reads out the program of the present invention from a hard disk device (not shown) for continuously storing software programs and various data, and develops and executes the program on the RAM 204.
These programs mainly include an event processing unit 210, a display region generation unit 212, a video drawing unit 214, a video display region control unit (region control means) 219, and a handwritten image generation unit 216, which are program modules.
In addition, a synthesis unit 218 and a display control unit 220 are further included as program modules executed by the processor 200.

画像取得部206は、ユーザ端末130から画像信号を取得する機能手段である。
画像取得部206は、ユーザ端末130から画像入力インタフェース232を介して画像信号を受信すると、当該画像信号を解析して当該画像信号によって形成される画像フレームの解像度の更新頻度などの画像情報を導出し、表示領域生成部212に送信する。
また、画像取得部206は、当該画像信号を使用して画像フレームをそれぞれ形成し、画像データを一時的に保存可能な記憶手段であるビデオRAM208にそれぞれ上書き保存する。
The image acquisition unit 206 is a functional unit that acquires an image signal from the user terminal 130.
When the image acquisition unit 206 receives an image signal from the user terminal 130 via the image input interface 232, the image acquisition unit 206 analyzes the image signal and derives image information such as an update frequency of the resolution of an image frame formed by the image signal. To the display area generation unit 212.
Further, the image acquisition unit 206 forms an image frame using the image signal, and overwrites and saves the image data in a video RAM 208 which is a storage unit capable of temporarily storing the image data.

表示領域生成部212は、表示部(画像表示手段)112に表示すべき種々の表示ウィンドウを生成する(表示領域を割り当てる)機能手段である。
表示領域には、ネットワークを介して他のユーザ端末130bから送信されてきたカメラ映像を表示する映像表示領域9や、電子情報ボード110a、及び他の電子情報ボード110bにおいて生成された手書き画像を表示する手書き画像表示領域4が含まれる。
The display area generation unit 212 is a functional unit that generates various display windows (assigns display areas) to be displayed on the display unit (image display unit) 112.
In the display area, the video display area 9 for displaying the camera video transmitted from the other user terminal 130b via the network, and the handwritten image generated in the electronic information board 110a and the other electronic information board 110b are displayed. A handwritten image display area 4 is included.

また、表示領域には、電子情報ボード110の各種設定を行うためのボタンやメニュー等を表示する表示ウィンドウ、ファイルビューアやWebブラウザ等の表示ウィンドウなどが含まれてもよい。
表示領域生成部212は、これらの表示領域を、当該表示領域を描画すべき画像レイヤに描画する。
The display area may include a display window for displaying buttons and menus for performing various settings of the electronic information board 110, a display window for a file viewer, a web browser, and the like.
The display area generation unit 212 draws these display areas on the image layer where the display area is to be drawn.

映像描画部214は、表示領域生成部212が生成する表示領域にユーザ端末130から入力されるカメラ画像(映像)を描画する機能手段である。
映像描画部214は、画像取得部206から画像情報を取得すると、ビデオRAM208に格納されている画像フレームを取得する。
そして、映像描画部214は、取得した画像情報を使用して、画像フレームの大きさを表示領域生成部212が生成した表示ウィンドウの大きさに適合するように変更して当該画像フレームを描画すべき画像レイヤに描画する。
接触検知装置226は、表示部112に対する電子ペン3等の物体の接触を検知する機能手段である。
本実施形態では、接触検知装置226として、赤外線遮断方式による座標入力/検出装置を採用する。
The video drawing unit 214 is a functional unit that draws a camera image (video) input from the user terminal 130 in the display area generated by the display area generation unit 212.
When the image drawing unit 214 acquires image information from the image acquisition unit 206, the image drawing unit 214 acquires image frames stored in the video RAM 208.
Then, using the acquired image information, the video drawing unit 214 changes the size of the image frame to match the size of the display window generated by the display area generation unit 212 and draws the image frame. Draw on the power layer.
The contact detection device 226 is a functional unit that detects contact of an object such as the electronic pen 3 with respect to the display unit 112.
In this embodiment, as the contact detection device 226, a coordinate input / detection device using an infrared ray blocking method is employed.

この座標入力/検出装置では、表示部112の下側両端部に設置された2の受発光装置が、表示部112に平行して複数の赤外線を放射し、表示部112の周囲に設けられた反射部材によって同一光路上に反射する光を受光する。接触検知装置226は、物体によって遮断された2の受発光装置が放射した赤外線の識別情報を座標検出部224に通知し、座標検出部224が、物体の接触位置である座標位置を特定する。
なお、接触検知装置226として、その他の方式のタッチパネルが採用可能である。
In this coordinate input / detection device, two light emitting / receiving devices installed at both lower ends of the display unit 112 emit a plurality of infrared rays in parallel with the display unit 112 and are provided around the display unit 112. Light reflected by the reflecting member on the same optical path is received. The contact detection device 226 notifies the coordinate detection unit 224 of infrared identification information emitted by the two light emitting and receiving devices blocked by the object, and the coordinate detection unit 224 identifies the coordinate position that is the contact position of the object.
Note that as the contact detection device 226, another type of touch panel can be employed.

例えば、タッチパネルの方式として、静電容量の変化を検知することで接触位置を特定する静電容量方式、対向する2の抵抗膜の電圧変化により接触位置を特定する抵抗膜方式が採用可能である。
さらに、接触物体が表示部(の表示面)に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルも適用可能である。
For example, as a touch panel method, a capacitance method that identifies a contact position by detecting a change in capacitance, or a resistance film method that identifies a contact position by a voltage change between two opposing resistance films can be employed. .
Furthermore, an electromagnetic induction type touch panel that detects electromagnetic induction caused by contact of a contact object with the display unit (display surface thereof) and specifies a contact position is also applicable.

座標検出部224は、物体が表示部112(の表示面)に接触した位置である座標位置を算出すると共に、種々のイベントを発行する機能手段である。
座標検出部224が検出する表示部112に物体が接触した位置である座標は電子情報ボード110に対する入力座標位置である。
本実施形態では、座標検出部224は、接触検知装置226が通知する遮断された赤外線の識別情報を利用して、物体の接触位置の座標位置を算出する。
The coordinate detection unit 224 is a functional unit that calculates a coordinate position, which is a position where an object is in contact with the display unit 112 (display surface thereof), and issues various events.
The coordinates at which the object is in contact with the display unit 112 detected by the coordinate detection unit 224 are the input coordinate positions for the electronic information board 110.
In the present embodiment, the coordinate detection unit 224 calculates the coordinate position of the contact position of the object by using the blocked infrared identification information notified by the contact detection device 226.

座標検出部224は、接触位置の座標位置と共に、種々のイベントをイベント処理部210に発行する。
これらのイベントには、物体が接触又は接近したことを通知するイベント、物体が表示部112に接触または接近した状態で接触点又は接近点が移動したことを通知するイベント、物体が表示部112から離れたことを通知するイベントが含まれる。
これらのイベントには、接触位置座標および接近位置座標である座標位置情報(座標位置)が含まれる。
The coordinate detection unit 224 issues various events to the event processing unit 210 together with the coordinate position of the contact position.
These events include an event for notifying that an object has touched or approached, an event for notifying that a contact point or an approach point has moved while the object has touched or approached the display unit 112, and an object from the display unit 112. Contains an event to notify you that you have left.
These events include coordinate position information (coordinate positions) that are contact position coordinates and approach position coordinates.

電子ペン(入力装置)3は、電子情報ボード110の接触検知装置226に接触させて描画(入力)する装置である。
電子ペン3は、先端部に物体の接触を検知する接触検知装置を備えたペン形状をしており、当該接触検知装置が物体に接触すると、接触したことを示す接触信号を当該描画装置の識別情報と共に座標検出部224に送信する。
本実施形態では、座標検出部224は、接触検知装置226から赤外線の識別情報を受信すると、物体の接触位置である座標位置を算出し、次いで、電子ペン3から接触信号を受信すると、各種イベントを発行する。
本実施形態では、Bluetooth(登録商標)等の近距離無線通信によって各種信号を送信する。他の実施形態では、超音波や赤外線を利用した無線通信によって各種信号を送信することができる。
The electronic pen (input device) 3 is a device that draws (inputs) by making contact with the contact detection device 226 of the electronic information board 110.
The electronic pen 3 has a pen shape with a contact detection device that detects the contact of an object at the tip, and when the contact detection device comes into contact with the object, a contact signal indicating the contact is identified by the drawing device. It transmits to the coordinate detection part 224 with information.
In the present embodiment, when the coordinate detection unit 224 receives infrared identification information from the contact detection device 226, the coordinate detection unit 224 calculates a coordinate position that is a contact position of an object, and then receives a contact signal from the electronic pen 3 to perform various events. Is issued.
In this embodiment, various signals are transmitted by near field communication such as Bluetooth (registered trademark). In other embodiments, various signals can be transmitted by wireless communication using ultrasonic waves or infrared rays.

イベント処理部210は、座標検出部224が発行するイベントを処理する機能手段である。
描画指示イベントとは、電子情報ボード110に対して描画を指示するイベントである。描画指示イベントは、画像処理装置操作モードが指定されている場合に、電子ペン3が表示部112に接触することに起因して発行される。
選択通知イベントとは、表示部112(の表示面)に表示された画面を構成するボタンやメニューバー等の種々のオブジェクトが選択されたことを示すイベントである。選択通知イベントは画像処理装置操作モードが指定されている場合に、電子ペン3が表示部112に接触することに起因して発行される。イベント処理部210は、座標検出部224が発行したイベントに含まれる座標位置情報がオブジェクトの座標領域内であるときに選択通知イベントを発行する。
本実施形態では、描画指示イベントおよび選択通知イベントには、それぞれ識別情報が割り当てられており、これらのイベントをトリガとして動作する電子情報ボード110の機能手段は、当該識別情報を参照して種々の処理を実行する。
The event processing unit 210 is a functional unit that processes an event issued by the coordinate detection unit 224.
The drawing instruction event is an event that instructs the electronic information board 110 to perform drawing. The drawing instruction event is issued when the electronic pen 3 contacts the display unit 112 when the image processing apparatus operation mode is designated.
The selection notification event is an event indicating that various objects such as buttons and menu bars constituting the screen displayed on the display unit 112 (display surface thereof) have been selected. The selection notification event is issued when the electronic pen 3 touches the display unit 112 when the image processing apparatus operation mode is designated. The event processing unit 210 issues a selection notification event when the coordinate position information included in the event issued by the coordinate detection unit 224 is within the coordinate area of the object.
In the present embodiment, identification information is assigned to each of the drawing instruction event and the selection notification event, and the functional unit of the electronic information board 110 that operates using these events as a trigger refers to the identification information in various ways. Execute the process.

また、選択通知イベントには、選択されたオブジェクトの識別情報が付加されており、選択通知イベントをトリガとして動作する電子情報ボード110の機能手段は、当該オブジェクトの識別情報を参照して種々の処理を実行する。
手書き画像生成部216は、ユーザが電子ペン3を用いて描画した手書き画像を生成する機能手段である。手書き画像生成部216は、座標位置情報が示す座標位置の色を特定の色に変更した画像レイヤを生成する。手書き画像生成部216は、当該座標位置を描画情報としてRAM204の描画情報の格納領域に保存する。
合成部218は、種々の画像を合成する機能手段である。合成部218は、表示領域生成部212が画像を描画すべき画像レイヤ(以下、「アプリ画像レイヤ」とする。)と、手書き画像生成部216が画像を描画すべき画像レイヤ(以下、「手書きレイヤ」とする)とを合成する。
In addition, identification information of the selected object is added to the selection notification event, and the functional unit of the electronic information board 110 that operates using the selection notification event as a trigger refers to the identification information of the object to perform various processes. Execute.
The handwritten image generation unit 216 is a functional unit that generates a handwritten image drawn by the user using the electronic pen 3. The handwritten image generation unit 216 generates an image layer in which the color of the coordinate position indicated by the coordinate position information is changed to a specific color. The handwritten image generation unit 216 stores the coordinate position as drawing information in the drawing information storage area of the RAM 204.
The synthesizing unit 218 is a functional unit that synthesizes various images. The composition unit 218 includes an image layer (hereinafter referred to as “application image layer”) on which the display area generation unit 212 should draw an image and an image layer (hereinafter referred to as “handwriting” on which the handwritten image generation unit 216 should draw an image. Layer)).

表示制御部220は、表示部112を制御する機能手段である。表示制御部220は、合成部218が生成した合成画像を表示部112(の表示面)に表示する。本実施形態では、合成部218は、表示制御部220を呼び出して合成画像を表示部112に表示する。他の実施形態では、合成部218および表示制御部220は、画像情報に含まれる画像フレームの更新頻度と同じ頻度で、画像レイヤを合成して表示部112に表示してもよい。   The display control unit 220 is a functional unit that controls the display unit 112. The display control unit 220 displays the combined image generated by the combining unit 218 on the display unit 112 (display surface thereof). In the present embodiment, the composition unit 218 calls the display control unit 220 and displays the composite image on the display unit 112. In another embodiment, the combining unit 218 and the display control unit 220 may combine the image layers and display them on the display unit 112 at the same frequency as the update frequency of the image frame included in the image information.

電子情報ボード110は、さらに、通信制御部250と、通信部252とを備えている。通信制御部250は、ネットワークNWを介した電子情報ボード110間の通信を制御する機能手段である。
また、通信部252は、ネットワークNWとのネットワークインタフェースである。
通信制御部250は、下記の認証情報、画像フレームやスナップショット画像等の画像データや描画情報、イベントなどの情報を、通信部252を介して通信する。
映像表示領域制御部219は、電子ペン3の座標位置情報と、表示領域生成部212によって生成されたカメラ画像の表示領域との関係に基づいて、手書き画像の作成時に手書き画像がカメラ画像に隠れないように、画像表示領域の制御を行う。
The electronic information board 110 further includes a communication control unit 250 and a communication unit 252. The communication control unit 250 is a functional unit that controls communication between the electronic information boards 110 via the network NW.
The communication unit 252 is a network interface with the network NW.
The communication control unit 250 communicates the following authentication information, image data such as image frames and snapshot images, drawing information, and information such as events via the communication unit 252.
Based on the relationship between the coordinate position information of the electronic pen 3 and the display area of the camera image generated by the display area generator 212, the video display area controller 219 hides the handwritten image in the camera image when creating the handwritten image. The image display area is controlled so as not to occur.

図3は、遠隔会議システム100の電子情報ボード110a、110bが実行する処理の一例を示すシーケンス図である。
遠隔会議システム100では、電子情報ボード110a、110bのいずれかが、画像データやイベント等のデータ共有を図るサーバ機として機能し、他の画像処理装置がクライアント機として機能する。図3に示す実施形態では、電子情報ボード110aがサーバ機として機能し、電子情報ボード110b、がクライアント機として機能する。
FIG. 3 is a sequence diagram illustrating an example of processing executed by the electronic information boards 110a and 110b of the remote conference system 100.
In the remote conference system 100, one of the electronic information boards 110a and 110b functions as a server machine that shares data such as image data and events, and other image processing apparatuses function as client machines. In the embodiment shown in FIG. 3, the electronic information board 110a functions as a server machine, and the electronic information board 110b functions as a client machine.

初めに、サーバ機としての電子情報ボード110aが、サーバ機能を有効にさせるユーザ指示(ユーザ端末130aによる操作)を受信することにより、サーバ機能フラグを有効にする(S10)。
次に、電子情報ボード110aが、電子情報ボード110aとの接続を確立するための接続情報を表示部112(の表示面)に表示する(ステップS11)。接続情報には、電子情報ボード110aの識別情報と、電子情報ボード110aとの接続を確立するための認証情報とが含まれる。電子情報ボード110aの識別情報は、例えば、電子情報ボード110aのIPアドレスや電話番号等の識別情報である。認証情報は、例えば、任意の数字や記号、文字で構成されるパスコードである。
First, the electronic information board 110a as a server machine receives a user instruction (operation by the user terminal 130a) for enabling the server function, thereby enabling the server function flag (S10).
Next, the electronic information board 110a displays connection information for establishing a connection with the electronic information board 110a on the display unit 112 (the display surface thereof) (step S11). The connection information includes identification information of the electronic information board 110a and authentication information for establishing a connection with the electronic information board 110a. The identification information of the electronic information board 110a is, for example, identification information such as an IP address or a telephone number of the electronic information board 110a. The authentication information is, for example, a pass code composed of arbitrary numbers, symbols, and characters.

次に、クライアント機としての電子情報ボード110b、が、電子情報ボード110aに対して認証情報を送信し、接続を要求する(ステップS12)。
電子情報ボード110aは、電子情報ボード110bから受信した認証情報を用いて、これらの画像処理装置を認証し(ステップS13)、その結果を通知する(ステップS14)。
認証が成功した場合には、電子情報ボード110aと電子情報ボード110bとのの通信が確立され、電子情報ボード110bが、他の電子情報ボードとの間のデータ共有の有無を示す共有フラグを有効にする(ステップS15)。
Next, the electronic information board 110b as the client machine transmits authentication information to the electronic information board 110a and requests connection (step S12).
The electronic information board 110a authenticates these image processing apparatuses using the authentication information received from the electronic information board 110b (step S13), and notifies the result (step S14).
If the authentication is successful, communication between the electronic information board 110a and the electronic information board 110b is established, and the electronic information board 110b enables a sharing flag indicating whether data sharing with other electronic information boards is present. (Step S15).

次いで、電子情報ボード110bが、ユーザ端末130bの提供する画像信号(カメラ映像)を用いて画像フレームを生成し(ステップS16)する。
そして、電子情報ボード110bは、生成した画像フレームを電子情報ボード110aに送信する(ステップS17)。
電子情報ボード110aは、電子情報ボード110bから画像フレームを受信すると、受信した画像フレームを表示部112に表示する(S18)。
なお、遠隔会議システム100に(すなわち、サーバとしての電子情報ボード110aに)さらに電子情報ボードが接続されている場合は、画像フレームを提供した電子情報ボード110b以外の電子情報ボードにも画像フレームを送信する。
他の電子情報ボードは、電子情報ボード110aから画像フレームを受信すると、当該画像フレームを表示部112に表示する。
Next, the electronic information board 110b generates an image frame using an image signal (camera image) provided by the user terminal 130b (step S16).
Then, the electronic information board 110b transmits the generated image frame to the electronic information board 110a (step S17).
When receiving the image frame from the electronic information board 110b, the electronic information board 110a displays the received image frame on the display unit 112 (S18).
When an electronic information board is further connected to the remote conference system 100 (that is, to the electronic information board 110a as a server), an image frame is also attached to an electronic information board other than the electronic information board 110b that provided the image frame. Send.
When the other electronic information board receives the image frame from the electronic information board 110 a, the other electronic information board displays the image frame on the display unit 112.

次に、電子情報ボード110bのユーザによる描画装置の操作に基づいて、電子情報ボード110bが手書き画像を生成する。
電子情報ボード110bは、当該手書き画像を電子情報ボード110bの表示部112に表示し(S19)、当該手書き画像を構成する描画情報を電子情報ボード110aに送信する(S20)。
電子情報ボード110aは、電子情報ボード110bから描画情報を受信すると、当該描画情報を用いて手書き画像を生成し、電子情報ボード110aの表示部112に表示する(S21)。
電子情報ボード110aにさらに電子情報ボードが接続されている場合は、画像フレームを提供した電子情報ボード110b以外の電子情報ボードにも手書き画像を送信する。
Next, based on the operation of the drawing apparatus by the user of the electronic information board 110b, the electronic information board 110b generates a handwritten image.
The electronic information board 110b displays the handwritten image on the display unit 112 of the electronic information board 110b (S19), and transmits drawing information constituting the handwritten image to the electronic information board 110a (S20).
When receiving the drawing information from the electronic information board 110b, the electronic information board 110a generates a handwritten image using the drawing information and displays it on the display unit 112 of the electronic information board 110a (S21).
When an electronic information board is further connected to the electronic information board 110a, the handwritten image is transmitted to an electronic information board other than the electronic information board 110b that provided the image frame.

他の電子情報ボードは、電子情報ボード110aから手書き画像を受信すると、当該手書き画像を表示部112に表示する。
なお、サーバ機としての電子情報ボード110aも、画像フレームや手書き画像をクライアント機110bに送信することが可能である。
When the other electronic information board receives the handwritten image from the electronic information board 110 a, the other electronic information board displays the handwritten image on the display unit 112.
The electronic information board 110a as the server machine can also transmit an image frame or a handwritten image to the client machine 110b.

電子情報ボード110aのユーザによる描画装置の操作に基づいて、電子情報ボード110aが手書き画像を生成する。
電子情報ボード110aは、当該手書き画像を電子情報ボード110aの表示部112に表示し(ステップS22)、当該手書き画像を構成する描画情報を電子情報ボード110bに送信する(ステップS23)。
電子情報ボード110bは、電子情報ボード110bから描画情報を受信すると、当該描画情報を用いて手書き画像を生成し、電子情報ボード110bの表示部112に表示する(S21)。
Based on the operation of the drawing device by the user of the electronic information board 110a, the electronic information board 110a generates a handwritten image.
The electronic information board 110a displays the handwritten image on the display unit 112 of the electronic information board 110a (step S22), and transmits drawing information constituting the handwritten image to the electronic information board 110b (step S23).
When receiving the drawing information from the electronic information board 110b, the electronic information board 110b generates a handwritten image using the drawing information and displays it on the display unit 112 of the electronic information board 110b (S21).

電子情報ボード110aにさらに電子情報ボードが接続されている場合は、電子情報ボード110b以外の電子情報ボードにも手書き画像を送信する。
他の電子情報ボードは、電子情報ボード110aから手書き画像を受信すると、当該手書き画像を表示部112に表示する。
電子情報ボード110aが、ユーザ端末130aの提供する画像信号(カメラ映像)を用いて画像フレームを生成(ステップS25)する。
When an electronic information board is further connected to the electronic information board 110a, the handwritten image is transmitted to an electronic information board other than the electronic information board 110b.
When the other electronic information board receives the handwritten image from the electronic information board 110 a, the other electronic information board displays the handwritten image on the display unit 112.
The electronic information board 110a generates an image frame using an image signal (camera image) provided by the user terminal 130a (step S25).

また、電子情報ボード110aは、生成した画像フレームを電子情報ボード110bに送信する(ステップS26)。
電子情報ボード110bは、電子情報ボード110aから画像フレームを受信すると、受信した画像フレームを表示部112に表示する(S27)。
The electronic information board 110a transmits the generated image frame to the electronic information board 110b (step S26).
When receiving the image frame from the electronic information board 110a, the electronic information board 110b displays the received image frame on the display unit 112 (S27).

電子情報ボード110aにさらに電子情報ボードが接続されている場合は、電子情報ボード110b以外の電子情報ボードにも画像フレームを送信する。
他の電子情報ボードは、電子情報ボード110aから画像フレームを受信すると、当該画像フレームを表示部112に表示する。
When an electronic information board is further connected to the electronic information board 110a, the image frame is also transmitted to electronic information boards other than the electronic information board 110b.
When the other electronic information board receives the image frame from the electronic information board 110 a, the other electronic information board displays the image frame on the display unit 112.

次いで、図3に示す実施形態では、電子情報ボード110bが、切断要求を電子情報ボード110aに送信し(S28)、通信を切断する(S29)。電子情報ボード110aは、電子情報ボード110bから切断要求を受信すると、サーバ機能フラグを無効にする(S30)。
本実施形態では、サーバ機が、いずれかの電子情報ボードが生成する画像フレームをクライアント機に提供するため、複数の画像処理装置の間で同一の画像フレームや手書き画像を共有することができる。
Next, in the embodiment shown in FIG. 3, the electronic information board 110b transmits a disconnection request to the electronic information board 110a (S28), and disconnects communication (S29). When receiving the disconnection request from the electronic information board 110b, the electronic information board 110a invalidates the server function flag (S30).
In this embodiment, since the server machine provides the client machine with an image frame generated by one of the electronic information boards, the same image frame or handwritten image can be shared among a plurality of image processing apparatuses.

上記のような基本構成を備えることで、本実施形態の遠隔会議システム100では、複数の電子情報ボード110において相互にビデオ画像を送信して表示させるとともに、同一の手書き画像を表示してビデオ会議システムを実現することが出来る。   By providing the basic configuration as described above, in the remote conference system 100 according to the present embodiment, video images are transmitted and displayed mutually on the plurality of electronic information boards 110, and the same handwritten image is displayed to display the video conference. A system can be realized.

以下に、本実施形態の電子情報ボードに対して相手方ユーザ端末から送信された会議映像を表示中に、電子ペン3にて書き込みをする場合の問題点を説明する。
なお、以下では、説明の単純化のために遠隔会議システム100に含まれる電子情報ボードの一方のみを使用して説明するものとする。
Below, the problem in the case of writing with the electronic pen 3 while displaying the meeting image | video transmitted from the other party user terminal with respect to the electronic information board of this embodiment is demonstrated.
In the following description, only one of the electronic information boards included in the remote conference system 100 is used for simplicity of explanation.

図4は、本実施形態の電子情報ボードの表示部を示す図である。
図4に示す電子情報ボードは、その表示部112(の表示面)112にユーザ端末130が出力する第1の画像としての会議映像(映像表示領域)9を表示している。
また、電子情報ボードは、その表示部112に電子ペン3を用いて記述された第2の画像としての手書き画像(手書き画像表示領域)5が表示されている。
上記したように電子情報ボード110に電子ペン3にて手書き画像5を記述していき、会議映像(第1の画像)9の領域に手書き画像(第2の画像)5を書いた場合には、会議映像9の背面に手書き画像5が隠れてしまい、会議参加者からは見えなくなってしまう。
FIG. 4 is a diagram illustrating a display unit of the electronic information board according to the present embodiment.
The electronic information board shown in FIG. 4 displays a conference video (video display area) 9 as a first image output from the user terminal 130 on the display unit 112 (display surface thereof) 112.
The electronic information board displays a handwritten image (handwritten image display area) 5 as a second image described using the electronic pen 3 on the display unit 112.
When the handwritten image 5 is described with the electronic pen 3 on the electronic information board 110 as described above, and the handwritten image (second image) 5 is written in the area of the conference video (first image) 9 The handwritten image 5 is hidden behind the conference video 9 and is not visible to the conference participants.

本実施形態に係る電子情報ボードは、そのような問題を解決する会議映像の表示制御処理に特徴を有する。
すなわち、本実施形態の電子情報ボード110は、座標検出部224(図2)が検出する電子ペン3の座標位置情報と、表示領域生成部212による映像表示領域9の表示位置に基づいて映像表示領域9の表示態様を制御する映像表示領域制御部219を備える。
The electronic information board according to the present embodiment is characterized by a conference video display control process that solves such a problem.
That is, the electronic information board 110 of the present embodiment displays a video based on the coordinate position information of the electronic pen 3 detected by the coordinate detection unit 224 (FIG. 2) and the display position of the video display area 9 by the display area generation unit 212. A video display area control unit 219 that controls the display mode of the area 9 is provided.

図5は、電子情報ボード110における電子ペンの接触位置情報(座標位置情報)および会議映像の表示位置の定義方式を表す図である。
表示部112の上辺左側を原点0として、水平方向をx方向と定義し、表示部112に対面して右方向をプラス方向と定義する。また、垂直方向をy方向とし表示部112に対面して下方向をプラス方向と定義する。
また、表示部112に接触する電子ペン3のペン先の座標はP(xp、yp)と定義する。
電子ペン3の位置情報の認識は、人間による操作速度を考慮して、例えば20ms程度の時間間隔に設定する。
FIG. 5 is a diagram illustrating a definition method of contact position information (coordinate position information) of the electronic pen and the display position of the conference video on the electronic information board 110.
The horizontal direction is defined as the x direction with the left side of the upper side of the display unit 112 as the origin 0, and the right direction facing the display unit 112 is defined as the plus direction. Further, the vertical direction is defined as the y direction, and the downward direction facing the display unit 112 is defined as the plus direction.
The coordinates of the pen tip of the electronic pen 3 that contacts the display unit 112 are defined as P (xp, yp).
Recognition of the position information of the electronic pen 3 is set at a time interval of, for example, about 20 ms in consideration of a human operation speed.

映像表示領域制御部219は遠隔会議機器(他の電子情報ボード110)が出力する出力映像を表示する位置を、上記のx座標、y座標の考えに基づいて制御する。
すなわち、映像表示領域9の上辺左を原点として、この原点を表示部112上のx座標、y座標に合わせて表示する。
The video display area control unit 219 controls the position where the output video output from the remote conference device (other electronic information board 110) is displayed based on the above-mentioned x-coordinate and y-coordinate ideas.
That is, the upper left corner of the video display area 9 is set as the origin, and this origin is displayed in accordance with the x and y coordinates on the display unit 112.

ここで、映像表示領域9の座標は左上をA(x1,y1)、右上をB(x2,y1)、左下をC(x1,y2)、右下をD(x2,y2)と定義する。
映像表示領域制御部219は、イベント処理部210に対して電子ペン3の座標位置情報を定期的に問い合わせる。
この周期は、電子ペン3の位置情報に基づいて、会議映像の表示位置を制御するため、電子ペン制御部が電子ペン3の位置情報を読み取る周期よりも長くする必要がある。例えば、100ms程度に設定する。
Here, the coordinates of the video display area 9 are defined as A (x1, y1) in the upper left, B (x2, y1) in the upper right, C (x1, y2) in the lower left, and D (x2, y2) in the lower right.
The video display area control unit 219 periodically inquires of the event processing unit 210 about the coordinate position information of the electronic pen 3.
Since this cycle controls the display position of the conference video based on the position information of the electronic pen 3, the cycle needs to be longer than the cycle in which the electronic pen control unit reads the position information of the electronic pen 3. For example, it is set to about 100 ms.

映像表示領域制御部219は、イベント処理部210に電子ペン3の座標位置情報を問い合わせた後、続いて表示領域生成部212に対して、会議映像を表示している映像表示領域9の座標位置を問い合わせる。
映像表示領域は二次元空間に表示されているため、表示部112上の2座標の情報が必要となる。
The video display area control unit 219 inquires of the event processing unit 210 about the coordinate position information of the electronic pen 3, and then continues to the display area generation unit 212 to display the coordinate position of the video display area 9 displaying the conference video. Inquire.
Since the video display area is displayed in a two-dimensional space, information on two coordinates on the display unit 112 is required.

図5に示す例では、表示部112における映像表示領域9の左上の座標A(x1,y1)と、右下の座標D(x2,y2)の2点の基準とする。
映像表示領域制御部219は、電子ペン3の座標位置情報(接触するペン先の座標P)と、映像表示領域9の上記2座標(A,D)を比較することにより、電子ペン3の位置が映像表示領域9内に入ったことを認識する。
In the example illustrated in FIG. 5, the upper left coordinate A (x1, y1) and the lower right coordinate D (x2, y2) of the video display area 9 in the display unit 112 are used as a reference.
The video display area control unit 219 compares the position information of the electronic pen 3 by comparing the coordinate position information of the electronic pen 3 (the coordinate P of the pen tip to be touched) with the two coordinates (A, D) of the video display area 9. Is in the video display area 9.

図6は、映像表示領域制御部219による会議映像の制御処理を説明するフローチャートである。
まず、ステップS101において、映像表示領域制御部219は、電子ペン3を用いた手書き画像の入力(ストローク)があるか否かを判定する。
例えば、映像表示領域制御部219は20ms程度の定期間隔にてイベント処理部210に電子ペン3の座標位置情報を問い合わせる。この時、電子ペン3が表示部112に近接してない場合には電子ペン3の座標位置情報は異常な値となる。
FIG. 6 is a flowchart for explaining the process of controlling the conference video by the video display area control unit 219.
First, in step S <b> 101, the video display area control unit 219 determines whether there is an input (stroke) of a handwritten image using the electronic pen 3.
For example, the video display area control unit 219 inquires of the event processing unit 210 about the coordinate position information of the electronic pen 3 at regular intervals of about 20 ms. At this time, when the electronic pen 3 is not close to the display unit 112, the coordinate position information of the electronic pen 3 becomes an abnormal value.

逆に、異常な値である場合には、電子ペン3が表示部112に近づいていない(ストロークがない)と判断して、映像表示領域制御部219は何も制御をせず処理を終了する(ステップS101でNo)。
電子ペン3の座標位置情報が正常な値、つまり電子ペン3が表示部112に近接しており、電子ペン3を使った手書き画像5の記述がされていることを認識すると(ステップS101でYes)、映像表示領域制御部219は表示領域生成部212に映像表示領域9を表示している位置情報を問い合わせ、電子ペン3の座標との比較を行う(ステップS102)。
Conversely, if the value is abnormal, it is determined that the electronic pen 3 is not approaching the display unit 112 (no stroke), and the video display area control unit 219 does not perform any control and ends the process. (No in step S101).
When it is recognized that the coordinate position information of the electronic pen 3 is a normal value, that is, the electronic pen 3 is close to the display unit 112 and the handwritten image 5 using the electronic pen 3 is described (Yes in step S101). The video display area control unit 219 inquires of the display area generation unit 212 about the position information displaying the video display area 9, and compares it with the coordinates of the electronic pen 3 (step S102).

まず、映像表示領域制御部219は、ステップS103において、x方向(図5)の判定を実施する。
映像表示領域制御部219は、ペン先Pのx座標xpが、映像表示領域の左右のx座標x1、x2に対してx1<xp<x2を満たすか否か(電子ペン3のx座標が、映像表示領域9の横方向範囲内に入っているか否か)を判定する。
First, in step S103, the video display area control unit 219 performs determination in the x direction (FIG. 5).
The video display area control unit 219 determines whether or not the x coordinate xp of the pen tip P satisfies x1 <xp <x2 with respect to the left and right x coordinates x1 and x2 of the video display area (the x coordinate of the electronic pen 3 is It is determined whether or not the video display area 9 is within the horizontal range.

座標xpが会議映像の表示領域9のx座標内に入っている場合は(ステップS103でYes)は、映像表示領域制御部219は、ステップS104において、ペン先Pのy座標ypが映像表示領域の上下のy座標y1、y2に対してy1<yp<y2を満たすか否か(座標ypが映像表示領域9の縦方向範囲内に入っているか否か)を判定する。
座標xpが、会議映像の表示領域9のy座標内に入っている場合は(ステップS104でYes)、映像表示領域制御部219は、ステップS105において、手書き画像5が会議映像9に隠れると判断し、ステップS106において会議映像9の制御を要求する。
ステップS103、ステップS104の何れかで判定結果がNoの場合は、手書き画像5が会議映像9に隠れないと判断し、そのまま処理を終了する(ステップS107)。
If the coordinate xp is within the x coordinate of the conference video display area 9 (Yes in step S103), the video display area control unit 219 determines that the y coordinate yp of the pen tip P is the video display area in step S104. It is determined whether or not y1 <yp <y2 is satisfied with respect to the upper and lower y coordinates y1, y2 (whether the coordinate yp falls within the vertical range of the video display area 9).
If the coordinate xp is within the y coordinate of the conference video display area 9 (Yes in step S104), the video display area control unit 219 determines that the handwritten image 5 is hidden in the conference video 9 in step S105. In step S106, control of the conference video 9 is requested.
If the determination result is No in either step S103 or step S104, it is determined that the handwritten image 5 is not hidden by the conference video 9, and the process is terminated as it is (step S107).

図7は、映像表示領域制御部による制御処理の一例を示す図である。
電子ペン3の位置が会議映像の表示領域9に入ったことを認識した結果、映像表示領域制御部219は、手書き画像5が視認可能となるように映像表示領域9に対する制御処理を行う。
例えば図7に示すように、会議映像(映像表示領域)9の表示位置を移動させるように、映像表示領域214を制御する。
具体的には、映像表示領域9が元々表示されていた領域9aから、領域9bに映像表示領域9を移動するように、表示領域生成部214を制御している。
図7に示す例では、映像表示領域9の表示位置を表示部112の対角線上に移動する場合の例を示している。
FIG. 7 is a diagram illustrating an example of a control process performed by the video display area control unit.
As a result of recognizing that the position of the electronic pen 3 has entered the conference video display area 9, the video display area control unit 219 performs control processing on the video display area 9 so that the handwritten image 5 can be visually recognized.
For example, as shown in FIG. 7, the video display area 214 is controlled so that the display position of the conference video (video display area) 9 is moved.
Specifically, the display area generation unit 214 is controlled to move the video display area 9 from the area 9a where the video display area 9 was originally displayed to the area 9b.
In the example illustrated in FIG. 7, an example in which the display position of the video display area 9 is moved on the diagonal line of the display unit 112 is illustrated.

図8は、映像表示領域制御部による制御処理の他の例を示す図である。
映像表示領域制御部219は、電子ペン3の位置が会議映像の表示領域9に入ったことを認識した結果、図8に示すように会議映像を、その色を透過色に変更した映像9Aとするように画像描画部214を制御するようにしても良い。
透過色への変換は、既知の技術である「アルファー値」の変換にて実施する。例えば色を表すデータはARGB形式の場合、「透過度:赤:緑:青」の順番で、各データは1バイトの計4バイトデータとなる。本図の例ではアルファー値(透過度)を87%程度に設定した例である。
これにより、会議映像の表示位置や大きさが変更されること無く、会議映像9の背面に記載する手書き画像5が視認可能となる。
FIG. 8 is a diagram illustrating another example of the control process performed by the video display area control unit.
As a result of recognizing that the position of the electronic pen 3 has entered the conference video display area 9, the video display area control unit 219 converts the conference video into a video 9A whose color is changed to a transparent color as shown in FIG. In this manner, the image drawing unit 214 may be controlled.
The conversion to the transparent color is performed by the conversion of “alpha value” which is a known technique. For example, when the data representing the color is in the ARGB format, each data is 1 byte in total in the order of “transparency: red: green: blue” and 4 bytes of data. In this example, the alpha value (transmittance) is set to about 87%.
Thereby, the handwritten image 5 described on the back of the conference video 9 can be visually recognized without changing the display position and size of the conference video.

図9は、映像表示領域制御部による制御処理の他の例を示す図である。
映像表示領域制御部219は、電子ペン3の位置が会議映像の表示領域9に入ったことを認識した結果、図9に示すように、会議映像自体を非表示とするように、画像描画部214、あるいは表示領域生成部212を制御するようにしても良い。
このようにすれば、会議映像9の背面に描画された手書き画像5を読むことが可能となり、且つ表示部112の全面に手書き画像5を描画することも可能となる。
なお、図7乃至9に示した会議映像を移動したり、色を変えたり、非表示にした後の会議映像の制御に関しては、その利用シーンに応じて様々な態様が考え得る。
FIG. 9 is a diagram illustrating another example of the control process performed by the video display area control unit.
As a result of recognizing that the position of the electronic pen 3 has entered the conference video display area 9, the video display area control unit 219 hides the conference video itself as shown in FIG. 214 or the display area generation unit 212 may be controlled.
In this way, the handwritten image 5 drawn on the back of the conference video 9 can be read, and the handwritten image 5 can be drawn on the entire surface of the display unit 112.
It should be noted that various modes can be considered for controlling the conference video after the conference video shown in FIGS. 7 to 9 is moved, changed in color, or hidden, depending on the usage scene.

すなわち、会議映像を表示することの優先度が低い場合には、制御後の状態を維持することが可能となる。または、一定時間経過後等、様々な条件で映像表示を元の状態に戻すことが考えられる。   That is, when the priority of displaying the conference video is low, the state after control can be maintained. Alternatively, it may be possible to return the video display to the original state under various conditions such as after a lapse of a certain time.

映像制御の終了処理について以下に説明する。
図10は、映像制御の第1の終了処理を説明するフローチャートである。
映像表示領域制御部219は、ステップS201において会議映像を制御中であるか否かを判断する。
会議映像が制御中である場合は(ステップS201でYes)、映像表示領域制御部219は、ステップS202において、制御の開始から所定時間を経過したか否かを判断する。
The video control end process will be described below.
FIG. 10 is a flowchart for explaining the first end process of the video control.
The video display area control unit 219 determines whether or not the conference video is being controlled in step S201.
If the conference video is under control (Yes in step S201), the video display area control unit 219 determines whether or not a predetermined time has elapsed since the start of control in step S202.

一定期間が経過していた場合は(ステップS202でYes)、ステップS203において会議映像の制御を終了するように表示領域生成部212を制御する。   If the certain period has elapsed (Yes in step S202), the display area generation unit 212 is controlled to end the control of the conference video in step S203.

これにより、ユーザが特に操作することなく、会議映像が元の状態に復帰し、会議を円滑に継続することが可能となる。
制御した会議映像を元の状態に戻す契機として、会議映像の状態を元に戻すためのボタンを表示部112上に配置し、前記ボタンを押下したことを契機として元に戻すようにしても良い。
Accordingly, the conference video can be restored to the original state without any particular operation by the user, and the conference can be continued smoothly.
As a trigger for returning the controlled conference video to the original state, a button for returning the conference video state to the original state may be arranged on the display unit 112, and the button may be returned to the original when the button is pressed. .

図11は、映像制御の第2の終了処理を説明するフローチャートである。
映像表示領域制御部219は、ステップS301において会議映像を制御中であるか否かを判断する。
会議映像が制御中である場合は(ステップS301でYes)、映像表示領域制御部219は、ステップS302において、画面上に表示された制御終了(復帰)ボタンが押下(タッチ)されたた否かを判断する。
一定期間が経過していた場合は(ステップS302でYes)、ステップS303において会議映像の制御を終了するように表示領域生成部212を制御する。
これにより、ユーザが意図したタイミングで会議映像が元の状態に復帰し、会議を円滑に継続することが可能となる。
FIG. 11 is a flowchart for explaining the second end processing of the video control.
The video display area control unit 219 determines whether or not the conference video is being controlled in step S301.
When the conference video is under control (Yes in step S301), the video display area control unit 219 determines whether or not the control end (return) button displayed on the screen is pressed (touched) in step S302. Judging.
If the certain period has elapsed (Yes in step S302), the display area generation unit 212 is controlled to end the control of the conference video in step S303.
As a result, the conference video returns to the original state at the timing intended by the user, and the conference can be continued smoothly.

なお、図5に示すペン先位置が会議映像の表示領域9内に入ったことを検知する処理では、会議映像の表示領域9外にマージンを設けた領域に基づいて判断しても良い。
すなわち、映像表示領域9の実際の表示領域内にペン先座標が入ったことを契機に映像表示領域9の制御を行うのではなく、映像表示領域9よりも広い一定範囲の領域にペン先座標が入った時点で映像表示領域9の制御を行う。
これにより、電子ペン3が近づいてきていることをより早く予測して映像表示領域9の表示を制御して、ユーザ操作にすばやく対応することが可能となる。
In the process for detecting that the pen tip position shown in FIG. 5 has entered the conference video display area 9, the determination may be made based on an area provided with a margin outside the conference video display area 9.
That is, the control of the video display area 9 is not performed when the pen tip coordinates are in the actual display area of the video display area 9, but the pen tip coordinates are set in a certain range wider than the video display area 9. The video display area 9 is controlled at the point of time.
As a result, it is possible to quickly predict that the electronic pen 3 is approaching and control the display of the video display area 9 to quickly respond to the user operation.

なお、以上の説明では電子ペンを用いて書込を行う電子情報ボードの例を示したが、これに限らず、本発明は、例えば電子ペンの他に指等で書込が可能なタブレットデバイス等にも適用することが出来る。
この場合、座標検出部224が検出するのはペン先ではなく指先の座標である。
映像表示領域制御部219は、指先の座標が映像表示領域9内に検知される場合、上記に説明した各種の制御を行う。
In the above description, an example of an electronic information board that performs writing using an electronic pen has been described. However, the present invention is not limited to this, and the present invention is a tablet device that can be written with, for example, a finger in addition to the electronic pen. It can be applied to the above.
In this case, the coordinate detection unit 224 detects the coordinates of the fingertip, not the pentip.
When the coordinates of the fingertip are detected in the video display area 9, the video display area control unit 219 performs various controls described above.

3 電子ペン、5 手書き画像(手書き画像領域)、9 会議映像(映像表示領域)、9A 会議映像、100 遠隔会議システム、110 電子情報ボード、112 表示部、124 ケーブル、130 ユーザ端末、130a ユーザ端末、131 カメラ、200 プロセッサ、202 ROM、204 RAM、206 画像取得部、208 ビデオRAM、210 イベント処理部、212 表示領域生成部、214 映像描画部、216 手書き画像生成部、218 合成部、220 表示制御部、224 座標検出部、226 接触検知装置、232 画像入力インタフェース、234 画像出力インタフェース、250 通信制御部、252 通信部 3 electronic pen, 5 handwritten image (handwritten image area), 9 conference video (video display area), 9A conference video, 100 remote conference system, 110 electronic information board, 112 display unit, 124 cable, 130 user terminal, 130a user terminal 131 Camera, 200 Processor, 202 ROM, 204 RAM, 206 Image acquisition unit, 208 Video RAM, 210 Event processing unit, 212 Display area generation unit, 214 Video drawing unit, 216 Handwritten image generation unit, 218 Composition unit, 220 Display Control unit, 224 Coordinate detection unit, 226 Contact detection device, 232 Image input interface, 234 Image output interface, 250 Communication control unit, 252 Communication unit

特開2012−234538公報JP 2012-234538 A

Claims (7)

表示面における座標位置を検出する座標検出手段と、
前記表示面の所定領域に画像を表示する表示制御手段と、
前記座標位置が前記所定領域にあるときに、前記表示制御手段による前記画像の表示態様を変更する制御を行う領域制御手段と、
を備えることを特徴とする特徴とする画像処理装置。
Coordinate detection means for detecting a coordinate position on the display surface;
Display control means for displaying an image in a predetermined area of the display surface;
Area control means for performing control to change the display mode of the image by the display control means when the coordinate position is in the predetermined area;
An image processing apparatus characterized by comprising:
請求項1記載の画像処理装置において、
前記領域制御手段は、
前記座標位置が前記所定領域にあるとき、前記座標位置が前記所定領域とならない位置に前記画像の表示領域を移動するように制御することを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
The area control means includes
An image processing apparatus, wherein when the coordinate position is in the predetermined area, control is performed so that the display area of the image is moved to a position where the coordinate position does not become the predetermined area.
請求項1記載の画像処理装置において、
前記領域制御手段は、
前記座標位置が前記所定領域にあるとき、前記画像の表示色を透過色とするように制御することを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
The area control means includes
An image processing apparatus that controls the display color of the image to be a transparent color when the coordinate position is in the predetermined region.
請求項1記載の画像処理装置において、
前記領域制御手段は、
前記座標位置が前記所定領域にあるとき、前記画像の表示を行わないように制御することを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
The area control means includes
An image processing apparatus that controls not to display the image when the coordinate position is in the predetermined area.
請求項1乃至4の何れか一項記載の画像処理装置において、
前記領域制御手段は、
前記画像の表示態様を変更する制御を行ったあと、所定期間が経過したときに前記画像の表示態様を当初の態様に戻すように制御することを特徴とする画像処理装置。
The image processing apparatus according to any one of claims 1 to 4,
The area control means includes
An image processing apparatus, wherein after the control for changing the display mode of the image is performed, the display mode of the image is returned to the original mode when a predetermined period has elapsed.
請求項1乃至5の何れか一項記載の画像処理装置において、
前記領域制御手段は、
前記表示面に表示された操作ボタンが操作されたときに、前記画像の表示態様を当初の態様に戻すように制御することを特徴とする画像処理装置。
The image processing apparatus according to any one of claims 1 to 5,
The area control means includes
When the operation button displayed on the said display surface is operated, it controls so that the display mode of the said image may be returned to the original mode.
請求項1乃至5の何れか一項記載の画像処理装置において、
前記座標位置が前記画像の表示領域に存在するか否かの判断は、前記所定領域よりも広い座標平面を基準として行われることを特徴とする画像処理装置。
The image processing apparatus according to any one of claims 1 to 5,
The image processing apparatus according to claim 1, wherein the determination as to whether or not the coordinate position exists in a display area of the image is performed with reference to a coordinate plane wider than the predetermined area.
JP2013119972A 2013-06-06 2013-06-06 Image processor Pending JP2014238449A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013119972A JP2014238449A (en) 2013-06-06 2013-06-06 Image processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013119972A JP2014238449A (en) 2013-06-06 2013-06-06 Image processor

Publications (1)

Publication Number Publication Date
JP2014238449A true JP2014238449A (en) 2014-12-18

Family

ID=52135653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013119972A Pending JP2014238449A (en) 2013-06-06 2013-06-06 Image processor

Country Status (1)

Country Link
JP (1) JP2014238449A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017041178A (en) * 2015-08-21 2017-02-23 株式会社リコー Display control device, communication terminal, communication system, display control method, and program
JP2017175419A (en) * 2016-03-24 2017-09-28 富士通株式会社 Drawing processing device, method and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05130504A (en) * 1991-11-07 1993-05-25 Oki Electric Ind Co Ltd Image display controller
JP2005182367A (en) * 2003-12-18 2005-07-07 Matsushita Electric Ind Co Ltd Portable terminal equipment
JP2007185215A (en) * 2006-01-11 2007-07-26 Hitachi Medical Corp Medical image display device
JP2009116727A (en) * 2007-11-08 2009-05-28 Sharp Corp Image input display
JP2013092593A (en) * 2011-10-25 2013-05-16 Jvc Kenwood Corp Information display device, information display method and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05130504A (en) * 1991-11-07 1993-05-25 Oki Electric Ind Co Ltd Image display controller
JP2005182367A (en) * 2003-12-18 2005-07-07 Matsushita Electric Ind Co Ltd Portable terminal equipment
JP2007185215A (en) * 2006-01-11 2007-07-26 Hitachi Medical Corp Medical image display device
JP2009116727A (en) * 2007-11-08 2009-05-28 Sharp Corp Image input display
JP2013092593A (en) * 2011-10-25 2013-05-16 Jvc Kenwood Corp Information display device, information display method and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017041178A (en) * 2015-08-21 2017-02-23 株式会社リコー Display control device, communication terminal, communication system, display control method, and program
JP2017175419A (en) * 2016-03-24 2017-09-28 富士通株式会社 Drawing processing device, method and program

Similar Documents

Publication Publication Date Title
EP3342160B1 (en) Display apparatus and control methods thereof
KR102463304B1 (en) Video processing method and device, electronic device, computer-readable storage medium and computer program
CN107122148B (en) Remote cooperation method and system
US20130135346A1 (en) Image processing apparatus, image processing system, method, and computer program product
JP6798288B2 (en) Communication terminals, communication systems, video output methods, and programs
US20140223490A1 (en) Apparatus and method for intuitive user interaction between multiple devices
WO2015161653A1 (en) Terminal operation method and terminal device
US20130271403A1 (en) Information sharing apparatus and information sharing system
US10649754B2 (en) Image processing device and electronic whiteboard
US11614912B2 (en) Dual-system device and writing method and apparatus thereof, and interactive intelligent tablet
JP6051670B2 (en) Image processing apparatus, image processing system, image processing method, and program
WO2018010440A1 (en) Projection picture adjusting method and apparatus, and projection terminal
US20190286255A1 (en) Electronic whiteboard, image display method, and recording medium
JP6540367B2 (en) Display control apparatus, communication terminal, communication system, display control method, and program
JP2017102635A (en) Communication terminal, communication system, communication control method, and program
US20170185269A1 (en) Display management solution
TW201546656A (en) Gesture identification system in tablet projector and gesture identification method thereof
JP2014238449A (en) Image processor
JP2016131359A (en) Image processing apparatus and image processing method
JP7279425B2 (en) DISPLAY DEVICE, DISPLAY SYSTEM, OPERATING MODE CONTROL METHOD, AND PROGRAM
JP2014149579A (en) Data control device, data sharing system, and program
JP2018050285A (en) Communication terminal, communication system, output method, and program
US10310795B1 (en) Pass-through control in interactive displays
JP2015011630A (en) Image processing device and image processing method
US20210027750A1 (en) Display apparatus, display system, and display method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170411

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171031