JP3283506B2 - Multimedia telemeeting terminal device, terminal device system, and operation method thereof - Google Patents

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】TECHNICAL FIELD OF THE INVENTION

本発明はマルチメディアを用いて遠隔地間で通信を行
うマルチメディアテレミーティング端末装置（マルチメ
ディアテレミーティング端末装置）に関し、特に、打ち
合せ試料等の機密保持のための画面の表示方法に関す
る。The present invention relates to a multimedia tele-meeting terminal device (multi-media tele-meeting terminal device) for performing communication between remote locations using multimedia, and more particularly to a method of displaying a screen for maintaining confidentiality of a meeting sample or the like.

【０００２】[0002]

【従来の技術】[Prior art]

従来の端末装置は、特開昭61−114641号公報に記載が
あるように、音声データとイメージないしコードデータ
との通信が可能な端末において、使用者（ユーザ）の使
用状況に応じて、音声系サービスメッセージ，データ系
メッセージ，通信データ表示を画面構成を変えて自動的
に表示するようになっていた。As described in JP-A-61-114641, a conventional terminal device is a terminal capable of communicating audio data and image or code data, and is configured to transmit audio data in accordance with the usage status of a user. The system service message, data system message, and communication data display were automatically displayed by changing the screen configuration.

【０００３】 上記の技術は、１つの端末装置（以下では単に端末と
称する。）を複数の使用者が共同で使用する場合、直ち
に会議中画面に試料を提示しあって説明する画面（説明
画面）にすぐ切替わってしまうので、機密を保持するに
は問題があった。[0003] In the above-described technique, when a plurality of users jointly use one terminal device (hereinafter simply referred to as a terminal), a screen (explanation screen) in which a sample is immediately presented on a screen during a meeting and explained. ), So there was a problem in maintaining confidentiality.

【０００４】 （１）本発明の目的は、会議中画面切替わる前に、必ず
自端末が対象としている会議の相手を確認する工程を設
け、機密保持を実現することにある。(1) An object of the present invention is to provide a step of always confirming a target of a conference which is a target of a terminal before switching screens during a conference, thereby realizing confidentiality.

【０００５】 （２）本発明の他の目的は、会議相手を確認する画面を
ユーザに提供することで、ユーザが容易に会議相手を確
認できるようにすることにある。(2) Another object of the present invention is to provide a screen for confirming a conference partner to the user so that the user can easily confirm the conference partner.

【０００６】 （３）本発明の他の目的は、会議の進行状況に応じて、
必要となる主要メディアを中心とした、マルチメディア
のマルチウインドウ表示を自動的に提供することで、会
議の状況に適した使い勝手の良い端末利用を提供するこ
とにある。(3) Another object of the present invention is to provide, according to the progress of a conference,
An object of the present invention is to provide an easy-to-use terminal suitable for a meeting situation by automatically providing a multimedia multi-window display centering on a required main medium.

【０００７】 （４）本発明の他の目的は、提供するマルチメディアの
マルチウインドウ表示を固定ウインドウとすることで、
端末使用者に対してウインドウ設定・配置等のわずらわ
しい操作を不要とし、使い勝手の良い端末利用を提供す
ることにある。(4) Another object of the present invention is to provide a fixed multi-window display of multimedia to be provided,
An object of the present invention is to provide an easy-to-use terminal by eliminating troublesome operations such as window setting and arrangement for a terminal user.

【０００８】 （５）本発明の他の目的は、通信回線接続時に自動的に
会議相手を確認する会議前画面を表示することで、使い
勝手の良い環境を提供することにある。(5) Another object of the present invention is to provide a convenient environment by displaying a pre-conference screen for automatically confirming a conference partner when a communication line is connected.

【０００９】 （６）本発明の他の目的は、動画面以外のメディアを持
つ会議主画面に加えて、相手の人物動画表示を中心とし
た会議前画面を持つことで、テレミーティング端末によ
る通信会議をより面談会議に近づけ、使い勝手の良い端
末利用を提供することにある。(6) Another object of the present invention is to provide a tele-meeting terminal for communication by having a pre-meeting screen centered on displaying a moving image of a person in addition to a meeting main screen having media other than a moving picture plane. An object of the present invention is to provide an easy-to-use terminal by bringing the meeting closer to an interview meeting.

【００１０】 （７）本発明の他の目的は、相手を確認したことを端末
に知らせる手段としてメニュー選択手段を設けること
で、簡易な相手の確認を知らせる手段を提供することに
ある。(7) Another object of the present invention is to provide a simple means for notifying the other party by providing a menu selection means as a means for notifying the terminal that the other party has been confirmed.

【００１１】 （８）本発明の他の目的は、会議主画面を、相手端末と
の共通画像表示領域と、共通画像を制御する会議サポー
トのメニュー表示領域に分けて表示することにより、使
い勝手の良い環境を提供することにある。(8) Another object of the present invention is to display the conference main screen separately in a common image display area for the partner terminal and a menu display area for conference support for controlling the common image, thereby improving usability. The goal is to provide a good environment.

【００１２】 （９）本発明の他の目的は、相手を確認したことを端末
に知らせるメニュー（以下では、選択するメニュー項
目，メニュー項目を表示した画面ないし、表示枠の意味
で用いる。）を、メニュー表示領域に表示された会議サ
ポートメニューとは独立して共通画像表示領域を表示す
ることで、相手確認メニューの選択を容易とし、使い勝
手の良い環境を提供することにある。(9) Another object of the present invention is to provide a menu for notifying a terminal that a partner has been confirmed (hereinafter, a menu item to be selected, a screen displaying menu items, or a display frame). Another object of the present invention is to display a common image display area independently of the conference support menu displayed in the menu display area, thereby facilitating selection of a partner confirmation menu and providing an easy-to-use environment.

【００１３】 （10）本発明の他の目的は、会議開始前に双方を確認す
る会議前画面では、相互に相手端末入力画像を自端末で
表示し、会議主画面では、自端末入力画像あるいは相手
端末入力画像のいずれか一方を自分と相手の両端末に表
示することにより使い勝手の良い環境を提供することに
ある。(10) Another object of the present invention is to mutually display partner terminal input images on the own terminal on the pre-meeting screen for confirming both before the start of the conference, and to display the own terminal input image or An object of the present invention is to provide a user-friendly environment by displaying one of the input images of the partner terminal on both the user and the partner terminal.

【００１４】[0014]

【課題を解決するための手段】[Means for Solving the Problems]

（１）上記目的の達成するために、会議の相手を確認す
る手段，確認したことを相手の端末装置に通知する手
段，会議主画面を記憶する手段，記憶している会議中画
面を表示する手段を設けたものである。(1) In order to achieve the above object, means for confirming a meeting partner, means for notifying the other party of the confirmation, means for storing a meeting main screen, and displaying the stored meeting screen Means are provided.

【００１５】 （２）上記他の目的を達成するために、会議前画面を記
憶する手段を設けたものである。(2) In order to achieve the other object, a means for storing a pre-meeting screen is provided.

【００１６】 （３）上記他の目的を達成するために、マルチメディア
をマルチウインドウ表示する手段、初期の各メディアの
表示位置・大きさを記憶する手段を設けたものである。(3) In order to achieve the other objects, there are provided means for displaying multimedia in a multi-window manner and means for storing initial display positions and sizes of respective media.

【００１７】 （４）上記他の目的を達成するために、会議の進行場面
に応じて、マルチメディアの固定マルチウインドウ表示
を記憶する手段を設けたものである。(4) In order to achieve the other object, there is provided means for storing a fixed multi-window display of multimedia in accordance with the proceeding scene of the conference.

【００１８】 （５）上記他の目的を達成するために、通信回線接続時
に自動的に会議前画面を表示する手段を設けたものであ
る。(5) In order to achieve the other object, a means for automatically displaying a pre-meeting screen when a communication line is connected is provided.

【００１９】 （６）上記他の目的を達成するために、音声で通信する
手段，会議前画面においては、少なくとも動画を表示す
る手段，会議主画面においては、動画以外のメディアを
表示する手段を設けたものである。(6) In order to achieve the other objects, a means for communicating by voice, a means for displaying at least a moving image on the pre-meeting screen, and a means for displaying media other than the moving image on the meeting main screen are provided. It is provided.

【００２０】 （７）上記他の目的を達成するために、メニュー画面を
記憶する手段，メニュー画面を表示する手段，メニュー
選択を可能にする手段，選択されたメニューを相手に通
知する手段を設けたものである。(7) In order to achieve the above objects, there are provided a means for storing a menu screen, a means for displaying a menu screen, a means for enabling menu selection, and a means for notifying the selected menu to the other party. It is a thing.

【００２１】 （８）上記他の目的を達成するために、共通画像を制御
するメニュー表示領域を記憶する手段，表示メニュー内
容を記憶する手段を設けたものである。(8) In order to achieve the other objects, a means for storing a menu display area for controlling a common image and a means for storing the contents of a display menu are provided.

【００２２】 （９）上記他の目的を達成するために、相手を確認した
ことを端末に知らせるメニューを記憶する手段、共通画
像表示領域に上記メニューを合成して表示する手段を設
けたものである。(9) In order to achieve the above object, there is provided a means for storing a menu for notifying the terminal that the other party has been confirmed, and a means for combining and displaying the menu in the common image display area. is there.

【００２３】 （10）上記目的を達成するために、会議前に双方を確認
する場面においては、自端末入力画像を相手端末に送る
手段，相手端末から送られてくる画像を表示する手段，
会議主画面においては、自分と相手のどちらの入力画像
を表示するか制御する手段，自端末入力画像表示側は、
自端末の入力画像を表示する手段を設けたものである。(10) In order to achieve the above object, in a case where both parties are confirmed before the meeting, a means for sending an image input from the own terminal to the other terminal, a means for displaying an image sent from the other terminal,
In the meeting main screen, the means for controlling which input image is displayed by the user and the other party.
A means for displaying an input image of the own terminal is provided.

【００２４】[0024]

【作用】[Action]

（１）会議相手を確認する手段により会議相手を確認す
ると共に、確認したことを相手端末に通知する手段で、
相手端末に確認したことを知らせ、会議中画面を記憶す
る手段・表示する手段で、双方向時に会議主画面へ遷移
するようにしたものである。(1) A means for confirming a conference partner by means for confirming a conference partner, and a means for notifying the partner terminal of the confirmation.
A means for storing and displaying the in-meeting screen by notifying the other terminal of the confirmation, and transiting to the meeting main screen during bidirectional communication.

【００２５】 （２）会議前画面を記憶する手段により、会議前画面表
示時に、これを可能ならしめるものである。(2) By means for storing the pre-meeting screen, this is made possible when the pre-meeting screen is displayed.

【００２６】 （３）マルチメディアをマルチウインドウ表示する手段
と初期設定された各メディアの表示位置・大きさを記憶
する手段により、必要な場面に応じて、マルチメディア
のマルチウインドウで表示するようにした。(3) By means of means for displaying multimedia in a multi-window and means for storing the initially set display position and size of each medium, multimedia can be displayed in a multimedia multi-window according to a required scene. did.

【００２７】 （４）会議の進行場面に応じた、マルチメディア情報の
固定マルチウインドウ表示構成を記憶することで、会議
の進行場面に応じた、マルチメディアの固定マルチウイ
ンドウで表示するようにした。(4) By storing a fixed multi-window display configuration of multimedia information according to the progress of the conference, the multimedia information is displayed in a fixed multi-window according to the progress of the conference.

【００２８】 （５）通信回線接続時に自動的に会議前画面を表示する
手段により、通信回線接続時に会議前画面を、双方の画
面に同時に表示するようにした。(5) By means for automatically displaying a pre-conference screen when a communication line is connected, the pre-conference screen is simultaneously displayed on both screens when the communication line is connected.

【００２９】 （６）会議前画面においては、音声で通信する手段と合
わせて、少なくとも動画を表示する手段を持つことで、
相手の音声と映像による確認を可能にする。又、会議主
画面においては、音声と合わせて、少なくとも動画以外
のメディアを表示する手段を持つことで、多彩なプレゼ
ンテーションを可能にした。(6) The pre-meeting screen has at least a means for displaying a moving image in addition to a means for communicating by voice.
Enables voice and video confirmation of the other party. In addition, a variety of presentations have been made possible by providing a means for displaying at least media other than moving images in addition to audio on the conference owner screen.

【００３０】 （７）メニュー画面を記憶する手段，メニュー選択を可
能にする手段により、相手を確認したことを端末に知ら
せるメニュー選択を可能にする。又、選択されたメニュ
ーを相手に伝える手段を持つことにより、相手端末と同
期して、会議主画面へ遷移するようにした。(7) By means for storing the menu screen and means for enabling menu selection, menu selection for notifying the terminal that the other party has been confirmed is enabled. In addition, by having means for transmitting the selected menu to the other party, the screen is changed to the conference master screen in synchronization with the other party terminal.

【００３１】 （８）共通画像を制御するメニュー表示領域を記憶する
手段，表示メニューを記憶する手段により、会議の進行
を可能ならしめるものである。(8) The means for storing the menu display area for controlling the common image and the means for storing the display menu allow the conference to proceed.

【００３２】 （９）相手を確認したことを端末に知らせるメニュを記
憶し、この記憶したメニューを共通画像表示領域に合成
して表示することにより、操作が容易な会議環境を提供
するようにした。(9) A menu for notifying the terminal that the other party has been confirmed is stored, and the stored menu is synthesized and displayed in the common image display area, thereby providing an easy-to-operate conference environment. .

【００３３】 （10）会議前に双方を確認する場面において、自端末入
力画像を相手端末に送り、相手端末から送られてくる画
像を表示する。会議主画面においては、自分または相手
のどちらかの入力画像を表示するか制御し、自端末にそ
の入力画像を表示する場合は、会議の進行状況に合わせ
た、画像の自動切替え表示を行って、使い勝手の良い環
境を提供するようにした。(10) In a situation where both parties are confirmed before the conference, the own terminal input image is sent to the partner terminal, and the image sent from the partner terminal is displayed. On the conference main screen, control whether to display the input image of either yourself or the other party, and when displaying the input image on your own terminal, perform automatic switching display of images according to the progress of the conference , Providing an easy-to-use environment.

【００３４】[0034]

【発明の実施の形態】BEST MODE FOR CARRYING OUT THE INVENTION

以下、本発明の一実施例を詳細に説明する。 Hereinafter, an embodiment of the present invention will be described in detail.

【００３５】 図２は、本発明に係るシステム例である。201は通信
端末装置、202は通信網、203は電子交換機である。通信
端末装置201は、使用者間がいろいろな通信媒介に接続
される。例えば、社屋構内の電子交換機203に接続され
て構内間で、専用回線やISDN網等の公衆網202に接続さ
れて遠隔地間でそれぞれ通信会議をする。図３は、本発
明に係る端末装置の外観を示す図である。汎用のパーソ
ナルコンピュータシステムを基本構成として用い、本発
明の機能を実現するためのハードウエアを追加した形と
なっている。301はパソコン本体、302はCRT表示装置、3
03は透明タブレット、304はテレビカメラ、305はキーボ
ード、306はスキャナ、307はプリンタ、308はマイクロ
・スピーカを有するハンドセット、309は追加ハードウ
エア、310はISDN回線網への接続用コンセント、311はス
タイラスペンである。パソコン本体301は通信会議を実
現するための主要な処理部であり、端末装置の運用及び
管理を担当している。CRT302はテレビカメラ304から入
力するフルカラー静止画文書及び動画（R,G,B各８ビッ
ト）、スキャナ306から入力するFAX文書を表示するとと
もに、会議進行のためのメニューを表示する。表示され
たメニューは、CRT302の表面に透明タブレット303を付
加し、選択すべきメニューをスタイラスペン311で直接
選択される。キーボード305はスキャナ306又はテレビカ
メラ304から入力される文書に、管理のための文書名な
どを入力する装置である。キーボード305より入力され
たデータはパソコン本体301の中に準備されたかな漢字
変換機能を用いて日本語に変換処理される。プリンタ30
7はスキャナ306から入力されたFAX文書と会議中にスタ
イラスペン311から入力された描画との重ね合わされた
画データを出力する装置である。ハンドセット308は会
議中の音声の入出力を行うものである。追加ハードウエ
ア309はフルカラー静止画文書や、FAX文書の処理といっ
たパソコン本体301だけでは処理しきれない情報処理を
代行する専用ハードウエアである。ISDNコンセント310
は公衆網例えば、ISDN網に接続する接続口である。これ
は、公衆網との標準または標準準拠のインタフェース
（以下、I/F）を実現したものである。FIG. 2 shows an example of a system according to the present invention. 201 is a communication terminal device, 202 is a communication network, and 203 is an electronic exchange. In the communication terminal device 201, users are connected to various communication media. For example, the conference is connected to an electronic exchange 203 in a company premises and connected to a private line 202 such as a dedicated line or an ISDN network to hold a teleconference between premises. FIG. 3 is a diagram showing the appearance of the terminal device according to the present invention. A general-purpose personal computer system is used as a basic configuration, and hardware for realizing the functions of the present invention is added. 301 is a personal computer, 302 is a CRT display, 3
03 is a transparent tablet, 304 is a TV camera, 305 is a keyboard, 306 is a scanner, 307 is a printer, 308 is a handset with a micro speaker, 309 is additional hardware, 310 is an outlet for connection to the ISDN network, 311 is It is a stylus pen. The personal computer 301 is a main processing unit for realizing a communication conference, and is in charge of operation and management of the terminal device. The CRT 302 displays a full-color still image document and a moving image (8 bits each for R, G, and B) input from the television camera 304, a FAX document input from the scanner 306, and a menu for proceeding with the conference. In the displayed menu, a transparent tablet 303 is added to the surface of the CRT 302, and a menu to be selected is directly selected with the stylus pen 311. A keyboard 305 is a device for inputting a document name or the like for management into a document input from the scanner 306 or the television camera 304. The data input from the keyboard 305 is converted into Japanese using the kana-kanji conversion function prepared in the personal computer main body 301. Printer 30
Reference numeral 7 denotes a device that outputs image data in which a fax document input from the scanner 306 and a drawing input from the stylus pen 311 during a meeting are superimposed. The handset 308 is used to input and output audio during a conference. The additional hardware 309 is dedicated hardware for performing information processing, such as processing of a full-color still image document and a fax document, which cannot be processed by the personal computer 301 alone. ISDN outlet 310
Is a connection port for connecting to a public network, for example, an ISDN network. This realizes a standard or standard-compliant interface (hereinafter, I / F) with a public network.

【００３６】 図４は本発明に係る端末装置全体の構成を示すブロッ
ク図で大きくは、次の２つの部分で構成される。（１）
410は会議端末装置の本体であるパソコン部、（２）420
は会議端末装置本体の入出力部となる会議端末アダプタ
装置である。パソコン部410のうち、411はパソコンのCP
U、412はRS232C I/F、413はプロッピーディスク、414
はハードディスク、415は表示制御部、416は表示情報蓄
積部、417は会議端末アダプタ420のバスと接続するため
の拡張バスI/Fである。次に会議端末アダプタ420のう
ち、421はペリフェラルコントローラ、422は音声コーデ
ック、423は表示合成部、424は画像コーデック、425は
通信制御部、430はISDN回線である。端末装置の全体は
会議端末装置本体410の中のCPU411を主要部としてマル
チプロセッサ方式を採用している。会議端末アダプタ装
置420内の各部はCPU411から入出力する形で接続され、
独立した処理を並列に実行する。次にパソコン部410及
び会議端末アダプタ420の機能としての説明をする。ま
ずパソコン部ではフロッピーディスク413は文書保存用
のもので通信会議終了時に会議で使用した文書を、会議
開催日時，会議者名といった会議運営上の管理情報と共
に保存するのに用いたり、会議前の会議資料作成時や会
議中の資料追加転送時に、テレビカメラ304やスキャナ3
06からの新規文書入力と合わせて文書入力源として用い
る。ハードディスク414は会議で使用する文書はもちろ
ん、端末の使用者や会議相手からの情報を蓄積すると共
に、これを管理するために用いられる。本実施例におけ
るパソコンの表示装置（CRT302）ではR,G,B各８ビット
のフルカラーデータを扱う能力がない。このため表示制
御部415では、２値画像であるFAX文書，透明タブレット
303より入力される自分の描画に対するポインティン
グ、会議端末アダプタ420内の通信制御部425から送られ
てくる相手の描画に対するポインティング，メニュー画
面の合成を行うものである。フルカラー画像は会議端末
アダプタ420内の画像コーデック424内で生成される。一
方、パソコン側の画像信号とフルカラー画像信号との合
成は会議端末アダプタ420内の表示合成部423で行われ
る。表示情報蓄積部416としては、パソコン内の通常の
ワーク用RAMが用いられる。FIG. 4 is a block diagram showing the configuration of the entire terminal device according to the present invention, and is largely composed of the following two parts. (1)
410 is a personal computer which is the main body of the conference terminal device, (2) 420
Is a conference terminal adapter device serving as an input / output unit of the conference terminal device main body. Of the PC section 410, 411 is the PC CP
U, 412 is RS232C I / F, 413 is proppy disk, 414
Is a hard disk, 415 is a display control unit, 416 is a display information storage unit, and 417 is an extension bus I / F for connecting to the bus of the conference terminal adapter 420. Next, in the conference terminal adapter 420, 421 is a peripheral controller, 422 is an audio codec, 423 is a display synthesis unit, 424 is an image codec, 425 is a communication control unit, and 430 is an ISDN line. The entire terminal device employs a multiprocessor system with the CPU 411 in the conference terminal device main body 410 as a main part. Each part in the conference terminal adapter device 420 is connected by inputting and outputting from the CPU 411,
Execute independent processes in parallel. Next, the functions of the personal computer 410 and the conference terminal adapter 420 will be described. First, in the personal computer section, the floppy disk 413 is for storing documents, and is used to store the documents used in the conference at the end of the communication conference together with management information on the conference operation such as the date and time of the conference and the name of the conferee. When creating meeting materials or transferring additional materials during a meeting, the TV camera 304 or scanner 3
Use as a document input source together with new document input from 06. The hard disk 414 stores not only documents used in a conference but also information from a terminal user and a conference partner, and is used for managing the information. The display device (CRT302) of the personal computer in this embodiment does not have the ability to handle 8-bit R, G, B full color data. For this reason, the display control unit 415 uses a fax image as a binary image, a transparent tablet,
Pointing for the user's own drawing input from 303, pointing for the other party's drawing sent from the communication control unit 425 in the conference terminal adapter 420, and synthesizing the menu screen. The full color image is generated in the image codec 424 in the conference terminal adapter 420. On the other hand, the synthesis of the image signal on the personal computer side and the full-color image signal is performed by the display synthesis unit 423 in the conference terminal adapter 420. As the display information storage unit 416, a normal work RAM in a personal computer is used.

【００３７】 会議進行に応じた表示情報蓄積部内の表示画面情報
は、通信会議運営の環境を提供するソフトウエアプログ
ラムの一部であり、このプログラム立ち上げ時にハード
ディスク414から読み出され、以後上記会議運営プログ
ラム終了までワーク用RAMに常駐する。拡張バスI/F417
は会議端末本体410を拡張スロットを介して会議端末ア
ダプタに接続する部分である。ペリフェラルコントロー
ラ421はスキャナ306から入力されるFAX文書の処理を行
う部分であり、外部追加ハードウエアに含まれる。スキ
ャナ306・プリンタ307の制御，保存・伝送のためのMMR
符号化，保存文書再表示のためのMMR復号化，プリント
時の描画展開等を行う。会議端末本体410とペリフェラ
ルコントローラ421間のインタフェースの構成は、ペリ
フェラルコントローラ421内でファームウエア処理を実
現するマルチプロセッサ方式とする。また、それらの各
プロセッサが独立して動作できるようにするために、プ
ロセッサ間を接続しているバスを独立させ、プロセッサ
間通信でデータ交換する方式とする。音声コーデック42
2は音声をディジタル伝送するための符号化・復号化処
理を行う装置である。画像コーデック424はフルカラー
画像の符号化・復号化，テレビカメラからの画像とり込
み、会議の進行に応じた画像の位置，大きさ変化処理を
行うと共に画像コーデック内のフルカラー画像用フレー
ムメモリへの書き込みを行う装置である。表示合成部42
3はスーパーインポーズにより、会議端末本体400の表示
制御部415からの出力信号と画像コーデック424出力信号
を合成表示する。通信制御部425は、例えば回線として
Ｎ−ISDNを使用した場合、OSI（Open Systems Interfac
e）の下位３層を相当する。The display screen information in the display information storage unit according to the progress of the conference is a part of a software program for providing an environment for operating a teleconference, and is read from the hard disk 414 at the time of starting the program. Resident in work RAM until the end of the management program. Expansion bus I / F417
Is a part for connecting the conference terminal body 410 to the conference terminal adapter via the expansion slot. The peripheral controller 421 processes a FAX document input from the scanner 306, and is included in external additional hardware. MMR for control, storage and transmission of scanner 306 and printer 307
It performs encoding, MMR decoding for redisplaying stored documents, drawing development at the time of printing, and the like. The configuration of the interface between the conference terminal body 410 and the peripheral controller 421 is a multiprocessor system that implements firmware processing in the peripheral controller 421. Also, in order to enable each of these processors to operate independently, the bus connecting the processors is made independent, and data is exchanged by communication between the processors. Audio codec 42
Reference numeral 2 denotes an apparatus for performing encoding / decoding processing for digitally transmitting voice. The image codec 424 encodes and decodes a full-color image, fetches an image from a television camera, changes the position and size of an image according to the progress of a conference, and writes the image to the frame memory for the full-color image in the image codec. It is a device for performing. Display composition unit 42
3 superimposes and displays the output signal from the display control unit 415 of the conference terminal main body 400 and the output signal of the image codec 424. When the N-ISDN is used as a line, for example, the communication control unit 425 uses an OSI (Open Systems Interface).
e) corresponds to the lower three layers.

【００３８】 ここで本実施例は、汎用性，装置の柔軟性を高めるた
めに、パソコンをベースとした構成となっているが、性
能，コスト等を追求した専用装置であってもよい。又、
描画・ポインティング座標はタブレットとスタイラスペ
ンにより得ているが、タッチパソル，マウス，トラック
ボール，ジョイステイック，グラフィックスタブレッ
ト，ライトペン等描画・ポインティングの機能を有する
入力装置であればどのような入力装置でもよい。フロッ
ピーディスク413は会議終了後の会議ファイルの第２の
蓄積装置として用いているが、記憶蓄積の機能を有する
ものであれば光ディスク装置，磁気テープ装置等どのよ
うな装置であってもよい。今回会議資料の作成時から通
信会議の終了時まで会議ファイルの第１の蓄積装置とし
て用いるハードディスク414も同様である。さらに第１
の蓄積装置と第２の蓄積装置が共通であってもよい。
又、各々の処理能力が許せば表示制御部415と表示合成
部423の役割分担は自由であり、又、ハードウエア自体
が１つであってもよい。CRT302は単一ディスプレイ方式
としているが、合成部のハードウエア軽減を考えれば、
文書用，動画用というように複数ディスプレイ方式であ
ってもよい。表示情報蓄積部416はワークRAMとしたが専
用装置であれば、ROM化することも考えられる。図５は
本発明に係るテレミーティング端末全体のソフトウエア
構成例である。551はマルチタスクOS、552は周期タス
ク、553 553はメニュー解析タスク、554は処理実行タス
ク、555は割り込みタスクである。Although the present embodiment is based on a personal computer in order to increase versatility and flexibility of the apparatus, a dedicated apparatus pursuing performance, cost, and the like may be used. or,
Drawing / pointing coordinates are obtained using a tablet and stylus pen, but any input device with a drawing / pointing function such as a touch pad, mouse, trackball, joystick, graphics tablet, or light pen can be used. Good. The floppy disk 413 is used as a second storage device of the conference file after the conference, but may be any device such as an optical disk device or a magnetic tape device as long as it has a function of storing and storing. The same applies to the hard disk 414 used as the first storage device of the conference file from the time when the conference material is created to the time when the communication conference ends. First
And the second storage device may be common.
The display control unit 415 and the display synthesizing unit 423 can freely share the roles as long as their processing capabilities allow, and the hardware itself may be one. The CRT302 uses a single display system, but considering hardware reduction in the synthesis unit,
A multi-display system such as a document system and a moving image system may be used. The display information storage unit 416 is a work RAM, but if it is a dedicated device, it may be converted to a ROM. FIG. 5 shows an example of the software configuration of the entire telemeeting terminal according to the present invention. 551 is a multitask OS, 552 is a periodic task, 553 553 is a menu analysis task, 554 is a process execution task, and 555 is an interrupt task.

【００３９】 マルチタスクOS551上に、マンマシン性を重視するた
め、人間にとって自然な入力と感じられるように、視覚
特性を考えた、処理の優先レベルを高くした周期のタス
クを設ける。ここで透明タブレット303から入力される
座標データを一定周期で取り込み、メニュー解析タスク
553を起動する。メニュー解析タスク553では、入力デー
タを解析し、メニューが選択されたのであれば、そのメ
ニューが意味する、指示された機能の内容をセットした
うえで、処理実行タスク554を起動し、そのタスクの中
でセット値に従った処理が実行される。又、描画，ポイ
ンティングのように連続した処理を実行している間は処
理実行タスク554にそのまま起動をかける。処理実行タ
スク554内では、以前にセットされた値がそのまま継続
しており、続いてその処理を行う。割り込みタスク555
は、会議端末アダプタ420から要求された、割り込み処
理を実行するタスクである。ペリフェラルコントローラ
421や画像コーデック424,表示制御部415からの処理終了
通知や処理データ会議端末本体140内への転送要求等、
相手端末から通信制御部を介しての処理要求等がある。On the multitask OS 551, a task with a higher processing priority level and a higher processing priority is provided in consideration of visual characteristics so that human input can be perceived as a natural input in order to emphasize man-machine characteristics. Here, the coordinate data input from the transparent tablet 303 is fetched at regular intervals, and the menu analysis task
Start 553. In the menu analysis task 553, the input data is analyzed, and if a menu is selected, the content of the designated function, which is meant by the menu, is set, and then the process execution task 554 is started, and the The processing according to the set value is executed therein. In addition, while continuous processing such as drawing and pointing is being executed, the processing execution task 554 is started as it is. In the processing execution task 554, the previously set value is continued as it is, and the processing is subsequently performed. Interrupt task 555
Is a task for executing interrupt processing requested by the conference terminal adapter 420. Peripheral controller
421, the image codec 424, a processing end notification from the display control unit 415, a processing data transfer request to the inside of the conference terminal main body 140, etc.
There is a processing request or the like from the partner terminal via the communication control unit.

【００４０】 図１は本発明に基づく会議進行画面を示す。図１
（Ａ）は会議前画面110を、図１（Ｂ）は会議主画面120
を、図１（Ｃ）は会議後画面130をそれぞれ分けて示し
たものである。１つの端末を複数のユーザが共用して使
用する場合には、機密保守のため、回線接続時にいきな
り会議主画面120に入らないようにし、会議前画面110を
経て、会議主画面120に入るように構成する。図１
（Ａ）において、会議前画面110は（１）共通画像表示
領域111,（２）相手動画表示領域112,（３）自分動画表
示領域113,（４）会議進行メニュー表示領域114に領域
分けされる。共通画像表示領域111には会議開始メニュ
ー115,会議中止メニュー116,相手確認用動画像表示領域
117を表示し、相手確認用の動画像119を表示領域117に
表示する。自分動画表示領域113には自分動画像118が表
示される。次に図１（Ｂ）において、会議主画面120の
共通画像表示領域111には、本図では空白を示している
が、一例としては会議で使用する資料を表示する。また
相手動画表示領域112には相手動画像121が表示されるよ
うになっている。FIG. 1 shows a conference progress screen according to the present invention. FIG.
1A shows a pre-meeting screen 110, and FIG.
FIG. 1C shows the post-meeting screen 130 separately. When one terminal is used in common by a plurality of users, for security maintenance, do not enter the conference master screen 120 immediately after connecting the line, and enter the conference master screen 120 via the pre-meeting screen 110. To be configured. FIG.
In (A), the pre-meeting screen 110 is divided into (1) a common image display area 111, (2) partner video display area 112, (3) own video display area 113, and (4) conference progress menu display area 114. You. In the common image display area 111, a conference start menu 115, a conference stop menu 116, a moving image display area
117 is displayed, and a moving image 119 for partner confirmation is displayed in the display area 117. A self-moving image 118 is displayed in the self-moving image display area 113. Next, in FIG. 1B, although the blank is shown in the common image display area 111 of the conference main screen 120 in this drawing, as an example, materials used in the conference are displayed. Further, a phase manual image 121 is displayed in the partner moving image display area 112.

【００４１】 次に図１（Ｃ）において、会議後画面130の共通画像
表示領域111には通信終了メニュー135,会議再開メニュ
ー136が表示されるようになっている。Next, in FIG. 1C, a communication end menu 135 and a conference restart menu 136 are displayed in the common image display area 111 of the post-meeting screen 130.

【００４２】 以下にマルチメディアを用いて遠隔地間で通信するテ
レミーティング端末において、会議相手を確認後、資料
を提供して説明する画面（会議主画面）に遷移する方法
について詳細に説明する。Hereinafter, a method of providing a material and transiting to a screen (conference main screen) after confirming a conference partner in a telemeeting terminal that communicates between remote locations using multimedia will be described in detail.

【００４３】 以下では便宜上、図１（Ａ）に示す会議前画面110、
図１（Ｂ）に示す会議主画面120および図１（Ｃ）に示
す会議後画面130をそれぞれ画面1,画面2,画面３と称す
る。画面１では、相手を確認するため、相手の動画像11
9が主要なメディアとなる。つまり、相手の動画像を画
面中央に大きく表示することで相手を確認するのに適し
た画面を提供する。また、今、その端末装置が相手に送
っている画像を確認するために、補助的に画面の右辺の
中央に自分の動画118を表示することもある。また、図
１（Ａ）に示した相手の動画像表示領域117の下部に会
議開始メニュー115および会議中止メニューを配置して
会議を円滑に開始する機能および相手が不在のときに会
議を中止する機能を実現している。In the following, for convenience, a pre-meeting screen 110 shown in FIG.
The conference main screen 120 shown in FIG. 1B and the post-meeting screen 130 shown in FIG. 1C are referred to as a screen 1, a screen 2, and a screen 3, respectively. On screen 1, a video 11 of the other party is displayed to confirm the other party.
9 will be the main media. That is, a screen suitable for confirming the other party is provided by displaying the moving image of the other party in a large size in the center of the screen. Also, in order to confirm the image that the terminal device is sending to the other party, the user may sometimes display his / her own moving image 118 in the center of the right side of the screen. Also, a conference start menu 115 and a conference stop menu are arranged below the other party's moving image display area 117 shown in FIG. 1 (A) to smoothly start the conference and to cancel the conference when the other party is absent. Function is realized.

【００４４】 ここで、会議の相手を確認するための認識媒体として
は、相手固有の認識媒体であれば、画像に限定されな
い。例えば、ID番号や指紋，音紋，網膜像，自体の特徴
等がある。これらを用いれば、いちいち操作者が会議の
相手の姿を見て確認する必要はなく、自動的に装置に判
断させることもできる。ただし、機密保護のために特に
操作者が最終確認する必要があるならば、組合せて二重
にチェックさせることもできる。Here, a recognition medium for confirming a meeting partner is not limited to an image as long as the recognition medium is unique to the partner. For example, there are an ID number, a fingerprint, a sound pattern, a retinal image, and characteristics of itself. If these are used, it is not necessary for the operator to check the appearance of the other party in the conference, and the apparatus can automatically make the determination. However, if the operator particularly needs to make a final check for security, it can be combined and checked twice.

【００４５】 このような認識媒体をどのようにして認識するかは、
次に述べる手段によって実現することができる。図25に
示すように、ここでは指紋を認識媒体とした場合につい
て説明する。How to recognize such a recognition medium is as follows.
This can be realized by the following means. As shown in FIG. 25, a case where a fingerprint is used as a recognition medium will be described here.

【００４６】 （１）指紋の入力 指紋を入力するには、まずスキャナ入力切換器610を
ｂ側に倒しておき、押捺センサ600に指を押し当ててス
キャナ306が指紋を読み取って登録部630へ指紋読み取り
情報（以下では指紋情報と称する）を送り、記憶する。
一方、各端末装置では、こうして次々と参加者の指紋を
登録していく。この登録された指紋情報は、会議の相手
相互間の端末装置の登録部において、同一の指紋情報を
持つように、ISDN回線を介して指紋情報がやり取りされ
ることは言うまでもない。(1) Input of Fingerprint To input a fingerprint, the scanner input switch 610 is first tilted to the b side, and a finger is pressed against the embossing sensor 600, the scanner 306 reads the fingerprint, and enters the registration unit 630. The fingerprint reading information (hereinafter referred to as fingerprint information) is sent and stored.
On the other hand, each terminal device sequentially registers the fingerprints of the participants in this way. It goes without saying that the registered fingerprint information is exchanged via the ISDN line so that the registration unit of the terminal device between the conference partners has the same fingerprint information.

【００４７】 （２）相手の指紋情報の受取り 相手を確認する場合には、まず相手の端末装置におい
て、スキャナ入力切換器610をａ側に倒して押捺センサ6
00に指を押し当てスキャナ306により指紋を読み取って
接続バス640に送り、ISDN回線を介して指紋情報を自分
側の端末装置の通信制御部425を受信する。受信した指
紋情報は接続バス640を介して照合部620に一旦、記憶さ
れる。(2) Receiving the Fingerprint Information of the Opponent When confirming the opponent, first, in the terminal device of the opponent, the scanner input switch 610 is tilted to the side a and the imprint sensor 6 is received.
The user presses the finger at 00 to read the fingerprint by the scanner 306 and sends it to the connection bus 640, and receives the fingerprint information via the ISDN line to the communication control unit 425 of the terminal device on the own side. The received fingerprint information is temporarily stored in the matching unit 620 via the connection bus 640.

【００４８】 （３）相手の指紋情報の照合 照合部620に記憶された相手の指紋情報は、上記
（１）で登録された会議参加者の全ての指紋情報と比
較，照合され、その結果に基づいた照合結果情報が接続
バス640に出力される。会議端末装置本体410のCPUで
は、この照合結果情報をフロッピーディスク413やハー
ドディスク414に書き込んで記憶し、会議端末装置本体
の管理ソフトウエアが以後の処理を引き継ぐ。(3) Collation of Fingerprint Information of the Other Party The fingerprint information of the other party stored in the matching unit 620 is compared and collated with all the fingerprint information of the conference participants registered in the above (1), and the result is compared. The collation result information based on the result is output to the connection bus 640. In the CPU of the conference terminal device 410, the collation result information is written and stored in the floppy disk 413 or the hard disk 414, and the management software of the conference terminal device takes over the subsequent processing.

【００４９】 次に図６を使って会議進行メニュー領域114について
詳細に説明する。画面２では、資料を提示して説明する
が、ファクシミリ文書やフルカラーの静止画文書等が主
要なメディアとなる。このようなメディアを共通画像表
示領域111に表示する。資料を説明している画面の状態
では、画面右上に相手動画像121および自分動画像118を
共通画像表示領域111に表示された動画像よりも小さい
画面サイズで表示するようにする。こうする理由は、遠
隔地間での会議の臨場性を高めたり、相手の表情や会話
の反応を見ながら説明することでプレゼンテーション効
果の向上を狙ったものである。一方、右下に表示した会
議終了メニュー512により会議主状態を終了する。画面
３も画面１と同様相手の動画像119がメインのメディア
であり、相手の動画像119を画面中央に大きく表示する
ことで会議終了の確認に適した画面を提供する。この時
自分の動画表示118を相手に送っている。又、相手の動
画像119の下部に設けた通信終了135と会議再開136のメ
ニューを持つことで、通信のスムーズな終了とメニュー
選択ミスによる通信の終了，会議後画面表示130に急に
説明内容を確認したくなった時に選択するものである。
図６は画面２の詳細を示すもので、504はトークン所有
権表示領域で網かけはトークンの所有を示す。ここでト
ークン（tolken）とは発信の優先権をいう。またトーク
ン所有権とは、画面遷移を行うための優先権をいう。50
5は説明モード選択メニュー、506は文書操作メニュー、
507は会議名表示，文書名選択メニュー、508はページ名
選択メニュー、509はプリント実行選択メニュー、510は
資料転送選択メニュー、511は提示画面選択メニュー、5
12は会議終了選択メニューである。提示資料表示領域50
1は前述したように説明するFAX文書，フルカラー静止画
文書等を表示する領域である。相手人物動画表示領域50
2及び自分人物動画表示領域503は前述したように人物動
画を表示する領域である。トークン所有権表示領域504
は、通信権の所在を示すものであり、トークン権獲得の
ための選択メニューではない。トークン権の移動はユー
ザのCRT302への働きかけにより自動的に行う。以下では
説明実行のためのメニューが中心となる。会議進行メニ
ュー表示領域114に表示されたメニューの選択によっ
て、例えば表示文書がFAX文書からフルカラー静止画文
書に切替わるというように表示画面が切替わる。説明モ
ード選択メニュー505は表示文書への説明モードを選ぶ
もので、（１）文書に直接メモ書きする描画、（２）移
動可能な小ワク内にある描画を消去する描画消去、
（３）文書の注目点を指示するポインティングよりな
る。文書操作メニュー506は表示文書を変えずに、その
表示領域等の変更を行うメニューである。（１）表示領
域を変更するスクロール、（２）表示文書中の指定領域
を白色とし、そこに描画等の説明をし易くした電子メモ
紙、（３）表示文書を必要に応じて指定領域固定倍拡大
表示する拡大表示メニュー、（４）拡大表示からそれ以
前の状態に戻す標準表示メニューがある。本実施例で
は、スムーズに会議を運営するため、メニュー処理実行
までの操作回数を極力少なくする方針であり、拡大表示
等も固定倍の領域指定方式としている。会議名表示・文
書名選択メニュー507,ページ名選択メニュー508に関し
て、本実施例の文書の蓄積構成は、会議−資料−ページ
の３段階のピラミッド構成となっている。このとき、現
在行っているメニューは一意であるが、文書・ページに
関しては複数あるので、表示する文書（ページ）を指定
するには、文書とページを指定しなければならない。会
議名表示・文書名選択メニュー507は、４段階構成とな
っており、最上段が会議名表示、２段目が文書名表示、
３段目が左２つが文書変更メニュー、右が、表示文書N
o./文書数を示す。４段目は会議参加者名と表示文書の
所有者を区別して表示している。文書変更メニューを選
択することで、新しい文書の最初のページが、双方の端
末に同時表示される。ページ名選択メニュー508は表示
している文書内でのページ表示に切替えるものである。
表示は４ページ単位で行い、表示したいページメニュー
を選択する。左上の２メニューは、４ページ単位の表示
切替えを行うものである。その下のメニューは全体ペー
ジ数に対する表示ページの最大ページ番号を表示するも
のである。Next, the conference progress menu area 114 will be described in detail with reference to FIG. The screen 2 will be described by presenting materials, but a facsimile document, a full-color still image document, and the like are the main media. Such a medium is displayed in the common image display area 111. In the state of the screen explaining the material, the manual image 121 and the own moving image 118 are displayed at the upper right of the screen with a screen size smaller than the moving image displayed in the common image display area 111. The reason for this is to enhance the presentation effect by enhancing the reality of a conference between remote places or by explaining while looking at the expression of the other party and the reaction of the conversation. On the other hand, the conference master state is ended by the conference end menu 512 displayed on the lower right. On the screen 3 as well as on the screen 1, the other party's moving image 119 is the main medium, and the other party's moving image 119 is displayed large in the center of the screen to provide a screen suitable for confirming the end of the conference. At this time, his / her own moving image display 118 is sent to the other party. In addition, by having a menu of communication end 135 and a conference resumption 136 provided at the lower part of the other party's moving image 119, the contents of the communication can be smoothly ended, the communication can be ended due to a menu selection mistake, and the post-meeting screen display 130 can be quickly described. Is selected when you want to check
FIG. 6 shows the details of the screen 2, in which reference numeral 504 denotes a token ownership display area, and hatching indicates ownership of the token. Here, the token (tolken) means the priority of transmission. The token ownership means a priority for performing screen transition. 50
5 is the explanation mode selection menu, 506 is the document operation menu,
507 is a conference name display, a document name selection menu, 508 is a page name selection menu, 509 is a print execution selection menu, 510 is a material transfer selection menu, 511 is a presentation screen selection menu, 5
12 is a conference end selection menu. Presentation material display area 50
Reference numeral 1 denotes an area for displaying a fax document, a full-color still image document, and the like described above. Other person video display area 50
2 and the own person moving image display area 503 are areas for displaying a person moving image as described above. Token ownership display area 504
Indicates the location of the communication right, and is not a selection menu for acquiring the token right. The transfer of the token right is automatically performed by the user's action on the CRT 302. In the following, a menu for executing the explanation will be mainly described. By selecting the menu displayed in the conference progress menu display area 114, the display screen is switched such that the displayed document is switched from a FAX document to a full-color still image document, for example. An explanation mode selection menu 505 is used to select an explanation mode for the displayed document. The explanation mode selection menu 505 includes: (1) drawing for directly writing a memo on a document; (2) drawing for erasing a drawing in a movable small box;
(3) It consists of pointing to the point of interest in the document. The document operation menu 506 is a menu for changing the display area and the like without changing the displayed document. (1) scroll to change the display area; (2) electronic memo paper in which the designated area in the displayed document is white to facilitate the explanation of drawing and the like; and (3) the specified area of the displayed document is fixed as necessary. There is an enlarged display menu for double-magnification display, and (4) a standard display menu for returning from the enlarged display to the state before that. In this embodiment, in order to smoothly operate the conference, the number of operations until the menu processing is executed is to be reduced as much as possible, and the enlarged display and the like are also set to a fixed magnification area designating method. Regarding the conference name display / document name selection menu 507 and the page name selection menu 508, the document storage configuration of the present embodiment has a three-stage pyramid configuration of conference-material-page. At this time, the menu currently performed is unique, but there are a plurality of documents and pages. Therefore, to specify a document (page) to be displayed, the document and page must be specified. The conference name display / document name selection menu 507 has a four-stage configuration, with the top row displaying the conference name, the second row displaying the document name,
In the third row, the left two are the document change menu, and the right is the display document N
o./Indicates the number of documents. In the fourth row, the names of the conference participants and the owner of the display document are displayed separately. By selecting the document change menu, the first page of the new document is displayed simultaneously on both terminals. A page name selection menu 508 is for switching to a page display in the displayed document.
The display is performed in units of four pages, and a page menu to be displayed is selected. The two menus on the upper left are used to switch the display in units of four pages. The menu below it displays the maximum page number of the displayed page with respect to the total number of pages.

【００５０】 プリント選択メニュー509は表示中の文書をプリント
アウトするためのメニューである。資料転送選択メニュ
ー510は、会議中、急に必要となった資料を送るための
メニューである。電子黒板，カメラ画面といった提示画
面選択メニュー511は、前記した文書表示に合わせて、
説明能力を高めるため、共通画像表示領域111（提示資
料表示領域）全てを白色にクリアしてそこに説明を加え
る電子黒板メニュー，動画を表示し立体物，モックアッ
プモデル等を直接に表示するカメラ画面メニューよりな
る。会議終了選択メニュー512により会議主画面を終了
する。このメニューを選択することで、会議を終了する
ことはユーザの意志であるが、その時点で端末側が会議
の進行場面として設定する会議後画面に自動遷移する。
続いて、端末が行う会議進行に応じた表示画面の切替え
を詳細に説明する。まず第１に表示画面No.が決定され
た際の画面表示法であるが、図１における表示画面の切
替えを説明する。スタイラスペンによりメニュー選択の
座標が入力されると、表示している画面のメニュー１つ
ずつに対し、入力座標がその範囲に入っているか検索す
る。この際画面ごとにメニュー内容を個別に記憶する方
法と、画面間の共通メニューが多い場合は情報量を減ら
すため、メニューの一覧に対して各画面でのメニューの
有無をビット情報として持つ方式がある。本実施例は、
後者について説明する。図７〜図10は本発明に係り、図
８は各画面ごとの表示メニュー保存例である。各画面に
対して選択メニューの一覧に対し、表示しているメニュ
ーをビット情報として保存する。図中“1"が表示有、
“0"が表示無である。図に示すように、選択メニューは
すべての画面を通しての選択メニューに対応する数字と
して扱われ、その表示内容は、図７に示すように選択メ
ニューNo.単位に別に記憶されている。ここで、例えば
画面１においてスタイラスペンによるメニュー選択があ
ったとすると、図９を参照して選択メニューNo.1から順
次検索し、“1"ビットが立っていると、図８を参照して
当該メニュー領域内に入力座標があるか否かをチェック
され、あれば選択される。The print selection menu 509 is a menu for printing out the displayed document. The material transfer selection menu 510 is a menu for sending materials suddenly needed during a meeting. A presentation screen selection menu 511 such as an electronic blackboard and a camera screen is displayed in accordance with the above-described document display.
An electronic blackboard menu that clears all of the common image display area 111 (presentation material display area) to white and adds explanations to enhance the explanation ability, a camera that displays moving images and directly displays three-dimensional objects, mockup models, etc. It consists of a screen menu. The conference main screen is terminated by the conference termination selection menu 512. By selecting this menu, it is the user's will to end the conference, but at that time, the terminal automatically transitions to a post-meeting screen set as the progress scene of the conference.
Subsequently, switching of the display screen according to the progress of the conference performed by the terminal will be described in detail. First, the screen display method when the display screen number is determined will be described. Switching of the display screen in FIG. 1 will be described. When the coordinates of the menu selection are input by the stylus pen, a search is performed for each menu on the displayed screen to determine whether the input coordinates are within the range. At this time, the method of storing the menu contents individually for each screen and the method of having the presence or absence of the menu on each screen as bit information in the menu list to reduce the amount of information when there are many common menus between screens is there. In this embodiment,
The latter will be described. 7 to 10 relate to the present invention, and FIG. 8 shows an example of saving a display menu for each screen. The displayed menu is saved as bit information for the list of selected menus for each screen. "1" is displayed in the figure,
“0” is not displayed. As shown in the figure, the selection menu is treated as a number corresponding to the selection menu through all the screens, and the display contents are separately stored for each selection menu No. as shown in FIG. Here, for example, if there is a menu selection by the stylus pen on the screen 1, the selection menu No. 1 is sequentially searched with reference to FIG. 9, and if the “1” bit is set, the corresponding search is performed with reference to FIG. It is checked whether or not there is an input coordinate in the menu area, and if it is, it is selected.

【００５１】 図10は、メニューが実際に選択された際の処理内容の
保存例である。例えば、画面１において選択メニューN
o.1が選択されると画面２に遷移する。又、遷移画面の
表示に関しては、図９により表示すべきメニューを検索
し、図８で表示する領域を得、図７により具体的表示内
容を得る。以上により会議進行に応じた表示画面の切替
えを行う。FIG. 10 is an example of saving the processing contents when the menu is actually selected. For example, on screen 1 select menu N
When o.1 is selected, the screen transits to Screen 2. As for the display of the transition screen, a menu to be displayed is searched by referring to FIG. 9, an area to be displayed is obtained by FIG. 8, and specific display contents are obtained by FIG. As described above, the display screen is switched according to the progress of the conference.

【００５２】 メニュー選択の方法については、例えばスタイラスペ
ンを用いて行う。The menu is selected using, for example, a stylus pen.

【００５３】 図12はスタイラスペンの外観図を示すものであって、
実際の入力座標を決定するメインスイッチ500とユーザ
の選択意志反映等に用いる２つのサブスイッチ501,502
を合わせ持つ。図11は本発明に係る、スタイラスペンか
らの入力データ例である。１座標当り５バイトで構成さ
れ、最初の１バイトはスタイラスペンのスイッチ情報を
得るためのものである。ここでPXで表す有効距離データ
は、メインスイッチ500からタブレット表面までの距離
が、定められた距離（３〜5mm）内にあるかを判定する
ものである。２バイト目から５バイト目までは、Ｘ座標
とＹ座標を２進数で表したものである。通常、メニュー
選択法としては、メインスイッチ500がオンの状態でサ
ブスイッチ501,502のいずれかが、押された場合メニュ
ー選択が有効となる方式をとっている。ここでは、より
簡便な操作にするため、メインスイッチ500がオンのみ
でメニュー選択ができるようにしている。この際の問題
点として、（１）ユーザがメインスイッチ500をオンに
し続けた場合に、遷移した画面の同じ領域にメニューが
あると選択されてしまう点、（２）図１の画面２におい
て、描画等での説明がメニュー領域内に入ってしまう場
合に、このメニューを選択してしまう点、とがある。図
13は、本発明に係る上記問題解決策の一例である。縦軸
に示すモード０とモード１を設け、その間を横軸に示す
メインスイッチSW1とPXの値よりなる状態値により遷移
させる。PXは、有効領域内か否かを示す情報、SW1はメ
インスイッチのON,OFFを示す情報、又、状態４と状態５
で示すメニュー領域内，外は入力された座標値が図８に
示す領域で図９により指定される領域内に入っているか
どうかを示す。具体的な状態遷移方法を以下に示す。メ
ニュー選択により表示画面が切替わるとモードを０に設
定する。この時メインスイッチの入力でメニューが選択
されるため、状態は５である。図13に示すように、モー
ド０の状態から、スタイラスペンが有効距離外となった
ときモードを１に設定し、この時点で初めてメニュー選
択を可能とする。モード１において、有効距離内でメイ
ンスイッチがオンのとき、その入力座標を判定する。こ
の時、入力座標がメニュー領域外であれ、メニュー選択
処理を行わず、会議運営プログラムがモードを０に設定
する。又、メニュー領域内であれば、画面切替えを含む
メニュー処理を行った後にモードを０に設定する。以上
によりメインスイッチのみでスムーズなメニュー選択を
実現する。以上は、メニュー表示に関するものである
が、同時に、画面１と画面３では自分と相手の動画、画
面２では、自分と相手の動画と説明する文書を表示しな
ければならない。以下に表示制御法について説明する。
まず最初はフルカラー画像表示であるが、通常のフルカ
ラー画像はR,G,B各８ビットの計24ビットが必要であ
り、通常のパソコンでは、処理能力・表示能力とを不足
しており、図４で説明したようにパソコンの外部装置で
処理・表示しパソコン本体は、その動作制御を行う形と
なる。図14は本発明に係る、フルカラー画像表示ハード
の一構成例である。図４の画像コーデック部を、より細
かく表したものである。1401はパソコンとの入出力バッ
ファ、1402は通信制御部との入出力バッファ、1403は画
像コーデック全体を制御するCPU、1404は動画・フルカ
ラー静止画の符号化，復号化装置、1405は出力フレーム
メモリ、1406は入力フレームメモリ、1407は入力TVカメ
ラアナログ信号のディジタル信号変換部であり、パソコ
ンからの要求に応じて表示部を切替える。以下に図１に
示したフルカラー画像の表示制御法を説明する。FIG. 12 shows an external view of a stylus pen.
A main switch 500 for determining actual input coordinates and two sub-switches 501 and 502 used for reflecting a user's selection intention and the like.
Have together. FIG. 11 is an example of input data from a stylus pen according to the present invention. Each coordinate is composed of 5 bytes, and the first byte is for obtaining stylus pen switch information. Here, the effective distance data represented by PX determines whether or not the distance from the main switch 500 to the tablet surface is within a predetermined distance (3 to 5 mm). From the second byte to the fifth byte, the X coordinate and the Y coordinate are represented by binary numbers. Usually, as a menu selection method, a method is adopted in which, when one of the sub-switches 501 and 502 is pressed while the main switch 500 is on, the menu selection becomes valid. Here, in order to make the operation simpler, the menu can be selected only by turning on the main switch 500. The problems at this time are as follows: (1) When the user keeps turning on the main switch 500, the menu is selected if there is a menu in the same area of the transitioned screen; (2) In the screen 2 of FIG. This menu is selected when the description in the drawing or the like falls within the menu area. Figure
FIG. 13 shows an example of the solution to the problem according to the present invention. A mode 0 and a mode 1 shown on the vertical axis are provided, and a transition between them is made by a state value composed of the values of the main switches SW1 and PX shown on the horizontal axis. PX is information indicating whether the area is within the valid area, SW1 is information indicating ON / OFF of the main switch, and state 4 and state 5
The inside and outside of the menu area shown by indicate whether or not the input coordinate value is within the area designated by FIG. 9 in the area shown in FIG. A specific state transition method is described below. When the display screen is switched by menu selection, the mode is set to 0. At this time, since the menu is selected by the input of the main switch, the state is 5. As shown in FIG. 13, the mode is set to 1 when the stylus pen is out of the effective distance from the mode 0, and the menu can be selected only at this time. In mode 1, when the main switch is on within the effective distance, the input coordinates are determined. At this time, if the input coordinates are outside the menu area, the menu selection processing is not performed, and the conference management program sets the mode to 0. If it is within the menu area, the mode is set to 0 after performing menu processing including screen switching. As described above, a smooth menu selection can be realized only by the main switch. The above description relates to the menu display. At the same time, the screen 1 and the screen 3 must display the moving picture of the user and the other party, and the screen 2 must display the moving picture of the user and the other party. The display control method will be described below.
First of all, full-color image display is required, but a normal full-color image requires a total of 24 bits of 8 bits each for R, G, and B, and a normal personal computer lacks processing and display capabilities. As described in the section 4, processing and display are performed by an external device of the personal computer, and the main body of the personal computer controls its operation. FIG. 14 is a configuration example of a full-color image display hardware according to the present invention. FIG. 5 shows the image codec section of FIG. 4 in more detail. 1401 is an input / output buffer with the personal computer, 1402 is an input / output buffer with the communication control unit, 1403 is a CPU that controls the entire image codec, 1404 is a moving / full-color still image encoding / decoding device, and 1405 is an output frame memory , 1406 is an input frame memory, and 1407 is a digital signal conversion unit for input TV camera analog signals, and switches the display unit in response to a request from a personal computer. Hereinafter, the display control method of the full-color image shown in FIG. 1 will be described.

【００５４】 まず画面１の相手人物動画像であるが、通信制御部42
5より入力される動画像符号データを入出力バッファ140
2を介して取り込み、動画・静止画の符号化・復号化装
置1404で復号化し、出力FM1405に書き込む。書き込まれ
た画像信号は、CPU1403からの表示切替制御信号により
表示合成部423を制御することで、パソコン信号と合成
して表示される。相手人物動画像の表示の際の合成時は
動画像であることを考慮して、動画像とパソコン信号の
重ね合わせはせず、動画のみを表示する。次に画面１の
自分人物動画像であるが、TVカメラ304より入力され
る。例えばNTSC信号をA/D変換部1407でアナログ・ディ
ジタル変換し入力FM1406に書き込む。入力FM1406に書か
れた画像データは、動画・静止画の符号化，復号化装置
によって出力FM1405に書き込まれる。表示に関しては、
相手人物動画像と同様である。次に画面２の資料提示説
明画面であるが、人物動画像に関しては、相手人物動画
の大きさと表示位置が異なり、動画・静止画の符号化，
復号化装置の相手動画像処理は若干異なるものの、入出
力法は同様である。画面１と画面２における相手動画像
の処理であるが、実施例として、TVカメラ304からの入
力，動画・静止画の符号化・復号化装置1404での符号
化，復号化まで同一とし、出力FM1405に書き込む時点
で、画面１と画面２に応じて大きさ・位置を変える方
法、その他の入力・符号化の時点で、大きさを変え、出
力FM1405に書き込む時点で、表示位置を変える方法があ
る。続いて、画面２の提示資料としてフルカラー静止画
が表示される場合であるが、フルカラー静止画文書は、
図４のハードディスク414内に符号データとして保存さ
れているため、まず最初にパソコン内に読み出された
後、拡張バスI/F417、入出力バッファ1401を介して画像
コーデック424内に取り込む。続いて、動画・静止画の
符号化・復号化装置1404で復号化され出力FM1405に書き
込む。この際の表示合成部423の動作であるが、動画表
示の時と同様にパソコン信号と合成せずフルカラー静止
画文書のみ表示する方法もあるが、フルカラー静止画文
書に描画による加筆修正やポインティングによる説明位
置指示を行いたい要求にこたえるため、この情報を会議
端末本体410の表示制御部415を持たせ、表示合成部にお
いて、フルカラー静止画文書とスーパーインポーズす
る。よって図１画面２において、フルカラー静止画表示
とした場合は、動画部はフルカラー画像信号のみの表
示、フルカラー静止画部はパソコン信号とフルカラー画
像信号のスーパーインポーズ表示，会議進行メニュー表
示領域114はパソコン信号のみの表示となるが、この切
替えは、表示合成部に画面No.と表示内容に応じたパタ
ーンとして記憶しておき、CPU1403が表示切替制御信号
でパターンを指定することで切替えを実現する。上記CP
U1403の表示切替指定は、パソコン本体410から画像コー
デック424への指定を受けて実行するのだが、この時の
コマンド，レスポンス仕様の一例が図15である。表示画
面に対応したコマンドコードとフルカラー静止画文書表
示の場合には符号データをパソコン本体410から画像コ
ーデック424に送り、画像コーデック内で処理が終了し
たら、パソコン本体410に対してレスポンスコードを返
す。続いて、FAX文書表示処理の詳細に関して述べる。
図16は、FAX文書処理に関する全体構成を示したもので
ある。1601はペリフェラルコントローラのCPU、1602は
スキャナ306とのI/F、1603はプリンタ307とのI/F、1604
は画像メモリ、1605はスキャナ・プリンタの入出力制御
およびFAX文書の符号化・復号化・縮小等の画像処理部
である。1606はダイレクトメモリアクセス（DMAC）、16
07はバッファメモリ、1608は双方向のFIFO、1609はDMAC
である。スキャナ306,プリンタ307は図３と同様、（パ
ソコン）CPU411、表示制御部415,ハードディスク414,拡
張バスI/F417,ペリフェラルコントローラ421,表示情報
蓄積部（画像メモリ）416は図４と同様である。FAX文書
処理の全体の流れとしては、スキャナ306から入力した
文書をペリフェラルコントローラ421内で符号化処理
し、ハードディスク414内に蓄積する。表示の際には、
ハードディスク414から読み出し、ペリフェラルコント
ローラ421内で復号化した後、表示情報蓄積部416に転送
し、表示したい部分を表示制御部415に転送することで
実現する。以下に表示法を詳述する。図１の画面2120で
図８ページ名選択メニュー508の選択によりFAX文書表示
が指定されると、指定された文書の符号データをハード
ディスク414内から検索し、表示情報蓄積部416に取り出
す。次にペリフェラルコントローラ421内で復号化す
る。この際、パソコン410とペリフェラルコントローラ4
21間のイベントの通知は割り込んで行い、パソコンCPU4
11とペリフェラルコントローラCPU1601の独立動作を実
現する。又、データ転送を高速化するために、パソコン
バスでのデータ転送は外付けDMAC1609がシステムバスで
のデータ転送はDMAC1606がそれぞれ管理する。復号化の
際には、パソコンが復号化要求をし、符号データが上記
方法でバッファメモリ1607に転送される。次にDMAC1606
で入出力制御・画像処理部1605に転送し、ここで復号化
した後、画像メモリ1604に展開し、パソコンに処理終了
を通知する。次に、原寸転送ないし縮小転送の要求がパ
ソコンからあり入出力制御・画像処理部1605により、原
寸データまま、もしくは縮小してシステムバス上に読み
出され、DMAC1606によりバッファメモリ1607に格納す
る。バッファメモリ1607に格納が終了したら転送可能通
信割り込みをパソコンに対して行う。その後DMAC1606を
用いて、FIFOを介してパソコンバス上にデータを読み出
す。パソコンは転送可能通知割り込みを受けると、DMAC
1609に転送データ量をセットし起動する。これにより、
表示情報蓄積部416にデータが転送される。最後に、表
示したい部分を表示制御部415に転送する。First, with regard to the moving image of the other person on the screen 1, the communication control unit 42
The video code data input from 5 is input / output buffer 140
The moving picture / still picture encoding / decoding device 1404 decodes the data, and writes it to the output FM1405. The written image signal is displayed by being synthesized with a personal computer signal by controlling the display synthesizing unit 423 with a display switching control signal from the CPU 1403. Considering that the moving image is a moving image at the time of combining when displaying the moving image of the other person, only the moving image is displayed without superimposing the moving image and the personal computer signal. Next, a moving image of one's own person on the screen 1 is input from the TV camera 304. For example, the A / D converter 1407 converts the NTSC signal from analog to digital and writes it to the input FM1406. The image data written to the input FM1406 is written to the output FM1405 by the moving image / still image encoding / decoding device. About display,
This is the same as the moving image of the other person. Next, as for the material presentation explanation screen of the screen 2, regarding the person moving image, the size and the display position of the other person moving image are different, and the coding of the moving image / still image is performed.
Although the phase manual image processing of the decoding device is slightly different, the input / output method is the same. The processing of the phase manual image on the screen 1 and the screen 2 is the same, and as an example, the input from the TV camera 304, the encoding and decoding by the video / still image encoding / decoding device 1404 are the same, and the output is performed. The method of changing the size and position according to the screen 1 and the screen 2 at the time of writing to the FM1405, and the method of changing the size at the time of input and encoding and changing the display position at the time of writing to the output FM1405 is there. Subsequently, there is a case where a full-color still image is displayed as a presentation material on the screen 2.
Since the data is stored in the hard disk 414 in FIG. 4 as code data, the data is first read out into the personal computer, and then loaded into the image codec 424 via the extension bus I / F 417 and the input / output buffer 1401. Subsequently, the moving image / still image encoding / decoding device 1404 decodes the image and writes it to the output FM1405. As for the operation of the display combining unit 423 at this time, there is also a method of displaying only a full-color still image document without combining with a personal computer signal as in the case of displaying a moving image. In order to respond to the request to give the explanation position instruction, this information is provided to the display control unit 415 of the conference terminal body 410, and the display composition unit superimposes the information with the full-color still image document. Therefore, when the full-color still image is displayed on the screen 2 in FIG. 1, the moving image portion displays only the full-color image signal, the full-color still image portion displays the superimposed display of the personal computer signal and the full-color image signal, and the conference progress menu display area 114 Only the PC signal is displayed, but this switching is stored in the display synthesizing unit as a pattern corresponding to the screen No. and display contents, and switching is realized by the CPU 1403 designating the pattern with the display switching control signal. . CP above
The display switching designation of U1403 is executed in response to designation from the personal computer 410 to the image codec 424. FIG. 15 shows an example of command and response specifications at this time. In the case of displaying a command code corresponding to the display screen and a full-color still image document, code data is sent from the personal computer 410 to the image codec 424, and when the processing in the image codec is completed, a response code is returned to the personal computer 410. Next, details of the FAX document display process will be described.
FIG. 16 shows the overall configuration related to FAX document processing. 1601 is the peripheral controller CPU, 1602 is the I / F with the scanner 306, 1603 is the I / F with the printer 307, 1604
Reference numeral 1605 denotes an image memory; and 1605, an image processing unit for input / output control of a scanner / printer and encoding / decoding / reduction of a FAX document. 1606 is direct memory access (DMAC), 16
07 is buffer memory, 1608 is bidirectional FIFO, 1609 is DMAC
It is. As for the scanner 306 and the printer 307, the (personal computer) CPU 411, the display control unit 415, the hard disk 414, the expansion bus I / F 417, the peripheral controller 421, and the display information storage unit (image memory) 416 are the same as those in FIG. . As a whole flow of the FAX document processing, the document input from the scanner 306 is encoded in the peripheral controller 421 and stored in the hard disk 414. When displaying,
This is realized by reading from the hard disk 414, decoding the data in the peripheral controller 421, transferring it to the display information storage unit 416, and transferring the part to be displayed to the display control unit 415. The notation method will be described in detail below. When FAX document display is designated by selecting the page name selection menu 508 in FIG. 8 on the screen 2120 in FIG. 1, code data of the designated document is retrieved from the hard disk 414 and taken out to the display information storage unit 416. Next, decoding is performed in the peripheral controller 421. At this time, the PC 410 and the peripheral controller 4
The notification of the event between 21 is interrupted, and the PC CPU 4
11 and peripheral controller CPU1601 independent operation. To speed up data transfer, the external DMAC 1609 manages data transfer on the PC bus, and the DMAC 1606 manages data transfer on the system bus. At the time of decoding, the personal computer issues a decoding request, and the encoded data is transferred to the buffer memory 1607 by the above method. Next, DMAC1606
Then, the data is transferred to the input / output control / image processing unit 1605, where it is decoded, then expanded in the image memory 1604, and the personal computer is notified of the end of processing. Next, there is a request for original size transfer or reduced size transfer from the personal computer, and the data is read out on the system bus by the input / output control / image processing unit 1605 as it is or in reduced size and stored in the buffer memory 1607 by the DMAC 1606. When the data is stored in the buffer memory 1607, a transferable communication interrupt is issued to the personal computer. Thereafter, the data is read out onto the personal computer bus via the FIFO using the DMAC 1606. When the PC receives the transfer enable notification interrupt, the DMAC
Set the transfer data amount in 1609 and start. This allows
The data is transferred to the display information storage unit 416. Finally, the part to be displayed is transferred to the display control unit 415.

【００５５】 図17は、入出力制御・画像処理部1605の構成例であ
る。FIG. 17 is a configuration example of the input / output control / image processing unit 1605.

【００５６】 1701と1703はDICEP−Ａ（Document Image Compressio
n and Expansion Processor−Adbanced）、1702はACRTC
（Adbanced CRT Controller）、1704は縮小回路であ
る。DICEP−A1701は、FAX文書の国際規格符号化方式で
あるMMR（Modified Modified READ）符号の符号化，復
号化をするための（株）日立製作所が市販している専用
LSIで、同時に画像バスのデータ転送を実行する。ACRTC
1702は、走査型CRTにグラフィックス，キャラクタを表
示するための（株）日立製作所が市販している専用LSI
である。縮小回路1704はFAX画像縦横1/2縮小を実行する
ための専用回路である。各部の処理内容は、DICEP−A17
01が画像メモリ1604のプリンタ出力制御、ACRTC1702が
プリンタ出力の際、パソコンから送られてくる描画デー
タの展開処理を行う。DICEP−A1703はスキャナ306か
ら、画像メモリ1604への入力制御、画像メモリ1604のデ
ータをMMR復号化して、システムバスに出力し、パソコ
ン410から送られてくるMMR符号データをMMR復号化して
画像メモリ1604に展開する処理を行う。更にDICEP−A17
03は、画像メモリ1604のデータをそのままパソコン401
へ送る際の、データの取り出しとシステムバスへの出力
を行う。縮小回路1704は、画像メモリ1604のデータを縮
小してシステムバスに出力する処理を行うものである。1701 and 1703 are DICEP-A (Document Image Compressio
n and Expansion Processor-Adbanced), 1702 is ACRTC
(Adbanced CRT Controller), 1704 is a reduction circuit. DICEP-A1701 is a special-purpose, commercially available Hitachi, Ltd. for encoding and decoding MMR (Modified Modified READ) code, which is an international standard encoding method for fax documents.
The LSI simultaneously executes image bus data transfer. ACRTC
The 1702 is a dedicated LSI marketed by Hitachi, Ltd. for displaying graphics and characters on a scanning CRT.
It is. The reduction circuit 1704 is a dedicated circuit for performing the FAX image vertical / horizontal 1/2 reduction. The processing content of each part is DICEP-A17
01 performs printer output control of the image memory 1604, and the ACRTC 1702 performs rendering processing of drawing data sent from a personal computer when outputting to a printer. The DICEP-A1703 controls the input from the scanner 306 to the image memory 1604, MMR decodes the data in the image memory 1604, outputs the data to the system bus, and MMR decodes the MMR code data sent from the personal computer 410 to the image memory. Processing for expanding to 1604 is performed. DICEP-A17
03 uses the data in the image memory 1604 as it is
It takes out data and sends it to the system bus when sending to the system bus. The reduction circuit 1704 performs a process of reducing data in the image memory 1604 and outputting the data to the system bus.

【００５７】 次に、FAX文書のディスプレイでの表示法を説明す
る。A4フルサイズの文書を端末で扱おうとすると、2376
×1728画素が要求され、縦・横とも通常のディスプレイ
では画素数が足りず、専用のディスプレイを用いない限
り全面表示は不可能である。又、部分表示した場合は横
方向のスクロールが必要となり、著しく使い勝手が悪く
なる。縮小表示した場合は、文書として許容できる画質
を保てるのは、1/2程度までである。ここで一実施例と
しては、通常のパソコンでの高解像度ディスプレイ（75
0×1120）を使用した場合を説明する。A4フルサイズ文
書を縦横1/2に縮小すると118×864となり、横方向のフ
ルサイズ表示は可能となる。そこで通常は、縦横1/2に
縮小した画像表示とし、必要に応じて、原寸表示するも
のとする。この際の一実施例として、原寸データは、50
0KB程度とデータ量が多く、パソコンへの転送時間がか
かり、転送したとしても表示されない領域が主であるた
め、ペリフェラルコントローラ421の画像メモリに原寸
データを持ち、必要に応じて表示する部分をパソコン側
へ転送するようにする。パソコン内の表示情報蓄積部41
6に持つ構成としている。Next, a method of displaying a fax document on a display will be described. When trying to handle A4 full-size documents on a terminal, 2376
× 1728 pixels are required, and the number of pixels is not enough in a normal display both vertically and horizontally, and full-screen display is impossible unless a dedicated display is used. In the case of partial display, scrolling in the horizontal direction is required, and the usability is significantly reduced. When displayed in a reduced size, the image quality acceptable as a document can be maintained only up to about 1/2. Here, as an example, a high-resolution display (75
0 × 1120) will be described. When an A4 full-size document is reduced to half vertically and horizontally, the size becomes 118 × 864, and full-size display in the horizontal direction becomes possible. Therefore, normally, the image display is reduced to half the length and width, and the original size is displayed as necessary. In one embodiment, the actual size data is 50
Since the data amount is as large as about 0 KB, it takes a long time to transfer to the personal computer, and the main area is the area that is not displayed even if it is transferred. Transfer to the side. Display information storage unit 41 in personal computer
6.

【００５８】 この理由は、125KB程度であり、転送負荷もさほど重
くないこと、および縦方向の高速スクロールを実現する
ため、画像コーデック424,通信制御部425といった他の
追加ハードと競合しながら使っているパソコンの拡張バ
スの使用頻度を下げるためである。The reason for this is that the transfer load is about 125 KB, the transfer load is not so heavy, and in order to realize high-speed vertical scrolling, it is used while competing with other additional hardware such as the image codec 424 and the communication control unit 425. This is to reduce the frequency of use of the expansion bus of a personal computer.

【００５９】 次に会議画面の遷移における通信データのやり取りを
詳細に述べる。図18はその通信シーケンス例である。
（Ａ）領域にあるのは送信側（Ｂ）と受信側（Ｃ）の交
換データであり、送信側（Ｂ）にあっては表示画面とユ
ーザの動作、受信側（Ｃ）にあっては、表示画面の関係
を示している。最初は双方がローカル画面となっている
が、片側の端末で会議実行メニューを選択すると、OSI
の下位層接続のための、回線接続要求が出され、受信側
は応答を返す。次の通信開始要求がOSIのセッション層
のコネクション要求であり、通信開始応答がセッション
層接続応答である。以上により、セッション層までが接
続され、双方に図１の画面１に示す会議前画面が表示さ
れる。会議前画面において会議中止メニューが選択され
ると、セッション層の開放要求として通信中止要求が出
され、その応答として通信中止応答がある。次に下位層
の開放要求として回線開放要求が出され、それにこたえ
る形で回線開放応答があり、これにより回線が開放さ
れ、双方の画面は自動的にローカル画面に戻る。又、会
議前画面において会議開始メニューが選択されると、セ
ッションアクティビティスタート要求にあたる、会議開
始要求が出され、双方の画面共、あらかじめ用意された
資料が自動的に表示され、図１の画面２に示す資料提示
説明画面が自動的に表示される。ここで画面２の下辺に
なるメニューを用いて説明が進行する。説明が終了する
と、セッションアクティビティエンド要求に対応する、
会議終了要求が出され、セッションアクティビティエン
ド確認を受信することで、双方の画面共、自動的に図１
画面３に示した会議後画面が自動的に表示される。会議
後画面において、会議再開メニューが選択されると、セ
ッションアクティビティリジューム要求に対応する、会
議再開要求を出し、双方の画面共、会議中画面に戻る。
又、会議後画面において、通信終了メニューが選択され
ると、セッション解放要求がある、通信終了要求が出さ
れ、それにこたえて、通信終了応答が返される。続い
て、下位置の解放要求である、回線解放要求を出し、そ
れにこたえる形で回線解放応答が返され、回線は開放さ
れ、双方の画面は自動的にローカル画面が戻る。Next, the exchange of communication data in the transition of the conference screen will be described in detail. FIG. 18 shows an example of the communication sequence.
In the area (A), there is exchange data between the transmitting side (B) and the receiving side (C). In the transmitting side (B), the display screen and the operation of the user, and in the receiving side (C), And the display screens. Initially, both are local screens, but if you select the conference execution menu on one terminal, OSI
A line connection request for lower layer connection is issued, and the receiving side returns a response. The next communication start request is a connection request of the OSI session layer, and the communication start response is a session layer connection response. As described above, the connection up to the session layer is established, and the pre-meeting screen shown in the screen 1 of FIG. 1 is displayed on both sides. When the conference stop menu is selected on the pre-meeting screen, a communication stop request is issued as a request to release the session layer, and a response to the request is a communication stop response. Next, a line release request is issued as a lower layer release request, and a line release response is provided in response to the request, whereby the line is released, and both screens automatically return to the local screen. When the conference start menu is selected on the pre-meeting screen, a meeting start request corresponding to a session activity start request is issued, and materials prepared in advance are automatically displayed on both screens. Is automatically displayed. Here, the description proceeds using the menu on the lower side of the screen 2. When the explanation is over, the session activity end request
When a meeting end request is issued and the session activity end confirmation is received, both screens automatically
The post-meeting screen shown in Screen 3 is automatically displayed. When the conference resumption menu is selected on the post-conference screen, a conference resumption request corresponding to the session activity resume request is issued, and both screens return to the conference screen.
When the communication end menu is selected on the post-meeting screen, a communication end request is issued with a session release request, and a communication end response is returned in response to the request. Subsequently, a line release request, which is a release request at the lower position, is issued, a line release response is returned in response to the request, the line is released, and both screens are automatically returned to the local screen.

【００６０】 図19は、送信側の画面遷移例である。表示される画面
と、その遷移を示す。1901はローカル画面、1902はロー
カル画面1901での表示画面遷移条件、1903は会議前画
面、1904は会議前画面1903での表示画面遷移条件、1905
は会議主画面、1906は会議主画面での表示画面遷移条
件、1907は会議後画面、1908は会議後画面での表示画面
遷移条件、1909はローカル画面である。FIG. 19 is an example of a screen transition on the transmission side. The screen to be displayed and its transition are shown. 1901 is the local screen, 1902 is the display screen transition condition on the local screen 1901, 1903 is the pre-meeting screen, 1904 is the display screen transition condition on the pre-meeting screen 1903, 1905
Is a conference main screen, 1906 is a display screen transition condition on the conference main screen, 1907 is a post conference screen, 1908 is a display screen transition condition on the post conference screen, and 1909 is a local screen.

【００６１】 図20は、受信側の画面遷移例であり、表示される画面
と、その遷移を示す。2002はローカル画面での画面遷移
条件で、閉じた遷移矢印は、会議実行を受信するまでウ
ェイト状態であることを示す。2004は会議前画面での画
面遷移条件、2006は会議中画面での画面遷移条件、2008
は会議後画面での画面遷移条件である。FIG. 20 is an example of screen transition on the receiving side, showing the screens to be displayed and the transitions. 2002 is a screen transition condition on the local screen, and a closed transition arrow indicates that the apparatus is in a wait state until a meeting execution is received. 2004 is the screen transition condition on the pre-meeting screen, 2006 is the screen transition condition on the in-meeting screen, 2008
Is a screen transition condition on the post-meeting screen.

【００６２】 ここでは、送信側と受信側を区別して示しているが、
任意の画面において、送信側・受信側のどちらにもなり
得る。Here, although the transmitting side and the receiving side are shown separately,
On any screen, it can be either the sender or the receiver.

【００６３】 ところで、双方のディスプレイに同じ文書を互いに表
示し合って（すなわち整合をとって）説明する通信会議
においては、説明に入る前に双方の資料の文書がシキ別
子によって一体に指定されるよう整合されていなければ
ならない。資料提示説明画面において、この整合をとる
方法も考えられるが、ここでは、会議での説明に専念す
るように表示するため、会議前画面において、会議で用
いる資料の整合をとるようにしている。例えばユーザが
動画像と音声とによって挨拶を行っている間に、自動的
に資料の整合をするのが良い。By the way, in a communication conference in which the same document is displayed on both displays to explain each other (that is, with consistency), the documents of both materials are integrally specified by a Shiki identifier before starting the explanation. Must be aligned to Although a method of matching this on the material presentation explanation screen is conceivable, here, in order to display only the explanation at the meeting, the materials used in the meeting are matched on the pre-meeting screen. For example, it is preferable to automatically match the materials while the user greets with a moving image and a sound.

【００６４】 会議後画面において会議録を作成する場合に、あらか
じめ端末側が用意したフォーマットに従って端末側が自
動的作成しても良いし、或いはユーザの入力に従って作
成しても良い。会議録については図24を参照して後述す
る。When the minutes are created on the post-meeting screen, the minutes may be automatically created by the terminal according to a format prepared by the terminal in advance, or may be created according to the input by the user. The minutes will be described later with reference to FIG.

【００６５】 図１に示す実施例では、メニューの選択により、自動
的に会議画面間に遷移するものであったが、本発明はこ
れに限らず、あらかじめ設定した時間に従って自動的に
会議画面が遷移していく方法を採用しても良い。この
際、設定時間の経過をユーザに知らせる機能を設けれ
ば、ユーザにとって好都合である。又、この際の更に設
定時間延長をユーザが可能とする機能を持つことによ
り、設定時間に制約されない使用が可能となる。In the embodiment shown in FIG. 1, a transition between conference screens is automatically made by selecting a menu. However, the present invention is not limited to this, and the conference screen is automatically displayed according to a preset time. A transition method may be adopted. At this time, it is convenient for the user if a function for notifying the user of the elapse of the set time is provided. In addition, by providing a function that allows the user to further extend the set time at this time, use that is not restricted by the set time becomes possible.

【００６６】 又、今回示した実施例では、会議中は全て共通画面で
あったが、会議の進行に応じて表示内容が切替わるウイ
ンドウと、会議の進行によらず、ローカルに表示内容が
変わるウインドウを合わせて持つ構成にすることにより
会議中にローカルワーキングをこなすという多角的使用
法がある。この際、ローカルに表示内容が変わるウイン
ドウでの指示により、会議進行に応じて表示内容が変わ
るウインドウへの操作ができる機能をもつことで、共通
画像表示画面の表示同期ずれを防げる。又、会議進行に
応じて表示内容が変わるウインドウでの指示により自動
的に、会議の進行により表示内容が変わらないローカル
ウインドウを表示することで処理内容が多いものはロー
カルワーキングとし、表示同期ずれを防げる。Further, in the embodiment shown this time, the common screen is used during the conference, but the display contents are switched according to the progress of the conference, and the display contents are locally changed regardless of the progress of the conference. There is a versatile use of doing local working during a conference by having a configuration with windows together. At this time, by providing a function of operating a window whose display content changes in accordance with the progress of the meeting by giving an instruction in a window whose display content changes locally, it is possible to prevent display synchronization shift of the common image display screen. In addition, a local window whose display contents do not change with the progress of the conference is displayed automatically by an instruction in a window whose display contents change in accordance with the progress of the conference. Can be prevented.

【００６７】 又、本実施例は１対１の通信会議に関するものであっ
たが、３地点以上の通信会議を許し、会議中での途中参
加を許す場合は、後述するように、少なくとも会議主画
面、会議中新規会議参加者挨拶画面（会議途中参加者確
認用画面）を持つ構成とすることが機密保持に有効であ
る。この際、音声と合わせて、会議中新規会議参加者挨
拶画面においては、少なくとも動画，会議中画面におい
ては、少なくとも動画以外のメディアを表示することで
確実な相手の確認が可能となる。又、会議中新規会議参
加者挨拶画面表示中に、資料整合を行うことで自然な会
議参加を実現できるう。又、会議途中の離脱を許した場
合は、少なくとも会議中画面、会議中会議離退者挨拶画
面を持つことが自然な会議環境実現に有効である。この
際、音声と合わせて会議中会議離脱者挨拶画面では、動
画，会議中画面においては、動画以外のメディアを表示
することにより通常の面談会議に近い環境を提供するの
ができる。The present embodiment relates to a one-to-one communication conference. However, when a communication conference at three or more locations is permitted and participation during the conference is permitted, at least the conference It is effective for maintaining confidentiality to have a screen and a greeting screen for a new conference participant during the conference (participant confirmation screen during the conference). At this time, at least a moving image is displayed on the greeting screen of the new conference participant during the meeting, and at least a medium other than the moving image is displayed on the in-meeting screen together with the voice, so that the other party can be surely confirmed. In addition, during the conference, during the display of the new conference participant greeting screen, by performing the material matching, a natural conference participation can be realized. When leaving during the meeting is allowed, it is effective to have at least a screen during the meeting and a greeting screen for the person who has left the meeting during the meeting to realize a natural meeting environment. At this time, an environment close to that of a normal interview meeting can be provided by displaying media other than a moving image on the moving image and on the in-meeting screen on the greeting screen for the person who has left the conference during the meeting together with the voice.

【００６８】 又、本実施例では、会議進行パターンは、あらかじめ
端末側で用意されていたが、ユーザが会議進行パターン
登録機能を持つニーズに合わせた設定を可能とするのが
有力である。又、この際、マルチメディアを用いた任意
の場面を設定，登録，運用できる構成とすることが有効
である。Further, in the present embodiment, the conference progress pattern is prepared in advance on the terminal side, but it is effective to enable the user to set according to the needs having the conference progress pattern registration function. At this time, it is effective to set, register, and operate an arbitrary scene using multimedia.

【００６９】 又、本実施例では、双方の端末が対等の立場であった
が、後述するように２地点間以上の通信会議において、
通信中のリーダー端末が通信権の移動を行うことで、端
末の負荷を軽減し、しかも通常の議長のいる会議に近い
環境を提供することが有力である。In the present embodiment, both terminals are in an equal position. However, as described later, in a communication conference between two points or more,
It is effective to reduce the load on the terminal by transferring the communication right by the leader terminal during communication, and to provide an environment close to a conference with a normal chairperson.

【００７０】 更に、多地点間通信を実現する場合には、会議開始前
にあらかじめ会議参加が決まっていた人に対して、本人
の参加希望により自動的に参加を認め、会議中に必要に
応じて新たに呼び出して会議に参加してもらう場合に
は、呼び出した相手を確認後に会議に参加させるという
ように、参加者の状況を区別するのが機密保持上有効で
ある。Furthermore, when realizing multipoint communication, a person who has been determined to participate in a conference before the start of the conference is automatically granted participation according to his / her desire to participate, and if necessary during the conference, When a new call is made to join the conference, it is effective in terms of confidentiality to distinguish the situation of the participants, such as joining the conference after confirming the called party.

【００７１】 図21は２地点間以上で会議を行った場合の表示画面の
一例である。2103は会議参加者動画像表示領域、2104は
会議参加者動画像である。図１の会議中画面120に対し
て、人物動画を表示する部分が、多地点用に変更されて
いる。さて、会議実行中の途中参加方法であるが、大き
く次の２通りの方法が考えられる。第１の方法は、事前
に会議の参加が決まっている人が途中参加する場合であ
る。第２の方法は、会議中に参考意見を聞きたいといっ
たように必要に応じて会議に途中参加してもらう場合で
ある。FIG. 21 is an example of a display screen when a meeting is held between two or more locations. Reference numeral 2103 denotes a conference participant moving image display area, and 2104 denotes a conference participant moving image. The part displaying the person moving image on the in-meeting screen 120 of FIG. 1 has been changed to a multi-point use. By the way, the following two methods are conceivable as the participation method during the execution of the conference. The first method is a case where a person who has decided to participate in a conference in advance participates in the middle. A second method is to have the user participate in the meeting as needed, such as wanting to hear reference opinions during the meeting.

【００７２】 上記第１の方法は、事前に会議の参加が決まっている
人が途中参加する場合に、図23に示すように、参加者が
希望すれば、自動的に会議資料等を整合し、会議主画面
に自動的に遷移できるようにする方法である。In the first method, when a person who has decided to participate in a conference in advance participates in the middle, as shown in FIG. 23, if the participant desires, the conference materials and the like are automatically matched. This is a method for automatically transiting to the conference owner screen.

【００７３】 第２の方法は、会議中に必要に応じて参加してもらう
場合に、いきなり第１の方法のように会議主画面に遷移
すると、呼び出したい相手が必ず映し出されるとは限ら
ず、機密保持上問題である。In the second method, when the user is required to participate during the conference, if the user immediately transitions to the conference main screen as in the first method, the party to be called is not always displayed. This is a security issue.

【００７４】 図22は、会議途中参加者確認画面である。2201は会議
途中参加者確認用動画表示領域、2202は会議途中参加者
確認用動画、2204は参加了解メニュー、2205は参加取消
メニューである。会議途中で必要に応じて会議相手を確
認する必要が生じた場合は、相手に呼び出し、回線接続
時に、自動的にこの画面に遷移する。この遷移した画面
において、会議途中参加者確認用動画2202と音声によ
り、相手を確認した場合は、参加了解メニュー2204を選
択して、自動的に図23の画面に遷移する。一方、相手が
不在の場合には、参加中止メニューを選択して、自動的
に回線を解放し、図21の画面に戻る。FIG. 22 shows a participant confirmation screen during the conference. Reference numeral 2201 denotes a moving image display area for confirming a participant during the conference, 2202 denotes a moving image for confirming the participant during the conference, 2204 denotes a participation confirmation menu, and 2205 denotes a participation cancellation menu. If it becomes necessary to confirm the conference partner during the conference as needed, the call is made to the partner and the screen is automatically switched to this screen when the line is connected. When the other party is confirmed by the moving image 2202 for confirming the participant during the conference and the voice on the screen to which the transition has been made, the participation confirmation menu 2204 is selected, and the screen automatically transitions to the screen of FIG. On the other hand, when the partner is not present, the user selects the participation cancellation menu, automatically releases the line, and returns to the screen of FIG.

【００７５】 さらに、多地点間通信を行った場合、会議参加者の全
てが、会議の進行に関与するものではなく、単にウオッ
チングしたいケースも考えられる。この様な際には、図
２に示す、通信網202もしくは電子交換機203が、会議進
行に関与し、表示画面の切替えを実行できるテレミーテ
ィング端末と、会議の進行に関与せず画面を共有するテ
レミーティング端末とを区別して管理するのが望まし
い。つまり、このケースに限らず、多数の地点間で通信
する場合に、端末装置間をリング状にネットワーク接続
するとリアルタイム性やテレミーティング端末の負荷の
増大を招くため、電子交換機203もしくは通信網202に、
集中管理するための付加機能を持たせ、ネットワーク構
成をスター状にするのがよい。Furthermore, when multipoint communication is performed, there may be a case where all the conference participants do not participate in the progress of the conference, but simply want to watch. In such a case, the communication network 202 or the electronic exchange 203 shown in FIG. 2 is involved in the progress of the conference and shares the screen without being involved in the progress of the conference with a telemeeting terminal capable of switching the display screen. It is desirable to manage separately from the telemeeting terminal. In other words, the present invention is not limited to this case, and when communicating between a number of points, connecting the terminal devices to the network in a ring shape increases the real-time performance and the load on the telemeeting terminals. ,
It is preferable to have an additional function for centralized management and to make the network configuration star-shaped.

【００７６】 ところで、図６において、ページ選択メニュー508等
の選択により、共通表示領域111の表示が変わり、画面
が切替わることになるが、切替えの際に、その画面での
会議録を保存する手段を持つことが考えられる。図24
は、その一例を示したものである。2401は文書、2402は
ページ１、2403はページｎ、2404はブロック１、2405は
ブロック２、2406はテキストユニット１、2407はテキス
トユニット２、2408はテキストユニット３である。通
常、資料は、文書からページへと階層構造になってい
る。初期状態では、文書2401の下にページ１があり（ペ
ージ２からページｎまでは考慮しない）その下に、実際
の文書の符号情報である、テキストユニット１が入る。
表示ページが切替わる際には、例えば、そのページに描
かれた自分の描画データと相手の描画データとが会議録
として保存されることになる。具体的には、自分の描画
データであることを示すブロック１の下に自分が実際に
描いた描画データを相手の描画データを示すブロック２
の下に相手が実際に描いた描画データをページ１と関連
付けて保存する。このデータ保存形式は、ODA,ODIFにお
けるレイアウト構造に準拠している。By the way, in FIG. 6, the display of the common display area 111 is changed by the selection of the page selection menu 508 or the like, and the screen is switched. At the time of the switching, the conference minutes on the screen are saved. It is conceivable to have the means. Fig. 24
Shows an example. 2401 is a document, 2402 is a page 1, 2403 is a page n, 2404 is a block 1, 2405 is a block 2, 2406 is a text unit 1, 2407 is a text unit 2, and 2408 is a text unit 3. Usually, the material has a hierarchical structure from documents to pages. In an initial state, there is a page 1 under the document 2401 (pages 2 to n are not considered), and under that, a text unit 1, which is code information of an actual document, is inserted.
When the display page is switched, for example, the drawing data of the user and the drawing data of the other party drawn on the page are stored as the minutes. Specifically, below the block 1 indicating that the drawing data is the user's own drawing data, the block 2 indicating the drawing data of the other party is drawn below the drawing data actually drawn by the user.
The drawing data actually drawn by the other party is stored in association with page 1 under. This data storage format conforms to the layout structure in ODA and ODIF.

【００７７】 図６ではトークン所有権表示領域504に関して説明し
たが、通信権の有無を示すトークン権の有無を画面の一
部に表示することはユーザの安心感向上のために有効で
ある。又、通信権の移動については、トークン権表示領
域をメニューとして、そこを選択することで、通信権の
移動を行うことが考えられる。しかしトークン権という
通信技術に独特な取り扱いをユーザに意識させるとユー
ザの使い勝手が悪くなる。そこで、トークン権を必要と
するアクション（例えば表示ページの変更など）をユー
ザが起こしたとき、自動的にトークン権を移動させるよ
うにすればよい。又、上記実施例では、会議進行上のす
べての操作に対してトークン権を必要としたが、描画，
ポインティングと言った特定のメディア通信，資料転送
通信等についてはトークン権を必要としないで自由にデ
ータを転送できるようにする。たとえば描画に関してい
うなら、通常の面談会議では、お互いに自由に描画でき
る環境を通信メディア上でも持たせる。さらに、「資料
転送」のような時間のかかる会議進行操作は、通常の通
信会議を実行する仕事とは別の付加的な仕事（Sub Jo
b）として並行して実行するというように、トークン所
有権をメディア単位、或いは会議進行操作の種別毎に設
けて並列処理しスムーズな会議の進行操作環境を実現す
る。Although the token ownership display area 504 has been described with reference to FIG. 6, displaying the presence or absence of the token right, which indicates the presence or absence of the communication right, on a part of the screen is effective for improving the user's sense of security. Regarding the transfer of the communication right, it is conceivable that the communication right is moved by selecting the token right display area as a menu and selecting it. However, if the user is conscious of the unique handling of the token right communication technology, the usability of the user deteriorates. Therefore, when the user takes an action that requires the token right (for example, changing the display page), the token right may be automatically moved. In the above embodiment, the token right was required for all operations during the conference.
For specific media communication such as pointing, material transfer communication, etc., data can be freely transferred without the need for a token right. For example, in the case of drawing, in an ordinary interview meeting, an environment where each other can freely draw is provided on communication media. In addition, time-consuming meeting operations such as "transfer materials" require additional tasks (Sub Jo
As in b), the token ownership is provided in units of media or for each type of conference proceeding operation, and is processed in parallel to realize a smooth conference proceeding operation environment.

【００７８】 以上では相手を確認したことを端末に連絡する手段と
して、メニュー選択を用いた例を説明したが、音声認識
や画像認識等により相手を端末装置側が自動的に確認
し、ユーザの負担をより軽減することも考えられる。In the above description, an example in which menu selection is used as a means for notifying the terminal that the other party has been confirmed has been described. However, the terminal apparatus automatically confirms the other party by voice recognition, image recognition, or the like, and burdens the user. Can be further reduced.

【００７９】[0079]

【発明の効果】【The invention's effect】

本発明によれば次の効果を奏する。 According to the present invention, the following effects can be obtained.

【００８０】 （１）会議相手を確認後、資料を提示して説明する画面
（会議主画面）に遷移できるので、資料の機密を保持で
きる。(1) After confirming the meeting partner, the user can present the material and transit to a screen for explaining (meeting main screen), so that the confidentiality of the material can be maintained.

【００８１】 （２）会議相手を確認する画面（会議前画面）で意図す
る相手を確認できるので、誤確認を少なくすることがで
きる。(2) Since the intended party can be confirmed on the screen for confirming the conference partner (pre-conference screen), erroneous confirmation can be reduced.

【００８２】 （３）表示画面がマルチウインドウであるので、様様の
メディアを選択・合成表示できるので、ユーザにとって
使い勝手の良い環境を提供できる。(3) Since the display screen is a multi-window, various media can be selected, combined and displayed, so that a user-friendly environment can be provided.

【００８３】 （４）表示画面を会議進行に応じた固定マルチウインド
ウ表示できるので、ユーザがウインドウをどう操作した
ら良いか煩うことのないメディア操作環境を提供でき
る。(4) Since a fixed multi-window can be displayed on the display screen in accordance with the progress of the conference, a media operation environment can be provided without the user having to worry about how to operate the window.

【００８４】 （５）通信回線接続時に自動的に会議前画面が表示され
るので、ユーザが端末側であらかじめ用意した会議の流
れにスムーズに乗つていける。(5) Since the pre-meeting screen is automatically displayed when the communication line is connected, the user can smoothly proceed to the meeting flow prepared in advance on the terminal side.

【００８５】 （６）音声と合わせた、会議相手を確認する会議前画面
では、動画以外のメディアを表示することができるの
で、会議前画面においては、視覚・聴覚を用いた相手の
確認ができる。(6) On the pre-meeting screen for confirming the meeting partner together with the audio, media other than the moving image can be displayed. Therefore, on the pre-meeting screen, the other party can be confirmed using visual and auditory senses. .

【００８６】 （７）会議主画面においては、動画以外のメディアを用
いることで、多彩なプレゼンテーションが可能になる。(7) A variety of presentations can be made by using media other than moving images on the conference owner screen.

【００８７】 （８）また、相手を確認したことを端末に知らせる手段
としてメニュー選択ができるので、操作が簡易である。(8) Further, the menu can be selected as a means for notifying the terminal that the other party has been confirmed, so that the operation is simple.

【００８８】 （９）会議主画面は、相手端末との共通画像表示領域と
共通画像を制御するメニュー表示領域とを合わせて持つ
ことにより、円滑な会議運営ができる。(9) The conference main screen has a common image display area for the partner terminal and a menu display area for controlling the common image, so that a smooth conference operation can be performed.

【００８９】 （10）相手を確認したことを端末に知らせるメニュー
を、メニュー表示領域に表示された会議サポートメニュ
ーとは独立して共通表示領域に表示することで、選択し
易い、使い勝手の良い環境を提供できる。(10) By displaying a menu for notifying the terminal that the other party has been confirmed to the terminal in the common display area independently of the conference support menu displayed in the menu display area, an easy-to-select and easy-to-use environment is provided. Can be provided.

【００９０】 （11）会議前に相手を確認する画面では、相手端末入力
画像を自端末で表示することで、双方の確認ができ、会
議中画面では、自端末あるいは相手端末の資料を自分と
相手の両端末に表示することで、会議中は同一画面を見
ながら会議を進行できる。(11) On the screen for confirming the other party before the conference, both sides can be confirmed by displaying the input image of the other terminal on the own terminal. By displaying the information on both terminals of the partner, the conference can be advanced while viewing the same screen during the conference.

【図面の簡単な説明】[Brief description of the drawings]

【図１】 本発明の一実施例の表示画面例。FIG. 1 is an example of a display screen according to an embodiment of the present invention.

【図２】 本発明の一実施例のシステム全体構成例。FIG. 2 is an example of an overall configuration of a system according to an embodiment of the present invention.

【図３】 本発明の一実施例の端末外観図。FIG. 3 is an external view of a terminal according to an embodiment of the present invention.

【図４】 本発明の一実施例のハードウエア構成のブロック図。FIG. 4 is a block diagram of a hardware configuration according to an embodiment of the present invention.

【図５】 本発明の一実施例のソフトウエア構成例。FIG. 5 is a software configuration example of one embodiment of the present invention.

【図６】 本発明の一実施例の表示メニュー例。FIG. 6 is an example of a display menu according to an embodiment of the present invention.

【図７】 本発明の一実施例における表示メニューの蓄積例。FIG. 7 is an example of accumulation of a display menu in one embodiment of the present invention.

【図８】 本発明の一実施例の各画面ごとの表示メニュー保存例。FIG. 8 is an example of saving a display menu for each screen according to an embodiment of the present invention.

【図９】 本発明の一実施例の表示すべきメニューの蓄積例。FIG. 9 is an example of storing menus to be displayed according to an embodiment of the present invention.

【図１０】 本発明の一実施例のメニューが実際に選択された際の処
理内容の保存例。FIG. 10 is an example of saving processing contents when a menu according to one embodiment of the present invention is actually selected.

【図１１】 本発明の一実施例のスタイラスペンからのデータ入力
例。FIG. 11 is an example of data input from a stylus pen according to one embodiment of the present invention.

【図１２】 本発明の一実施例のスタイラスペンの外観図。FIG. 12 is an external view of a stylus pen according to one embodiment of the present invention.

【図１３】 本発明の一実施例のスタイラスペン入力データ処理例。FIG. 13 is an example of stylus pen input data processing according to an embodiment of the present invention.

【図１４】 本発明の一実施例における静止画処理装置例。FIG. 14 is an example of a still image processing apparatus according to an embodiment of the present invention.

【図１５】 本発明の一実施例の本体の静止画処理装置のコマンド・
レスポンス例。FIG. 15 shows a command / command of the still image processing apparatus of the main body according to the embodiment of the present invention.
Response example.

【図１６】 本発明の一実施例における、FAX文書処理装置例。FIG. 16 is an example of a FAX document processing apparatus according to an embodiment of the present invention.

【図１７】 図16における入出力制御画像処理部例。17 is an example of an input / output control image processing unit in FIG. 16;

【図１８】 本発明の一実施例の通信シーケンス例。FIG. 18 is a communication sequence example according to an embodiment of the present invention.

【図１９】 本発明の一実施例のメニュー選択による画面遷移の送信
側のフローチヤート。FIG. 19 is a flowchart on the transmission side of screen transition by menu selection according to one embodiment of the present invention.

【図２０】 本発明の一実施例のメニュー選択による画面遷移の受信
側のフローチヤート。FIG. 20 is a flowchart on the receiving side of screen transition by menu selection according to an embodiment of the present invention.

【図２１】 ２地点間以上で会議を行った場合の本発明による表示画
面例。FIG. 21 is an example of a display screen according to the present invention when a conference is held between two or more points.

【図２２】 ２地点間以上で会議を行った場合の本発明による表示画
面例。FIG. 22 is an example of a display screen according to the present invention when a conference is held between two points or more.

【図２３】 ２地点間以上で会議を行った場合の本発明による表示画
面例。FIG. 23 is an example of a display screen according to the present invention when a conference is held between two or more points.

【図２４】 画面切替え時の会議録存例。FIG. 24 is an example of a conference record when a screen is switched.

【図２５】 会議の相手を確認するための手段を示す一実施例であ
る。FIG. 25 is an embodiment showing a means for confirming a meeting partner.

【符号の説明】[Explanation of symbols]

110……会議前画面、120……会議主画面、130……会議
後画面。110: Pre-meeting screen, 120: Meeting main screen, 130: Post-meeting screen.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 箭内 則文 茨城県日立市久慈町4026番地 株式会社 日立製作所日立研究所内 (72)発明者 高橋 正弘 茨城県日立市久慈町4026番地 株式会社 日立製作所日立研究所内 (56)参考文献 特開 昭63−14994（ＪＰ，Ａ) 特開 昭60−96059（ＪＰ，Ａ) 特開 昭62−157491（ＪＰ，Ａ) 特開 昭63−246056（ＪＰ，Ａ) 特開 平１−183949（ＪＰ，Ａ) 特開 昭62−279791（ＪＰ，Ａ) 特開 昭62−78588（ＪＰ，Ａ) ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Norifumi Yanai 4026 Kuji-cho, Hitachi City, Ibaraki Prefecture Inside Hitachi, Ltd.Hitachi Research Laboratory Co., Ltd. In-house (56) References JP-A-63-14994 (JP, A) JP-A-60-96059 (JP, A) JP-A-62-157491 (JP, A) JP-A-63-246056 (JP, A) JP-A-1-183949 (JP, A) JP-A-62-279791 (JP, A) JP-A-62-78588 (JP, A)

Claims (1)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】マルチメディアを用いて遠隔地間で通信を
行うテレミーティング端末装置において、 会議相手の動画又は前記会議相手が提示した静止画を受
信する受信手段と、 受信された会議相手の動画や静止画を表示する表示手段
と、 自分の動画や自分が提示した静止画を送信する送信手段
とを少なくとも有し、 前記送信手段によって自分の動画を送信し、前記受信手
段によって受信された会議相手の動画を前記表示手段に
表示した後に、前記受信手段は会議相手からの静止画送
信要求を受信し、受信された前記静止画送信要求を受付
後に、会議相手が送信した静止画を受信し、前記表示手
段は受信された前記会議相手の静止画を表示することを
特徴とするテレミーティング端末装置。1. A telemeeting terminal device for communicating between remote locations using multimedia, a receiving means for receiving a moving image of a conference partner or a still image presented by the conference partner, and a moving image of the received conference partner. And a display for displaying still images and a transmitting means for transmitting own moving images and still images presented by the user. The transmitting means transmits own moving images, and the conference received by the receiving means. After displaying the moving image of the other party on the display means, the receiving means receives a still image transmission request from the other party, and after receiving the received still image transmission request, receives the still image transmitted by the other party. And the display means displays the received still image of the conference partner.