JP4738628B2 - Data conference system, data conference terminal, and recording medium recording data conference program - Google Patents

Data conference system, data conference terminal, and recording medium recording data conference program Download PDF

Info

Publication number
JP4738628B2
JP4738628B2 JP2001128343A JP2001128343A JP4738628B2 JP 4738628 B2 JP4738628 B2 JP 4738628B2 JP 2001128343 A JP2001128343 A JP 2001128343A JP 2001128343 A JP2001128343 A JP 2001128343A JP 4738628 B2 JP4738628 B2 JP 4738628B2
Authority
JP
Japan
Prior art keywords
terminal
resolution
display
data
capture data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001128343A
Other languages
Japanese (ja)
Other versions
JP2002325239A (en
Inventor
俊彦 楳田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2001128343A priority Critical patent/JP4738628B2/en
Publication of JP2002325239A publication Critical patent/JP2002325239A/en
Application granted granted Critical
Publication of JP4738628B2 publication Critical patent/JP4738628B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、データ会議システムに関し、特に、データ会議システムにおける端末上の共有画面を迅速に表示させる技術に関する。
【0002】
【従来の技術】
従来からあるテレビ会議システムではNTSC、PAL等の映像信号方式を吸収し、かつ実用表示画質と動きをバランスさせるためにアナログ映像信号の各フレームを352×288ビットのデジタルデータに変換・圧縮伝送し受信側でTV信号方式にあった映像に戻す処理が行われ、音声も標準化に合致したCODEC方式が複数種類具備されている。
【0003】
昨今、映像音声を主に利用したテレビ会議システムの他に、コンピュータデータ又はアプリケーション共有を利用した遠隔データ会議システムの利用が普及している。例えば、ISDNデータ伝送チャネルMLP(Multi LayerProtocol)を利用したIPデータの交換機能でPCプレゼンを遠隔PCに対して行うシステムが普及してきている。
【0004】
この流れは従来、互いに電子ホワイトボードに書き込んだ線画、文字情報の交換による会議から、マイクロソフト社のパワーポイント・ソフト等によるコンピュータ・プレゼンテーションのオンライン化への変化と言える。
【0005】
このようなデータ会議システムにおけるオンライン・プレゼンテーションにおいては、その扱うデータ量の大きさから、リアルタイムに相手端末に画面を表示できないという問題がある。すなわち、データ会議システムで一般的に使用されるマイクロソフト社のパワーポイント・ソフト等を用いた場合、遠隔会議等の際に遠隔側へファイルが1ページ分づつ送信されるため、LAN、ISDN等で相手側へ表示されるまでに時間がかかる。また、いわゆるページめくりが遅く、また、各ページの内容によってページめくりに要する時間がばらつき、使いづらいという問題があった。
【0006】
このような問題点に関する従来技術として、ハイエンドCADデータを遠隔送信し、これを基に討議する際の時間遅れを改善する趣旨で提案された技術である特開平9−294255に開示された発明がある。特開平9−294255では、ワークステーション間においてもアプリケーション共有が可能なように動画、静止画データをファイル転送手段を用いて相手端末に送り、プレゼン時には各端末が同期して表示することが提案されている。
【0007】
しかし、本提案は大量のデータをリアルタイム伝送する手段は開示されておらず、別途、物理的運搬を併用する等現実的な対応が示されているにすぎない。
【0008】
また、特開平7−49834には、バーチャル・ネットワーク・コンピューティング(VNC)技術で遠隔のコンピュータのプログラムを走らせる方法が提案されている。特開平7−49834においては、アプリケーションが起動されたホスト側コンピュータの画面出力を遠隔側へキャプチャー転送する際に、画面を静的な部分と添え書き等の動作部分に分け、オブジェクト構造体を10個のパラメーターで送る方法が提案されている。
【0009】
しかしながら、ビットマップデータを送信する必要があるアプリケーションを使用する場合の問題については考慮されていない。また、添え書き等のオブジェクトを扱うことに注意が払われ表示データを高速転送する手段については開示されていない。
【0010】
更に、特開平10−79770には、大量画像情報からなる電子カルテを高速転送する発明が提案されている。この発明では、画像情報の一部をSGML/HTMLでリンク記述し、読み出しワークステーションで、前記のリンク記述カルテを作成し、蓄積されたサーバーからリンク先のデータを読み出す。
【0011】
しかしながら、これには専用サーバーを必要とし、また、1対1又は1対Nのリアルタイム性を要求するプレゼンテーションを実現する技術としては不向きである。
【0012】
【発明が解決しようとする課題】
上述のように、従来技術では、データ会議システムで一般的に使用されるマイクロソフト社のパワーポイント・ソフト等を用いた場合において、表示画面が相手側へ表示されるまでに時間がかかるという問題は解決されていない。
【0013】
本発明は上記の点に鑑みてなされたものであり、PC等を使用したデータ会議システムにおいてリアルタイムに共有画面表示を行う技術を提供することを目的とする。
【0014】
【課題を解決するための手段】
上記の目的を達成するために、本発明は次のように構成することができる。
【0025】
請求項1に記載の発明は、端末と当該端末に接続された遠隔側の端末とを有し、前記端末におけるアプリケーションによりディスプレイに表示される表示画面のデータをグラフィカル・デバイス・インターフェースによりキャプチャしたキャプチャーデータを前記遠隔側の端末に送信することにより、前記端末と前記遠隔側の端末間で表示画面を共有するデータ会議システムであって、前記端末は、前記遠隔側の端末のディスプレイ表示解像度情報を記憶する記憶手段と、前記ディスプレイ表示解像度情報に基づいて、前記キャプチャーデータの解像度変換を前記表示画面の全体について行う解像度変換手段と、前記解像度変換手段により解像度変換されたキャプチャーデータを、前記遠隔側の端末に送信する送信手段と、を備えることを特徴とするデータ会議システムである。
【0026】
本発明によれば、送信先の端末における表示をきれいに行うことができるとともに、解像度変換によるデータ削減によって表示速度を向上させることができる。
【0027】
請求項に記載の発明は、前記端末は、前記遠隔側の端末にディスプレイ表示解像度読出し要求を送信し、前記遠隔側の端末からの返答を受信する受信手段を備え、当該受信手段により受信した前記返答の内容を解析し、解析結果を前記遠隔側の端末のディスプレイ表示解像度情報として前記記憶手段に記憶することを特徴とする請求項に記載のデータ会議システムである。
【0028】
本発明によれば、本発明によれば、端末遠隔側の端末の表示能力情報を自動的に得ることが可能となる。
【0029】
請求項に記載の発明は、前記遠隔側の端末は複数であり、前記解像度変換手段は、各遠隔側の端末のディスプレイ表示解像度情報に基づいて、前記キャプチャーデータの解像度変換を各遠隔側の端末毎に行うことを特徴とする請求項に記載のデータ会議システムである。
【0030】
本発明によれば、ページデータの表示相手が複数端末である場合でも、各端末に適した解像度のデータを送信することが可能になる。
【0031】
請求項4に記載の発明は、前記端末は、前記解像度変換手段により解像度変換されたキャプチャーデータを圧縮するデータ圧縮手段を備え、前記送信手段は、前記データ圧縮手段により圧縮されたキャプチャーデータを、前記遠隔側の端末に送信することを特徴とする請求項1ないし3のうちいずれか1項に記載のデータ会議システムである。
請求項5に記載の発明は、前記解像度変換手段は、前記キャプチャーデータをビットマップ形式でメモリエリアに展開し、当該ビットマップ形式のキャプチャーデータに対して前記解像度変換を行うことを特徴とする請求項1ないし4のうちいずれか1項に記載のデータ会議システムである。
請求項6に記載の発明は、前記端末と前記遠隔側の端末はIP接続されていることを特徴とする請求項1ないし5のうちいずれか1項に記載のデータ会議システムである。
請求項7に記載の発明は、前記送信手段は、前記アプリケーションにおいてページ送り指示が行われたタイミングで、前記解像度変換されたキャプチャーデータを前記遠隔側の端末に送信することを特徴とする請求項1ないし6のうちいずれか1項に記載のデータ会議システムである。
請求項8に記載の発明は、前記送信手段は、バッファに格納された前時点のキャプチャーデータと現時点のキャプチャーデータとを所定のタイミングで比較することにより、前記解像度変換されたキャプチャーデータを前記遠隔側の端末に送信するタイミングを検出することを特徴とする請求項1ないし6のうちいずれか1項に記載のデータ会議システムである。
請求項に記載の発明は、端末と当該端末に接続された遠隔側の端末とを有し、前記端末におけるアプリケーションによりディスプレイに表示される表示画面のデータをグラフィカル・デバイス・インターフェースによりキャプチャしたキャプチャーデータを前記遠隔側の端末に送信することにより、前記端末と前記遠隔側の端末間で表示画面を共有するデータ会議システムであって、前記端末は、前記遠隔側の端末のディスプレイ表示解像度情報を記憶する記憶手段と、前記ディスプレイ表示解像度情報に基づいて、前記キャプチャーデータの解像度変換を行う解像度変換手段と、前記解像度変換手段により解像度変換されたキャプチャーデータを、前記遠隔側の端末に送信する送信手段と、を備え、前記解像度変換手段は、前記キャプチャーデータの解像度変換を、前記表示画面を分割して得られる複数のエリアのうちデータ変化の存在するエリアに対して行い、前記送信手段は、当該エリアの解像度変換されたキャプチャーデータを前記遠隔側の端末に送信することを特徴とするデータ会議システムである。
請求項10に記載の発明は、前記解像度変換手段は、前記表示画面を分割して得られる複数のエリアのうちの特定のエリアに変化点が発生したときに、前記キャプチャーデータの解像度変換を、前記表示画面の全体に対して行い、前記送信手段は、当該解像度変換されたキャプチャーデータを前記遠隔側の端末に送信することを特徴とする請求項1ないし8のうちいずれか1項に記載のデータ会議システムである。
請求項11に記載の発明は、前記記憶手段には、前記ディスプレイ表示解像度情報に対応付けて、前記キャプチャーデータの変換に用いる解像度が記憶されており、前記解像度変換手段は、当該記憶手段に記憶された解像度を用いて前記キャプチャーデータの解像度変換を行うことを特徴とする請求項1ないし10のうちいずれか1項に記載のデータ会議システムである。
請求項12〜21に記載の発明は、請求項1〜11記載のデータ会議システムでの使用に適した端末であり、これらによっても上記と同様の作用効果を奏する。また、請求項22〜29に記載の発明は上記端末の処理を実行させるプログラムを記録した記録媒体であり、これらによっても上記と同様の作用効果を奏する。
請求項30に記載の発明は、端末と当該端末に接続された他の端末とを有し、前記端末におけるアプリケーションによりディスプレイに表示される表示画面のデータをグラフィカル・デバイス・インターフェースによりキャプチャしたキャプチャーデータを前記他の端末に送信するデータ会議システムであって、前記端末は、前記他の端末のディスプレイ表示解像度情報を記憶する記憶手段と、前記ディスプレイ表示解像度情報に基づいて、前記キャプチャーデータの解像度変換を前記表示画面の全体について行う解像度変換手段と、前記解像度変換手段により解像度変換されたキャプチャーデータを、前記他の端末に送信する送信手段と、を備えることを特徴とするデータ会議システムである。
請求項31に記載の発明は、端末と当該端末に接続された他の端末とを有し、前記端末におけるアプリケーションによりディスプレイに表示される表示画面のデータをグラフィカル・デバイス・インターフェースによりキャプチャしたキャプチャーデータを前記他の端末に送信するデータ会議システムであって、前記端末は、前記他の端末のディスプレイ表示解像度情報を記憶する記憶手段と、前記ディスプレイ表示解像度情報に基づいて、前記キャプチャーデータの解像度変換を行う解像度変換手段と、前記解像度変換手段により解像度変換されたキャプチャーデータを、前記他の端末に送信する送信手段と、を備え、前記解像度変換手段は、前記キャプチャーデータの解像度変換を、前記表示画面を分割して得られる複数のエリアのうちデータ変化の存在するエリアに対して行い、前記送信手段は、当該エリアの解像度変換されたキャプチャーデータを前記他の端末に送信することを特徴とするデータ会議システムである。
請求項32に記載の発明は、端末と当該端末に接続された他の端末とを有し、前記端末におけるアプリケーションによりディスプレイに表示される表示画面のデータをグラフィカル・デバイス・インターフェースによりキャプチャしたキャプチャーデータを前記他の端末に送信するデータ会議システムにおける端末であって、前記他の端末のディスプレイ表示解像度情報を記憶する記憶手段と、前記ディスプレイ表示解像度情報に基づいて、前記キャプチャーデータの解像度変換を前記表示画面の全体について行う解像度変換手段と、
前記解像度変換手段により解像度変換されたキャプチャーデータを、前記他の端末に送信する送信手段と、を備えることを特徴とする端末である。
請求項33に記載の発明は、端末と当該端末に接続された他の端末とを有し、前記端末におけるアプリケーションによりディスプレイに表示される表示画面のデータをグラフィカル・デバイス・インターフェースによりキャプチャしたキャプチャーデータを前記他の端末に送信するデータ会議システムにおける端末であって、前記他の端末のディスプレイ表示解像度情報を記憶する記憶手段と、前記ディスプレイ表示解像度情報に基づいて、前記キャプチャーデータの解像度変換を行う解像度変換手段と、前記解像度変換手段により解像度変換されたキャプチャーデータを、前記他の端末に送信する送信手段と、を備え、
前記解像度変換手段は、前記キャプチャーデータの解像度変換を、前記表示画面を分割して得られる複数のエリアのうちデータ変化の存在するエリアに対して行い、前記送信手段は、当該エリアの解像度変換されたキャプチャーデータを前記他の端末に送信することを特徴とする端末である。
請求項34に記載の発明は、端末と当該端末に接続された他の端末とを有し、前記端末におけるアプリケーションによりディスプレイに表示される表示画面のデータをグラフィカル・デバイス・インターフェースによりキャプチャしたキャプチャーデータを前記他の端末に送信するデータ会議システムにおける端末に処理を実行させるプログラムを記録した記録媒体であって、前記端末は、前記他の端末のディスプレイ表示解像度情報を記憶する記憶手段を備えており、前記端末を、前記ディスプレイ表示解像度情報に基づいて、前記キャプチャーデータの解像度変換を前記表示画面の全体について行う解像度変換手段、前記解像度変換手段により解像度変換されたキャプチャーデータを、前記他の端末に送信する送信手段、として機能させるためのプログラムを記録した記録媒体である。
請求項35に記載の発明は、端末と当該端末に接続された他の端末とを有し、前記端末におけるアプリケーションによりディスプレイに表示される表示画面のデータをグラフィカル・デバイス・インターフェースによりキャプチャしたキャプチャーデータを前記他の端末に送信するデータ会議システムにおける端末に処理を実行させるプログラムを記録した記録媒体であって、前記端末は、前記他の端末のディスプレイ表示解像度情報を記憶する記憶手段を備えており、前記端末を、前記ディスプレイ表示解像度情報に基づいて、前記キャプチャーデータの解像度変換を行う解像度変換手段、前記解像度変換手段により解像度変換されたキャプチャーデータを、前記他の端末に送信する送信手段、として機能させるためのプログラムを記録した記録媒体であり、前記解像度変換手段は、前記キャプチャーデータの解像度変換を、前記表示画面を分割して得られる複数のエリアのうちデータ変化の存在するエリアに対して行い、前記送信手段は、当該エリアの解像度変換されたキャプチャーデータを前記他の端末に送信することを特徴とするプログラムを記録した記録媒体である。
【0032】
【発明の実施の形態】
[第1の実施例]
本発明の実施例で用いられるデータ会議システムの構成例を図1〜図4に示す。
【0033】
図1に示す構成は、従来のテレビ会議システムに外部PC(パーソナルコンピュータ)をIP接続しデータ会議する場合の装置構成であり、図2にその接続構成を示す。すなわち、マイク兼スピーカー2、リモコン3、テレビモニタ4、及びデータ会議用のパソコン5がテレビ会議システム本体1に接続される構成をとる。
【0034】
また、図3に示す構成は、PC(パーソナルコンピュータ)を用い、PCのOS(Windows OS)をベースに構成するデータ会議システムの構成例であり、パソコン6、7がIP網8やISDN網9を介して接続される構成をとる。図3に示すデータ会議システムにおけるPCの接続構成を図4に示す。図4に示すように、図3に示すインターフェースボードによって、各種通信を行なうことが可能となっている。
【0035】
これらのデータ会議システムは、PCに搭載されるソフトウェアによりアプリケーション共有を実現する。そのソフトウェア構成の一従来例を図5に示す。図5に示す構成では、アプリケーション共有を実現するためのソフトウェアの例としてマイクロソフト社のNetmeetingが使用される。なお、アプリケーション共有の接続プロトコルとしては図6に示すようにCCITT T.120シリーズに準拠したプロトコルが使用される。
【0036】
上記の構成における本発明の詳細構成を説明するにあたり、まず、従来技術の問題点に関する分析結果について説明する。
【0037】
データ会議システムにおけるアプリケーション共有でマイクロソフト社のパワーポイントを使用した場合、そのページデータには、例えば図7に示すように、文章の文字情報と、スキャナー/デジタルカメラ等から読みこまれた添え図1と添え図2が含まれる。ここで、1ページの表示を送信側端末から行うと、そのページ情報は図5のソフトウェア処理群で点線に示す経路で相手側(遠隔側)に伝送されモニタ・ディスプレイに表示される。
【0038】
この表示されるまでに要する時間を図3に示すデータ会議システムの構成で計測した値を図8に示す。同図において、上段が図3のPC7からPC6へデータ送信した場合の結果であり、下段がPC6からPC7にデータ送信した場合の結果である。
【0039】
図8に示すように、ISDN接続した場合は1ページ目が相手端末に表示されるのに17秒所用し、更に2ページ目は35秒所用している。これは1ページ目がタイトル文字として10文字程度記入された「表紙」であり、2ページ目、3ページ目は図3に示すような構成図が16ビットカラーで構成された「添え図」をいくつか貼りあわせたページであり、2ページ目と3ページ目はページ当たりデータ量が多いためである。
【0040】
普通、スキャナー/デジタルカメラから読みこまれた原画(元添え図1)の解像度は300DPI(PPI)や600DPI(PPI)である。一方、一般的なコンピュータ・ディスプレイである17インチCRTに1024×768ドットでXGA表示した場合の解像度は100DPI(PPI)程度であるので、上記原画のデータは相手側ではめこまれたサイズで表示するには充分以上の解像度、つまりオーバースペックな解像度で保持されている。ここでページデータの作成時に添え図のデータを間引きし解像度を低下させておけば良いが、また他の用途に利用したり、このプレゼンデータのページ作成作業は創造性が要求される特性上、間引き処理等を行っていると思考集中が途切れる等の弊害があり実行されることはまれである。
【0041】
上記の分析結果に鑑み、本発明では図9に示す「解像度変換処理」手段を用い、送信側でページデータを相手側端末の能力に合った解像度に変換し、相手側端末に送信する。
【0042】
次に、この解像度変換処理について説明する。
【0043】
まず、ページデータを図10に示すように送信側で「仮想ディスプレイ・エリア」(ビットマップ形式でのメモリエリア)に展開し(ステップ1)、これを相手端末のディスプレイに応じた解像度に変換する(ステップ2)。変換は、図11に示すような画像解像度/サイズと変換度対応表を参照して行う。例えば、PANEL番号6のSVGA10.4”パネルの場合、ページデータの解像度を96PPI(96DPI)に変換する。
【0044】
そして、データ圧縮処理を行う(ステップ3)。データ圧縮はJPEG、GIF、TIFF、その他の従来技術を用いることができる。また、元添え図の圧縮形式と同じ形式にする場合と、別の形式にする場合がある。例えば、相手側の表示装置の表示色数が128色(7ビット)以下の場合にJPEGでは無駄なデータ量が発生するので、元添え図がJPEGであれば別の形式にする。
【0045】
なお、従来は不必要な情報を送信していたので、上記のように解像度変換を行っても表示側では何ら画質劣化が起こらない。また、参考までに、図12に、画像解像度とデータ量の例を示す。例えば、XGAパネルで16ビットカラー表示する場合の1画面当りの情報量は1.572Mバイトである。
【0046】
さて、PC等を使用したデータ会議システムでは、テレビ電話会議のように相手が常に固定相手ではないので、相手側のディスプレイ表示解像度情報を取得しておく必要がある。その手順について次に説明する。
【0047】
相手側のディスプレイ表示解像度情報(表示能力)を取得する方法として、例えば、通信パスの設定毎に相手端末から取得する方法がある。その手順を図13のフローチャートを用いて説明する。
【0048】
ホスト側の端末と遠隔側の端末が接続した後、各端末でイニシャライズを行う(ステップ11、ステップ12)。遠隔側の端末では、自端末の能力を記憶装置に記憶しておき、ステップ22にて能力宣言を行う。ホスト側の端末が能力読み出し要求(ステップ12)を行うと、遠隔側の端末はその要求を受信し(ステップ23)、応答をホスト側の端末に返送する(ステップ24)。
【0049】
ホスト側の端末がそれを受信し(ステップ13)、遠隔側端末の能力解析を行い、記憶する(ステップ14)。
【0050】
また、一度通信した相手の能力情報を外部記憶エリアに記憶して2度目からは、この記憶した能力情報を使っても良い。更に、システムのインストール時に初期設定として利用者が相手情報を外部記憶エリアに記憶させてもよい。
【0051】
また、利用者が適時、相手情報を外部記憶エリアに記憶させておいても良いし、通信パスの設定毎にキーボード等から入力設定することも可能である。例えば、データ会議の接続初期における音声、カメラ映像での挨拶等の時に「貴方のテレビはXGAですか?」等の質問をし、答えを手動設定する。また、答えを音声認識処理し自動設定するようにしてもよい。上記のように、特定の相手と初めて通信した時だけ能力情報を相互交換し、それを手動設定し、2回目からは設定済み情報をデフォルト値として使用してもよい。更に、接続専用サーバーシステムで全ての接続を行い、その登録情報として接続アドレスの他に表示能力情報を登録しておきそれを利用することもできる。
【0052】
なお、複数端末の表示能力を図11に示す表形式にして記憶しておくことにより、解像度変換処理を複数の遠隔側端末に対して行い、それぞれの相手に最適な画像を伝送することが可能となる。
【0053】
第1の実施例によって、アプリケーションのページデータを相手ディスプレイの解像度とサイズに合致させた状態にすることにより、ページ当たりのデータ量が最適最小になり、高速に表示ができるようになる。更に、表示に最適の解像度で相手側に美しく表示ができる。
【0054】
また、本発明の技術は、遠隔地からIMT2000のような携帯電話端末でTV会議に参加し、その際にPCプレゼンデータを携帯電話端末の画面で見る場合においても利用可能である。
【0055】
[第2の実施例]
第2の実施例では、特開平7−49834に開示されているバーチャル・ネットワーク・コンピュータ(VNC)技術により、第1の実施例におけるアプリケーション共有とは別の手段でアプリケーションの表示/実行を行わせるようにする。この技術では、遠隔側にある端末が、プログラムを実行させるホスト側端末に図14の上部側の構成手段でアプリケーションを起動させ、そのディスプレイに表示されているデータを「グラフィカル・デバイス・インターフェース[GDI]」によりキャプチャし、そのデータ(ホスト側で補足されたWindows情報の表示)を接続API経由で、相手側に送信し、相手側で表示を行う。
【0056】
特開平7−49834に記載された技術では、基本的に静止画の背景データを基に、この上に書き込みを行うオブジェクト・データを遠隔側に伝送する手法について詳述しており、背景データとしてビットマップをデータ圧縮伝送する旨の説明があるが、その伝送タイミングについては開示されていない。
【0057】
本実施例では、会議におけるプレゼンテーション・シーンにおいてスムーズなプレゼン資料の表示を実現するために、プレゼン資料のページを次々とページ送りするタイミングで、遠隔側にそのフィードバック画像を遅滞なく送るようにする。
【0058】
そのフィードバックタイミングの検出は、アプリケーションのページ送り(次ページ、前のページ)指示を行った場合に、そのアプリケーションからトリガーを受けることによって行ったり、また、「GDIキャプチャ」の前時点のバッファと現時点のキャプチャ内容をあらかじめ決められたタイミングで比較することで行ってもよい。
【0059】
ここで、ホスト側で例えば1024×768ビットのウィンドウ表示を行い、クライアントで640×400ビットのVGAウィンドウ表示を行った場合、図15右下のようにハミダシ(隠れ表示)が発生する。このような場合、ユーザーがハミダシ部分を見るには画面を上下/左右にスクロールすることが必要である。また、場合によっては余白が発生する。
【0060】
この問題を解決しクライアント側でハミダシ等なく画面表示するために、本実施例においては、第1の実施例で用いた解像度変換処理によりキャプチャーデータの解像度を遠隔側のディスプレイの能力に合わせて変換する。解像度変換処理を用いる場合の構成を図16に示す。図16に示すように、第1の実施例と同様にして解像度変換、データ圧縮を行う。なお、図16に示す例では、2種類の遠隔端末に対する解像度変換、データ圧縮を行う例を示す。
この変換は画面全体を一度に行ってもよいし、また図9の右上に示したように、例えば表示データ1〜表示データ4のように分割処理してデータ変化の存在するエリアだけを伝送してもよい。
【0061】
また、この変化検出をあらかじめ決められたタイミングで4分割検出するものと、特定の分割画面、例えば表示データ1の領域に変化点が発生すると、全画面分を変換処理し遠隔側に接続APIを通して伝送するものとの組み合わせタイミングの処理も可能である。
【0062】
上記の処理のために必要な解像度情報は、第1の実施例と同様にして取得することができる。
【0063】
なお、本実施例においても、解像度変換処理を遠隔側対応に複数行うことにより、それぞれの相手に最適な画像を伝送することが可能である。
【0064】
本実施例により、異なる表示能力のディスプレイを持つ遠隔側端末がホスト側にVNC接続しても、各遠隔側のディスプレイにホスト側のディスプレイ画像が正しく表示される。また、表示機(を制御するビデオコントローラ)の色再現能力が、例えば自端末が32ビット色数で相手端末が16ビットのようなケースでは解像度変換で色解像度を減退させることができるので、第1の実施例と同様に、大きなデータ削減効果を得ることができる。
【0065】
[第3の実施例]
次に、本発明の第3の実施例について説明する。
【0066】
図7におけるプレゼンテーション・データはその各ページ(E)毎に(F)の「元添え図」を含み、ディスプレイ表示にはオーバー・スペックな解像度情報であることを説明した。また、これまでの方法ではリアルタイムに図10の「仮想ディスプレイへ展開するステップ」と「解像度変換処理を行うステップ」でページ情報を伝送する手法を説明した。
【0067】
本実施例では、複数ページ分について「仮想ディスプレイへの展開」と「解像度変換処理」を一括で行い、各ページに対するインデックスタグ情報を生成し、会議シーンにおけるプレゼンの開始前に、ページデータを各会議参加端末に送信しておき、生成したインデックスタグ情報により表示指示を行うようにする。本実施例における処理のフローを図17に示す。
【0068】
ユーザの操作等によりホスト側でプレゼンデータ転送が開始されると(ステップ31)、これまでに説明した解像度変換・圧縮処理と同様にしてプレゼンデータの解像度変換・圧縮が行われ(ステップ32)、ページタグが付された後に(ステップ33)、遠隔側端末へのデータ格納指示が出される(ステップ34)。
【0069】
遠隔側では、上記の処理が施されたデータを受信し(ステップ41)、タグデータを分離して格納する(ステップ42)。そして、プレゼンデータを格納し(ステップ43)、格納完了通知をホスト側に対して行う(ステップ44)。
【0070】
ホスト側では、格納完了通知を受信し(ステップ35)、その旨を表示し(ステップ36)、データ会議の際に、インデックスタグによるページ表示指示を遠隔側端末に対して行う(ステップ37)。そして、遠隔側端末では、ページタグに対応するデータが表示される。
【0071】
なお、相手端末の表示能力の取得は第1の実施例と同様にして行うことができる。タグによる表示指示方法は公知であり、例えば、特開平10−79770に記載されたようにSGML/HTMLタグで行うことができる。
【0072】
本実施例でも、ページデータが解像度変換されるので、複数ページをまとめて送信する場合でも高速に相手側端末に送ることができる。
【0073】
本実施例のように、接続相手の端末に直接データを送り込む方法はエンドツーエンドの処理となり、例えば、始めの「ご挨拶時間」等で時間稼ぎをする必要があり操作性に問題がでる可能性がある。また、伝送路容量が小さい経路が存在する場合には、データ送信に非常に時間がかかる可能性がある。
【0074】
そこで、図18に示すように、接続相手のアドレス、電話番号、在席、不在情報、表示能力等を管理するサーバーを地域ごとに分散配置する大規模なネットワーク構成を採用することができる。例えば、各サーバーは自分が収容している端末の表示能力等を保持し、管理する。
【0075】
この構成において、接続の前のプレゼンリハーサルで通信相手を仮想接続し、相手端末に最も近い、又は直接収容されているサーバーにプレゼン表示データ(ウィンドウデータ)を先送りしておく。
【0076】
すなわち、図17に示すシーケンスにおけるホスト側端末と遠隔側端末の間の上記サーバーが介在し、当該サーバーがホスト側からプレゼンデータを受信する構成となる。そして、ホスト側端末からインデックスタグによるページ表示の指示があると、そのサーバーが、遠隔側端末の表示能力に応じた解像度変換処理を行い、変換された画面データを遠隔側端末に送信する。
【0077】
すなわち、送り元端末から先方のサーバー間は非圧縮(非解像度変換)転送、先方側サーバーと先方端末間は本発明の解像度変換+圧縮を行う(先方側サーバーで解像度変換+圧縮を行う)。そして、本発明の解像度変換処理により相手端末に最も近いサーバーとその端末間とのデータ転送を速く行うことが可能になる。
【0078】
なお、上記の各実施例における端末、ホストコンピュータ、サーバー等の処理はコンピュータに本発明の処理を実行するCD−ROM等に格納されたプログラムをインストールすることによって実現することができる。
【0079】
本発明は、上記の実施例に限定されることなく、特許請求の範囲内で種々変更・応用が可能である。
【0080】
【発明の効果】
上記のように本発明によれば、ウィンドウ画面データ送信側からデータ送信相手のディスプレイ解像度に合ったデータを送信することとなるので、従来のように必要以上に解像度の高いデータを送信することがなくなり、受信側でのページ表示速度を向上させることが可能になる。
【0081】
また、ウィンドウキャプチャされた表示画面データを送信する構成においては、本発明の解像度変換処理により、送信先の端末における表示をきれいに行うことができるとともに、解像度変換によるデータ削減によって表示速度を向上させることができる。
【0082】
【図面の簡単な説明】
【図1】 テレビ会議システムを用いたデータ会議システムの構成例を示す図である。
【図2】図1に示すデータ会議システムの接続構成である。
【図3】PCをベースに構成するデータ会議システムの構成例を示す図である。
【図4】図3に示すデータ会議システムの接続構成を示す図である。
【図5】データ会議システムにおけるPC端末のソフトウェア構成例を示す図である。
【図6】T.120に記述されているデータ会議システムのプロトコル構成の一部を示す図である。
【図7】ページデータの構成例を示す図である。
【図8】図3に示すデータ会議システムの構成における画面表示時間例を示す図である。
【図9】PC端末のソフトウェア構成における解像度変換処理の位置を示す図である。
【図10】解像度変換処理・圧縮処理を説明するための図である。
【図11】画像解像度/サイズと変換度対応表を示す図である。
【図12】画像解像度とデータ量の例を示す図である。
【図13】相手側のディスプレイ表示解像度情報(表示能力)を取得するための手順を示す図である。
【図14】VNCにおける構成を示す図である。
【図15】VNC技術において、異なる解像度のディスプレイへ同一キャプチャデータを送信した場合の問題を説明するための図である。
【図16】VNCにおけるキャプチャデータの解像度変換位置を示す図である。
【図17】インデックスタグを用いてプレゼンを行う場合の例における処理の手順を示す図である。
【図18】サーバーを地域ごとに分散配置する構成例を示す図である。
【符号の説明】
1 テレビ会議システム本体
2 マイク兼スピーカー
3 リモコン
4 テレビモニタ
5 データ会議用パソコン
6、7 パソコン
8 IP網
9 ISDN網
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a data conference system, and more particularly to a technique for quickly displaying a shared screen on a terminal in the data conference system.
[0002]
[Prior art]
Conventional video conferencing systems absorb video signal systems such as NTSC and PAL, and convert and compress each analog video signal frame into 352 x 288-bit digital data in order to balance practical display image quality and motion. The receiving side performs processing for returning to the video conforming to the TV signal system, and a plurality of types of CODEC systems that conform to standardization of audio are provided.
[0003]
Recently, in addition to video conference systems that mainly use video and audio, use of remote data conference systems that use computer data or application sharing has become widespread. For example, systems that perform PC presentation to remote PCs with an IP data exchange function using an ISDN data transmission channel MLP (Multi Layer Protocol) have become widespread.
[0004]
This flow can be said to be a change from a conference that exchanges line drawings and character information written on an electronic whiteboard to online computer presentations using Microsoft's PowerPoint software.
[0005]
In the online presentation in such a data conference system, there is a problem that the screen cannot be displayed on the partner terminal in real time due to the amount of data handled. In other words, when using Microsoft's PowerPoint software, etc., which is generally used in data conferencing systems, files are sent to the remote side one page at a time during a remote conference, etc., so the other party via LAN, ISDN, etc. It takes time to be displayed on the side. Also, so-called page turning is slow, and the time required for page turning varies depending on the contents of each page, making it difficult to use.
[0006]
As a conventional technique related to such a problem, there is an invention disclosed in Japanese Patent Laid-Open No. 9-294255, which is a technique proposed for the purpose of improving the time delay when high-end CAD data is transmitted remotely and discussed based on this. is there. In Japanese Patent Laid-Open No. 9-294255, it is proposed that video and still image data are sent to a partner terminal using a file transfer means so that applications can be shared between workstations, and each terminal displays them synchronously during a presentation. ing.
[0007]
However, this proposal does not disclose a means for transmitting a large amount of data in real time, and only shows a realistic response such as using physical transport separately.
[0008]
Japanese Laid-Open Patent Publication No. 7-49834 proposes a method of running a remote computer program using virtual network computing (VNC) technology. In Japanese Patent Laid-Open No. 7-49834, when the screen output of the host computer on which the application is started is captured and transferred to the remote side, the screen is divided into a static part and an operation part such as an appendix, and 10 object structures are provided. The method of sending with the parameter of is proposed.
[0009]
However, the problem when using an application that needs to transmit bitmap data is not considered. Further, attention is paid to handling objects such as subscripts, and no means for high-speed transfer of display data is disclosed.
[0010]
Furthermore, Japanese Patent Laid-Open No. 10-79770 proposes an invention for transferring an electronic medical chart comprising a large amount of image information at high speed. In the present invention, a part of the image information is link-described by SGML / HTML, the link description chart is created by the reading workstation, and the link destination data is read from the stored server.
[0011]
However, this requires a dedicated server, and is unsuitable as a technology for realizing a presentation that requires a one-to-one or one-to-N real-time property.
[0012]
[Problems to be solved by the invention]
As described above, the conventional technology solves the problem that it takes time until the display screen is displayed to the other party when using Microsoft PowerPoint software or the like that is commonly used in data conferencing systems. It has not been.
[0013]
The present invention has been made in view of the above points, and an object of the present invention is to provide a technique for displaying a shared screen in real time in a data conference system using a PC or the like.
[0014]
[Means for Solving the Problems]
In order to achieve the above object, the present invention can be configured as follows.
[0025]
  The invention according to claim 1 includes a terminal and a remote terminal connected to the terminal, and captures data of a display screen displayed on a display by an application in the terminal using a graphical device interface. A data conference system for sharing a display screen between the terminal and the remote terminal by transmitting data to the remote terminal, wherein the terminal displays display display resolution information of the remote terminal. Based on the storage means for storing and the display display resolution information, resolution conversion of the capture data is performed.About the entire display screenA data conferencing system comprising: a resolution conversion unit to perform; and a transmission unit for transmitting capture data whose resolution has been converted by the resolution conversion unit to the remote terminal.
[0026]
According to the present invention, display on a destination terminal can be clearly performed, and display speed can be improved by reducing data by resolution conversion.
[0027]
  Claim2In the invention described in the above, the terminal includes a receiving unit that transmits a display display resolution read request to the remote terminal and receives a response from the remote terminal, and the terminal receives the response received by the receiving unit. The content is analyzed, and the analysis result is stored in the storage means as display display resolution information of the remote terminal.1The data conference system described in 1.
[0028]
  According to the invention, according to the invention,TerminalIsRemote sideIt becomes possible to automatically obtain the display capability information of the terminal.
[0029]
  Claim3According to the present invention, there are a plurality of remote terminals, and the resolution conversion means converts the resolution of the capture data for each remote terminal based on display display resolution information of each remote terminal. Claims to do2The data conference system described in 1.
[0030]
According to the present invention, even when page data is displayed by a plurality of terminals, it is possible to transmit data having a resolution suitable for each terminal.
[0031]
  According to a fourth aspect of the present invention, the terminal includes a data compression unit that compresses the capture data whose resolution is converted by the resolution conversion unit, and the transmission unit stores the capture data compressed by the data compression unit. The data conference system according to claim 1, wherein the data conference system transmits to the remote terminal.
  The invention according to claim 5 is characterized in that the resolution conversion means expands the capture data in a memory area in a bitmap format, and performs the resolution conversion on the capture data in the bitmap format. 5. The data conference system according to any one of items 1 to 4.
  A sixth aspect of the present invention is the data conference system according to any one of the first to fifth aspects, wherein the terminal and the remote terminal are IP-connected.
  The invention according to claim 7 is characterized in that the transmission means transmits the resolution-converted capture data to the remote terminal at a timing when a page feed instruction is issued in the application. The data conference system according to any one of 1 to 6.
  According to an eighth aspect of the present invention, the transmission means compares the captured data after the resolution conversion with the remote capture data at a predetermined timing by comparing the previous capture data stored in the buffer with the current capture data. The data conference system according to any one of claims 1 to 6, wherein timing for transmission to a terminal on the side is detected.
  Claim9The invention described inA terminal and a remote terminal connected to the terminal, and capture data obtained by capturing data of a display screen displayed on a display by an application in the terminal with a graphical device interface is transmitted to the remote terminal A data conferencing system for sharing a display screen between the terminal and the remote terminal, wherein the terminal includes storage means for storing display display resolution information of the remote terminal, and the display display Resolution conversion means for performing resolution conversion of the capture data based on resolution information, and transmission means for transmitting the capture data subjected to resolution conversion by the resolution conversion means to the remote terminal,The resolution conversion means performs resolution conversion of the capture data on an area where data changes exist among a plurality of areas obtained by dividing the display screen, and the transmission means converts the resolution of the area. The data conferencing system is characterized in that the captured data is transmitted to the remote terminal.
  Claim10The resolution converting means converts the resolution of the captured data into the display screen when a change point occurs in a specific area among a plurality of areas obtained by dividing the display screen. The data conferencing system according to any one of claims 1 to 8, wherein the transmission means transmits the resolution-converted capture data to the remote terminal. It is.
  Claim11In the invention described in the above, the storage unit stores a resolution used for converting the capture data in association with the display display resolution information, and the resolution conversion unit stores the resolution stored in the storage unit. The resolution conversion of the capture data is performed by using the method.10The data conference system according to any one of the above.
  Claim12-21The invention described in claim 111The terminal is suitable for use in the described data conference system, and the same effects as described above can be obtained by these terminals. ClaimsDescribed in 22-29The present invention is a recording medium in which a program for executing the processing of the terminal is recorded, and the same operation and effect as described above can be achieved by these.
  The invention described in claim 30 has a terminal and another terminal connected to the terminal, and capture data obtained by capturing data of a display screen displayed on a display by an application in the terminal using a graphical device interface Is transmitted to the other terminal, and the terminal is configured to store the display display resolution information of the other terminal, and to convert the resolution of the capture data based on the display display resolution information. A data conferencing system comprising: a resolution converting unit that performs the entire display screen; and a transmitting unit that transmits the capture data subjected to the resolution conversion by the resolution converting unit to the other terminal.
  The invention described in claim 31 has capture data obtained by capturing data of a display screen displayed on a display by an application in the terminal with a graphical device interface, which has a terminal and another terminal connected to the terminal. Is transmitted to the other terminal, and the terminal is configured to store the display display resolution information of the other terminal, and to convert the resolution of the capture data based on the display display resolution information. Resolution conversion means for performing the above and transmission means for transmitting the capture data subjected to resolution conversion by the resolution conversion means to the other terminal, wherein the resolution conversion means converts the resolution conversion of the capture data into the display Of the multiple areas obtained by dividing the screen Performed for the area in the presence of over data changes, the transmission unit is a data conference system and transmitting the captured data resolution conversion of the area to the other terminals.
According to a thirty-second aspect of the present invention, there is provided capture data that includes a terminal and another terminal connected to the terminal, and that captures data of a display screen displayed on a display by an application in the terminal using a graphical device interface. Is a terminal in a data conference system that transmits to the other terminal, storage means for storing display display resolution information of the other terminal, and resolution conversion of the capture data based on the display display resolution information Resolution conversion means for the entire display screen;
A terminal comprising: transmission means for transmitting capture data whose resolution has been converted by the resolution conversion means to the other terminal.
According to a thirty-third aspect of the present invention, there is provided capture data that includes a terminal and another terminal connected to the terminal, and that captures data of a display screen displayed on a display by an application in the terminal using a graphical device interface. Is a terminal in a data conference system that transmits the display data to the other terminal, the storage means storing the display display resolution information of the other terminal, and the resolution conversion of the capture data based on the display display resolution information A resolution conversion unit; and a transmission unit that transmits the capture data converted in resolution by the resolution conversion unit to the other terminal.
The resolution conversion means performs resolution conversion of the capture data on an area where data changes exist among a plurality of areas obtained by dividing the display screen, and the transmission means converts the resolution of the area. The captured data is transmitted to the other terminal.
According to a thirty-fourth aspect of the present invention, there is provided capture data that includes a terminal and another terminal connected to the terminal, and captures data of a display screen displayed on a display by an application in the terminal using a graphical device interface. Is a recording medium that records a program that causes a terminal to execute processing in the data conference system, and the terminal includes storage means for storing display display resolution information of the other terminal. The terminal converts resolution of the capture data for the entire display screen based on the display display resolution information, and capture data converted by the resolution conversion means to the other terminal. Function as a transmission means to transmit A recording medium recording a program for.
The invention according to claim 35 has a terminal and another terminal connected to the terminal, and capture data obtained by capturing data of a display screen displayed on a display by an application in the terminal using a graphical device interface Is a recording medium that records a program that causes a terminal to execute processing in the data conference system, and the terminal includes storage means for storing display display resolution information of the other terminal. , A resolution converting means for converting the resolution of the captured data based on the display display resolution information, and a transmitting means for transmitting the capture data converted by the resolution converting means to the other terminal. Record the program to make it work The resolution conversion means performs resolution conversion of the capture data on an area where data changes exist among a plurality of areas obtained by dividing the display screen, and the transmission means A recording medium having a program recorded thereon, wherein capture data whose area resolution has been converted is transmitted to the other terminal.
[0032]
DETAILED DESCRIPTION OF THE INVENTION
[First embodiment]
A configuration example of the data conference system used in the embodiment of the present invention is shown in FIGS.
[0033]
The configuration shown in FIG. 1 is a device configuration when an external PC (personal computer) is IP-connected to a conventional video conference system for data conference, and FIG. 2 shows the connection configuration. That is, the microphone / speaker 2, the remote controller 3, the TV monitor 4, and the data conference personal computer 5 are connected to the TV conference system main body 1.
[0034]
The configuration shown in FIG. 3 is a configuration example of a data conference system that uses a PC (Personal Computer) and is based on the OS (Windows OS) of the PC. The PCs 6 and 7 are the IP network 8 and the ISDN network 9. It takes the structure connected via. FIG. 4 shows a PC connection configuration in the data conference system shown in FIG. As shown in FIG. 4, various communications can be performed by the interface board shown in FIG.
[0035]
These data conference systems realize application sharing by software installed in a PC. One conventional example of the software configuration is shown in FIG. In the configuration shown in FIG. 5, Netmeeting of Microsoft Corporation is used as an example of software for realizing application sharing. As a connection protocol for application sharing, as shown in FIG. A protocol conforming to the 120 series is used.
[0036]
In describing the detailed configuration of the present invention in the above configuration, first, analysis results regarding problems of the prior art will be described.
[0037]
When Microsoft PowerPoint is used for application sharing in the data conferencing system, the page data includes, for example, as shown in FIG. 7, text information of text, and attached FIG. 1 read from a scanner / digital camera, etc. Appendix 2 is included. Here, when one page is displayed from the transmission side terminal, the page information is transmitted to the other side (remote side) along the path indicated by the dotted line in the software processing group of FIG. 5 and displayed on the monitor / display.
[0038]
FIG. 8 shows values obtained by measuring the time required for the display with the configuration of the data conference system shown in FIG. In the figure, the upper part shows the result when data is transmitted from the PC 7 to the PC 6 in FIG. 3, and the lower part shows the result when data is transmitted from the PC 6 to the PC 7.
[0039]
As shown in FIG. 8, when ISDN connection is used, the first page is displayed on the partner terminal for 17 seconds, and the second page is used for 35 seconds. This is a “cover” in which about 10 characters are entered as title characters on the first page, and a “subscript” in which the configuration diagram shown in FIG. 3 is configured in 16-bit color on the second and third pages. This is because several pages are pasted together, and the second and third pages have a large amount of data per page.
[0040]
Normally, the resolution of an original image (original attached FIG. 1) read from a scanner / digital camera is 300 DPI (PPI) or 600 DPI (PPI). On the other hand, since the resolution when XGA is displayed at 1024 × 768 dots on a 17-inch CRT, which is a general computer display, is about 100 DPI (PPI), the original image data is displayed in a size embedded on the other side. Is kept at a resolution that is more than sufficient, that is, an overspec resolution. Here, it is sufficient to reduce the resolution by substituting the attached data when creating the page data, but it is also used for other purposes, and the page creation work of this presentation data is thinned due to the characteristics that require creativity. When processing is performed, it is rarely performed due to a harmful effect such as interruption of thought concentration.
[0041]
In view of the above analysis results, in the present invention, the “resolution conversion processing” means shown in FIG. 9 is used to convert the page data into a resolution suitable for the capability of the counterpart terminal and transmit it to the counterpart terminal.
[0042]
Next, the resolution conversion process will be described.
[0043]
First, as shown in FIG. 10, the page data is expanded into a “virtual display area” (memory area in bitmap format) on the transmission side (step 1), and this is converted into a resolution corresponding to the display of the partner terminal. (Step 2). The conversion is performed with reference to an image resolution / size and conversion degree correspondence table as shown in FIG. For example, in the case of an SVGA 10.4 "panel with PANEL number 6, the page data resolution is converted to 96 PPI (96 DPI).
[0044]
Then, data compression processing is performed (step 3). For data compression, JPEG, GIF, TIFF, and other conventional techniques can be used. Also, there are cases where the compression format is the same as the compression format of the original drawing and another format. For example, if the number of display colors of the display device at the other end is 128 colors (7 bits) or less, a wasteful data amount is generated in JPEG.
[0045]
Conventionally, unnecessary information has been transmitted. Therefore, even if resolution conversion is performed as described above, no deterioration in image quality occurs on the display side. For reference, FIG. 12 shows an example of image resolution and data amount. For example, the amount of information per screen when displaying 16-bit color on an XGA panel is 1.572 Mbytes.
[0046]
Now, in a data conference system using a PC or the like, since the other party is not always a fixed party as in a videophone conference, it is necessary to obtain display display resolution information of the other party. The procedure will be described next.
[0047]
As a method of acquiring the display display resolution information (display capability) of the other party, for example, there is a method of acquiring from the partner terminal for each communication path setting. The procedure will be described with reference to the flowchart of FIG.
[0048]
After the host-side terminal and the remote-side terminal are connected, initialization is performed at each terminal (steps 11 and 12). In the remote terminal, the capability of the terminal is stored in the storage device, and a capability declaration is made in step 22. When the host terminal makes a capability read request (step 12), the remote terminal receives the request (step 23) and returns a response to the host terminal (step 24).
[0049]
The host side terminal receives it (step 13), analyzes the capability of the remote side terminal, and stores it (step 14).
[0050]
In addition, the capability information of the partner who has once communicated may be stored in the external storage area, and the stored capability information may be used from the second time. Further, the user may store the partner information in the external storage area as an initial setting when the system is installed.
[0051]
In addition, the user may store the partner information in the external storage area at an appropriate time, or input settings can be made from a keyboard or the like for each communication path setting. For example, a question such as “Is your TV XGA?” Is asked at the time of voice conferencing in the initial stage of data conferencing, camera greetings, etc., and the answer is set manually. Alternatively, the answer may be processed by voice recognition and automatically set. As described above, it is also possible to exchange the capability information only when communicating with a specific partner for the first time, manually set it, and use the set information as a default value from the second time. Furthermore, all the connections can be made by the connection dedicated server system, and display capability information can be registered and used as registration information in addition to the connection address.
[0052]
By storing the display capabilities of a plurality of terminals in the table format shown in FIG. 11, resolution conversion processing can be performed on a plurality of remote terminals, and an optimum image can be transmitted to each partner. It becomes.
[0053]
According to the first embodiment, by making the page data of the application match the resolution and size of the counterpart display, the amount of data per page is minimized and the display can be performed at high speed. Furthermore, it is possible to display beautifully on the other party at a resolution optimal for display.
[0054]
The technology of the present invention can also be used when participating in a TV conference from a remote place using a mobile phone terminal such as IMT2000 and viewing PC presentation data on the screen of the mobile phone terminal.
[0055]
[Second Embodiment]
In the second embodiment, the application is displayed / executed by means other than the application sharing in the first embodiment by the virtual network computer (VNC) technology disclosed in JP-A-7-49834. Like that. In this technique, a remote terminal causes a host-side terminal that executes a program to start an application using the upper configuration means in FIG. 14, and the data displayed on the display is displayed as “graphical device interface [GDI ] ”, And the data (display of Windows information supplemented on the host side) is transmitted to the partner side via the connection API and displayed on the partner side.
[0056]
In the technique described in Japanese Patent Laid-Open No. 7-49834, a method for transmitting object data to be written on to a remote side based on background data of a still image is described in detail. Although there is an explanation that the bit map is compressed and transmitted, the transmission timing is not disclosed.
[0057]
In the present embodiment, in order to realize a smooth display of presentation materials in a presentation scene at a conference, the feedback image is sent to the remote side without delay at the timing when pages of presentation materials are successively paged.
[0058]
The detection of the feedback timing is performed by receiving a trigger from the application when an application page feed (next page, previous page) is instructed, and the buffer and the current time of “GDI capture” The captured contents may be compared at a predetermined timing.
[0059]
Here, for example, when a 1024 × 768-bit window display is performed on the host side and a 640 × 400-bit VGA window display is performed on the client side, an obscuration (hidden display) occurs as shown in the lower right of FIG. In such a case, it is necessary for the user to scroll the screen up / down / left / right in order to see the hidden part. In some cases, a margin is generated.
[0060]
In order to solve this problem and display the screen on the client side without any burrs, in this embodiment, the resolution conversion processing used in the first embodiment converts the resolution of the captured data to match the display capability of the remote side. To do. A configuration in the case of using resolution conversion processing is shown in FIG. As shown in FIG. 16, resolution conversion and data compression are performed in the same manner as in the first embodiment. The example shown in FIG. 16 shows an example in which resolution conversion and data compression are performed for two types of remote terminals.
This conversion may be performed on the entire screen at one time, or as shown in the upper right of FIG. 9, for example, display data 1 to display data 4 are divided and transmitted only in areas where data changes exist. May be.
[0061]
In addition, when a change point occurs in a specific divided screen, for example, an area of display data 1, when this change detection is detected in four divisions at a predetermined timing, the entire screen is converted and connected to the remote side through a connection API. It is also possible to process a combination timing with a transmission object.
[0062]
The resolution information necessary for the above processing can be acquired in the same manner as in the first embodiment.
[0063]
Also in this embodiment, by performing a plurality of resolution conversion processes corresponding to the remote side, it is possible to transmit an optimal image to each partner.
[0064]
According to the present embodiment, even if a remote terminal having a display having a different display capability is connected to the host by VNC, the display image on the host side is correctly displayed on each remote display. In addition, the color reproducibility of the display device (the video controller that controls the display device) can reduce the color resolution by resolution conversion in the case where the local terminal has a 32-bit color number and the counterpart terminal has 16 bits. As in the first embodiment, a large data reduction effect can be obtained.
[0065]
[Third embodiment]
Next, a third embodiment of the present invention will be described.
[0066]
It has been described that the presentation data in FIG. 7 includes the “original attachment diagram” of (F) for each page (E), and the display display is over-spec resolution information. Further, in the method so far, the method of transmitting the page information in real time in “the step of expanding to the virtual display” and “the step of performing the resolution conversion process” in FIG. 10 has been described.
[0067]
In the present embodiment, “development to virtual display” and “resolution conversion processing” are performed for a plurality of pages at once, index tag information for each page is generated, and each page data is set before each presentation in the conference scene. It is transmitted to the conference participation terminal, and a display instruction is given by the generated index tag information. FIG. 17 shows a processing flow in this embodiment.
[0068]
When presentation data transfer is started on the host side by a user operation or the like (step 31), resolution conversion / compression of the presentation data is performed in the same manner as the resolution conversion / compression processing described so far (step 32). After the page tag is attached (step 33), a data storage instruction is issued to the remote terminal (step 34).
[0069]
On the remote side, the data subjected to the above processing is received (step 41), and the tag data is separated and stored (step 42). Then, the presentation data is stored (step 43), and a storage completion notification is sent to the host side (step 44).
[0070]
On the host side, a storage completion notice is received (step 35), and a message to that effect is displayed (step 36), and a page display instruction using an index tag is given to the remote terminal during the data conference (step 37). The remote terminal displays data corresponding to the page tag.
[0071]
The display capability of the counterpart terminal can be acquired in the same manner as in the first embodiment. A display instruction method using a tag is known, and can be performed using an SGML / HTML tag, for example, as described in JP-A-10-79770.
[0072]
Also in this embodiment, since the resolution of the page data is converted, even when a plurality of pages are transmitted together, it can be transmitted to the counterpart terminal at high speed.
[0073]
As in this embodiment, the method of sending data directly to the terminal of the connection partner is an end-to-end process. For example, it is necessary to earn time at the first “greeting time”, which may cause problems in operability. There is sex. In addition, when there is a path having a small transmission path capacity, it may take a very long time to transmit data.
[0074]
Therefore, as shown in FIG. 18, it is possible to employ a large-scale network configuration in which servers for managing addresses, telephone numbers, presence, absence information, display capability, and the like of connection partners are distributed and arranged in each region. For example, each server holds and manages the display capability and the like of terminals that it contains.
[0075]
In this configuration, a communication partner is virtually connected by a presentation rehearsal before connection, and presentation display data (window data) is postponed to a server closest to or directly accommodated by the partner terminal.
[0076]
That is, the server between the host side terminal and the remote side terminal in the sequence shown in FIG. 17 is interposed, and the server receives presentation data from the host side. Then, when there is an instruction to display the page by the index tag from the host side terminal, the server performs resolution conversion processing according to the display capability of the remote side terminal, and transmits the converted screen data to the remote side terminal.
[0077]
That is, non-compression (non-resolution conversion) transfer is performed between the source terminal and the destination server, and resolution conversion + compression of the present invention is performed between the destination server and the destination terminal (resolution conversion + compression is performed on the destination server). The resolution conversion process of the present invention makes it possible to quickly transfer data between the server closest to the counterpart terminal and the terminal.
[0078]
Note that the processing of the terminal, host computer, server, and the like in each of the above embodiments can be realized by installing a program stored in a CD-ROM or the like that executes the processing of the present invention in the computer.
[0079]
The present invention is not limited to the above-described embodiments, and various modifications and applications can be made within the scope of the claims.
[0080]
【The invention's effect】
As described above, according to the present invention, data matching the display resolution of the data transmission partner is transmitted from the window screen data transmission side, so that data with higher resolution than necessary can be transmitted as in the past. The page display speed on the receiving side can be improved.
[0081]
In addition, in the configuration for transmitting window-captured display screen data, the resolution conversion process of the present invention enables a clear display on the destination terminal, and improves the display speed by reducing data by resolution conversion. Can do.
[0082]
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration example of a data conference system using a video conference system.
FIG. 2 is a connection configuration of the data conference system shown in FIG. 1;
FIG. 3 is a diagram illustrating a configuration example of a data conference system configured based on a PC.
4 is a diagram showing a connection configuration of the data conference system shown in FIG. 3;
FIG. 5 is a diagram illustrating a software configuration example of a PC terminal in the data conference system.
FIG. 1 is a diagram showing a part of a protocol configuration of a data conference system described in 120. FIG.
FIG. 7 is a diagram illustrating a configuration example of page data.
8 is a diagram showing an example of a screen display time in the configuration of the data conference system shown in FIG.
FIG. 9 is a diagram illustrating a position of resolution conversion processing in the software configuration of the PC terminal.
FIG. 10 is a diagram for explaining resolution conversion processing / compression processing;
FIG. 11 is a diagram showing an image resolution / size and conversion degree correspondence table;
FIG. 12 is a diagram illustrating an example of image resolution and data amount.
FIG. 13 is a diagram showing a procedure for acquiring display display resolution information (display capability) on the other party side.
FIG. 14 is a diagram showing a configuration in a VNC.
FIG. 15 is a diagram for explaining a problem when the same capture data is transmitted to displays having different resolutions in the VNC technique.
FIG. 16 is a diagram showing a resolution conversion position of capture data in VNC.
FIG. 17 is a diagram illustrating a processing procedure in an example in which a presentation is performed using an index tag.
FIG. 18 is a diagram illustrating a configuration example in which servers are distributed and arranged for each region.
[Explanation of symbols]
1 Video conferencing system
2 Microphone and speaker
3 Remote control
4 TV monitors
5 PC for data conference
6, 7 PC
8 IP network
9 ISDN network

Claims (35)

端末と当該端末に接続された遠隔側の端末とを有し、前記端末におけるアプリケーションによりディスプレイに表示される表示画面のデータをグラフィカル・デバイス・インターフェースによりキャプチャしたキャプチャーデータを前記遠隔側の端末に送信することにより、前記端末と前記遠隔側の端末間で表示画面を共有するデータ会議システムであって、
前記端末は、
前記遠隔側の端末のディスプレイ表示解像度情報を記憶する記憶手段と、
前記ディスプレイ表示解像度情報に基づいて、前記キャプチャーデータの解像度変換を前記表示画面の全体について行う解像度変換手段と、
前記解像度変換手段により解像度変換されたキャプチャーデータを、前記遠隔側の端末に送信する送信手段と、
を備えることを特徴とするデータ会議システム。
A terminal and a remote terminal connected to the terminal, and capture data obtained by capturing data of a display screen displayed on a display by an application in the terminal with a graphical device interface is transmitted to the remote terminal A data conferencing system for sharing a display screen between the terminal and the remote terminal,
The terminal
Storage means for storing display display resolution information of the remote terminal;
Resolution conversion means for performing resolution conversion of the capture data on the entire display screen based on the display display resolution information;
Transmitting means for transmitting the capture data whose resolution has been converted by the resolution converting means to the remote terminal;
A data conferencing system comprising:
前記端末は、
前記遠隔側の端末にディスプレイ表示解像度読出し要求を送信し、前記遠隔側の端末からの返答を受信する受信手段を備え、当該受信手段により受信した前記返答の内容を解析し、解析結果を前記遠隔側の端末のディスプレイ表示解像度情報として前記記憶手段に記憶する
ことを特徴とする請求項1に記載のデータ会議システム。
The terminal
A receiving means for transmitting a display display resolution read request to the remote terminal and receiving a response from the remote terminal; analyzing the content of the response received by the receiving means; The data conferencing system according to claim 1, wherein the storage unit stores the display display resolution information of the terminal on the side.
前記遠隔側の端末は複数であり、前記解像度変換手段は、各遠隔側の端末のディスプレイ表示解像度情報に基づいて、前記キャプチャーデータの解像度変換を各遠隔側の端末毎に行う
ことを特徴とする請求項2に記載のデータ会議システム。
The remote terminal has a plurality of terminals, and the resolution conversion means performs resolution conversion of the capture data for each remote terminal based on display display resolution information of each remote terminal. The data conference system according to claim 2.
前記端末は、前記解像度変換手段により解像度変換されたキャプチャーデータを圧縮するデータ圧縮手段を備え、
前記送信手段は、前記データ圧縮手段により圧縮されたキャプチャーデータを、前記遠隔側の端末に送信する
ことを特徴とする請求項1ないし3のうちいずれか1項に記載のデータ会議システム。
The terminal includes data compression means for compressing capture data whose resolution has been converted by the resolution conversion means,
4. The data conference system according to claim 1, wherein the transmission unit transmits the capture data compressed by the data compression unit to the remote terminal. 5.
前記解像度変換手段は、前記キャプチャーデータをビットマップ形式でメモリエリアに展開し、当該ビットマップ形式のキャプチャーデータに対して前記解像度変換を行う
ことを特徴とする請求項1ないし4のうちいずれか1項に記載のデータ会議システム。
The resolution conversion unit expands the capture data in a memory area in a bitmap format, and performs the resolution conversion on the capture data in the bitmap format. The data conferencing system described in the section.
前記端末と前記遠隔側の端末はIP接続されていることを特徴とする請求項1ないし5のうちいずれか1項に記載のデータ会議システム。  The data conference system according to any one of claims 1 to 5, wherein the terminal and the remote terminal are IP-connected. 前記送信手段は、前記アプリケーションにおいてページ送り指示が行われたタイミングで、前記解像度変換されたキャプチャーデータを前記遠隔側の端末に送信する
ことを特徴とする請求項1ないし6のうちいずれか1項に記載のデータ会議システム。
7. The transmission unit according to claim 1, wherein the transmission means transmits the resolution-converted capture data to the remote terminal at a timing when a page feed instruction is issued in the application. The data conferencing system described in 1.
前記送信手段は、バッファに格納された前時点のキャプチャーデータと現時点のキャプチャーデータとを所定のタイミングで比較することにより、前記解像度変換されたキャプチャーデータを前記遠隔側の端末に送信するタイミングを検出する
ことを特徴とする請求項1ないし6のうちいずれか1項に記載のデータ会議システム。
The transmission means detects the timing of transmitting the resolution-converted capture data to the remote terminal by comparing the previous capture data stored in the buffer with the current capture data at a predetermined timing. The data conferencing system according to any one of claims 1 to 6, wherein:
端末と当該端末に接続された遠隔側の端末とを有し、前記端末におけるアプリケーションによりディスプレイに表示される表示画面のデータをグラフィカル・デバイス・インターフェースによりキャプチャしたキャプチャーデータを前記遠隔側の端末に送信することにより、前記端末と前記遠隔側の端末間で表示画面を共有するデータ会議システムであって、
前記端末は、
前記遠隔側の端末のディスプレイ表示解像度情報を記憶する記憶手段と、
前記ディスプレイ表示解像度情報に基づいて、前記キャプチャーデータの解像度変換を行う解像度変換手段と、
前記解像度変換手段により解像度変換されたキャプチャーデータを、前記遠隔側の端末に送信する送信手段と、を備え、
前記解像度変換手段は、前記キャプチャーデータの解像度変換を、前記表示画面を分割して得られる複数のエリアのうちデータ変化の存在するエリアに対して行い、前記送信手段は、当該エリアの解像度変換されたキャプチャーデータを前記遠隔側の端末に送信する
ことを特徴とするデータ会議システム。
A terminal and a remote terminal connected to the terminal, and capture data obtained by capturing data of a display screen displayed on a display by an application in the terminal with a graphical device interface is transmitted to the remote terminal A data conferencing system for sharing a display screen between the terminal and the remote terminal,
The terminal
Storage means for storing display display resolution information of the remote terminal;
Resolution conversion means for performing resolution conversion of the capture data based on the display display resolution information;
Transmission means for transmitting the capture data whose resolution has been converted by the resolution conversion means to the remote terminal, and
The resolution conversion means performs resolution conversion of the capture data on an area where data changes exist among a plurality of areas obtained by dividing the display screen, and the transmission means converts the resolution of the area. The captured data is transmitted to the remote terminal.
前記解像度変換手段は、前記表示画面を分割して得られる複数のエリアのうちの特定のエリアに変化点が発生したときに、前記キャプチャーデータの解像度変換を、前記表示画面の全体に対して行い、前記送信手段は、当該解像度変換されたキャプチャーデータを前記遠隔側の端末に送信する
ことを特徴とする請求項1ないし8のうちいずれか1項に記載のデータ会議システム。
The resolution conversion unit performs resolution conversion of the capture data on the entire display screen when a change point occurs in a specific area among a plurality of areas obtained by dividing the display screen. The data conferencing system according to any one of claims 1 to 8, wherein the transmission unit transmits the resolution-converted capture data to the remote terminal.
前記記憶手段には、前記ディスプレイ表示解像度情報に対応付けて、前記キャプチャーデータの変換に用いる解像度が記憶されており、前記解像度変換手段は、当該記憶手段に記憶された解像度を用いて前記キャプチャーデータの解像度変換を行う
ことを特徴とする請求項1ないし10のうちいずれか1項に記載のデータ会議システム。
The storage means stores the resolution used for the conversion of the capture data in association with the display display resolution information, and the resolution conversion means uses the resolution stored in the storage means to capture the capture data. data conferencing system as claimed in any one of claims 1 to 10, characterized in that the resolution conversion.
端末と当該端末に接続された遠隔側の端末とを有し、前記端末におけるアプリケーションによりディスプレイに表示される表示画面のデータをグラフィカル・デバイス・インターフェースによりキャプチャしたキャプチャーデータを前記遠隔側の端末に送信することにより、前記端末と前記遠隔側の端末間で表示画面を共有するデータ会議システムにおける端末であって、
前記遠隔側の端末のディスプレイ表示解像度情報を記憶する記憶手段と、
前記ディスプレイ表示解像度情報に基づいて、前記キャプチャーデータの解像度変換を前記表示画面の全体について行う解像度変換手段と、
前記解像度変換手段により解像度変換されたキャプチャーデータを、前記遠隔側の端末に送信する送信手段と、
を備えることを特徴とする端末。
A terminal and a remote terminal connected to the terminal, and capture data obtained by capturing data of a display screen displayed on a display by an application in the terminal with a graphical device interface is transmitted to the remote terminal A terminal in a data conference system for sharing a display screen between the terminal and the remote terminal,
Storage means for storing display display resolution information of the remote terminal;
Resolution conversion means for performing resolution conversion of the capture data on the entire display screen based on the display display resolution information;
Transmitting means for transmitting the capture data whose resolution has been converted by the resolution converting means to the remote terminal;
A terminal comprising:
前記遠隔側の端末にディスプレイ表示解像度読出し要求を送信し、前記遠隔側の端末からの返答を受信する受信手段を備え、当該受信手段により受信した前記返答の内容を解析し、解析結果を前記遠隔側の端末のディスプレイ表示解像度情報として前記記憶手段に記憶する
ことを特徴とする請求項12に記載の端末。
A receiving means for transmitting a display display resolution read request to the remote terminal and receiving a response from the remote terminal; analyzing the content of the response received by the receiving means; The terminal according to claim 12 , wherein the storage means stores the display display resolution information of the terminal on the side.
前記遠隔側の端末は複数であり、前記解像度変換手段は、各遠隔側の端末のディスプレイ表示解像度情報に基づいて、前記キャプチャーデータの解像度変換を各遠隔側の端末毎に行う
ことを特徴とする請求項13に記載の端末。
The remote terminal has a plurality of terminals, and the resolution conversion means performs resolution conversion of the capture data for each remote terminal based on display display resolution information of each remote terminal. The terminal according to claim 13 .
前記端末は、前記解像度変換手段により解像度変換されたキャプチャーデータを圧縮するデータ圧縮手段を備え、
前記送信手段は、前記データ圧縮手段により圧縮されたキャプチャーデータを、前記遠隔側の端末に送信する
ことを特徴とする請求項12ないし14のうちいずれか1項に記載の端末。
The terminal includes data compression means for compressing capture data whose resolution has been converted by the resolution conversion means,
The terminal according to any one of claims 12 to 14 , wherein the transmission unit transmits the capture data compressed by the data compression unit to the remote terminal.
前記解像度変換手段は、前記キャプチャーデータをビットマップ形式でメモリエリアに展開し、当該ビットマップ形式のキャプチャーデータに対して前記解像度変換を行う
ことを特徴とする請求項12ないし15のうちいずれか1項に記載の端末。
Said resolution converting means, the capture data expanded into the memory area in the bitmap format, one of the to 12 claims, characterized in that performing the resolution conversion with respect to the bitmap format capture data 15 1 The terminal according to item.
前記送信手段は、前記アプリケーションにおいてページ送り指示が行われたタイミングで、前記解像度変換されたキャプチャーデータを前記遠隔側の端末に送信する
ことを特徴とする請求項12ないし16のうちいずれか1項に記載の端末。
The transmission unit at the timing page feed instruction is made in the application, any one of claims 12 to 16, characterized in that transmitting the resolution-converted captured data to the remote side of the terminal The terminal described in.
前記送信手段は、バッファに格納された前時点のキャプチャーデータと現時点のキャプチャーデータとを所定のタイミングで比較することにより、前記解像度変換されたキャプチャーデータを前記遠隔側の端末に送信するタイミングを検出する
ことを特徴とする請求項12ないし16のうちいずれか1項に記載の端末。
The transmission means detects the timing of transmitting the resolution-converted capture data to the remote terminal by comparing the previous capture data stored in the buffer with the current capture data at a predetermined timing. The terminal according to any one of claims 12 to 16 , characterized in that:
端末と当該端末に接続された遠隔側の端末とを有し、前記端末におけるアプリケーションによりディスプレイに表示される表示画面のデータをグラフィカル・デバイス・インターフェースによりキャプチャしたキャプチャーデータを前記遠隔側の端末に送信することにより、前記端末と前記遠隔側の端末間で表示画面を共有するデータ会議システムにおける端末であって、
前記遠隔側の端末のディスプレイ表示解像度情報を記憶する記憶手段と、
前記ディスプレイ表示解像度情報に基づいて、前記キャプチャーデータの解像度変換を行う解像度変換手段と、
前記解像度変換手段により解像度変換されたキャプチャーデータを、前記遠隔側の端末に送信する送信手段と、を備え、
前記解像度変換手段は、前記キャプチャーデータの解像度変換を、前記表示画面を分割して得られる複数のエリアのうちデータ変化の存在するエリアに対して行い、前記送信手段は、当該エリアの解像度変換されたキャプチャーデータを前記遠隔側の端末に送信する
ことを特徴とする端末。
A terminal and a remote terminal connected to the terminal, and capture data obtained by capturing data of a display screen displayed on a display by an application in the terminal with a graphical device interface is transmitted to the remote terminal A terminal in a data conference system for sharing a display screen between the terminal and the remote terminal,
Storage means for storing display display resolution information of the remote terminal;
Resolution conversion means for performing resolution conversion of the capture data based on the display display resolution information;
Transmission means for transmitting the capture data whose resolution has been converted by the resolution conversion means to the remote terminal, and
The resolution conversion means performs resolution conversion of the capture data on an area where data changes exist among a plurality of areas obtained by dividing the display screen, and the transmission means converts the resolution of the area. The captured data is transmitted to the remote terminal.
前記解像度変換手段は、前記表示画面を分割して得られる複数のエリアのうちの特定のエリアに変化点が発生したときに、前記キャプチャーデータの解像度変換を、前記表示画面の全体に対して行い、前記送信手段は、当該解像度変換されたキャプチャーデータを前記遠隔側の端末に送信する
ことを特徴とする請求項12ないし18のうちいずれか1項に記載の端末。
The resolution conversion unit performs resolution conversion of the capture data on the entire display screen when a change point occurs in a specific area among a plurality of areas obtained by dividing the display screen. The terminal according to any one of claims 12 to 18 , wherein the transmitting means transmits the resolution-converted capture data to the remote terminal.
前記記憶手段には、前記ディスプレイ表示解像度情報に対応付けて、前記キャプチャーデータの変換に用いる解像度が記憶されており、前記解像度変換手段は、当該記憶手段に記憶された解像度を用いて前記キャプチャーデータの解像度変換を行う
ことを特徴とする請求項12ないし20のうちいずれか1項に記載の端末。
The storage means stores the resolution used for the conversion of the capture data in association with the display display resolution information, and the resolution conversion means uses the resolution stored in the storage means to capture the capture data. The terminal according to any one of claims 12 to 20 , wherein resolution conversion is performed.
端末と当該端末に接続された遠隔側の端末とを有し、前記端末におけるアプリケーションによりディスプレイに表示される表示画面のデータをグラフィカル・デバイス・インターフェースによりキャプチャしたキャプチャーデータを前記遠隔側の端末に送信することにより、前記端末と前記遠隔側の端末間で表示画面を共有するデータ会議システムにおける端末に処理を実行させるプログラムを記録した記録媒体であって、
前記端末は、前記遠隔側の端末のディスプレイ表示解像度情報を記憶する記憶手段を備えており、前記端末を、
前記ディスプレイ表示解像度情報に基づいて、前記キャプチャーデータの解像度変換を前記表示画面の全体について行う解像度変換手段、
前記解像度変換手段により解像度変換されたキャプチャーデータを、前記遠隔側の端末に送信する送信手段、
として機能させるためのプログラムを記録した記録媒体。
A terminal and a remote terminal connected to the terminal, and capture data obtained by capturing data of a display screen displayed on a display by an application in the terminal with a graphical device interface is transmitted to the remote terminal A recording medium recording a program for causing a terminal to execute processing in a data conference system that shares a display screen between the terminal and the remote terminal,
The terminal includes storage means for storing display display resolution information of the remote terminal, and the terminal
Resolution conversion means for performing resolution conversion of the capture data on the entire display screen based on the display display resolution information;
Transmitting means for transmitting the capture data whose resolution has been converted by the resolution converting means to the remote terminal;
A recording medium on which a program for functioning as a recording medium is recorded.
前記プログラムは、前記端末を、前記解像度変換手段により解像度変換されたキャプチャーデータを圧縮するデータ圧縮手段として更に機能させ、
前記送信手段は、前記データ圧縮手段により圧縮されたキャプチャーデータを、前記遠隔側の端末に送信する
ことを特徴とする請求項22に記載のプログラムを記録した記録媒体。
The program further causes the terminal to function as data compression means for compressing the capture data whose resolution is converted by the resolution conversion means,
The recording medium according to claim 22 , wherein the transmission unit transmits the capture data compressed by the data compression unit to the remote terminal.
前記解像度変換手段は、前記キャプチャーデータをビットマップ形式でメモリエリアに展開し、当該ビットマップ形式のキャプチャーデータに対して前記解像度変換を行う
ことを特徴とする請求項22又は23に記載のプログラムを記録した記録媒体。
24. The program according to claim 22 or 23 , wherein the resolution conversion means expands the capture data in a memory area in a bitmap format and performs the resolution conversion on the capture data in the bitmap format. Recorded recording medium.
前記送信手段は、前記アプリケーションにおいてページ送り指示が行われたタイミングで、前記解像度変換されたキャプチャーデータを前記遠隔側の端末に送信する
ことを特徴とする請求項22ないし24のうちいずれか1項に記載のプログラムを記録した記録媒体。
25. The transmission unit according to any one of claims 22 to 24 , wherein the transmission unit transmits the resolution-converted capture data to the remote terminal at a timing when a page feed instruction is issued in the application. The recording medium which recorded the program as described in.
前記送信手段は、バッファに格納された前時点のキャプチャーデータと現時点のキャプチャーデータとを所定のタイミングで比較することにより、前記解像度変換されたキャプチャーデータを前記遠隔側の端末に送信するタイミングを検出する
ことを特徴とする請求項22ないし24のうちいずれか1項に記載のプログラムを記録した記録媒体。
The transmission means detects the timing of transmitting the resolution-converted capture data to the remote terminal by comparing the previous capture data stored in the buffer with the current capture data at a predetermined timing. A recording medium on which the program according to any one of claims 22 to 24 is recorded.
端末と当該端末に接続された遠隔側の端末とを有し、前記端末におけるアプリケーションによりディスプレイに表示される表示画面のデータをグラフィカル・デバイス・インターフェースによりキャプチャしたキャプチャーデータを前記遠隔側の端末に送信することにより、前記端末と前記遠隔側の端末間で表示画面を共有するデータ会議システムにおける端末に処理を実行させるプログラムを記録した記録媒体であって、
前記端末は、前記遠隔側の端末のディスプレイ表示解像度情報を記憶する記憶手段を備えており、前記端末を、
前記ディスプレイ表示解像度情報に基づいて、前記キャプチャーデータの解像度変換を行う解像度変換手段、
前記解像度変換手段により解像度変換されたキャプチャーデータを、前記遠隔側の端末に送信する送信手段、として機能させるためのプログラムを記録した記録媒体であり、
前記解像度変換手段は、前記キャプチャーデータの解像度変換を、前記表示画面を分割して得られる複数のエリアのうちデータ変化の存在するエリアに対して行い、前記送信手段は、当該エリアの解像度変換されたキャプチャーデータを前記遠隔側の端末に送信する
ことを特徴とするプログラムを記録した記録媒体。
A terminal and a remote terminal connected to the terminal, and capture data obtained by capturing data of a display screen displayed on a display by an application in the terminal with a graphical device interface is transmitted to the remote terminal A recording medium recording a program for causing a terminal to execute processing in a data conference system that shares a display screen between the terminal and the remote terminal,
The terminal includes storage means for storing display display resolution information of the remote terminal, and the terminal
Resolution conversion means for performing resolution conversion of the capture data based on the display display resolution information;
A recording medium on which is recorded a program for causing capture data converted in resolution by the resolution conversion means to function as transmission means for transmitting to the remote terminal;
The resolution conversion means performs resolution conversion of the capture data on an area where data changes exist among a plurality of areas obtained by dividing the display screen, and the transmission means converts the resolution of the area. A recording medium recording a program, wherein the captured data is transmitted to the remote terminal.
前記解像度変換手段は、前記表示画面を分割して得られる複数のエリアのうちの特定のエリアに変化点が発生したときに、前記キャプチャーデータの解像度変換を、前記表示画面の全体に対して行い、前記送信手段は、当該解像度変換されたキャプチャーデータを前記遠隔側の端末に送信する
ことを特徴とする請求項22ないし26のうちいずれか1項に記載のプログラムを記録した記録媒体。
The resolution conversion unit performs resolution conversion of the capture data on the entire display screen when a change point occurs in a specific area among a plurality of areas obtained by dividing the display screen. 27. The recording medium on which the program according to any one of claims 22 to 26 is recorded, wherein the transmission unit transmits the resolution-converted capture data to the remote terminal.
前記記憶手段には、前記ディスプレイ表示解像度情報に対応付けて、前記キャプチャーデータの変換に用いる解像度が記憶されており、前記解像度変換手段は、当該記憶手段に記憶された解像度を用いて前記キャプチャーデータの解像度変換を行う
ことを特徴とする請求項22ないし28のうちいずれか1項に記載のプログラムを記録した記録媒体。
The storage means stores the resolution used for the conversion of the capture data in association with the display display resolution information, and the resolution conversion means uses the resolution stored in the storage means to capture the capture data. 29. A recording medium on which the program according to any one of claims 22 to 28 is recorded.
端末と当該端末に接続された他の端末とを有し、前記端末におけるアプリケーションによりディスプレイに表示される表示画面のデータをグラフィカル・デバイス・インターフェースによりキャプチャしたキャプチャーデータを前記他の端末に送信するデータ会議システムであって、
前記端末は、
前記他の端末のディスプレイ表示解像度情報を記憶する記憶手段と、
前記ディスプレイ表示解像度情報に基づいて、前記キャプチャーデータの解像度変換を前記表示画面の全体について行う解像度変換手段と、
前記解像度変換手段により解像度変換されたキャプチャーデータを、前記他の端末に送信する送信手段と、
を備えることを特徴とするデータ会議システム
Data that has a terminal and another terminal connected to the terminal, and that transmits capture data obtained by capturing data of a display screen displayed on a display by an application in the terminal using a graphical device interface to the other terminal A conference system,
The terminal
Storage means for storing display display resolution information of the other terminal;
Resolution conversion means for performing resolution conversion of the capture data on the entire display screen based on the display display resolution information;
Transmission means for transmitting the capture data whose resolution has been converted by the resolution conversion means to the other terminal;
A data conferencing system comprising:
端末と当該端末に接続された他の端末とを有し、前記端末におけるアプリケーションによりディスプレイに表示される表示画面のデータをグラフィカル・デバイス・インターフェースによりキャプチャしたキャプチャーデータを前記他の端末に送信するデータ会議システムであって、
前記端末は、
前記他の端末のディスプレイ表示解像度情報を記憶する記憶手段と、
前記ディスプレイ表示解像度情報に基づいて、前記キャプチャーデータの解像度変換を行う解像度変換手段と、
前記解像度変換手段により解像度変換されたキャプチャーデータを、前記他の端末に送信する送信手段と、を備え、
前記解像度変換手段は、前記キャプチャーデータの解像度変換を、前記表示画面を分割して得られる複数のエリアのうちデータ変化の存在するエリアに対して行い、前記送信手段は、当該エリアの解像度変換されたキャプチャーデータを前記他の端末に送信する
ことを特徴とするデータ会議システム
Data that has a terminal and another terminal connected to the terminal, and that transmits capture data obtained by capturing data of a display screen displayed on a display by an application in the terminal using a graphical device interface to the other terminal A conference system,
The terminal
Storage means for storing display display resolution information of the other terminal;
Resolution conversion means for performing resolution conversion of the capture data based on the display display resolution information;
Transmission means for transmitting the capture data whose resolution has been converted by the resolution conversion means to the other terminal, and
The resolution conversion means performs resolution conversion of the capture data on an area where data changes exist among a plurality of areas obtained by dividing the display screen, and the transmission means converts the resolution of the area. Send the captured data to the other terminal
A data conferencing system characterized by that .
端末と当該端末に接続された他の端末とを有し、前記端末におけるアプリケーションによりディスプレイに表示される表示画面のデータをグラフィカル・デバイス・インターフェースによりキャプチャしたキャプチャーデータを前記他の端末に送信するデータ会議システムにおける端末であって、
前記他の端末のディスプレイ表示解像度情報を記憶する記憶手段と、
前記ディスプレイ表示解像度情報に基づいて、前記キャプチャーデータの解像度変換を前記表示画面の全体について行う解像度変換手段と、
前記解像度変換手段により解像度変換されたキャプチャーデータを、前記他の端末に送信する送信手段と、
を備えることを特徴とする端末
Data that has a terminal and another terminal connected to the terminal, and that transmits capture data obtained by capturing data of a display screen displayed on a display by an application in the terminal using a graphical device interface to the other terminal A terminal in a conference system,
Storage means for storing display display resolution information of the other terminal;
Resolution conversion means for performing resolution conversion of the capture data on the entire display screen based on the display display resolution information;
Transmission means for transmitting the capture data whose resolution has been converted by the resolution conversion means to the other terminal;
A terminal comprising:
端末と当該端末に接続された他の端末とを有し、前記端末におけるアプリケーションによりディスプレイに表示される表示画面のデータをグラフィカル・デバイス・インターフェースによりキャプチャしたキャプチャーデータを前記他の端末に送信するデータ会議システムにおける端末であって、
前記他の端末のディスプレイ表示解像度情報を記憶する記憶手段と、
前記ディスプレイ表示解像度情報に基づいて、前記キャプチャーデータの解像度変換を行う解像度変換手段と、
前記解像度変換手段により解像度変換されたキャプチャーデータを、前記他の端末に送信する送信手段と、を備え、
前記解像度変換手段は、前記キャプチャーデータの解像度変換を、前記表示画面を分割して得られる複数のエリアのうちデータ変化の存在するエリアに対して行い、前記送信手段は、当該エリアの解像度変換されたキャプチャーデータを前記他の端末に送信する
ことを特徴とする端末
Data that has a terminal and another terminal connected to the terminal, and that transmits capture data obtained by capturing data of a display screen displayed on a display by an application in the terminal using a graphical device interface to the other terminal A terminal in a conference system,
Storage means for storing display display resolution information of the other terminal;
Resolution conversion means for performing resolution conversion of the capture data based on the display display resolution information;
Transmission means for transmitting the capture data whose resolution has been converted by the resolution conversion means to the other terminal, and
The resolution conversion means performs resolution conversion of the capture data on an area where data changes exist among a plurality of areas obtained by dividing the display screen, and the transmission means converts the resolution of the area. Send the captured data to the other terminal
A terminal characterized by that .
端末と当該端末に接続された他の端末とを有し、前記端末におけるアプリケーションによりディスプレイに表示される表示画面のデータをグラフィカル・デバイス・インターフェースによりキャプチャしたキャプチャーデータを前記他の端末に送信するデータ会議システムにおける端末に処理を実行させるプログラムを記録した記録媒体であって、
前記端末は、前記他の端末のディスプレイ表示解像度情報を記憶する記憶手段を備えており、前記端末を、
前記ディスプレイ表示解像度情報に基づいて、前記キャプチャーデータの解像度変換を前記表示画面の全体について行う解像度変換手段、
前記解像度変換手段により解像度変換されたキャプチャーデータを、前記他の端末に送信する送信手段、
として機能させるためのプログラムを記録した記録媒体
Data that has a terminal and another terminal connected to the terminal, and that transmits capture data obtained by capturing data of a display screen displayed on a display by an application in the terminal using a graphical device interface to the other terminal A recording medium recording a program for causing a terminal in a conference system to execute processing,
The terminal includes storage means for storing display display resolution information of the other terminal, and the terminal
Resolution conversion means for performing resolution conversion of the capture data on the entire display screen based on the display display resolution information;
Transmitting means for transmitting the capture data whose resolution has been converted by the resolution converting means to the other terminal;
A recording medium on which a program for functioning as a recording medium is recorded .
端末と当該端末に接続された他の端末とを有し、前記端末におけるアプリケーションによりディスプレイに表示される表示画面のデータをグラフィカル・デバイス・インターフェースによりキャプチャしたキャプチャーデータを前記他の端末に送信するデータ会議システムにおける端末に処理を実行させるプログラムを記録した記録媒体であって、
前記端末は、前記他の端末のディスプレイ表示解像度情報を記憶する記憶手段を備えており、前記端末を、
前記ディスプレイ表示解像度情報に基づいて、前記キャプチャーデータの解像度変換を行う解像度変換手段、
前記解像度変換手段により解像度変換されたキャプチャーデータを、前記他の端末に送信する送信手段、として機能させるためのプログラムを記録した記録媒体であり、
前記解像度変換手段は、前記キャプチャーデータの解像度変換を、前記表示画面を分割して得られる複数のエリアのうちデータ変化の存在するエリアに対して行い、前記送信手段は、当該エリアの解像度変換されたキャプチャーデータを前記他の端末に送信する
ことを特徴とするプログラムを記録した記録媒体
Data that has a terminal and another terminal connected to the terminal, and that transmits capture data obtained by capturing data of a display screen displayed on a display by an application in the terminal using a graphical device interface to the other terminal A recording medium recording a program for causing a terminal in a conference system to execute processing,
The terminal includes storage means for storing display display resolution information of the other terminal, and the terminal
Resolution conversion means for performing resolution conversion of the capture data based on the display display resolution information;
A recording medium on which a program for causing the capture data subjected to resolution conversion by the resolution conversion means to function as transmission means for transmitting to the other terminal is recorded;
The resolution conversion means performs resolution conversion of the capture data on an area where data changes exist among a plurality of areas obtained by dividing the display screen, and the transmission means converts the resolution of the area. Send the captured data to the other terminal
The recording medium which recorded the program characterized by the above-mentioned .
JP2001128343A 2001-04-25 2001-04-25 Data conference system, data conference terminal, and recording medium recording data conference program Expired - Lifetime JP4738628B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001128343A JP4738628B2 (en) 2001-04-25 2001-04-25 Data conference system, data conference terminal, and recording medium recording data conference program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001128343A JP4738628B2 (en) 2001-04-25 2001-04-25 Data conference system, data conference terminal, and recording medium recording data conference program

Publications (2)

Publication Number Publication Date
JP2002325239A JP2002325239A (en) 2002-11-08
JP4738628B2 true JP4738628B2 (en) 2011-08-03

Family

ID=18977052

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001128343A Expired - Lifetime JP4738628B2 (en) 2001-04-25 2001-04-25 Data conference system, data conference terminal, and recording medium recording data conference program

Country Status (1)

Country Link
JP (1) JP4738628B2 (en)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7558221B2 (en) 2004-02-13 2009-07-07 Seiko Epson Corporation Method and system for recording videoconference data
JP4331049B2 (en) 2004-04-30 2009-09-16 株式会社東芝 Data transmission apparatus and data transmission method
JP4508828B2 (en) * 2004-10-28 2010-07-21 シャープ株式会社 Content sharing device
JP2006317640A (en) * 2005-05-11 2006-11-24 Sony Corp Display control device, method and program
JP5239136B2 (en) * 2006-08-22 2013-07-17 セイコーエプソン株式会社 Data transmission method, data transmission system, information processing apparatus, data transmission program, external apparatus
JP5374873B2 (en) * 2008-01-09 2013-12-25 富士通株式会社 Information processing apparatus, information processing system, computer program, and information processing method
JP2009194897A (en) * 2008-01-17 2009-08-27 Seiko Epson Corp Image display device, storage medium, image display system, and network setting method
JP4811430B2 (en) * 2008-05-19 2011-11-09 セイコーエプソン株式会社 Information display system
JP2010108372A (en) * 2008-10-31 2010-05-13 Toshiba Corp Video display device, video display method and video system
JP2012090078A (en) * 2010-10-20 2012-05-10 Konica Minolta Business Technologies Inc Content distribution system
US8731331B2 (en) 2010-11-30 2014-05-20 Ricoh Company, Ltd. Apparatus, system, and method of communication, and recording medium storing communication control program
JP5903835B2 (en) 2011-04-28 2016-04-13 株式会社リコー Transmission terminal, image display control method, image display control program, recording medium, and transmission system
JP6051549B2 (en) 2012-03-16 2016-12-27 株式会社リコー Communication control system, control device, program and electronic information board
JP2013242357A (en) * 2012-05-18 2013-12-05 Ricoh Co Ltd Information processing apparatus, information processing method, and program
JP2014003448A (en) * 2012-06-18 2014-01-09 Ricoh Co Ltd Transmission system, external input device, and program for display resolution conversion
JP6183003B2 (en) 2012-11-15 2017-08-23 株式会社リコー Transmission system
KR101715123B1 (en) * 2013-05-23 2017-03-14 네이버 주식회사 Method, apparatus and computer readable recording medium for controlling screen share between terminals
EP3107282A4 (en) 2014-02-10 2017-05-17 Ricoh Company, Ltd. Information terminal, system, control method, and recording medium
JP6287335B2 (en) * 2014-02-28 2018-03-07 株式会社リコー Terminal device, information processing system, information transmission method, and program
JP6360765B2 (en) * 2014-09-30 2018-07-18 Kddi株式会社 Mirroring system and mirroring method

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05168007A (en) * 1991-12-18 1993-07-02 Matsushita Electric Ind Co Ltd Pictorial communication equipment
JPH06113059A (en) * 1992-09-25 1994-04-22 Ricoh Co Ltd Communication conference system
JPH0749834A (en) * 1993-03-19 1995-02-21 At & T Global Inf Solutions Internatl Inc Remote cooperative system
JPH07321781A (en) * 1994-05-27 1995-12-08 Canon Inc Communication system and terminal equipment
JPH07327219A (en) * 1994-05-31 1995-12-12 Hitachi Ltd Electronic conference system, conference server, and participant computer
JPH0965313A (en) * 1995-08-29 1997-03-07 Toshiba Corp Remote conference system
JPH09237354A (en) * 1996-02-29 1997-09-09 Chokosoku Network Computer Gijutsu Kenkyusho:Kk Method for transferring and displaying three-dimensional shape data
JPH1070642A (en) * 1996-08-27 1998-03-10 Canon Inc Image transmission system, image transmitter and image receiver
JPH114252A (en) * 1997-06-11 1999-01-06 Mitsubishi Electric Corp Data transmission system
JPH11112955A (en) * 1997-09-30 1999-04-23 Canon Inc Remote conference system and terminal equipment
JP2000339130A (en) * 1999-05-31 2000-12-08 Casio Comput Co Ltd Display controller and recording medium for recording display control program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3000929B2 (en) * 1996-06-07 2000-01-17 日本電気株式会社 Image display method and system using memory card

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05168007A (en) * 1991-12-18 1993-07-02 Matsushita Electric Ind Co Ltd Pictorial communication equipment
JPH06113059A (en) * 1992-09-25 1994-04-22 Ricoh Co Ltd Communication conference system
JPH0749834A (en) * 1993-03-19 1995-02-21 At & T Global Inf Solutions Internatl Inc Remote cooperative system
JPH07321781A (en) * 1994-05-27 1995-12-08 Canon Inc Communication system and terminal equipment
JPH07327219A (en) * 1994-05-31 1995-12-12 Hitachi Ltd Electronic conference system, conference server, and participant computer
JPH0965313A (en) * 1995-08-29 1997-03-07 Toshiba Corp Remote conference system
JPH09237354A (en) * 1996-02-29 1997-09-09 Chokosoku Network Computer Gijutsu Kenkyusho:Kk Method for transferring and displaying three-dimensional shape data
JPH1070642A (en) * 1996-08-27 1998-03-10 Canon Inc Image transmission system, image transmitter and image receiver
JPH114252A (en) * 1997-06-11 1999-01-06 Mitsubishi Electric Corp Data transmission system
JPH11112955A (en) * 1997-09-30 1999-04-23 Canon Inc Remote conference system and terminal equipment
JP2000339130A (en) * 1999-05-31 2000-12-08 Casio Comput Co Ltd Display controller and recording medium for recording display control program

Also Published As

Publication number Publication date
JP2002325239A (en) 2002-11-08

Similar Documents

Publication Publication Date Title
JP4738628B2 (en) Data conference system, data conference terminal, and recording medium recording data conference program
US6381343B1 (en) Remote print press proofing system
AU2003220302B2 (en) Methods and apparatus for generating graphical and media displays at a client
US7155679B2 (en) Digital media frame
US6801663B2 (en) Method and apparatus for producing communication data, method and apparatus for reproducing communication data, and program storage medium
US20100199187A1 (en) Instant data sharing system and machine readable medium thereof
TWI513318B (en) Data sharing method
CA2865545C (en) Communication control system and control device
US20030220971A1 (en) Method and apparatus for video conferencing with audio redirection within a 360 degree view
US20030077561A1 (en) Web server for printable whiteboards
EP1665798A1 (en) Method and apparatus for generating graphical and media displays at a thin client
US20040001091A1 (en) Method and apparatus for video conferencing system with 360 degree view
US20030009524A1 (en) System and method for point to point integration of personal computers with videoconferencing systems
JP2001127847A (en) Telephone set and data transmission method therefor
KR20080018396A (en) Computer-readable medium for recording mobile application and personal computer application for displaying display information of mobile communications terminal in external display device
US9325759B2 (en) Methods and apparatus for generating graphical and media displays at a client
CN114217997B (en) Method, system, equipment and storage medium for improving real-time performance of KVM display data
JPH07327219A (en) Electronic conference system, conference server, and participant computer
US6707434B1 (en) Computer workstation
GB2271253A (en) Data compression at a video conference computer workstation
US20030200553A1 (en) Method and system for showing a presentation to a local and a remote audience
WO2001098929A2 (en) Electronic chat and instant messaging with ink data
Homsy ABSTRACTIONS FOR CONTINUOUS MEDIA IN A NETWORK WINDOW SYSTEM
JP2003256450A (en) Distributed system control program, device, method and server device
Zeadally Delivery of high quality uncompressed video over ATM to windows NT desktop

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100216

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100525

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100824

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110427

R150 Certificate of patent or registration of utility model

Ref document number: 4738628

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

EXPY Cancellation because of completion of term