JP6229315B2 - 情報通信装置及びデータ連携プログラム - Google Patents

Description

本発明は、画像データ処理装置及び画像データ処理プログラムに関する。

従来、一定の時間間隔で画面などの画像をネットワークを介して別の装置に送信する場合、画像データ処理装置は、画像を所定の大きさのブロックに分割し、ブロック毎に１つ前の画像との差分を検出して、差分を検出したブロックの圧縮画像データを送信していた。あるいは、画像データ処理装置は、差分を検出したブロック内で差分を検出した矩形領域の圧縮画像データを送信していた。

なお、差分のあるブロック内で差分のない画像ピクセルに透過色データを書き込んで送信する従来技術がある（例えば、特許文献１参照。）。また、送信する画像データのサイズを小さくするために、送信装置は原画を縦横に１ライン毎に間引いて送信し、受信装置が拡大復元する従来技術がある（例えば、特許文献２参照。）。また、各ブロック内で使用される色数が少ないほど、各画素を表示するインデックスの数を少なくし、ビット数の少ないインデックスに変換することにより画像を圧縮して送信する従来技術がある（例えば、特許文献３参照。）。

特開２００７−２２１２２９号公報 特開平７−２９６１５８号公報 特開平１０−７４１７３号公報

しかしながら、例えば、パーソナルコンピュータ（以降、「ＰＣ」という。）からスマートフォンやタブレット端末に画面の画像を送信する場合のように、受信側の装置の性能が送信側と比較して低い場合、画像の復元処理の負荷が重いという問題がある。すなわち、受信装置は、圧縮された画像をブロック毎又は矩形領域毎に受信して復元する処理を行う必要があり、送信される圧縮画像に対して処理が間に合わない状況が発生する。

本発明は、１つの側面では、受信装置での画像の復元処理の負荷の低減を図ることを目的とする。

本願の開示する情報通信装置は、１つの態様において、画面がキャプチャーされた画像である対象画像を所定の大きさの複数のブロックに分割する分割部と、前記分割部による分割により得られたブロック毎に１つ前の画像と比較する比較部とを有する。さらに、情報通信装置は、前記比較部による比較の結果、１つ前の画像から更新箇所がある場合に該更新箇所に基づく更新矩形を各ブロックから抽出する抽出部を有する。さらに、情報通信装置は、各ブロックから前記抽出部により抽出された更新矩形に基づく矩形を全体矩形として特定する特定部と、前記特定部により特定された全体矩形の画像と全体矩形の情報と更新矩形の情報とをデータ連携の対象として相互認証を行った他の情報通信装置に送信し、送信した全体矩形の画像と全体矩形の情報と更新矩形の情報とに基づいて前記他の情報通信装置で表示された画面上のタッチ操作から生成された操作イベントの情報を受け取って自装置に該操作イベントに対応する操作を行う送信部とを有する。

１実施態様によれば、受信装置での画像の復元処理の負荷を低減することができる。

図１は、実施例に係るＰＣ−スマートフォン連携システムの構成を示す機能ブロック図である。 図２は、連携部の構成を示す機能ブロック図である。 図３は、プロファイル情報のデータ構造の一例を示す図である。 図４は、リモート操作制御部の構成を示す機能ブロック図である。 図５は、ＰＣ側の画像処理部の構成を示す機能ブロック図である。 図６Ａは、ブロック毎に抽出された更新矩形を示す図である。 図６Ｂは、全体矩形及び無変化箇所の黒塗りを示す図である。 図７は、ＰＣからスマートフォンに送信される画面情報のデータ構造の一例を示す図である。 図８は、ＰＣからスマートフォンに送信される画面情報の一例を示す図である。 図９は、画像処理部による画像復元方法を説明するための図である。 図１０は、画面データの送信処理のフローを示すフローチャートである。 図１１は、ＰＣ連携画面の一例を示す図である。 図１２は、スマホ連携画面の一例を示す図である。 図１３は、画像復元処理のフローを示すフローチャートである。 図１４は、ソフトウェア構成を示す図である。 図１５は、スマートフォンのハードウェア構成を示す図である。 図１６は、ＰＣのハードウェア構成を示す図である。

以下に、本願の開示する画像データ処理装置及び画像データ処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。

まず、実施例に係るＰＣ−スマートフォン連携システムについて説明する。図１は、実施例に係るＰＣ−スマートフォン連携システムの構成を示す機能ブロック図である。図１に示すように、ＰＣ−スマートフォン連携システム１は、ＰＣ２とスマートフォン３とを有し、ＰＣ２とスマートフォン３との間で連携を行う。ここで、「連携」とは、写真、動画などのデータを相互に交換することである。

ＰＣ２は、ＷＬＡＮ部２１と、連携部２２と、入力制御部２３と、出力制御部２４とを有する。

ＷＬＡＮ部２１は、無線ＬＡＮを用いて通信を行い、ここでは、スマートフォン３のＷＬＡＮ部３１と通信を行う。ＷＬＡＮ部２１は、ＷＬＡＮ部２１を無線ＬＡＮ通信においてアクセスポイントとして機能させるＡＰ部２１１と、ＷＬＡＮ部２１を無線ＬＡＮ通信においてステーション（クライアント装置）として機能させるＳＴＡ部２１２とを有する。

連携部２２は、ＷＬＡＮ部２１を用いて他の情報通信装置と連携を行い、ここでは、スマートフォン３の連携部３２と連携を行う。なお、連携部２２の詳細については後述する。

入力制御部２３は、マウス、キーボードなどの入力装置を用いてユーザが入力した指示やデータを受け付け、受け付けた指示やデータを連携部２２に渡す。出力制御部２４は、ＰＣ２が出力する画面の情報を表示装置に表示し、ＰＣ２が出力する音声をスピーカーに出力する。

スマートフォン３は、ＷＬＡＮ部３１と、連携部３２と、無線制御部３３と、入力制御部３４と、出力制御部３５と、呼制御部３６と、マイク制御部３７と、通話記録部３８と、電話帳記録部３９と、居場所検知制御部３ａとを有する。

ＷＬＡＮ部３１は、無線ＬＡＮを用いて通信を行い、ここでは、ＰＣ２のＷＬＡＮ部２１と通信を行う。ＷＬＡＮ部３１は、ＷＬＡＮ部３１を無線ＬＡＮ通信においてアクセスポイントとして機能させるＡＰ部３１１と、ＷＬＡＮ部３１を無線ＬＡＮ通信においてステーション（クライアント装置）として機能させるＳＴＡ部３１２とを有する。

連携部３２は、ＷＬＡＮ部３１を用いて他の情報通信装置と連携を行い、ここでは、ＰＣ２の連携部２２と連携を行う。なお、連携部３２の詳細については後述する。

無線制御部３３は、他のスマートフォン、固定電話、携帯電話サービス提供会社が設置するコンピュータなどと無線により音声通信やデータ通信を行う。入力制御部３４は、タッチスクリーンを用いてユーザが入力した指示やデータを受け付け、受け付けた指示やデータを連携部３２に渡す。出力制御部３５は、スマートフォン３が出力する画面の情報を表示装置に表示し、スマートフォン３が出力する音声をスピーカーに出力する。

呼制御部３６は、電話の接続、解放、監視などの制御を行う。マイク制御部３７は、通話に使用されるマイクの制御を行い、通話記録部３８は、通話を記録する。電話帳記録部３９は、電話帳の管理を行い、居場所検知制御部３ａは、スマートフォン３の位置検知のための制御を行う。

次に、連携部２２及び３２の構成について説明する。なお、連携部３２は、連携部２２と基本的に同様の構成を有するので、ここでは連携部２２を例にとって説明する。すなわち、ＰＣ２の連携部２２がスマートフォン３を他の情報通信装置として連携する場合を例にとって説明する。また、連携部３２のうち連携部２２と異なる部分については、異なる点を明記する。図２は、連携部２２の構成を示す機能ブロック図である。

図２に示すように、連携部２２は、セットアップ部２２１と、装置連携部２２２と、リモート操作制御部２２３と、連携データ記憶部２２４と、ＧＵＩ部２２５と、制御部２２６とを有する。

セットアップ部２２１は、認証登録を行っていない他の情報通信装置と相互認証を行い、相互認証後ＳＳＩＤ（Service Set Identifier）や装置情報を相互に登録する。ここでは、セットアップ部２２１は、スマートフォン３との間で相互に認証を行い、ＳＳＩＤや装置情報を相互に登録する。認証登録の結果、セットアップ部２２１は、ＳＳＩＤや装置情報など連携に必要な情報を連携データ記憶部２２４に格納する。

装置連携部２２２は、相互に認証登録済みの情報通信装置すなわちスマートフォン３と連携の確立を行う。ここで、連携の確立とは、スマートフォン３との間で無線ＬＡＮによる接続を確立し、スマートフォン３の最新のプロファイル情報を取得することである。そして、装置連携部２２２は、無線ＬＡＮによる接続時の情報に基づいて、写真、動画、歩数・活動量の取り込み処理又はリモート操作制御部２２３の起動を行う。一方、スマートフォン３の装置連携部３２２は、写真、動画、歩数・活動量の送信処理又はスマートフォン３のリモート操作制御部３２３の起動を行う。

リモート操作制御部２２３は、スマートフォン３によるＰＣ２のリモート操作を制御する。具体的には、リモート操作制御部２２３は、ＰＣ２の画面のデータ及び音声のデータをスマートフォン３に送信する。ＰＣ２の画面のデータ及び音声のデータを受信したスマートフォン３のリモート操作制御部３２３は、画面の表示及び音声出力を行い、ユーザの操作を受け付ける。そして、スマートフォン３のリモート操作制御部３２３は、受け付けた操作の情報をＰＣ２のリモート操作制御部２２３に送信し、ＰＣ２のリモート操作制御部２２３は受信した操作の情報に基づいてＰＣ２を操作する。なお、リモート操作制御部２２３及びリモート操作制御部３２３の詳細については後述する。

連携データ記憶部２２４は、他の情報通信装置との連携に必要なデータを記憶し、自装置がＡＰとして動作する場合のＳＳＩＤ、相互に認証登録済の他の情報通信装置のＳＳＩＤ、暗号化キー、プロファイル情報などを記憶する。ここでは、連携データ記憶部２２４は、ＰＣ２がＡＰとして動作する場合のＳＳＩＤ、スマートフォン３のＳＳＩＤ、暗号化キー、プロファイル情報などを記憶する。なお、相互に認証登録済の情報通信装置が複数ある場合には、連携データ記憶部２２４は、各情報通信装置について、ＳＳＩＤ、プロファイル情報、暗号化キーなどを記憶する。

図３は、プロファイル情報のデータ構造の一例を示す図である。図３に示すように、プロファイル情報は、版数、モデル、ＭＡＣアドレス、ハードウェア情報、個別機能及び連携機能を記憶する。

版数には、自装置における連携部２２又は３２のバージョン情報が記憶される。モデルには、自装置のカテゴリ情報が記憶される。例えば、モデルには、ノート型パソコン、デスクトップ型パソコン及び携帯電話の区別が記憶される。なお、このモデルは、装置のカテゴリに合わせその内容を適宜決定すればよい。ＭＡＣアドレスには、自装置のＭＡＣアドレス情報が記憶される。ハードウェア情報には、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）及びカメラについて、画素数の情報が記憶される。個別機能には、ＷＯＬ（Wake On LAN）について、対応有無が記憶される。

連携機能には、各連携機能について、サポートの有無を示す情報が記憶される。連携機能としては、写真、動画及び歩数・活動量の取り込みとリモート操作がある。例えば、リモート操作の情報が「１」である場合には、リモート操作機能がサポートされている。なお、プロファイル情報は、装置毎に自装置に備えられた連携データ記憶部２２４又は３２４に記憶され、例えば出荷時に記憶される。

ＧＵＩ部２２５は、ＧＵＩ（Graphical User Interface）を用いてユーザとの対話を行う。ここでは、ＧＵＩ部２２５は、入力制御部２３からユーザが入力したデータを受け取って制御部２２６に渡し、制御部２２６から表示データや音声データを受け取って出力制御部２４に渡す。

制御部２２６は、連携部２２全体の制御を行い、具体的には、機能部間の制御の移動や機能部と記憶部の間のデータの受け渡しなどを行うことによって、全体を連携部２２として機能させる。

次に、リモート操作制御部２２３及び３２３の詳細について説明する。図４は、リモート操作制御部２２３及び３２３の構成を示す機能ブロック図である。図４は、ＰＣ２側のリモート操作制御部２２３及びスマートフォン３側のリモート操作制御部３２３を示す。

ＰＣ２側のリモート操作制御部２２３は、画像処理部４１と、音声処理部４２と、操作処理部４３と、通信制御部４４とを有する。

画像処理部４１は、ＰＣ２の画面のキャプチャー、１つ前の画面との差分の抽出、差分がある箇所の画像の圧縮などを行って、スマートフォン３に送信する画面のデータを作成する。画像処理部４１は、例えば、１１画面／秒のデータを作成する。なお、画像処理部４１の詳細については後述する。

音声処理部４２は、ＰＣ２の音声のキャプチャーやフォーマット変換などを行って、スマートフォン３に送信する音声のデータを作成する。また、音声処理部４２は、ＰＣ２のスピーカーを消音する。音声処理部４２がリモート操作中にスピーカーを消音することによって、リモート操作中のＰＣ２からの不要な音声の出力をなくすことができる。

操作処理部４３は、スマートフォン３でのユーザにより行われたキー入力、マウス操作、文字列入力などのリモート操作をＰＣ２に反映させる。

通信制御部４４は、画面データ及び音声データをスマートフォン３に送信し、キー入力、マウス操作、文字列入力などの操作イベントの情報をスマートフォン３から受信する。

スマートフォン３側のリモート操作制御部３２３は、画像処理部５１と、音声処理部５２と、タッチ制御部５３と、通信制御部５４とを有する。

画像処理部５１は、ＰＣ２から送信された画面データから画面を復元し、スマートフォン３の表示装置に表示する。画像処理部５１は、受信部５１１と、復元部５１２と、生成部５１３と、表示部５１４とを有する。

受信部５１１は、ＰＣ２が送信する画面情報を通信制御部５４を介して受信する。復元部５１２は、受信部５１１が受信した画面情報に基づいて更新矩形画像を復元する。生成部５１３は、復元部５１２が復元した更新矩形画像を１つ前の画面の対応する位置に貼り付けることにより、画面を生成する。表示部５１４は、生成部５１３により生成された画面を表示装置に表示する。

音声処理部５２は、ＰＣ２から送信された音声データのストリーム再生を行う。タッチ制御部５３は、スマートフォン３でユーザにより行われたタッチ操作にＰＣ２上で対応するキー入力、マウス操作、文字列入力などの操作イベントの情報を生成する。通信制御部５４は、画面データ及び音声データを通信制御部４４から受信し、キー入力、マウス操作、文字列入力などの操作イベントの情報を通信制御部４４へ送信する。

次に、ＰＣ側の画像処理部４１の構成について説明する。図５は、ＰＣ側の画像処理部４１の構成を示す機能ブロック図である。図５に示すように、画像処理部４１は、キャプチャー部６１と、差分抽出部６２と、黒塗り部６３と、画像圧縮部６４と、画像送信部６５と、画像データ記憶部６６とを有する。

キャプチャー部６１は、ＰＣ２の表示装置に現在表示されている画面をキャプチャーし、キャプチャーした画面の画像データを画像データ記憶部６６に格納する。

差分抽出部６２は、キャプチャー部６１によりキャプチャーされた現在の画面と１つ前の画面とで異なる箇所を含む最小の矩形の画像を現在の画面から抽出する。差分抽出部６２は、分割部６２１と、比較部６２２と、抽出部６２３と、変換部６２４と、特定部６２５とを有する。

分割部６２１は、現在の画面及び１つ前の画面を６４×６４ピクセルのブロックに分割する。なお、ここでは、６４×６４ピクセルのブロックに分割するが、分割部６２１は、例えば１２８×１２８ピクセルなど他の大きさのブロックに分割することができる。

比較部６２２は、現在の画面と１つ前の画面をブロック毎に比較する。比較部６２２は、２つのブロックの比較を、奇数行→偶数行→奇数行→・・・と変えて行う。すなわち、比較部６２２は、最初のブロックの比較を奇数行で行い、次のブロックの比較を偶数行で行い、３番目のブロックの比較を奇数行で行い、・・・という処理を行う。比較部６２２は、２つのブロックの比較を、奇数行→偶数行→奇数行→・・・と変えて行うことにより、２つのブロックを効率よく比較することができる。

抽出部６２３は、比較部６２２による比較で異なった箇所を含む最小の矩形の領域を更新矩形として各ブロックから抽出する。そして、抽出部６２３は、ブロック毎に、ブロックの座標、更新矩形の座標を画像データ記憶部６６に格納する。格納される座標は、ブロック又は更新矩形の左上及び右下のＸ座標とＹ座標である。

図６Ａは、ブロック毎に抽出された更新矩形を示す図である。図６Ａにおいて、２次元に配列される正方形が６４×６４ピクセルのブロック７１である。ただし、画面の右端のブロックは４８×６４ピクセルのブロック７２であり、画面の下端のブロックは６４×１２ピクセルのブロック７３であり、画面の右下隅のブロックは４８×１２ピクセルのブロック７４である。また、斜線で示される矩形が更新矩形７５である。図６Ａでは、１４個の更新矩形７５が抽出されている。

変換部６２４は、画面の解像度が１２８０×７２０より大きい場合に、画面の解像度を１２８０×７２０に変換し、変換した画像を画像データ記憶部６６に格納する。また、変換部６２４は、ブロック毎に記憶したブロックの座標、更新矩形の座標を解像度の変換に対応させて変換し、画像データ記憶部６６に格納する。なお、ここでは、画面の解像度を１２８０×７２０に変換するが、変換部６２４は、受信側の装置の画面解像度に基づいて他の画面解像度に変換することができる。また、変換部６２４は、解像度のアスペクト比を保って１２８０×７２０以内に解像度を変換することもできる。

特定部６２５は、画像データ記憶部６６に記憶した各更新矩形の座標を用いて、各更新矩形を含む最小の矩形を全体矩形として特定し、特定した全体矩形の現在の画面の画像を全体矩形画像として座標とともに画像データ記憶部６６に格納する。

黒塗り部６３は、全体矩形画像のうち更新矩形以外の箇所、すなわち、１つ前の画面から変更がなかった箇所を黒塗りした黒塗り画像を作成し、画像データ記憶部６６に格納する。図６Ｂは、全体矩形及び無変化箇所の黒塗りを示す図である。図６Ｂに示すように、全体矩形７６のうち１４個の更新矩形７５を除く箇所が黒塗りされている。

黒塗り部６３が、全体矩形７６のうち更新矩形７５を除く箇所を黒塗りすることによって、画像圧縮部６４による圧縮率を高くすることができる。したがって、リモート操作制御部２２３はＰＣ２の画面を効率良くスマートフォン３に伝送することができる。

画像圧縮部６４は、全体矩形画像が３０キロバイト（ＫＢ）未満である場合に、ＪＰＥＧ（Joint Photographic Experts Group）により黒塗り画像を圧縮する。なお、画像圧縮部６４は、ＪＰＥＧ以外の圧縮方式で画像を圧縮することもできる。

画像送信部６５は、全体矩形画像が３０ＫＢ未満である場合には、全体矩形画像をスマートフォン３に送信する。一方、３０ＫＢ以上である場合には、画像送信部６５は、全体矩形画像とＪＰＥＧによる圧縮画像のサイズを比較し、サイズが小さい方の画像をスマートフォン３に送信する。

このように、画像送信部６５は、ＪＰＥＧによる圧縮画像と非圧縮画像である全体矩形画像とが混在する形式でスマートフォン３に画像を送信する。したがって、画面の更新がある時間（例えば１秒間）発生しない場合に、圧縮画像と非圧縮画像の境目でモスキートノイズが発生するときがある。ここで、モスキートノイズとは、圧縮画像において色の変化の激しい部分で起こる画像の乱れである。

そこで、画像送信部６５は、今回の画像が前回の送信画像と同じである回数を無変化回数として数え、無変化回数が１０回になると、現在の画面全体の画像をスマートフォン３に送信することによって、画面をリフレッシュする。画像送信部６５は、無変化回数が１０回になると、現在の画面全体の画像をスマートフォン３に送信することによって、モスキートノイズの発生を抑えることができる。

画像データ記憶部６６は、画像処理部４１が処理を行う場合に必要とするデータを記憶する。具体的には、画像データ記憶部６６は、現在と１つ前の画面について、キャプチャーされた画面の画像データ、各ブロックの画像データ、各ブロックの座標、各更新矩形の座標を記憶する。また、画像データ記憶部６６は、画面の画像データ、各ブロックの座標及び各更新矩形の座標については、解像度変更前と解像度変更後のデータを記憶する。また、画像データ記憶部６６は、全体矩形画像のデータ、全体矩形の座標、黒塗り画像のデータ、ＪＰＥＧ圧縮後の画像データ、アスペクト比などを記憶する。

次に、ＰＣ２からスマートフォン３に送信される画面データのデータ構造について説明する。図７は、ＰＣ２からスマートフォン３に送信される画面情報のデータ構造の一例を示す図である。

図７に示すように、ＰＣ２からスマートフォン３に送信される画面情報には、画面解像度の幅及び高さ、画像サイズの幅及び高さ及び全体矩形データが含まれる。また、全体矩形データには、画像が圧縮か非圧縮かを示す画像フォーマット、全体矩形データの開始Ｘ座標及びＹ座標を示す全体矩形画像Ｘ及びＹ、全体矩形データの幅及び高さを示す全体矩形画像幅及び高さ、更新矩形格納数、更新矩形サイズが含まれる。また、全体矩形データには、さらに、画像データサイズ、画像データが含まれる。また、各更新矩形サイズには、矩形の開始Ｘ座標及びＹ座標を示す矩形Ｘ及びＹ、矩形の幅及び高さを示す矩形幅及び高さが含まれる。

図８は、ＰＣ２からスマートフォン３に送信される画面情報の一例を示す図である。図８に示す例の画面情報には、画面解像度の幅及び高さとして「１２８０」及び「７２０」が含まれ、画像サイズの幅及び高さとして「１１５０」及び「５２０」が含まれる。

また、全体矩形データにはＪＰＥＧにより圧縮された全体矩形画像のデータが含まれ、全体矩形の開始Ｘ座標及び開始Ｙ座標は「１００」及び「４０」であり、全体矩形の幅及び高さは「１０００」及び「３８０」である。また、全体矩形データには、図６Ａに示した１４個の更新矩形７５の開始Ｘ座標、開始Ｙ座標、幅及び高さが含まれる。

次に、スマートフォン３の画像処理部５１による画像復元方法について説明する。図９は、画像処理部５１による画像復元方法を説明するための図である。なお、図９は、図８に示した画面情報がＰＣ２から送られてきた場合の例を示す。

画像処理部５１の復元部５１２は、ＪＰＥＧにより圧縮された黒塗り画像を伸長する。そして、復元部５１２は、更新矩形の開始Ｘ座標、開始Ｙ座標、幅及び高さに基づいて、伸長された黒塗り画像から１４個の更新矩形画像（１）〜（１４）を抽出する。そして、生成部５１３が、ＰＣ２から全体矩形について送られてきた開始Ｘ座標及び開始Ｙ座標と更新矩形の開始Ｘ座標、開始Ｙ座標、幅及び高さに基づいて、１４個の更新矩形画像を１つ前の画面の画像に貼り付ける。

このように、画像処理部５１が、全体矩形及び更新矩形の開始Ｘ座標、開始Ｙ座標、幅及び高さに基づいて、伸長された黒塗り画像から更新矩形画像を抽出して１つ前の画面の画像に貼り付けることによって、画像復元の処理負荷を低減することができる。

次に、画面データの送信処理のフローについて説明する。図１０は、画面データの送信処理のフローを示すフローチャートである。なお、図１０に示す処理は、連携機能としてユーザによって「リモート操作」が選択されると実行される。ユーザは、スマートフォン３から図１１に示すＰＣ連携画面において、「ＰＣを操作する」を選択することにより「リモート操作」を選択する。また、ユーザは、ＰＣ２から図１２に示すスマホ連携画面において、「スマホでＰＣ操作」を選択することにより「リモート操作」を選択する。

図１０に示すように、キャプチャー部６１がＰＣ２の画面をキャプチャーし（ステップＳ１）、差分抽出部６２がキャプチャー画面が１画面目であるか否かを判定する（ステップＳ２）。そして、１画面目である場合には、差分抽出部６２は、ステップＳ９に進む。

一方、１画面目でない場合には、差分抽出部６２は、１つ前の画面との差分を抽出する処理を行う。すなわち、分割部６２１が、キャプチャーした画面を６４×６４ピクセル単位でブロック化し（ステップＳ３）、比較部６２２が、前回キャプチャーした画面と今回キャプチャーした画面とをブロック単位で比較する（ステップＳ４）。

そして、差分抽出部６２は、ブロック間で変更箇所があるか否かを判定し（ステップＳ５）、変更箇所がない場合には、ステップＳ７に進み、変更箇所がある場合には、抽出部６２３が、変更があった箇所を含む最小の矩形を更新矩形とし、更新矩形の座標を算出して保存する（ステップＳ６）。そして、差分抽出部６２は、全ブロックで比較が完了したか否かを判定し（ステップＳ７）、完了した場合にはステップＳ９に進み、完了していない場合には、比較ブロック数に１を加え（ステップＳ８）、ステップＳ５に戻って次のブロックを処理する。なお、比較ブロック数は、比較したブロックの数であり、「１」に初期化され、画面をブロックに分割して得られるブロック数に比較ブロック数が到達すると、全ブロックの比較が完了する。

そして、差分抽出部６２は、前回送信した画像から変化はあったか否かを判定し（ステップＳ９）、変化がなかった場合には、無変化画像数に１を加える（ステップＳ１０）。ここで、無変化画像数は、キャプチャーした画面に変化がない回数であり、「０」に初期化されている。そして、差分抽出部６２は、無変化画像数が「１０」であるか否かを判定する（ステップＳ１１）。その結果、無変化画像数が「１０」でない場合には、差分抽出部６２はステップＳ１に戻り、キャプチャー部６１が画面をキャプチャーする。

一方、無変化画像数が「１０」である場合には、変換部６２４が、キャプチャーした画面の画面解像度を１２８０×７２０に変換し（ステップＳ１２）、モスキートノイズの発生を抑えるために、画像送信部６５が全画面送信を行う（ステップＳ１３）。そして、差分抽出部６２は、無変化画像数を「０」に初期化し（ステップＳ１４）、ステップＳ１に制御が戻って、キャプチャー部６１が画面をキャプチャーする。

また、前回送信した画像から変化があった場合には、変換部６２４が、キャプチャーした画面の画面解像度を１２８０×７２０に変換し（ステップＳ１５）、キャプチャー画像の解像度と１２８０×７２０の縦横比を算出する（ステップＳ１６）。ここで、縦横比とは、キャプチャー画像の解像度と１２８０×７２０との縦の比率及び横の比率である。そして、変換部６２４は更新矩形の座標を縦横比で補正する（ステプＳ１７）。

そして、特定部６２５が全ブロックの比較結果から全更新矩形を含む最小の矩形を全体矩形とし、変換部６２４により補正された更新矩形の座標に基づいて全体矩形の座標を算出する（ステップＳ１８）。そして、特定部６２５は、全体矩形の座標を画像データ記憶部６６に保存する（ステップＳ１９）。

そして、黒塗り部６３が、全体矩形画像のうち１つ前の画像と比較して変更がない箇所を黒塗りし（ステップＳ２０）、黒塗りした黒塗り画像のデータを画像データ記憶部６６に保存する。

そして、画像送信部６５は、黒塗り前の全体矩形画像のデータの大きさが３０ＫＢ未満か否かを判定し（ステップＳ２１）、３０ＫＢ未満でない場合には、画像圧縮部６４が黒塗り画像をＪＰＥＧ変換する（ステップＳ２２）。そして、画像送信部６５は、黒塗り前の画像とＪＰＥＧ圧縮画像とでデータの大きさを比較し（ステップＳ２３）、データの大きさが小さい方を送信画像にする（ステップＳ２４）。一方、黒塗り前の全体矩形画像のデータの大きさが３０ＫＢ未満の場合には、画像送信部６５は、黒塗り前の全体矩形画像を送信画像にする（ステップＳ２５）。

そして、画像送信部６５は、送信画像の画像情報をスマートフォン３に送信する（ステップＳ２６）。具体的には、画像送信部６５は、画像データを送信するパケットのヘッダに全体矩形情報と更新矩形単位の矩形情報を付与して画像情報として送信する。

このように、画像送信部６５が全体矩形情報と更新矩形単位の矩形情報を付与して１枚の画像をスマートフォン３に送信することで、画像処理部４１はスマートフォン３の画像復元処理の負荷を低減することができる。

なお、ここでは、各ブロックから更新矩形を抽出後に画面解像度を変換する場合について説明したが、画像処理部４１は、画面解像度を変換した後でブロック分割及び更新矩形の抽出を行うこともできる。また、画像処理部４１は、全体矩形画像のデータの大きさがいくつであっても常に黒塗りやＪＰＥＧ圧縮することなく全体矩形画像のデータを送ることもできる。

次に、スマートフォン３による画像復元処理のフローについて説明する。図１３は、画像復元処理のフローを示すフローチャートである。図１３に示すように、スマートフォン３の受信部５１１が、ＰＣ２から画面情報を受信し（ステップＳ４１）、復元部５１２が画面情報の解析を行う（ステップＳ４２）。

そして、復元部５１２は、画面情報に含まれる画像データをバッファ領域に展開する（ステップＳ４３）。ここで、画面情報の解析の結果、画像データがＪＰＥＧによる圧縮画像のデータである場合には、復元部５１２は、画像の伸長処理を行った後、画像データをバッファ領域に展開する。

そして、復元部５１２は、画面情報に含まれる更新矩形格納数を矩形カウンタにセットする（ステップＳ４４）。そして、復元部５１２は、全体矩形データから更新矩形の座標、幅及び高さを取得し（ステップＳ４５）、バッファから更新矩形を切り取る（ステップＳ４６）。

そして、生成部５１３が全体矩形の座標及び更新矩形の座標に基づいて更新矩形を表示中の全体画像に貼り付け（ステップＳ４７）、画像処理部５１が矩形カウンタから「１」を引く（ステップＳ４８）。そして、画像処理部５１は、矩形カウンタの値が「０」であるか否か、すなわち、全ての更新矩形を処理したか否かを判定し（ステップＳ４９）、矩形カウンタが「０」でない場合には、ステップＳ４５に戻って次の更新矩形を処理する。一方、矩形カウンタが「０」の場合には、次の画面情報の受信を待ち、画面情報を受信すると（ステップＳ５０，Ｙｅｓ）、ステップＳ４２に戻る。

このように、画像処理部５１は、１枚の画像のデータを処理することにより画像を復元することができ、少ない負荷でスマートフォン３の画面を更新することができる。

上述してきたように、実施例では、ＰＣ２の分割部６２１が、現在の画面及び１つ前の画面を６４×６４ピクセルのブロックに分割し、比較部６２２がブロック毎に比較する。そして、抽出部６２３が、異なる箇所を含む最小の矩形の領域を更新矩形として各ブロックから抽出する。そして、特定部６２５が、各更新矩形を含む最小の矩形を全体矩形として特定する。そして、画像送信部６５が全体矩形の画像データを全体矩形及び各更新矩形の情報とともにスマートフォン３に送信する。また、スマートフォン３の画像処理部５１が、全体矩形及び各更新矩形の情報に基づいて各更新矩形画像を受信画像データから取り出して表示中の画面に貼り付ける処理を行う。したがって、スマートフォン３は、少ない処理負荷で画面を復元することができる。

また、実施例では、黒塗り部６３が、全体矩形画像のうち１つ前の画像と比較して変更がない箇所を黒塗りし、画像圧縮部６４が黒塗り画像をＪＰＥＧ圧縮する。そして、画像送信部６５がＪＰＥＧ圧縮された画像をスマートフォン３に送信する。したがって、ＰＣ２はスマートフォン３へ効率よく画面を転送することができる。

また、実施例では、変換部６２４は、画面の解像度を１２８０×７２０に変換し、変換に対応して更新矩形の座標を補正する。したがって、スマートフォン３は１２８０×７２０の解像度の表示装置でＰＣ２の画面を表示することができる。

また、実施例では、差分抽出部６２が無変化画像数を数え、無変化画像数が「１０」になると、画像送信部６５が全画面送信を行う。したがって、画像処理部４１は、スマートフォン３でのモスキートノイズの発生を抑えることができる。

次に、ＰＣ２及びスマートフォン３間の連携を実現するためのソフトウェアの構成について説明する。図１４は、ソフトウェア構成を示す図である。図１４に示すように、ＰＣ２及びスマートフォン３間の連携を実現するためのソフトウェアは、ＯＳ７１０、ドライバ７２０及びアプリケーション７３０を有する。ＯＳ７１０、ドライバ７２０、アプリケーション７３０は、ハードウェア７００と協働して連携処理を実現する。

ドライバ７２０には、ＷＬＡＮプログラム７２１が含まれる。ＰＣ２において実行されるＷＬＡＮプログラム７２１は、図１に示したＷＬＡＮ部２１の機能を実現する。また、スマートフォン３において実行されるＷＬＡＮプログラム７２１は、図１に示したＷＬＡＮ部３１の機能を実現する。このＷＬＡＮプログラム７２１は、ＳＴＡプログラム７２１ａ及びＡＰプログラム７２１ｂを含む。ＰＣ２において実行されるＳＴＡプログラム７２１ａ及びＡＰプログラム７２１ｂは、図１に示したＳＴＡ部２１２及びＡＰ部２１１の各機能を実現する。また、スマートフォン３において実行されるＳＴＡプログラム７２１ａ及びＡＰプログラム７２１ｂは、図１に示したＳＴＡ部３１２及びＡＰ部３１１の各機能を実現する。

アプリケーション７３０には、連携プログラム７３１が含まれる。ＰＣ２において実行される連携プログラム７３１は、図１に示した連携部２２の機能を実現する。また、スマートフォン３において実行される連携プログラム７３１は、図１に示した連携部３２の機能を実現する。連携プログラム７３１は、ＷＬＡＮプログラム７２１を用いて他の情報通信装置と連携を行う。すなわち、ＰＣ２（又はスマートフォン３）の連携プログラム７３１は、スマートフォン３（又はＰＣ２）の連携プログラム７３１と連携処理を実行する。

次に、図１４に示したハードウェア７００について説明する。図１５は、スマートフォンのハードウェア構成を示す図である。図１５に示すように、スマートフォン８００は、無線通信部８１０と、表示部８２０と、音声入出力部８３０と、入力部８４０と、プロセッサ８５０と、記憶部８６０とを有する。無線通信部８１０、表示部８２０、音声入出力部８３０、入力部８４０及び記憶部８６０は、それぞれプロセッサ８５０と接続されている。

記憶部８６０は、プログラム記憶部８６１と、データ記憶部８６２と、ＲＡＭ（Random Access Memory）８６３とを有する。プログラム記憶部８６１には、図１に示した連携部３２の機能を実現する連携プログラム７３１などのプログラムが記憶される。データ記憶部８６２には、図２に示した連携データ記憶部２２４に記憶されるＳＳＩＤ、暗号化キー、プロファイル情報など各種データが記憶される。ＲＡＭ８６３には、プログラムの実行により生成されるデータなどが記憶される。

プロセッサ８５０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの電子回路である。そして、プロセッサ８５０が連携プログラム７３１などのプログラムを記憶部８６０から読み出してＲＡＭ８６３にロードすることにより、連携プログラム７３１などのプログラムは、連携タスクなどのタスクとして機能するようになる。そして、連携タスクは、データ記憶部８６２から読み出した情報などを適宜ＲＡＭ８６３上の自身に割り当てられた領域にロードし、このロードしたデータなどに基づいて各種データ処理を実行する。

図１６は、ＰＣのハードウェア構成を示す図である。図１６に示すように、ＰＣ９００は、メインメモリ９１０と、ＣＰＵ（Central Processing Unit）９２０と、ＬＡＮ（Local Area Network）インタフェース９３０と、ＨＤＤ（Hard Disk Drive）９４０とを有する。また、ＰＣ９００は、スーパーＩＯ（Input Output）９５０と、ＤＶＩ（Digital Visual Interface）９６０と、ＯＤＤ（Optical Disk Drive）９７０とを有する。また、ＰＣ９００は、音声を出力するスピーカーを有する。

メインメモリ９１０は、プログラムやプログラムの実行途中結果などを記憶するメモリである。ＣＰＵ９２０は、メインメモリ９１０からプログラムを読み出して実行する中央処理装置である。ＣＰＵ９２０は、メモリコントローラを有するチップセットを含む。

ＬＡＮインタフェース９３０は、ＰＣ９００をＬＡＮ経由で他のコンピュータに接続するためのインタフェースである。ＨＤＤ９４０は、プログラムやデータを格納するディスク装置であり、スーパーＩＯ９５０は、マウスやキーボードなどの入力装置を接続するためのインタフェースである。ＤＶＩ９６０は、液晶表示装置を接続するインタフェースであり、ＯＤＤ９７０は、ＤＶＤの読み書きを行う装置である。

ＬＡＮインタフェース９３０は、ＰＣＩエクスプレスによりＣＰＵ９２０に接続され、ＨＤＤ９４０及びＯＤＤ９７０は、ＳＡＴＡ（Serial Advanced Technology Attachment）によりＣＰＵ９２０に接続される。スーパーＩＯ９５０は、ＬＰＣ（Low Pin Count）によりＣＰＵ９２０に接続される。

そして、ＰＣ９００において実行されるプログラムは、ＤＶＤに記憶され、ＯＤＤ９７０によってＤＶＤから読み出されてＰＣ９００にインストールされる。あるいは、プログラムは、ＬＡＮインタフェース９３０を介して接続された他のコンピュータシステムのデータベースなどに記憶され、これらのデータベースから読み出されてＰＣ９００にインストールされる。そして、インストールされたプログラムは、ＨＤＤ９４０に記憶され、メインメモリ９１０に読み出されてＣＰＵ９２０によって実行される。

なお、実施例では、ＰＣ２をスマートフォン３からリモート操作する場合について説明したが、本発明はこれに限定されるものではなく、ある装置から他の装置に画像を伝送して他の装置で画像を表示する場合にも同様に適用することができる。

また、本実施例では、更新箇所を含む最小の矩形を更新矩形とし、全更新矩形を含む最小の矩形を全体矩形とする場合について説明したが、本発明はこれに限定されるものではなく、更新箇所に基づく矩形を更新矩形とし、全更新矩形に基づく矩形を全体矩形とする場合にも同様に適用することができる。

１ ＰＣ−スマートフォン連携システム
２ ＰＣ
３ スマートフォン
２１，３１ ＷＬＡＮ部
２２，３２ 連携部
２３，３４ 入力制御部
２４，３５ 出力制御部
３３ 無線制御部
３６ 呼制御部
３７ マイク制御部
３８ 通話記録部
３９ 電話帳記録部
３ａ 居場所検知制御部
４１ 画像処理部
４２ 音声処理部
４３ 操作処理部
４４ 通信制御部
５１ 画像処理部
５２ 音声処理部
５３ タッチ制御部
５４ 通信制御部
６１ キャプチャー部
６２ 差分抽出部
６３ 黒塗り部
６４ 画像圧縮部
６５ 画像送信部
６６ 画像データ記憶部
７１，７２，７３，７４ ブロック
７５ 更新矩形
７６ 全体矩形
２１１，３１１ ＡＰ部
２１２，３１２ ＳＴＡ部
２２１ セットアップ部
２２２ 装置連携部
２２３，３２３ リモート操作制御部
２２４ 連携データ記憶部
２２５ ＧＵＩ部
２２６ 制御部
５１１ 受信部
５１２ 復元部
５１３ 生成部
５１４ 表示部
６２１ 分割部
６２２ 比較部
６２３ 抽出部
６２４ 変換部
６２５ 特定部
７００ ハードウェア
７１０ ＯＳ
７２０ ドライバ
７２１ ＷＬＡＮプログラム
７２１ａ ＳＴＡプログラム
７２１ｂ ＡＰプログラム
７３０ アプリケーション
７３１ 連携プログラム
８００ スマートフォン
８１０ 無線通信部
８２０ 表示部
８３０ 音声入出力部
８４０ 入力部
８５０ プロセッサ
８６０ 記憶部
８６１ プログラム記憶部
８６２ データ記憶部
８６３ ＲＡＭ
９００ ＰＣ
９１０ メインメモリ
９２０ ＣＰＵ
９３０ ＬＡＮインタフェース
９４０ ＨＤＤ
９５０ スーパーＩＯ
９６０ ＤＶＩ
９７０ ＯＤＤ

Claims (7)

1. 画面がキャプチャーされた画像である対象画像を所定の大きさの複数のブロックに分割する分割部と、
   前記分割部による分割により得られたブロック毎に１つ前の画像と比較する比較部と、
   前記比較部による比較の結果、１つ前の画像から更新箇所がある場合に該更新箇所に基づく更新矩形を各ブロックから抽出する抽出部と、
   各ブロックから前記抽出部により抽出された更新矩形に基づく矩形を全体矩形として特定する特定部と、
   前記特定部により特定された全体矩形の画像と全体矩形の情報と更新矩形の情報とをデータ連携の対象として相互認証を行った他の情報通信装置に送信し、送信した全体矩形の画像と全体矩形の情報と更新矩形の情報とに基づいて前記他の情報通信装置で表示された画面上のタッチ操作から生成された操作イベントの情報を受け取って自装置に該操作イベントに対応する操作を行う送信部と
   を有することを特徴とする情報通信装置。
2. 前記特定部により特定された全体矩形の画像のうち前記更新矩形のいずれにも含まれない箇所を黒塗りして黒塗り画像を生成する黒塗り部と、
   前記黒塗り部により生成された黒塗り画像を圧縮する圧縮部をさらに備え、
   前記送信部は、前記圧縮部により圧縮された画像を全体矩形の画像として送信することを特徴とする請求項１に記載の情報通信装置。
3. 前記送信部は、全体矩形の画像と圧縮後の黒塗り画像とでデータの大きさを比較し、圧縮後の黒塗り画像のデータの大きさが小さい場合に圧縮後の黒塗り画像を送信し、圧縮後の黒塗り画像のデータの大きさが小さくない場合に全体矩形の画像を送信することを特徴とする請求項２に記載の情報通信装置。
4. 前記対象画像の解像度が所定の解像度より大きい場合に該対象画像の解像度と該所定の解像度との縦及び横の比率を算出する算出部をさらに有し、
   前記更新矩形は、前記算出部により算出された縦及び横の比率に基づいて補正された矩形であることを特徴とする請求項１〜３のいずれか一つに記載の情報通信装置。
5. 前記抽出部が更新矩形を１つも抽出できないことが所定の回数繰り返された場合に、前記送信部は、対象画像を送信することを特徴とする請求項２に記載の情報通信装置。
6. 画面がキャプチャーされた画像である対象画像を所定の大きさに分割して得られる複数のブロックのうち、１つ前の画像から変更があるブロックから変更箇所に基づいて更新矩形として抽出された矩形の情報と、更新矩形に基づいて全体矩形として特定された矩形の情報と、該全体矩形の画像の情報とをデータ連携の対象として相互認証を行った他の情報通信装置から受信する受信部と、
   前記受信部により受信された更新矩形の情報、全体矩形の情報及び全体矩形の画像の情報に基づいて更新矩形の画像を復元する復元部と、
   前記復元部により復元された更新矩形の画像で１つ前の画像の対応する矩形の画像を置き換えることで全体画像を生成する生成部と、
   前記生成部により生成された全体画像を表示装置に表示し、表示した画面上のタッチ操作から操作イベントを生成して前記他の情報通信装置に送信して該他の情報通信装置が該操作イベントに対応する操作を行う表示部と
   を有することを特徴とする情報通信装置。
7. 画面がキャプチャーされた画像である対象画像を所定の大きさの複数のブロックに分割し、
   分割により得られたブロック毎に１つ前の画像と比較し、
   比較の結果、１つ前の画像から更新箇所がある場合に該更新箇所に基づく更新矩形を各ブロックから抽出し、
   各ブロックから抽出された全ての更新矩形に基づく矩形を全体矩形として特定し、
   特定した全体矩形の画像と全体矩形の情報と更新矩形の情報とをデータ連携の対象として相互認証を行った情報通信装置に送信し、送信した全体矩形の画像と全体矩形の情報と更新矩形の情報とに基づいて前記情報通信装置で表示された画面上のタッチ操作から生成された操作イベントの情報を受け取って自装置に該操作イベントに対応する操作を行う
   処理をコンピュータに実行させることを特徴とするデータ連携プログラム。

Images