図1は、本実施形態の一実施形態である画像表示装置1の構成を示すブロック図である。本実施形態の画像表示装置1は、1つの主装置3、および1または複数の端末装置4を含む。画像表示装置1は、端末装置4に取り込まれた追加画像6の画像データを、主装置3によって表示することができる。図1では、画像表示装置1が1台の端末装置4を備える構成を例示しているが、2台以上の端末装置4が含んで構成されてもよい。
主装置3は、主側表示部10と、主側制御部12とを含む。端末装置4は、端末側表示部20と、端末側操作部21と、端末側制御部22とを含み、好ましくは撮影部23をさらに含む。主側表示部10は、画像を表示可能な主側表示面14を備える。主側制御部12は、主装置3に含まれる構成要素を制御する。端末側表示部20は、画像を表示可能な端末側表示面24を備える。端末側操作部21は、端末側表示面24内の位置を指示可能に構成される。端末側制御部22は、端末装置4に含まれる構成要素を制御する。撮影部23は、予め定める撮影範囲内の画像を撮影する。これらの主側制御部12および端末側制御部22は、中央演算処理装置(Central Processing Unit:略称CPU)によってそれぞれ実現される。
主側表示部10は、グラフィックコントローラ30と、主側表示面14およびマーカPを備える表示素子31とを含む。主側操作部11は、入力インタフェイス32と、タッチパネルインタフェイス33と、タッチパネル素子34とを含む。主側記憶部16は、画像表示プログラム8の主側プログラム18と、画像表示に係る各種のデータとが記憶される。端末側表示部20は、グラフィックコントローラ37と、端末側表示面24を備える表示素子38とを含む。端末側記憶部26には、画像表示プログラム8の端末側プログラム28と、画像表示に係る各種のデータとが記憶される。
図1の具体例では、前記主装置3は、主装置本体40と主側コントローラ41とを含んで構成される。主装置本体40は、主側操作部11のタッチパネル素子34と主側表示部10の表示素子31とを含んで構成される。主側コントローラ41は、主側制御部12と、主側表示部10のグラフィックコントローラ30と、主側操作部11の入力インタフェイス32およびタッチパネルインタフェイス33と、主側記憶部16と、主側通信部17とを含んで構成される。前記端末装置4は、アプリケーションプログラムをインストールして実行可能な汎用の携帯端末、より具体的には携帯電話機によって実現される。
主装置本体40は、操作者が目視可能な位置に配置され、操作者に情報を画像化して提示し、かつ操作者による操作を入力情報として受付ける機能を有する。このような主装置本体40は、たとえば電子ホワイトボードの本体部分によって実現される。
主側コントローラ41は、電子ホワイトボードなどとして実現される画像表示装置1の機能を主装置3に実行させるためのコントローラである。主側コントローラ41は、たとえば、動画および静止画の表示機能と、タッチパネル素子34から入力された文字および図形などのデータを図表化して、前述の動画および静止画との合成画像として表示させる機能と、無線通信機能とを含む各種機能を有する。主側コントローラ41は、たとえば、専用装置でなくてもよく、一般的なパーソナルコンピュータに主側コントローラ41を実現するためのプログラムをインストールして実行させることによって実現されてもよい。
主側表示部10の表示素子31は、主装置3側で情報を表示するための表示素子であり、詳しくは、主側コントローラ41から与えられる画像データを、画像として目視表示するためのデバイス、たとえば液晶ディスプレイ素子(Liquid Crystal Display:LCD)、有機エレクトロルミネッセンス(Electro-Luminescence:EL)素子、陰極線管、または投影型表示素子によって実現される。
主側表示部10のグラフィックコントローラ30は、動画および静止画などのデータを読み出して、表示素子31で表示するための画像データに変換し、主側表示部10の表示素子31に転送する。このような主側表示部10のグラフィックコントローラ30は、たとえば、パーソナルコンピュータのグラフィックカードよって実現され、カードに実装されたVRAM(Video Random Access Memory)から前記動画および静止画などのデータを読み出して画像データに変換し、主側表示部30の表示素子31に転送するように構成されている。
主側操作部11の入力インタフェイス32は、操作者が文字および図形などの入力ならびに画像表示装置1の動作指令などの各種の操作入力を行うためのユーザインタフェイスである。入力インタフェイス32の具体例としては、キーボード、マウス、およびタブレットが挙げられる。
主側操作部11のタッチパネル素子34は、操作者によるタッチ操作を検出するためのデバイスである。主側操作部11のタッチパネル素子34は、たとえば、主側表示部10の表示素子31の主側表示面14と重なる位置に設置される。主側操作部11のタッチパネル素子34は、主側表示部10の表示素子31の枠部分に、さらに設置されてもよい。主側操作部11のタッチパネル素子34は、操作者によるタッチ操作が検出可能であれば、どのような検出方式を用いてもよい。
主側操作部11のタッチパネルインタフェイス33は、主側操作部11のタッチパネル素子34からのデータを受信するためのインタフェイスである。タッチパネルインタフェイス33は、タッチパネル素子34からのデータを受信可能であれば、どのような方式が用いられてもよい。たとえば、タッチパネルインタフェイス33の方式として、USB(
Universal Serial Bus)、およびRS232C(Recommended Standard 232 C)が挙げられる。
主側記憶部16は、主装置3で用いられるアプリケーションプログラム、入力された文字のデータ、静止画のデータ、および動画のデータなどを記憶する。また主側記憶部16は、主装置3内の構成要素によって作業領域として利用されることもある。主側記憶部16は、揮発性または不揮発性の記憶装置によって実現される。具体的には、端末装置4から与えられた、後述の図2に示す追加画像6のデータおよび表示予定位置7のデータが、主側記憶部16に記憶される。
主側記憶部16に記憶される主側プログラム18は、汎用コンピュータによって主装置3を実現可能なアプリケーションプログラムとして構築される。主側プログラム18が実行されることによって、たとえば、静止画表示機能、動画表示機能、タッチパネルによる図形および文字の描画機能、無線通信による図形および文字の描画機能、ならびに入力インタフェイス32による図形および文字の描画機能が実現される。
前述したマーカPは、具体的には、予め定める形状の図形であって、たとえば主側表示部10の主側表示面14の枠に、印刷または彫刻などの手法によって、表示される。マーカPはまた、たとえば予め定める形状の部品として別途作成され、主側表示部10の主側表示面14の枠に取付けられてもよく、さらに主側表示面14内に配置自在に画像で表示される図形によって実現されてもよい。
主側通信部17は、端末装置4など、主装置3の外部機器との間の通信を行う。また端末側通信部27は、主装置3など、端末装置4の外部機器との間の通信を行う。主側通信部17および端末側通信部27の間の通信は、たとえば、主装置3と端末装置4との間で必要なデータが送受可能な方式であれば、どのような通信方式が用いられてもよい。たとえば、主側通信部17および端末側通信部27の間の通信方式として、Wi−Fi(
Wireless Fidelity)方式、Bluetooth(登録商標)方式、NFC(Near field
communication)方式が挙げられる。端末装置4の可搬性および携帯性を向上するために、主側通信部17および端末側通信部27の間の通信は、無線通信で行われることが好ましい。
端末側表示部20の表示素子38は、端末装置4側で情報を表示するための表示素子である。端末側表示部20のグラフィックコントローラ37は、動画および静止画などを含む入力された画像のデータを、表示素子38で表示するための画像データに変換して、端末側表示部20の表示素子38に転送する。
端末側表示部20の表示素子38は、情報表示が可能な構成であれば、どのような表示方式が用いられてもよい。たとえば、端末側表示部20の表示素子38は、液晶ディスプレイ素子(Liquid Crystal Display:LCD)、または有機エレクトロルミネッセンス(
Electro-Luminescence:EL)素子によって実現される。
端末側操作部21は、操作者が文字および図形などの入力ならびに画像表示装置1の操作を行うためのユーザインタフェイス(User Interface:UI)である。具体的には、操作者が文字および図形などを入力するためのインタフェイスである。端末側操作部21の具体例としては、キーボード、マウス、タブレット、およびタッチパネルが挙げられる。好ましくは、端末側操作部21の1つであるタッチパネルは、操作者が操作すべき操作面が、端末側表示部20の端末側表示面24に積重して配置される。
端末側記憶部26は、端末装置4で用いられるアプリケーションプログラム、入力された文字のデータ、静止画のデータ、および動画のデータなどを記憶する。また端末側記憶部26は、端末装置4内の構成要素によって作業領域として利用されることもある。端末側記憶部26は、揮発性または不揮発性の記憶装置によって実現される。具体的には、端末装置4側で画像表示に係る各種処理が実行される間、追加画像6のデータおよび表示予定位置7のデータが、端末側記憶部26に一時記憶される。
端末側プログラム28は、コンピュータを端末装置4として機能させるためのアプリケーションプログラムである。端末側プログラム28が実行されることによって、たとえば、主装置本体40の撮影機能、文字および図形を含む追加画像6の入力機能、ならびに追加画像6のデータを主装置3に送信する機能が実現する。
撮影部23は、撮影対象を静止画および動画で撮影して、その画像データを作成することができるカメラであって、撮影方式は、どのような方式が用いられてもよい。
前記画像表示装置1における主装置3および端末装置4を用いる画像表示手順は、以下の通りである。最初に、主側表示部10の主側表示面14の被処理領域15に表示すべき追加画像6のデータが、端末側制御部22によって準備される。被処理領域15は、主側表示部10の主側表示面14の少なくとも一部分である。
次いで、端末側制御部22は、被処理領域15の形状と相似する形状の相似図形25を、端末側表示部20の端末側表示面24に表示させる。続いて、端末側制御部22は、端末側表示面24内の相似図形25内に含まれる位置を、端末側操作部21を用いて操作者に指示させる。
続いて、端末側制御部22は、端末側表示面24内の相似図形25の位置と端末側表示面24内の指示された位置との相対関係に基づいて、追加画像6の主側表示面14内の表示予定位置7を定める。
次いで、追加画像6のデータおよび表示予定位置7のデータは、端末側制御部22から主側制御部12に与えられる。最後に、端末装置4から与えられた追加画像6のデータおよび表示予定位置7のデータに基づき、主側制御部12が、主側表示部10の主側表示面14内の被処理領域15内の表示予定位置7に、追加画像6を表示させる。
これによって、画像表示装置1は、主装置3の主側表示面14内の端末装置4で指定された表示予定位置7に、端末装置4から送信された追加画像6を表示することができる。
上述した画像表示装置1において、追加画像6のデータの送信から追加画像6の表示予定位置7の設定までの一連の処理を、端末装置4が独立して実行する。これに対し、前述した特許文献2の従来技術では、追加画像6のデータの準備を端末装置4が独立して実行し、主側表示面14への位置特定用の初期画像の表示を主装置3が実行し、初期画面の一部分の撮影および表示予定位置7である貼付け位置の設定を端末装置4が実行する。
このような従来技術に比べて、本実施形態は、主装置3に対して端末装置4が独立して実行する処理が多く、動作の独立性が高い。これによって、従来技術よりも本実施形態の画像表示装置1の操作上の自由度が高くなり、画像表示装置1の使い勝手を向上することができる。
たとえば、画像表示装置1は、1つの主装置3と複数の端末装置4とを備える構成であるとき、追加画像6の取込みおよび表示予定位置7の設定を各端末装置4がそれぞれ独立して実行し、各端末装置4で準備された追加画像6および表示予定位置7のデータを、1つの主装置3に送信して処理させることが可能である。これによって、たとえば、画像表示装置1を会議などにおける電子ホワイトボードシステムとして利用する状況下において、複数の参加者に端末装置4をそれぞれ配布して、各参加者に個々に情報を書込ませることが可能であり、かつ、個々の参加者が手元の端末装置4に情報を書込むタイミングが参加者相互に被っていても、各参加者が任意に書込み作業を支障なく行うことができるので、使い勝手が向上された電子ホワイトボードシステムを実現することができる。
また、前述の特許文献2の従来技術の画像表示システムでは、追加画像6の表示予定位置7の指定のために、操作者が主側表示面14に対して携帯端末を近接離反させ、あるいは上下左右に移動させて、主側表示面14に表示される初期画面の所望の一部分を、端末装置4側のカメラで撮影している。このため、操作者が表示画面に対して携帯端末を大きく移動させる必要があるため、操作者の操作が煩雑になる。
これに対して、画像表示装置1は、端末側表示面24に表示中の被処理領域15の相似図形25内の位置を端末側操作部21の操作によって指定するので、操作者は端末側表示面24を見ながら端末側操作部21を操作すればよく、端末装置4を振回す必要はない。これによって、従来技術に比べて本実施形態は、表示予定位置7の指定時の操作者の操作が簡略化される。
また、前述の特許文献2に記載される従来技術の画像表示システムでは、貼付け画像の表示予定位置7の指定のために、主側表示面14の最新の表示内容を一旦消去して初期画面を表示する。これによって従来技術の画像表示システムでは、表示予定位置7の指定時に直近の主側表示面14の表示内容を操作者が目視確認することが難しい。これに対し、本実施形態の画像表示装置1においては、端末装置4側での表示予定位置7の指定手順実行中も主側表示面14の直近の表示内容が保持されるため、操作者が直近の表示内容を確認しながら表示予定位置7の指定手順を進めることができる。これによって、従来技術に比べて本実施形態の画像表示装置1は、使い勝手が向上される。
画像表示装置1において、表示予定位置7の指定時に端末側表示面24に表示される被処理領域15の相似図形25は、たとえば、端末装置4の端末側記憶部26に予め形状が記憶されている。端末装置4に撮影部23が含まれるとき、好ましくは、被処理領域15の相似図形25として、主装置3の主側表示面14の撮影部23による撮影画像の中から主側表示面14の写る部分を抽出した図形が用いられる。
このために、端末装置4に撮影部23が含まれるとき、詳しくは、相似図形25内の位置の指示に先立って、以下の手順で、前述した被処理領域15の相似図形25が表示される。最初に、端末側制御部22が、主側表示面14の被処理領域15を含む撮影範囲内の画像を、撮影部23に撮影させる。次いで、端末側制御部22が、撮影部23によって撮影された画像から、被処理領域15の相似図形25を抽出する。最後に、抽出された被処理領域15の相似図形25を、端末側表示部20の端末側表示面24に表示させる。表示後、表示された相似図形25内の位置の指示が行われる。
これによって、画像表示装置1において、直近の主側表示面14の被処理領域15の表示内容が、表示予定位置7指定用の相似図形25の内容として、端末側表示面24に表示される。すなわち、表示予定位置7指定時に、主側表示面14の被処理領域15の直近の表示内容が、操作者の手元の端末側表示面24に反映される。これによって、操作者が主側表示面14に視線を向けることなく端末側表示面24を目視するだけで、主側表示面14の直近の表示内容を操作者が確認しながら追加画像6の表示予定位置7を指定することができる。したがって、画像表示装置1の使い勝手が、さらに向上される。
また画像表示装置1が被処理領域15の形状が随時変更可能な構成であるならば、表示予定位置7の指定時に被処理領域15を撮影抽出して得られる相似図形25を端末側表示面24に表示することによって、被処理領域15の最新の形状および表示内容が端末側表示面24の相似図形25に常に反映される。これによって、端末側表示面24を目視するだけで操作者が被処理領域15の形状変化に自然に対応することが可能となり、画像表示装置1の使い勝手がさらに向上される。
また画像表示装置1において、撮影部23による撮影画像から被処理領域15の相似図形25が抽出表示される状況下において、好ましくは、主装置3の主側表示部10が、主側表示面14の被処理領域15を把握するための複数のマーカPをさらに含む。前述の状況下において、主側表示面14に複数のマーカPが表示されるので、端末側制御部22は、撮影部23による撮影画像の中から複数のマーカPを検出し、検出された複数のマーカPが示す領域を被処理領域15の相似図形25として抽出することができる。
これによって、画像表示装置1において、撮影画像からの被処理領域15の相似図形25の抽出を、端末側制御部22が容易かつ確実に実行することができる。たとえば、主側表示部10の被処理領域15が適宜変形可能であるときに、形状変更後の被処理領域15の相似図形25の撮影画像からの抽出が容易かつ確実になる。またたとえば、画像表示装置1の機種などの構成の変更に伴って、被処理領域15の形状が変更されでも、機種変更後の被処理領域15の相似図形25の撮影画像から容易かつ確実に行うことができる。
さらにまた画像表示装置1において、撮影部23による撮影画像から被処理領域15の相似図形25が抽出表示される状況下において、主側表示面14が複数のマーカPを含むので、端末側制御部22は、撮影部23による撮影画像の中から複数のマーカPを検出し、検出された複数のマーカPの相互の位置関係のずれ幅が予め定める許容幅以下であるとき、検出された複数のマーカPが示す領域を被処理領域15の相似図形25であると判断し、該領域を相似図形25として抽出し表示する。
これによって、画像表示装置1は、主側表示面14の被処理領域15の実際の形状に対する歪みが許容範囲内である該被処理領域15の相似図形25を、表示予定位置7の指定に用いることができる。
画像表示装置1において、主側表示面14の相似図形25が主側表示面14の実際形状よりも大きく歪んでいるとき、歪んだままの相似図形25を基準に表示可能位置や画像サイズの指定を行うと、追加画像6を実際に主側表示面14に表示した際の位置やサイズが、操作者が望む位置やサイズに対してずれ易い。このため、画像表示装置1は、ずれを防ぐために、マーカPを用いて相似図形25の歪みの判定を行い、歪みが許容範囲内の相似図形25だけを表示予定位置7の指定に用いる。これによって、主側表示面14へ追加画像6を実際に表示した際の追加画像6の位置およびサイズなどが操作者の希望の位置およびサイズから大きくずれることを、防止することができる。これによって、画像表示装置1の使い勝手が、さらに向上される。
また画像表示装置1において、好ましくは、端末側制御部22が、追加画像6および表示予定位置7のデータ送付に先立って、端末側表示部20の端末側表示面24に表示中の被処理領域15の相似図形25内の端末側操作部21から指示された位置に、追加画像6を重ねて表示させる。すなわち、端末装置4において、表示予定位置7の確定前に、所謂プレビュー表示として、被処理領域15の相似図形25内の端末側操作部21から指示される位置に、追加画像6が重ねて仮表示される。これによって、画像表示装置1は、主側表示面14の表示予定位置7に追加画像6が表示される予想状態を仮表示するための所謂プレビュー表示を、端末側表示面24で行うことができる。
画像表示装置1において、端末側表示面24にてプレビュー表示を行う状況下では、操作者は、表示予定位置7の指定に際し、現在の位置指定に応じて主側表示部10で追加画像6が追加表示される予想状態を把握することができるため、表示予定位置7の調整が容易であるので、画像表示装置1の使い勝手が向上する。。
また前記状況下ではプレビュー表示が端末側表示面24で行われるので、表示予定位置7の指定のために端末側表示面24を見ている状態から、視線を端末側表示面24から外すことなく、前記予想状態を把握することができる。これゆえ、主側表示面14にてプレビュー表示を行う従来技術に比べて本実施形態は、プレビュー表示を伴う表示予定位置7指定時の視点移動が少ないため、前記従来技術比べて本実施形態は、使い勝手が向上される。
また直近の主側表示面14を撮影した画像から抽出された相似図形25が端末側表示面24に表示されているとき、前記状況下において、主側表示面14の直近の表示状況に追加画像6を仮に追加表示させたプレビュー画像が表示されるため、追加画像6の追加に伴う主側表示面14の表示内容の変更状況をより正確に操作者が把握することができる。これによって、追加画像6の追加状態を、操作者がより的確に制御することができるため、使い勝手がさらに向上される。
さらにまた画像表示装置1において、好ましくは、端末側制御部22が、被処理領域15内の表示予定位置7を、被処理領域15の大きさに対する割合で表す。表示予定位置7が被処理領域15の大きさに対する割合で表される状況下において、主側制御部12が、端末装置4から与えられた表示予定位置7のデータと主側表示面14の予め定める画面解像度とに基づいて、主側表示面14の被処理領域15内の表示予定位置7の絶対座標を算出し、主側表示面14の被処理領域15内の算出された絶対座標が示す位置に、追加画像6を表示させる。
このように、画像表示装置1において、表示予定位置7のデータの表記手法にとして前記割合が用いられるため、主側表示面14の画面解像度が端末装置4からの表示予定位置7のデータの表記手法に影響を与えない。すなわち、端末側制御部22における表示予定位置7の指定手法が、主側表示面14の画面解像度に関わりなく、常に所定の計算手法に保たれる。これによって、主側表示面14の画面解像度の変更が容易であるので、汎用性が向上される。
また表示予定位置7のデータの表記手法として被処理領域15の大きさに対する割合が用いられるため、主側表示面14の最新の画面解像度と前記割合で表現されている表示予定位置7のデータとに基づいて、追加画像6を表示すべき絶対座標を容易に取得可能である。これによって、前記絶対座標の取得の手間が軽減され、画像表示装置1の使い勝手がさらに向上される。
さらにまた画像表示装置1において、好ましくは、端末側制御部22が、追加画像6の縮小拡大の指示を、操作者に端末側操作部21を用いて指示させる。端末側操作部21からの縮小拡大の指示に応答して、端末側制御部22が、追加画像6を縮小拡大し、縮小拡大された追加画像6のデータおよび表示予定位置7のデータを、端末装置4から主装置3に与える。これによって、所望の大きさの追加画像6を主側表示部10に表示させることができるので、画像表示装置1の使い勝手がさらに向上される。
また特許文献2に記載される従来技術の画像表示システムでは、表示予定位置7の指定のために主側表示面14に表示される初期画面の所望の一部分を端末装置4側のカメラで撮影する際に、追加画像6の拡大縮小のために、操作者が主側表示面14に対して携帯端末を近接離反させている。このため、操作者が表示画面に対して携帯端末を大きく移動させる必要があるため、従来技術の画像表示システムの操作がさらに煩雑になる。
これに対して、画像表示装置1は、端末側操作部21を用いた縮小拡大の指示に応答して、追加画像6の縮小拡大を制御するので、操作者は端末側表示面24を見ながら端末側操作部21を操作すればよく、端末装置4を振回す必要はない。これによって、縮小拡大指示時の操作者の操作が簡略化される。これによって、画像表示装置1の使い勝手がさらに向上される。
また上述した画像表示装置1は、上述の主装置3および端末装置4を備えるコンピュータに、上述の画像表示手法を実現するための画像処理プログラムを実行させることによって、実現されてもよい。具体的は、画像表示プログラム8は、上述の追加画像6のデータを端末装置4側で撮影またはダウンロードするなどして準備させるステップと、被処理領域15の相似図形25を端末側表示面24に表示させるステップと、端末側表示面24内の相似図形25の中の位置を端末側操作部21から指示させるステップと、端末側表示面24内の相似図形25と端末側表示面24内の指示された位置との相対関係に基づいて、追加画像6の主側表示面14内の表示予定位置7を定めるステップと、追加画像6のデータおよび表示予定位置7のデータを端末装置4から主装置3に与えるステップと、端末装置4から与えられた追加画像6および表示予定位置7のデータに基づき、主側表示部10の主側表示面14内の被処理領域15内の表示予定位置7に追加画像6を表示させるステップとを含む。
前述の画像表示プログラム8をコンピュータによって実行することによって、主側表示部10と主側制御部12とを備える汎用の主装置3、および端末側表示部20と端末側操作部21と端末側制御部22とを備える汎用の端末装置4を含む汎用画像表示システムにおいて、画像表示装置1を実現することができる。画像表示プログラム8を汎用画像表示システムによって実行させることによって、該システムの画像表示に係る操作性を従来技術に比べて向上し、該システムの使い勝手を向上することができる。
特に、携帯電話端末などの汎用の端末装置が画像表示装置1の端末装置4として用いられるとき、操作者の手元の汎用端末装置4を用いて主装置3の主側表示面14に表示すべき情報の入力を行うことができる。すなわち、汎用端末装置にプログラム8を実行させればよいので、専用の端末装置を用意する必要がなくなる。これによって、画像表示装置1を容易に実現することができる。
画像表示プログラム8を実行するためのコンピュータシステムとして、具体例の1つとして、たとえば、通信機能を有した電子ホワイトボード本体と通信機能を有した汎用の携帯端末とを含むコンピュータシステムが挙げられる。通信機能を有した汎用の携帯端末は、たとえば、スマートフォンなどに代表される汎用の携帯電話端末が挙げられる。
汎用の携帯端末は、一般的に、画像が表示可能な表示面を備えた表示部、表示面内の位置を指定可能な操作部、画像の撮影部23、端末装置4内の構成要素を制御する制御部、および携帯端末の外部と通信するための通信部とを含む。このため、汎用の携帯端末に画像表示プログラム8の端末側プログラム28をインストールして実行させることによって、端末装置4を容易に実現することができる。
また汎用の携帯端末は、表示部と撮影部と操作部とデータ送受の構成とを標準装備しているため、端末側プログラム28実行のために構成を追加する必要がない。これによって、汎用端末装置を画像表示装置1の端末装置4として用いることは容易である。したがって、端末装置4の追加が容易であるため、画像表示装置1の使い勝手が向上される。
また同様に、汎用の電子ホワイトボード本体は、一般的に、画像が表示可能な表示面を備えた表示部、表示面内の位置を指定可能な操作部、および端末装置4内の構成要素を制御する制御部を含む。このため、本体外部と通信するための通信部を汎用の電子ホワイトボード本体にさらに備えさせ、汎用電子ホワイトボード本体に画像表示プログラム8の主側プログラム18をインストールして実行させることによって、主装置3を容易に実現することができる。
一例としては、画像表示装置1が会議などに用いられるとき、画像表示装置1の主装置3だけが用意され、かつ、会議の参加者が個々に所有する汎用携帯端末に画像表示プログラム8の端末側プログラム28がインストールされていれば、単一台の主装置3と会議の参加者分の端末装置4とを含む画像表示装置1が実現可能である。これによって、会議の主催側が端末装置4を参加者人数分だけ用意しなくとも、会議の参加者が個々に端末装置4を利用して、汎用端末装置を主装置3への情報入力に用いることが可能である。これによって、参加者全員分の専用端末装置4を別途用意する必要がなくなる。したがって、画像表示プログラム8の使い勝手が向上される。
画像表示装置1では、端末装置4側で用意される追加画像6のデータとして、端末装置4においてテキスト入力、手書き入力、または図形入力によって入力される文字または図形などの要素を画像化したものが用いられている。追加画像6のデータは、文字や図形などの要素を含むデータに限らず、端末装置4側で用意される画像データであれば、画像の種類や入手手法などは他のものであってもよい。たとえば、端末装置4のタッチパネルに描画された図形のデータ、端末装置4の撮影部23で撮影された写真のデータ、外部から端末装置4にダウンロードされた既存の画像データなどが挙げられる。
図1の具体的な構成例を、以下に説明する。図1の具体例の画像表示装置1において、主装置3は、好ましくは、主側表示部10と主側制御部12との他に、主側操作部11と主側記憶部16と主側通信部17とを含む。また端末装置4は、好ましくは、端末側表示部20と端末側操作部21と端末側制御部22と撮影部23との他に、端末側記憶部26と端末側通信部27とを含む。
図2は、画像表示装置1における追加画像6の貼付け手順を説明するための模式図である。
図2の貼付け手順の具体例は、画像処理プログラム8の端末側プログラム28を汎用携帯端末にインストールして実行することによって、画像表示装置1の端末装置4が実現される構成における貼付け手順の具体例を示す。また図2の貼付け手順の具体例において、端末側操作部21が座標を指示するための端末側操作面を有するタッチパネルによって実現されており、かつ、該端末側操作面が端末側表示部20の端末側表示面24に重ねられ、該タッチパネルがマルチタッチ操作に対応している構成を示す。
第1ステップとして、画像表示装置1の端末装置4が起動される。具体例としては、汎用携帯端末に予めインストールされている画像処理プログラムの端末側プログラム28が、操作者からの指示に応答して起動される。
第2ステップとして、端末装置4起動後、画像表示装置1の主装置3に表示すべき追加画像6のデータが、端末装置4側で準備される。端末装置4側での追加画像6のデータの準備は、たとえば端末装置4が携帯電話端末である場合には、その携帯電話端末に装備されるカメラで撮像対象を撮像することによって得られた画像データであってもよく、当該携帯電話端末がインターネットを介して取得した画像データであってもよく、さらに当該該携帯電話端末に外部メモリから取り込まれた画像データであってもい。前記外部メモリは、当該該携帯電話端末と分離可能に構成される記録媒体であって、たとえば磁気テープ/カセットテープなどのテープ系の記録媒体、フロッピー(登録商標)ディスクなどの磁気ディスクのディスク系の記録媒体、フレキシブルディスク/ハードディスクなどの磁気ディスクもしくはCD−ROM(Compact Disk Read Only Memory)/MO(Magneto
Optical disk)/MD(Mini Disk)/DVD(Digital Versatile Disk)などの光ディスクのディスク系の記録媒体、IC(Integrated Circuit)カード(メモリカードを含む)/光カードなどのカード系の記録媒体、またはマスクROM/EPROM(Erasable
Programmable Read Only Memory)/EEPROM(Electrically Erasable
Programmable Read Only Memory)/フラッシュROMなどの半導体メモリを含む固定的にプログラムを担持する記録媒体であってもよい。
具体例としては、図2(A)に示すように、まず、操作者による端末側操作部21の操作によって、表示すべき情報を表す文字や図形を含む図形要素が、端末装置4に入力される。図形要素の入力は、たとえば、所謂テキスト入力、手書き文字入力、および図形入力のいずれであってもよく、複数種類の入力が組合わされてもよい。図形要素の入力完了後、操作者は、図形要素入力の完了を示すために、予め用意されている決定ボタンを操作する。決定ボタンの操作に応答し、決定ボタンの操作時点までに入力された1以上の図形要素を表すデータが、追加画像6のデータとして、以後の処理で取扱われる。
追加画像6のデータは、たとえば、文字や図形を含む1以上の図形要素を表す所謂文字コードの集合であってもよく、1以上の図形要素の組合わせを画像化した画像のデータであってもよい。これらに限らず、追加画像6のデータは、端末装置4側で用意できるのであれば、たとえば、撮影部23が撮影した画像のデータであってもよく、端末側通信部27を介して端末装置4外部から入手した画像のデータであってもよい。この他、主側表示面14で目視可能な画像のデータに変換可能な形式であれば、端末装置4において取扱われる追加画像6のデータの形式は、どのようなものであってもよい。
決定ボタンは、たとえば、ボタン状のアイコンとユーザインタフェイスとを組合わせたグラフィカル ユーザインタフェイスで実現される。また決定ボタンは、キースイッチなどのハードウェアキーによって実現されてもよい。
第3ステップとして、追加画像6のデータ用意後、主装置3の主側表示部10の主側表示面14内の予め定める被処理領域15を表す該被処理領域15の相似図形25が、端末装置4の端末側表示部20の端末側表示面24に表示される。
具体例としては、送信ボタン操作後、端末側制御部22は、撮影部23を自動的に起動させる。撮影部23を起動後、たとえば図2(B)に示すように、撮影部23が撮影可能な予め定める撮影可能範囲の画像の撮影処理と、撮影された画像からのマーカPの検出処理とを、マーカPが検出されるまで、端末側制御部22が繰返し実行する。
たとえば、図2(C)に示すように、撮影部23が撮影した最新の画像内から主側表示面14の被処理領域15の4隅のマーカPが全て検出されるとき、主側表示面14が該最新の画像内に写っていると判断され、4つのマーカPで示される図形が被処理領域15の相似図形25に相当する。マーカPの検出後、端末側制御部22は、撮影部23の画像撮影の更新を停止させ、撮影された最新の画像内から、4つのマーカPで示される図形を、被処理領域15の相似図形25として抽出する。
相似図形25を抽出後、端末側制御部22は、抽出された被処理領域15の相似図形25を端末側表示面24に表示させる。好ましくは、たとえば、図2(D)に示すように、端末側制御部22は、端末側表示面24において相似図形25が表示可能な領域内に、該表示可能な領域内で該相似図形25が最も大きく表示されるように、抽出された相似図形25を縮小または拡大して表示させる。図2の例では、端末側表示面24には前述の送信ボタンが表示されるため、該送信ボタンの表示される領域以外の残余領域が前記表示可能な領域として設定され、該表示可能な領域内で最も大きく表示される大きさで、抽出された相似図形25が表示される。
第4ステップとして、被処理領域15の相似図形25の表示後、主側表示面14内において追加画像6を貼付けるべき表示予定位置7が、操作者によって指定される。また第4ステップでは、追加画像6の縮小拡大の指定も行われる。
具体例としては、たとえば、図2(E)に示すように、主側表示面14の被処理領域15内の追加画像6を貼付けたい位置に当たる相似図形25内の位置において、端末側操作部21のタッチパネルを操作者がタップする。操作者によるタップ操作に応答して、端末側制御部22は、タッチパネルのタップ操作された位置に対応する端末側表示面24内の位置に、追加画像6をプレビュー表示させる。タップ操作とは、指やペンなどの指示具を用いてタッチパネルの所望の1点を押下する操作である。
追加画像6のプレビュー表示後、図2(F)に示すように、端末側制御部22は、追加画像6のプレビュー表示に対する操作者によるドラック操作に応答して、追加画像6のプレビュー表示を端末側表示面24内で移動させる。ドラッグ操作とは、指やペンなどの指示具を用いて、タッチパネルの1点を指示具で押下し、かつ指示具でタッチパネルの1点を押下したまま、指示具の押下位置を移動させる操作である。
また追加画像6のプレビュー表示後、図2(G)に示すように、端末側制御部22は、追加画像6のプレビュー表示に対する操作者によるピンチ操作に応答して、追加画像6のプレビュー表示を縮小拡大させる。ピンチ操作とは、2つの指示具を用いてタッチパネルの2点をそれぞれ押下し、かつ指示具でタッチパネルの2点をそれぞれ押下したまま、各指示具の押下位置を近接または離反させる操作である。
端末側表示部20において被処理領域15の相似図形25に対する追加画像6のプレビュー表示の位置および大きさが、操作者が望む被処理領域15内の追加画像6の表示状態と相似になった時点で、操作者は、表示予定位置7および追加画像6の縮小拡大の指示完了を示すために、予め用意されている送信ボタンを操作する。
送信ボタンの操作に応答し、送信ボタンの操作時点における相似図形25に対する追加画像6のプレビュー表示の位置が、被処理領域15に対する追加画像6の表示予定位置7として取得される。また送信ボタンの操作時点における相似図形25に対する追加画像6のプレビュー表示の大きさが、被処理領域15に対する追加画像6の大きさとして取得される。取得された追加画像6の大きさには、追加画像6の縮小拡大の指示および縮小拡大の割合が反映されている。
追加画像6の表示予定位置7は、好ましくは、被処理領域15の大きさに対する割合で示される。すなわち、被処理領域15の内部の位置がX座標およびY座標を含む2次元座標で表される場合、被処理領域15の左上隅の座標が(0,0)に設定され、かつ被処理領域15の右下隅の座標が(1,1)に設定されていれば、被処理領域15内の表示予定位置7のX座標データおよびY座標データが0以上1以下の値で表される。
第5ステップとして、表示予定位置7の指定後、追加画像6のデータおよび表示予定位置7のデータが、端末側制御部22から主側制御部12へ送信される。
具体例としては、たとえば、最初に、追加画像6のデータと、追加画像6の表示予定位置7のデータとが、送信すべきデータとして用意される。追加画像6のデータは、該追加画像6の内容を示す文字のコードを含むテキストデータであってもよく、画像の内容を示すベクタイメージのデータであってもよく、該追加画像6を画像化したラスタイメージのデータであってもよい。表示予定位置7のデータは、好ましくは、前述したような、被処理領域15の大きさに対する割合で示される。
次いで端末側制御部22は、主装置3の主側通信部17に対する無線通信の接続要求を、端末側通信部27を用いて無線発信する。端末側通信部27からの無線通信の接続要求が主側通信部17に受信されると、無線通信の接続要求に対する許可を、主側制御部12が主側通信部17を用いて無線発信する。これらの信号送受の結果、端末側通信部27と主側通信部17との間で無線通信の接続が確立される。
無線通信の接続確立後、端末側制御部22は、追加画像6のデータおよび表示予定位置7のデータを含む送信すべきデータを、無線通信を用いて送信する。データ送信に応答し、主側制御部12は、無線通信を用いて送信されてきた前記送信すべきデータを、受信する。
第6ステップとして、主側表示部10の主側表示面14の被処理領域15内の表示予定位置7に、送信された内容および大きさの追加画像6が表示される。
具体例としては、主側制御部12は、主側表示面14の画面解像度と被処理領域15の形状および大きさと送信された表示予定位置7のデータとに基づき、追加画像6を表示すべき主側表示面14内の絶対座標を算出する。具体例としては、表示予定位置7のX座標データおよびY座標データが0以上1以下の値で表され、被処理領域15が主側表示面14全体である場合、表示予定位置7のX座標データおよびY座標データと主側表示面14の画面解像度のX軸方向成分およびY方向成分との積が、表示予定位置7の絶対座標として算出される。すなわち、主側表示面14の画面解像度が「1920×1080」であれば、表示予定位置7のX座標データが1920倍され、かつ、表示予定位置7のY座標データが1080倍される。
絶対座標算出後、主側制御部12は、主側表示面14内の算出された絶対座標の位置に、受信された追加画像6を、主側表示面14に現在表示されている画像に重ねて表示する。すなわち、主側表示面14に現在表示中の画像に追加画像6が前記絶対座標の位置で合成され、合成された画像が主側表示面に表示される。
以上の手順によって、画像表示装置1は、端末装置4で用意された追加画像6を、主装置3の主側表示面14に表示させることができる。したがって、画像表示装置1の操作性が向上するため、画像表示装置の使い勝手が向上する。
図3は、画像表示装置1において、撮影部23による撮影画像からマーカPを用いて被処理領域15の相似図形25が抽出される状況下において、検出されたマーカPの位置関係の判定手順を説明するための模式図である。
図3の例では、撮影部23によって撮影された矩形の画像に、画像の四隅のいずれかを原点とするXY二次元座標系が設定されており、検出されたマーカPの位置は、撮影された画像内の二次元座標系の座標によって表されている。図3の例では、二次元座標系の原点は左上隅であり、左から右に進むほどX座標が増大し、上から下に進むほどY座標が増大する。
概略的には、撮影部23による撮影画像から、予め定めるマーカPの色を有する点が、マーカPの候補点として抽出される。各候補点において、候補点を含みかつマーカPの所定色を有する範囲の形状がマーカPの予め定める形状であるならば、該範囲にマーカPが写っていると判断される。4つのマーカPが検出される場合、検出された各マーカPの相互の位置関係のずれ幅が予め定める許容幅以下であるならば、検出された複数のマーカPが示す領域が被処理領域15の相似図形25であると判断される。
詳しくは、4つのマーカPのうち、位置を表すX座標X1およびY座標Y1の両方が最小である第1マーカP1を基準として、残りの3つの第2〜第4マーカP2〜P4が以下の基準を見たす場合、第1〜第4マーカPの相互の位置関係のずれ幅が予め定める許容幅以下であると判断される。第2マーカP2は、第1マーカP1のX座標X1と第2マーカP2のX座標X2とのずれ幅|X2−X1|が予め定めるX軸側ずれ幅dx以内である条件を満たす。第3マーカP3は、第2マーカP2のY座標Y2と第3マーカP3のY座標Y3とのずれ幅|Y3−Y2|が予め定めるY軸側ずれ幅dy以内である条件を満たす。第4マーカP4は、第3マーカP3のX座標X3と第4マーカP4のX座標X4とのずれ幅|X4−X3|が予め定めるX軸側ずれ幅dx以内である条件を満たす。
図3(A)は、第1マーカP1を基準として、第2マーカP2〜第4マーカP4が全て条件を満たす例を示す模式図である。図3(A)の例は、第1〜第4マーカP1〜P4の相互の位置関係のずれ幅が予め定める許容幅以下であると判断され、検出された第1〜第4マーカP1〜P4が示す領域が被処理領域15の相似図形25であると判断される。
これに対し、図3(B)は、第1マーカP1を基準として、第2マーカP2〜第3マーカP3は条件を満たすが、第4マーカPが条件から外れている例を示す模式図である。図3(B)の例は、第1〜第4マーカP1〜P4の相互の位置関係のずれ幅が予め定める許容幅を超えると判断され、被処理領域15の相似図形25が抽出できないと判断される。
このように、画像表示装置1において、相似図形25抽出時に、複数のマーカPの相互の位置関係のずれ幅が許容幅以内であるときだけ、相似図形25の抽出が許容される。すなわち、画像表示装置1は、相似図形25の抽出時に、マーカPを用いた相似図形25の台形判断を行う。この結果、画像表示装置1において、主側表示面14の実際形状よりも大きく歪んだ相似図形25の抽出が防止される。
このような台形判断を行うのは、主側表示面14の実際形状よりも大きく歪んでいる相似図形25を基準に表示可能位置や画像サイズの指定を行うと、追加画像6を主側表示面14に実際に表示する際の位置やサイズが、利用者が望む位置やサイズに対してずれ易いためである。このため、追加画像6の表示時における位置やサイズのずれを防ぐため、表示可能位置や画像サイズの指定の基準と成る相似図形25から、歪んだ相似図形25を排除することが好ましい。
また画像表示装置1において、マーカPの位置関係が許容範囲外であるとき、主側表示面14の撮影がやり直される構成になっている。撮影のやり直しに際しては、好ましくは、端末側制御部22が、操作者に端末装置4の角度調整を促すなどの手順によって、カメラの角度調整を行う。これによって、歪んだ相似図形25に起因する追加画像6表示時の位置などのずれが防止される。
また画像表示装置1において、マーカPの相互の位置関係が許容範囲内にあるか否かの判定に用いられるずれの許容幅(dx,dy)は、主側表示面14の実際形状に対して撮影画像から得られる主側表示面14の相似図形25の形状が歪んでいるときに、実際形状に対する相似図形25の変形率の許容範囲などから求められる。ずれの許容幅(dx,dy)は、主装置本体40の実際の設置状態を想定し、主装置本体40から最も近く、かつ変形率の大きい位置から撮影部23が主側表示面14を撮影した状態で得られる相似図形25を許容可能な範囲に成るように設定される。たとえば、図3(C)に示すように、主装置本体40の前方に机などの物体43が設置される状況下において、物体43の側方であって主装置本体40に最も近い位置44から主装置本体40を撮影して得られる相似図形25を許容可能な許容幅が、ずれの許容幅(dx,dy)として適用される。
図4は、画像表示装置1を実現するための画像表示プログラム8において、端末装置4を実現するための端末側プログラム28のメインルーチンを説明するためのフローチャートである。端末側プログラム28がインストールされる端末装置4において、端末装置4で用意される追加画像6の主側表示面14への表示が指示される状況下で、ステップS0からステップS1に進む。
ステップS1では、図2において第1ステップとして説明したように、操作者からの指示に応答して、画像表示装置1の端末装置4が起動される。具体例としては、汎用携帯端末に予めインストールされている画像処理プログラムの端末側プログラム28が、操作者による操作に応答して起動される。端末側プログラム28は、たとえば、端末装置4を実現する汎用携帯端末全体のプログラムにおいて、他のプログラムと並列実行される割込み処理として機能する。
端末装置4の起動後、ステップS2では、図2において第2ステップとして説明したように、画像表示装置1の主装置3に表示すべき追加画像6を、端末側制御部22が用意する。追加画像6の用意手法としては、たとえば、図2(A)で説明したように、所謂テキスト入力、手書き文字入力、および図形入力などの手法が用いられる。
追加画像6の用意後、ステップS3では、図2において第3ステップとして説明したように、端末側制御部22が、主装置3の主側表示面14内の被処理領域15の相似図形25を、撮影部23が撮影した画像から抽出し、抽出された相似図形25を端末装置4の端末側表示面24に表示させる。相似図形25の抽出手法としては、図2(B)〜図2(C)に示すように、撮影された画像からのマーカPの検出と、検出されたマーカPが示す図形の抽出とを含む。相似図形25の表示手法としては、図2(D)に示すように、端末側表示面24内の相似図形25が表示可能な領域内において相似図形25が最も大きく表示されるように、抽出された相似図形25が縮小拡大されて表示される。
相似図形25の抽出表示後、ステップS4では、図2において第4ステップとして説明したように、主側表示面14の被処理領域15内において追加画像6を貼付けるべき表示予定位置7を、端末側制御部22が操作者に指定させる。また第4ステップでは、追加画像6の縮小拡大の指定も行われる。表示予定位置7の指定手順は、図2(E)〜図2(G)に示すように、端末側表示面24に表示中の相似図形25内で操作者が指定した位置への追加画像6のプレビュー表示と、プレビュー表示を伴う追加画像6の縮小拡大とを含む。表示予定位置7のデータは、好ましくは、被処理領域15の大きさに対する割合で表される。
表示予定位置7の指定後、ステップS5では、図2において第5ステップとして説明したように、端末側制御部22は、追加画像6のデータおよび表示予定位置7のデータを、端末側通信部27から主装置3の主側通信部17へ送信させる。データ送信後、ステップS6で端末側プログラム28のメインルーチンが終了する。
図5は、画像表示装置1を実現するための画像表示プログラム8において、主装置3を実現するための主側プログラム18のメインルーチンを説明するためのフローチャートである。
主装置3において、端末装置4からの追加画像6の表示が許容される状況下であれば、ステップQ0からステップQ1に進む。主側プログラム18は、たとえば、主装置3全体のプログラムにおいて、他のプログラムと並列実行される割込み処理として機能する。
ステップQ1では、主側制御部12が、いずれかの端末装置4から送信される追加画像6のデータおよび表示予定位置7のデータを、主側通信部17を用いて待受ける。前述の図2の第5ステップで説明したように、いずれかの端末装置4の端末側通信部27から追加画像6のデータおよび表示予定位置7のデータが送信されたとき、送信されたデータが主側通信部17を用いて受信される。
ステップQ2では、主側制御部12が、端末装置4からの追加画像6のデータおよび表示予定位置7のデータを受信したか否かを判断する。データが受信されていないと判断されるとき、ステップQ2からステップQ1に戻る。端末装置4からの追加画像6のデータおよび表示予定位置7のデータが受信されるまで、ステップQ1〜ステップQ2の処理が繰返される。ステップQ2でデータが受信されたと判断されるとき、ステップQ2からステップQ3に進む。
ステップQ3では、図2において第6ステップとして説明したように、主側制御部12は、受信されたデータに基づき、主側表示部10の主側表示面14の被処理領域15内の表示予定位置7に、送信された内容および大きさの追加画像6を、現在表示中の画像に重ねて表示させる。
画像表示後、ステップQ3からステップQ1に戻る。ステップQ1からステップQ3の処理は、端末装置4からの追加画像6の表示が許容される状況下において繰返される。この結果、1台以上の端末装置4からの追加画像6の追加表示が可能になる。以上が図5のフローチャートの処理の説明である。
以上説明した図4および図5のフローチャートの処理を端末装置4および主装置3にそれぞれ実行させることによって、画像表示装置1が機能する。これによって、画像表示装置1の動作の自由度が向上するため、画像表示装置1の使い勝手を向上させることができる。
図6は、画像表示プログラム8における図4の端末側プログラム28のメインルーチン内のステップS2で実行される追加画像6の用意手順のサブルーチンを説明するためのフローチャートである。
端末側プログラム28の実行時にステップS2が実行されると、ステップB0からステップB1に進む。ステップB1では、図2(A)で説明したように、画像のデータを、端末側制御部22が操作者に入力させる。すなわち、キーボードやタッチパネルなどの端末側操作部21を用いて、操作者がテキストや手書き文字などを入力する。
追加画像6の入力後、ステップB2では、操作者は、追加画像6入力の完了を示すために、図6のサブルーチン開始時から予め用意されている決定ボタンを操作する。決定ボタンの操作に応答し、端末側制御部22は、送信ボタンの操作時点までに入力された画像のデータを、追加画像6として、以後の処理で取扱う。追加画像6取得後、ステップB3でサブルーチンを終了し、図4のステップS3に進む。以上で、図6のサブルーチンが終了する。
図7は、画像表示プログラム8における図4の端末側プログラム28のメインルーチン内のステップS3で実行される被処理領域15の相似図形25の抽出手順のサブルーチンを説明するためのフローチャートである。
端末側プログラム28の実行時にステップS3が実行されると、ステップC0からステップC1に進む。ステップC1では、端末側制御部22が、撮影部23を起動させる。次いで、ステップC2では、端末側制御部22が、撮影部23が撮影可能な予め定める撮影可能範囲の画像を、撮影部23に撮影される。好ましくは、図4のステップS2の追加画像6のデータの用意処理の後に、撮影部23の撮影可能範囲が主装置3の主側表示面14を含むように、操作者が撮影部23の向きを大まかに調整しておくとよい。
ステップC3では、端末側制御部22が、ステップC2で撮影された最新の画像から、マーカPを検出する。ステップC4では、端末側制御部22が、ステップC3の検出ルーチンの最新の処理結果に基づき、ステップC2で撮影された最新の画像からマーカPが検出されたか否かを判断する。マーカPが検出されていないとき、ステップC4からステップC2に戻る。マーカPが検出されるまで、ステップC2〜ステップC4の処理が繰返される。マーカPが検出されたとき、ステップC4からステップC5に進む。
ステップC5では、端末側制御部22が、ステップC3で検出されたマーカP同士の相互の位置関係を確認する。ステップC6では、端末側制御部22が、ステップC5の確認ルーチンの最新の処理結果に基づき、ステップC5で確認されたマーカPの相互の位置関係のずれ幅が予め定める許容幅以内に有るか否かを判断する。マーカPの相互の位置関係のずれ幅が許容幅以内であるとき、ステップC6からステップC2に戻る。マーカPの相互の位置関係のずれ幅が許容幅以内に収まるまで、ステップC2〜ステップC6の処理が繰返される。マーカPの相互の位置関係のずれ幅が許容幅以内に収まると判断されたとき、ステップC6からステップC7に進む。
ステップC7では、端末側制御部22が、撮影部23が撮影した最新の画像の中から、相互の位置関係が許容範囲内に収まる4つのマーカPで示される図形を、被処理領域15の相似図形25として抽出する。抽出された相似図形25は、端末側表示面24に表示される。相似図形25抽出後、ステップC8でサブルーチンを終了し、図4のステップS4に進む。以上で、図7のサブルーチンが終了する。これによって、現在の主装置3の表示状況を反映した相似図形25を端末装置4が得ることができる。
図8は、画像表示プログラム8における図7の相似図形25の抽出サブルーチン内のステップC3で実行されるマーカPの検出手順のサブルーチンを説明するためのフローチャートである。端末側プログラム28の実行時にステップC3が実行されると、ステップD0からステップD1に進む。
ステップD1では、端末側制御部22が、ステップC2で撮影された最新の画像内から、色を基準にして、マーカPの候補点を抽出する。すなわち、前記最新の画像内において、マーカPの予め定める色を有する点が、マーカPの候補点として抽出される。
ステップD2では、端末側制御部22が、ステップD1で抽出された候補点に対してマーカPの形状判定をそれぞれ行うことによって、前記最新の画像内からマーカPを検出する。すなわち、前記最新の画像内において、候補点を含みかつマーカPの予め定める色を有する範囲の形状がマーカPの予め定める形状であるとき、該範囲がマーカPであると判断される。
ステップD3では、端末側制御部22が、ステップD2のマーカPの検出ステップで、マーカPが4つ以上検出されたか否かを判断する。ステップD3でマーカPが4つ未満しか検出されていないと判断されるとき、ステップD3からステップD7に進む。ステップD7に至るとき、マーカPが必要数検出できていないと判断されている。このとき、ステップD7でサブルーチンを終了し、図7のステップC4に進む。ステップD3でマーカPが4つ以上検出されていると判断されるとき、ステップD3からステップD4に進む。
ステップD4において、端末側制御部22は、検出されたマーカPの数を判断する。検出されたマーカPの数が4つであるとき、マーカPが必要数検出されたと判断し、ステップD4からステップD6に進む。検出されたマーカPの数が4つを超えるとき、マーカPが過剰に検出されているので、ステップD4からステップD5に進む。
ステップD5において、端末側制御部22は、検出された各マーカPに対して色および形状を基準にスコアを、たとえばマーカのテンプレートを用意し、テンプレートのマーカと検出されたマーカPとの正規化した相互相関値をスコアとしてつけ、スコアがよい上位4点のマーカPを残し、残余の検出されたマーカPのデータを除去する。マーカPの絞込み後、ステップD5からステップD6に進む。ステップD6に至るとき、マーカPが必要数検出できていると判断されている。必要数のマーカPの取得後、ステップD6でサブルーチンを終了し、図7のステップC4に進む。以上で、図8のサブルーチンが終了する。
図9は、画像表示プログラム8における図7の相似図形25の抽出サブルーチン内のステップC5で実行される検出されたマーカPの位置関係の確認手順のサブルーチンを説明するためのフローチャートである。
図9の例では、図3に示すように、撮影部23によって撮影された矩形の画像に、画像の四隅のいずれかを原点とするXY二次元座標系が設定されており、検出されたマーカPの位置は、撮影された画像内の二次元座標系の座標によって表されている。図3の例では、二次元座標系の原点は左上隅であり、左から右に進むほどX座標が増大し、上から下に進むほどY座標が増大する。
端末側プログラム28の実行時にステップC5が実行されると、ステップE0からステップE1に進む。ステップE1では、端末側制御部22が、検出された4つのマーカPの中から、位置を示す2次元座標(X1,Y1)のX座標X1およびY座標Y1の両方が最も小さい第1マーカP1を探索する。
第1マーカP1の探索後、ステップE2では、検出された4つのマーカPの中の第1マーカP1以外の残余のマーカPの中から、位置を示す2次元座標(X2,Y2)のX座標X2と第1マーカP1のX座標X1との差が予め定めるX軸側ずれ幅dx以内である第2マーカP2を、端末側制御部22が探索する。次いでステップE3において、前記残余のマーカPの中に第2マーカP2が存在するか否かを、端末側制御部22が判断する。前記残余のマーカPの中から第2マーカP2が探索できたとき、ステップE3からステップE4に進む。
第2マーカP2の探索後、ステップE4では、検出された4つのマーカPの中の第1マーカP1および第2マーカP2以外の残余のマーカPの中から、位置を示す2次元座標(X3,Y3)のY座標Y3と第2マーカP2のY座標Y2との差が予め定めるY軸側ずれ幅dy以内である第3マーカP3を、端末側制御部22が探索する。次いでステップE5において、前記残余のマーカPの中に第3マーカP3が存在するか否かを、端末側制御部22が判断する。前記残余のマーカPの中から第3マーカP3が探索できたとき、ステップE5からステップE6に進む。
第3マーカP3の探索後、ステップE6では、検出された4つのマーカPの中の第1マーカP1〜第3マーカP3以外の残余のマーカPの中から、位置を示す2次元座標(X4,Y4)のX座標X4と第3マーカP3のX座標X3との差が予め定めるX軸側ずれ幅dx以内である第4マーカP4を、端末側制御部22が探索する。次いでステップE7において、前記残余のマーカPの中に第4マーカP4が存在するか否かを、端末側制御部22が判断する。前記残余のマーカPの中から第4マーカP4が探索できたとき、ステップE7からステップE8に進む。ステップE8に至るとき、4つのマーカP1〜P4の相互の位置関係のずれ幅が許容幅以内であると判断される。マーカPの位置関係の判定後、ステップE8でサブルーチンを終了し、図7のステップC6に進む。
ステップE3の判定においてステップE2時点の前記残余のマーカPの中から第2マーカP2が探索されないとき、4つのマーカPの位置関係が許容範囲外にあると判断さる。また、ステップE5の判定においてステップE4時点の前記残余のマーカPの中から第3マーカP3が探索されないときも、4つのマーカPの位置関係が許容範囲外にあると判断される。さらにまた、ステップE7の判定においてステップE6時点の前記残余のマーカPの中から第4マーカP4が探索されないとき、4つのマーカPの相互の位置関係のずれ幅が許容範囲外であると判断される。これらの場合、図9のフローチャートの以後の処理を中断して、ステップE3,ステップE5,およびステップE7からステップE9に進み、ステップE9で図9のフローチャートの処理が終了する。以上で、図9のサブルーチンが終了する。
以上説明したように、図8および図9のフローチャートの処理が実行されることによって、端末装置4は、歪みが許容範囲内に抑えられた相似図形25を、マーカPを用いて確実に得ることができる。
図10は、画像表示プログラム8における図4の端末側プログラム28のメインルーチン内のステップS4で実行される被処理領域15の相似図形25の表示手順および被処理領域15の表示予定位置7の指定手順のサブルーチンを説明するためのフローチャートである。
端末側プログラム28の実行時にステップS4が実行されると、ステップF0からステップF1に進む。ステップF1では、図2(D)に示すように、端末側表示面24において相似図形25が表示可能な領域内に抽出された相似図形25が最も大きく表示されるように、端末側制御部22が、抽出された相似図形25を縮小または拡大して、該表示可能な領域に表示させる。
相似図形25表示後、ステップF2では、相似図形25内の位置の指示のために操作者によって端末側操作部21が操作されたかどうかを、端末側制御部22が確認する。たとえば端末側操作部21が端末側表示面24内の座標を指示するための端末側操作面を有するタッチパネルで実現されているとき、端末側操作部21のタッチパネルの操作面がタッチされたか否かが確認される。
ステップF3において、端末側操作部21への操作者による相似図形25内の位置の指示のための操作の有無を、端末側制御部22が判断する。相似図形25内の位置の指示のために端末側操作部21が操作されていないとき、ステップF3からステップF2に戻る。表示予定位置7の指示のために端末側操作部21が操作されるまで、ステップF2〜ステップF3の処理が繰返される。ステップF3で相似図形25内の位置が指示されたと判断されるとき、ステップF3からステップF4に進む。
端末側操作部21操作後、ステップF4では、端末側操作部21への操作によって指示された相似図形25内の位置を、最新の表示予定位置7として、端末側制御部22が保存する。たとえば、端末側表示面24内の位置を示すための予め定める座標系が端末側表示面24内に設定されているとき、端末側操作部21への操作によって指示された位置を表す端末側表示面24内の座標系の座標が、最新の表示予定位置7を示すデータとして保存される。端末側表示面24内の座標系は、たとえば、端末側表示面24のいずれかの隅、たとえば左上隅を原点とした2次元座標系で実現される。
表示予定位置7保存後、ステップF5では、追加画像6のプレビュー表示として、端末側制御部22が、端末側操作部21への操作によって指示された相似図形25内の位置に、相似図形25と重ねて、追加画像6を表示させる。追加画像6のプレビュー表示後、ステップF6でサブルーチンを終了し、図4のステップS5に進む。以上で、図10のサブルーチンが終了する。これによって、最新の主装置3の表示状態および追加画像のプレビュー表示を端末装置4上で確認しつつ表示予定位置7を指定することができるので、画像表示装置1の使い勝手が向上する。
図11は、画像表示プログラム8における図4の端末側プログラム28のメインルーチン内のステップS5で実行される端末装置4から主装置3へのデータ送信手順のサブルーチンを説明するためのフローチャートである。
端末側プログラム28の実行時にステップS5が実行されると、ステップG0からステップG1に進む。ステップG1では、端末側制御部22が、端末側通信部27を用い、図4のステップS3の被処理領域15の相似図形25の抽出処理において撮影部23が撮影した主装置3に対して、データ送信のための通信の接続を試みる。
撮影部23が撮影した主装置3は、たとえば、Bluetooth(登録商標)などの無指向性の通信が用いられる状況下であれば、端末装置4から見て通信が可能な範囲内に存在する主装置3を指す。撮影部23が撮影した主装置3は、またたとえば、赤外線通信などの指向性の通信が用いられる状況下であれば、端末装置4から見て通信可能な方向かつ通信可能な範囲内に存在する主装置3を指す。
また、端末装置4の通信可能な範囲に主装置3が複数あるとき、たとえば、どの主装置3と通信を接続させるべきかを、端末側制御部22が操作者に問合わせる。またたとえば、前述のとき、主装置3毎の固有の識別情報をマーカPに予め埋め込んでおき、複数の主装置3のうちの前述のステップS3の撮影画像に写るマーカP内の識別情報が示す主装置3を、端末側制御部22が選択する。識別情報には、たとえばQR(Quick Response)コードに代表されるバーコードなどが用いられる。さらにまた、たとえば、前述のとき、複数の主装置3のうち前述のステップS3での撮影画像内の相似図形25により似ている映像を表示しているいずれかの主装置3を、端末側制御部22が選択する。
ステップG2では、端末側制御部22が、端末側通信部27と主側通信部17との通信の接続に成功したか否かを判断する。通信の接続が未成功であるとき、ステップG3からステップG2に戻る。通信の接続が成功し、端末側通信部27と主側通信部17との間の通信が可能になるまで、ステップG2〜ステップG3の処理が繰返される。ステップG3で通信の接続が成功したと判断されるとき、ステップG3からステップG4に進む。
ステップG4では、端末側制御部22は、追加画像6のデータおよび表示予定位置7のデータを、端末側通信部27から主装置3の主側通信部17へ送信させる。データ送信後、ステップG5でサブルーチンを終了し、図4のステップS6に進む。以上で、図11のサブルーチンが終了する。これによって、画像表示装置1において、端末装置4から主装置3へのデータ送信時に、主装置3と端末装置4とが無線通信で接続される。これによって、端末装置4の自由度を向上させることができる。
図12は、画像表示プログラム8における図5の主側プログラム18のメインルーチン内のステップQ3で実行される主側表示面14への追加画像6の追加表示のサブルーチンを説明するためのフローチャートである。主側プログラム18の実行時にステップQ3が実行されると、ステップH0からステップH1に進む。
ステップH1では、表示予定位置7のデータに基づき、表示予定位置7の表現形式を、被処理領域15の大きさに対する割合から、主側表示面14の予め設定される座標系の絶対座標に変換する。
表示予定位置7の表現形式の変換後、ステップH2において、主側制御部12が、表示面14に現在表示中の画像の中のステップH1で算出された表示予定位置7の絶対座標に、端末装置4から送信された追加画像6を貼付ける。たとえば、表示予定位置7の絶対座標が示す位置で主側表示面14に現在表示中の画像に追加画像6が重ねて表示されるように、表示予定位置7の絶対座標に基づき、現在表示中の画像のデータに追加画像6のデータが追加合成される。
データ追加後、ステップH3において、主側制御部12が、主側表示部10の主側表示面14に表示すべき画像のデータを、追加画像6が貼付け済である前記現在表示中の画像のデータで更新する。この結果、端末装置4からのデータ受信時に表示されていた画像の表示予定位置7に追加画像6が貼付けられた状態の画像が、主側表示面14に表示される。画像更新後、ステップH4で図12のサブルーチンが終了し、図5のステップQ3からステップQ1に戻る。以上で、図12のサブルーチンが終了する。
以上の処理によって、画像表示装置1は、端末装置4側で用意された追加画像6のデータを、主装置3の主側表示面14に表示させる。これによって、画像表示装置1の操作性をさらに向上させ、使い勝手をさらに向上させることができる。
画像表示装置1および画像表示プログラム8は、本実施形態の構成要素の最良の実施形態の1つである。本実施形態の構成要素の詳細構成は、上述の作用効果が発揮可能な構成であれば、上述した構成に限らず、他の様々な構成が用いられてもよい。