(第1実施形態)
以下、本発明の第1実施形態について図面を参照して説明する。
図1は発明を実施する形態の一例であって、(a)は本発明の第1実施形態に係る入力表示装置に対して書き込みを行うユーザの位置と入力表示画面に表示される画像の表示方向との関係の一例を示す説明図、(b)は前記入力表示装置の表示画面に対してユーザが書き込みを行う状態を示す説明図、(c)は前記表示画面に入力されたオブジェクトを表示制御した状態を示す説明図である。
第1実施形態に係る入力表示装置1は、図1(a)〜(c)に示すように、情報を表示する表示画面10と、表示画面10に対するユーザの入力を検出するタッチパネル(センサ)2を備え、ペン100を用いた入力操作が可能な入力表示装置1において、本発明に係る特徴的な入力表示装置の構成を備えることを特徴とするものである。
第1実施形態は、入力表示装置1を会議テーブルとして機能させて、この入力表示装置1の周りの4方向に、4人のユーザA〜Dが位置している例である。
ここでは、会議の主催者であるユーザAの位置は、マスタ位置(M)として特定するように設定されている。一方、その他の会議出席者であるユーザB〜Dの位置は、スレーブ位置(S)として設定されている。すなわち、入力表示装置1では、表示画面10がマスタ位置(M)に対して正方向となるように表示制御が行われる。
図1(a)は、いずれのユーザA〜Dも入力を行っていない状態を示している。
表示画面10の表示内容101は、マスタであるユーザAに対して正方向を向いて表示されている。
図1(b)では、ユーザCが入力を開始した状態を示している。
例えば、ユーザCが入力している間は、表示画面10における入力領域で入力されたオブジェクト(描画情報)102や入力メニュー(メニュー画像)103といった表示内容は、ユーザCに対して正方向を向いて表示される。
ユーザCが入力を完了した際、ユーザCが入力したオブジェクト(描画情報)と、その表示方向(入力情報)を保存する。そして、移動指示を検出すると、指先が離れるまで入力したオブジェクトをユーザ指示に基づき移動する。移動完了後、マスタ設定方向と入力したオブジェクト方向が異なる場合には、入力したオブジェクトがマスタ位置に対して正方向の向きで表示するように制御される。
図1(c)は、ユーザCによる移動指示があった後、入力したオブジェクトをマスタ位置に対して正方向の向きにするために、180度回転して表示するように制御した状態を示している。
まず、入力表示装置1の特徴的な構成についてブロック図を参照して説明する。
図2(a)は第1実施形態に係る入力表示装置の構成を示すブロック図、(b)は前記入力表示装置を構成する表示方向制御部の機能を示すブロック図、図3は前記入力表示装置に対して書き込み(入力)を行うユーザの位置と入力表示画面に表示される画像の表示方向との関係を示す説明図、図4(a)は前記入力表示装置が備える静電容量センサにて検出された入力領域が縦長の場合を示す説明図、(b)は静電容量センサにて検出された入力領域が横長の場合を示す説明図である。
入力表示装置1は、図2(a)に示すように、タッチパネル2と表示部11とを備える表示画面10と、センサ駆動部/容量値受信部3、表示駆動部9、および制御部12を備えている。
タッチパネル2は、静電容量センサにより構成され、複数の入力を検出可能な機能を備えている。
制御部12は、図示しないCPU,ROM,RAMにて構成され、形状/手つき判定部(入力情報比較部)4、タッチ認識処理部5、ユーザ位置判断部6、表示方向制御部(表示方向切換部)7および描画情報制御部8を構築する。
タッチパネル2を構成する静電容量センサは、面状に複数本のマトリックス状に配置された線から、近接する物体との間の静電容量を検出することにより物体の形状を検出可能なセンサである。静電容量センサは、例えば、4096×2160の各位置の容量を検出することが可能である。
ここでは、図3に示すように、第3方向に位置するユーザより見て表示画面10の左上の角を(0,0)、右下の角を(4095、2159)として、座標が設定されており、それぞれの座標に対して容量が検出される。なお、タッチパネル2は、静電容量方式に限らず、接触/非接触に関わらず、近接する物体の形状を捉えることが可能であれば、その他の方式のものであってもよい。
センサ駆動部/容量値受信部3は、タッチパネル(静電容量センサ)2を駆動し、その結果より静電容量値を検出するものである。センサ駆動部/容量値受信部3は、検出した静電容量値を制御部12に送る。
制御部12における形状/手つき判定部(比較部)4は、センサ駆動部/容量値受信部3にて検出された静電容量値に基づき、表示画面10に近接する物体の形状を判定するものである。画面に近接する物体の形状は、物体の近接を示す静電容量をもつ連続した範囲の形状に相当する。図4(a),(b)に、静電容量センサにて検出された入力領域(連続した範囲)を示す。
形状/手つき判定部4は、タッチパネル2により検出した複数の入力情報に基づき、検出された形状(入力領域)の大きさにより、検出した物体がペン先であるか、手つきであるかを判定するとともに、入力方向(縦方向または横方向)を比較する。
なお、手つきとは、表示画面10に手の腹などが触れる現象である。
具体的には、形状/手つき判定部4は、例えば、検出された形状を所定値Aと比較し、検出された形状の面積が所定値A以下の場合はペン先と判定し、所定値Aよりも大きな場合は手つきと判定する。ここで、所定値Aとは、ペン先と想定される大きさの上限値である。
検出した形状は、図4(a)に示すように、X軸値の最小値(min x),最大値(max x)、Y軸値の最小値(min y),最大値(max y)に基づいて、Y軸方向の長さがX軸方向の長さよりも長い場合に縦長と判定し、図4(b)に示すように、Y軸方向の長さがX軸方向の長さよりも短い場合に横長と判定する。
そして、形状/手つき判定部4は、判定した結果を、タッチ認識処理部5とユーザ位置判断部6とに送る。
タッチ認識処理部5は、形状/手つき判定部4の判定結果に基づいてペン先の位置を判定し、ペン先の位置がメニュー位置であればメニュー処理を行い、メニュー位置でない場合は描画処理を行う。
ユーザ位置判断部6は、形状/手つき判定部4の判定結果に基づいて、入力ユーザの表示画面10に対する位置を判断するものである。ユーザ位置判断部6の詳細については後述する。ユーザ位置判断部6は、判断した結果を表示方向制御部(表示方向切換部)7に送る。
表示方向制御部(表示方向切換部)7は、ユーザ位置判断部6の判断した結果に基づいて、表示画面10における表示方向を判定して入力されたオブジェクトを表示するものである。ここでは、表示方向が判定される対象の表示は、表示画面10に表示される表示内容の全体、あるいはメニュー表示である。メニュー表示は、画面に表示される表示内容の一部に相当する。
また、表示方向制御部7は、特徴的な構成として、図2(b)に示すように、複数人のユーザにより表示画面10を共有して使用する場合は、予め特定されたマスタ位置(M)に対して正方向となる向きで入力されたオブジェクトを表示画面10に表示する特定方向表示機能71と、追加入力されたオブジェクトをマスタ位置(M)に対して正方向となる向きで追加した状態で表示する特定方向追加表示機能72とを備えている。
さらに、表示方向制御部7は、複数人のユーザにより表示画面10を共有して使用する場合は、ユーザが入力中である場合に、入力されたオブジェクトの表示方向を入力中のユーザに対して正方向になるように切換えるユーザ方向表示機能73と、前記ユーザによる入力完了後、入力されたオブジェクトが表示される方向と予め特定されたマスタ位置(M)に対して正方向となる向きとが異なる場合には、入力されたオブジェクトがマスタ位置(M)に対して正方向となるように表示するユーザ方向表示切換機能74とを備えている。
さらに、表示方向制御部7は、入力を終了したユーザによる移動指示を検出すると、ユーザの移動指示に基づき、その入力したオブジェクトを移動する移動表示機能75と、移動完了後、マスタ位置(M)に対して入力したオブジェクトの方向が異なる場合は、マスタ位置(M)に対して正方向になるように表示する移動表示切換機能76とを備えている。
描画情報制御部(表示切換部、描画部)8は、内部に図示していない記憶部を備えており、該記憶部に、手書きされた情報やグラフ情報等の描画情報と一時的に描画情報にオーバーラップして表示するメニュー情報とを別レイヤーにて保持している。
また、描画情報制御部8は、タッチ認識処理部5からのメニュー処理あるいは描画処理と、表示方向制御部7からの表示方向の判定の結果とに基づいて、表示部11に表示する内容を記憶している上記記憶部の内容を更新するように制御する。
また、描画情報制御部8は、追加入力された描画情報をマスタ位置(M)に対して正方向となる向きで追加した状態で表示される際に、先に表示されているオブジェクトと追加入力されるオブジェクトの表示サイズを同じサイズとする機能を備えている。
さらに、描画情報制御部8は、入力された描画情報を入力したユーザに関連づけてユーザ毎に異なる表示態様(色、フォント、大きさ等)で表示する機能を備えている。
表示駆動部9は、描画情報制御部8に備えられた上記記憶部に記憶された情報に基づいて表示部11を駆動し、情報を表示部11に表示するものである。
表示部11は、情報をユーザに表示画面10に表示することにより与えるためのもので、例えば液晶表示、EL表示等の平面形状からなる。表示部11の上面に静電容量センサより構成されるタッチパネル2が重ねて設けられている。
次に、第1実施形態の入力表示装置1において表示画面10に入力されたオブジェクトを表示する表示制御の手順をフローチャートに沿って説明する。
図5は第1実施形態の入力表示装置の表示画面に入力されたオブジェクトを表示する表示制御の手順を示すフローチャート図である。
入力表示装置1において、表示画面10へのオブジェクト(描画情報)の入力が開始されると、タッチパネル2において静電容量センサにより検出した容量値の変化の有無で表示画面10へユーザによる入力が行われたか否かが判断される(ステップS1)。
ステップS1において、ユーザによる入力が行われたと判断された場合は、ステップS2へ進み、入力領域の大きさが検出される。そして、その入力領域の大きさ(検出された形状)により、その入力がペン先によるものであるか否かが判断される(ステップS3)。入力領域の大きさの判断については、図4(a),(b)に示すように、その検出した範囲のmax x−min xと、max y−min yにて表される。
一方、ステップS1において、ユーザによる入力が行われていないと判断された場合は、入力が検出されるまで繰り返される。
ステップS3において、入力がペン先によるものである(所定以下の大きさの領域である)と判断された場合は、ステップS4に進み、手つきによる入力があるか否かが判断される。一方、入力がペン先によるものではないと判断された場合は、ステップS1に戻り入力の検出が続けられる。
ステップS4における判断方法としては、例えば、ペン先として想定される領域の大きさより大きな領域であると判断した場合には、手つきとして判断する。
ステップS4において、手つきによる入力があると判断された場合は、ステップS5に進み、入力が所定範囲内の領域に存在するか否かが判断される。一方、ステップS4において、手つきによる入力が無いと判断された場合は、ステップS11に進む。
ステップS5では、ステップS3で判断されたペン先の入力と、ステップS4で判断された手つきの入力とが、所定範囲内の領域に存在するか否かが判断される。すなわち、ステップS5では、ペン先の入力と手つきの入力が同一ユーザのものであるか否かを判断している。
ステップS5において、ペン先の入力と手つきの入力とが所定範囲内の領域に存在すると判断された場合は、ステップS6に進み、メニューの表示指示があったか否かが判断される。一方、ステップS5において、ペン先の入力と手つきの入力が所定範囲内の領域に存在しないと判断された場合は、ステップS11に進む。
ステップS6におけるメニューの表示指示方法に関しては、別途スイッチを操作する等の方法を採用することにより解決することが可能である。
ステップS6において、メニューの表示指示があったと判断された場合は、ステップS7に進み、手つき入力の形状が判断される。一方、ステップS6において、メニューの表示指示がないと判断された場合は、ステップS11に進む。
ステップS11では、ペン先の入力位置がメニュー表示位置であるか否かが判断される。ステップS11において、ペン先の入力位置がメニュー表示位置であると判断された場合は、ステップS12に進み、ペン先がUPされたか否かが判断される。
ステップS12では、ペン先がUPされたか否か、すなわちペン入力が終了したか否かが判断される。ステップS12において、ペン先がUPされたと判断された場合は、ステップS13に進み、ペン先がUPされた位置のメニュー項目が選択されて、実行される。
ステップS12において、ペン先がUPされていないと判断された場合は、ステップS11に戻る。
一方、ステップS11において、ペン先の入力位置がメニュー表示位置ではないと判断された場合は、ステップS14に進み、入力処理としてメニューで選択されている処理が実行され、ステップS15に進み、ペン先の位置が検出される。そして、ステップS16に進み、ペン先がUPされたか否かが判断される。
ステップS16では、ペン先がUPすることでペン入力が終了したことを判断する。
ステップS16において、ペン先がUPされたと判断された場合は、ステップS1に戻り、次の入力に対応する。
一方、ステップS16において、ペン先がUPされていないと判断された場合は、ステップS14に戻り、ペン先がUPされるまで繰り返される。
ここで、ステップS7以降の処理(2点鎖線で囲まれた個所の処理)は、ユーザによる入力に基づきメニューの方向を決定し表示を行う処理である。
ステップS7では、図4(a),(b)に示すように、ステップS2にて検出した手つきのmin x:max xと、min y:max yを用いて、max x−min
xと、max y−min yを計算して、何れの方が長いかを判断する。
ステップS7において、手つきが縦長であると判断された場合は、ステップS8に進む。一方、ステップS7において、手つきが縦長ではないと判断された場合は、ステップS17に進む。
例えば、手つきの形状が縦長である場合には、図3に示すように、表示画面10における第1方向あるいは第3方向からの入力であると判断することができる。一方、手つきの形状が横長である場合には、表示画面10における第2方向あるいは第4方向からの入力であると判断することができる。
ステップS8では、ペン先(小領域)の中心座標と、手つき(大領域)の中心座標のY軸値を比較することでユーザの向く方向(ユーザの位置)を判断する。
ステップS8において、ペン先の中心座標が手つきの中心座標より小さいと判断された場合は、ステップS9に進む。一方、ステップS8において、ペン先の中心座標が手つきの中心座標より大きいと判断された場合は、ステップS10に進む。
例えば、図4(a)に示すように、ペン先の中心座標のY座標が手つきの中心座標のY座標より小さいということは、表示画面10の第3方向から入力が行われており、ステップS9において、表示画面10の第3方向に向けてメニューを表示するとともに、ユーザが表示画面10の第3方向に位置するものとして設定する。
また、手つきの中心座標のY座標がペン先の中心座標のY座標より大きいということは、表示画面10の第1方向から入力が行われており、ステップS10において、表示画面10の第1方向に向けてメニューを表示するとともに、ユーザが表示画面10の第1方向に位置するものとして設定する。
そして、ステップS1に戻り、次の入力に対応する。
ステップS17では、ペン先(小領域)の中心座標と、手つき(大領域)の中心座標のX軸値を比較することでユーザの向く方向(ユーザの位置)を判断する。
ステップS17において、ペン先の中心座標が手つきの中心座標より大きいと判断された場合は、ステップS18に進む。一方、ステップS17において、ペン先の中心座標が手つきの中心座標より小さいと判断された場合は、ステップS19に進む。
例えば、図4(b)に示すように、ペン先の中心座標のX座標が手つきの中心座標のX座標より大きいということは、表示画面10の第4方向から入力が行われており、ステップS18において、表示画面10の第4方向に向けてメニューを表示するとともに、ユーザが表示画面10の第4方向に位置するものとして設定する。
また、手つきの中心座標のX座標がペン先の中心座標のX座標より小さいということは、表示画面10の第2方向から入力が行われており、ステップS19において、表示画面10の第2方向に向けてメニューを表示するとともに、ユーザが表示画面10の第2方向に位置するものとして設定する。
そして、ステップS1に戻り、次の入力に対応する。
このようにして、図3に示すように、表示画面10に対向する入力ユーザに合わせてメニューを表示する方向を制御することができるとともに、それぞれのユーザ位置を設定し、入力するオブジェクトと関連付けて保存することができる。
次に、第1実施形態の入力表示装置1においてユーザからの移動指示に基づき、入力されたオブジェクトを移動してマスタ設定に対して表示する表示制御の手順をフローチャートに沿って説明する。
図6は第1実施形態の入力表示装置の表示画面に表示される入力されたオブジェクトをマスタ設定に対して表示する表示方向制御の手順を示すフローチャート図である。
図6に示すように、第1実施形態の入力表示装置1において、表示画面10へのオブジェクト(描画情報)の表示制御が開始されると、ユーザから入力されたオブジェクトに対して移動指示があるか否かが判断される(ステップS101)。
ステップS101において、ユーザから入力されたオブジェクトに対して移動指示がない場合は、ステップS104に進む。一方、ステップS101において、ユーザから入力されたオブジェクトに対して移動指示があった場合は、ステップS102に進む。
ステップS102において、ユーザからの移動指示については、図5のステップS13におけるメニュー処理で移動指示を与えられた場合や、一定時間同じ位置をタッチした場合に移動指示として検出することで実行が可能である。
ステップS102では、ユーザの移動指示に基づき、入力されたオブジェクトが移動されて、ステップS103にと進む。
ステップS103では、ペン先がUPされたか否か、すなわちペン入力が終了したか否かが判断される。
ステップS103において、ペン先がUPされていないと判断された場合は、ステップS102に進み、入力されたオブジェクトの移動を繰り返す。
一方、ステップS103において、ペン先がUPされたと判断された場合は、ステップS104に進み、マスタ設定された方向と入力されたオブジェクトの方向が同じか否かが判断される。
ステップS104において、マスタ設定された方向と入力オブジェクトの方向が同じであると判断された場合は、そのまま処理を終了する。
一方、ステップS104において、マスタ設定された方向と入力オブジェクトの方向が異なると判断された場合は、ステップS105に進み、マスタ位置に対して正方向になるように表示制御が実行される。
尚、ペン先ではなく、指先にて操作しても良い。
ステップS105では、入力されたオブジェクトがマスタ位置に対して正方向になる位置で追加表示する。具体的には、図1(b)に示すように、ユーザCにより表示画面10に入力されたオブジェクト102が、図1(c)に示すように、180度回転した状態で追加表示される。
以上のように構成したので、第1実施形態によれば、入力表示装置1において、タッチパネル2の構成として複数の入力を検出可能な機能を備え、さらに、入力表示装置1の制御部12の構成として、形状/手つき判定部4と、ユーザ位置判断部6と、表示方向制御部7と、を備えることで、入力表示装置1を会議テーブルとして複数人のユーザにより共有して使用する際に、それぞれのユーザの位置(方向)を特定するとともに、表示画面10に入力されたオブジェクトを予め特定されたマスタ位置(M)に対して正方向となる向きで表示することができるので、表示画面10に表示される表示内容の視認性を向上できるとともに、その表示内容の再利用性を高めることができる。
(第2実施形態)
次に、本発明の第2実施形態について図面を参照して説明する。
なお、説明の便宜上、第1実施形態と同一の機能を有する構成には、同一の番号を付して説明を省略する。
図7(a)は本発明の第2実施形態に係る入力表示装置の表示画面に対して複数人のユーザが書き込みを行う状態を示す説明図、(b)は前記表示画面に入力されたオブジェクトを表示制御した状態を示す説明図、図8は前記入力表示装置の表示画面におけるユーザの入力方向を判断する手順を示すフローチャート図、図9は前記入力表示装置を使用するユーザ毎の入力処理の手順を示すフローチャート図である。
第1実施形態では、入力表示装置1を会議テーブルとして複数人のユーザにより共有して使用する際に、何れかのユーザが表示画面10に入力する場合について説明したが、第2実施形態は、複数人のユーザが同時に表示画面10を使用する場合について、図7(a),(b)に示すように、マスタ位置(M)に対して正方向になるように配慮して、入力されたオブジェクトを追加表示できるような表示制御を行うことを特徴とするものである。
図7(a)では、例えば、入力表示装置1の表示画面10にユーザBおよびユーザCが入力を開始した状態を示している。ユーザBおよびユーザCが入力している間は、入力領域の文字、入力メニューといった画面の表示内容は、ユーザBおよびユーザC各々に対して正方向を向いて表示されている。
図7(b)では、ユーザBおよびユーザCにより入力されたオブジェクトがマスタ位置(M)に対して正方向になるように表示制御された状態を示している。
以下に、第2実施形態の入力表示装置1において、表示画面10を複数人のユーザが同時に使用する場合に、表示画面10に対して複数人のユーザの向きを設定する表示制御の手順をフローチャートに沿って説明する。
図8に示すように、入力表示装置1において、表示画面10へのオブジェクト(描画情報)の入力が開始されると、タッチパネル2において静電容量センサにより検出した容量値の変化の有無で表示画面10へユーザによる入力が行われたか否かが判断される(ステップS201)。
ステップS201において、ユーザによる入力が行われたと判断された場合は、ステップS202へ進み、入力領域の大きさが検出される。一方、ステップS1において、ユーザによる入力が行われていないと判断された場合は、処理を終了する。
ステップS202では、それぞれの入力領域の大きさ(検出された形状)を判断する。入力領域の大きさの判断については、図4に示すように、その検出した範囲のmax x−min xと、max y−min yにて表される。そして、ステップS203に進む。
ステップS203では、所定以下の大きさの領域、すなわちペン先の入力が含まれているか否かが判断されるとともに、所定以下の大きさの領域が含まれている場合に、その個数をカウントする。すなわち、ステップS203では、使用されているペンの数(ユーザの数)がカウントされる。そして、ステップS204に進む。
ステップS204では、ステップS203にてカウントした数値を変数iに設定する。そして、ステップS205に進む。
ステップS205では、変数iが0であるか否かが判断される。ステップS205において、変数iが0であると判断された場合は、処理すべき大きさの領域が無いと判断して処理を終了する。一方、ステップS205において、変数iが0ではないと判断された場合は、ステップS206へ進む。
ステップS206では、手つきによる入力があるか否かが判断される。ステップS206において、手つきによる入力があると判断された場合は、ステップS207へと進む。一方、ステップS206において、手つきによる入力がないと判断された場合は、ステップS215へと進む。
ステップS206における判断方法としては、例えば、入力領域が、ペン先として想定される領域の大きさより大きな領域であると判断した場合には、手つきとして判断する。
ステップS207では、ステップS203にて判断されたペン先の領域と、ステップS206にて判断された手つきの領域とが、所定範囲内の領域に存在するか否かを判断される。すなわち、ステップS207では、ペン先の入力と手つきの入力が同一ユーザのものであるか否かを判断している。
ステップS207において、ペン先の入力と手つきの入力とが所定範囲内に存在すると判断した場合には、ステップS208に進む。一方、ステップS207において、ペン先の入力と手つきの入力が所定範囲内に存在しないと判断された場合は、ステップS215に進む。
ステップS208では、図4(a),(b)に示すように、ステップS202にて検出した手つきのmin x:max xと、min y:max yを用いて、max x−min xと、max y−min yを計算して、何れの方が長いかを判断する。
ステップS208において、手つきが縦長であると判断された場合は、ステップS209へと進む。一方、ステップS208において、手つきが縦長ではないと判断された場合は、ステップS212に進む。
例えば、手つきの形状が縦長である場合には、図3に示すように、表示画面10における第1方向あるいは第3方向からの入力であると判断することができる。一方、手つきの形状が横長である場合には、表示画面10における第2方向あるいは第4方向からの入力であると判断することができる。
ステップS209では、ペン先(小領域)の中心座標と、手つき(大領域)の中心座標のY軸値を比較することでユーザの向く方向(ユーザの位置)を判断する。
ステップS209において、ペン先の中心座標が手つきの中心座標より小さいと判断された場合は、ステップS210に進む。一方、ステップS209において、ペン先の中心座標が手つきの中心座標より大きいと判断された場合は、ステップS211に進む。
例えば、図3に示すように、ペン先の中心座標のY座標が手つきの中心座標のY座標より小さいということは、ユーザiが表示画面10の第3方向にいることが分かるため、ステップS210おいて、ユーザiを表示画面10の第3方向に設定する。
また、手つきの中心座標のY座標がペン先の中心座標のY座標より大きいということは、ユーザiが表示画面10の第1方向にいることが分かるため、ステップS211において、ユーザiを表示画面10の第1方向に設定する。
ステップS212では、ペン先(小領域)の中心座標と、手つき(大領域)の中心座標のX軸値を比較することでユーザの向く方向(ユーザの位置)を判断する。
ステップS212において、ペン先の中心座標が手つきの中心座標より大きいと判断された場合は、ステップS213に進む。一方、ステップS212において、ペン先の中心座標が手つきの中心座標より小さいと判断した場合は、ステップS214に進む。
例えば、図3に示すように、ペン先の中心座標のX座標が手つきの中心座標のX座標より大きいということは、ユーザiが表示画面10の第4方向にいることが分かるため、ステップS213において、ユーザiを第4方向に設定する。
また、手つきの中心座標のX座標がペン先の中心座標のX座標より小さいということは、ユーザiが表示画面10の第2方向にいることが分かるため、ステップS214において、ユーザiを第2方向に設定する。
そして、ユーザiの位置する方向が設定された後、カウントした数値の変数iから1を減算して変数を設定する(ステップS215)。そして、ステップS205に戻り、変数iが0になるまで繰り返される。
これにより、複数人の入力ユーザの方向を検出することが出来る。
次に、第2実施形態の入力表示装置1において、表示画面10にメニュー表示する表示制御の手順をフローチャートに沿って説明する。
入力表示装置1において、表示画面10を複数人のユーザが同時に使用する場合に、図8に示すように、表示画面10に対して複数人のユーザの向きを設定する表示制御を行った後に、図9に示すように、表示画面10にメニュー表示する処理をユーザ数(i)に合わせて並行して実施される。
入力表示装置1において、表示画面10へのオブジェクト(描画情報)の入力が開始されると、まず、メニュー表示が指示されたか否かが判断される(ステップS301)。
ステップS301において、メニュー表示が指示されていないと判断された場合は、ステップS302に進み、図8の処理にて設定された各ユーザの方向に対して正方向となるように入力メニューを表示して、処理を終了する。一方、ステップS301において、メニュー表示が指示されたと判断された場合は、ステップS303に進む。
ステップS303では、メニュー表示位置であるか否かが判断される。ステップS303において、メニュー表示位置であると判断された場合は、ステップS304に進む。一方、ステップS303において、メニュー表示位置ではないと判断された場合は、ステップS306に進む。
ステップS304では、ペン先がUPされたか否かが判断される。ステップS304において、ペン先がUPされたと判断された場合は、ステップS305に進む。
ステップS305では、ペン先がUPされたことを検出することにより、ペン先がUPされた位置のメニュー項目が選択されて、実行される。
一方、ステップS304において、ペン先がUPされていないと判断された場合は、ステップS303に戻り、ペン先がUPされるまで繰り返される。
ステップS303において、メニュー表示位置ではないと判断された場合は、ステップS306にて入力処理として入力メニューで選択されている処理が実行され、ステップS307にてペン先の位置が検出される。そして、ステップS308に進み、ペン先がUPされたか否かが判断される。
ステップS308では、ペン先がUPすることでペン入力が終了したことを判断する。ステップS308において、ペン先がUPされたと判断された場合は、処理が終了する。
一方、ステップS308において、ペン先がUPされていない判断された場合は、ステップS306に戻り、ペン先がUPされるまで処理を繰り返す。
これにより、複数人の入力ユーザがそれぞれ異なる処理を要求した場合においても、並行してそれぞれの処理を行うため、結果として複数人のユーザ入力に対して、メニューを適切な方向に表示することができる。
次に、第2実施形態において、入力表示装置1の表示画面10に入力されたオブジェクトを表示制御する場合について説明する。
入力表示装置1の表示画面10にそれぞれのユーザによって入力されたオブジェクトを表示制御する場合は、図9に示すように、表示画面10にメニュー表示する処理をユーザ数(i)に合わせて並行して実施した後、図6に示すように、表示画面10に入力されたオブジェクトをマスタ位置(M)に対して表示する表示制御の処理をユーザ数(i)に合わせて並行してそれぞれ実施する。
図6に示す処理内容については、第1実施形態と同様であるため説明を省略する。
この処理により、例えば、図7(a)では、ユーザBおよびユーザCが入力を開始した状態を示しており、ユーザBおよびユーザCが入力している間は、入力領域の文字、入力メニューといった画面の表示内容は、ユーザBおよびユーザC各々に対して正方向を向いて表示されている。
ユーザBおよびユーザCが入力を完了した際、ユーザBおよびユーザCが入力したそれぞれのオブジェクト102b,102cと、それらの表示方向を保存しておき、それぞれに対して移動指示を検出すると、指先が離れるまでそれぞれの入力されたオブジェクト102b,102cをユーザBおよびユーザCの指示に基づき移動する。
移動完了後、マスタ設定方向と入力されたオブジェクト102b,102cの方向とが異なる場合には、入力されたオブジェクトがマスタ位置(M)に対して正方向となるように表示を制御する。
図7(b)に示すように、ユーザBによる移動指示があった場合は、マスタ位置(M)に対して正方向にすべく、ユーザBのオブジェクト102bを右90度回転して表示する表示制御が行われる。また、ユーザCによる移動指示があった場合は、ユーザCのオブジェクト102cを180度回転して表示する表示制御が行われる。
以上のように構成したので、第2実施形態によれば、入力表示装置1を会議テーブルとして複数人のユーザにより共有して使用する際に、複数人のユーザが同時に入力する場合についても、表示画面10に入力されたオブジェクトをマスタ位置(M)に対して正方向になるように配慮して、複数人のユーザにより入力されたオブジェクトをそれぞれ追加表示することができるので、表示画面10に表示される表示内容の視認性を向上できるとともに、その表示内容の再利用性を高めることができる。
(第3実施形態)
次に、本発明の第3実施形態について図面を参照して説明する。
なお、説明の便宜上、第1実施形態と同一の機能を有する構成には、同一の番号を付して説明を省略する。
図10(a)は本発明の第3実施形態に係る入力表示装置の表示画面に対して複数人のユーザが書き込みを行う状態を示す説明図、(b)は前記表示画面に入力されたオブジェクトを拡大して表示制御した状態を示す説明図、図11は前記入力表示装置の表示画面に入力されたオブジェクトに対してスケーリング処理を行う手順を示すフローチャート図、図12は前記入力表示装置において入力されたオブジェクトの画像データを2値化データとして配列した一例を示す説明図、図13は前記入力された文字のデータを2値化としてラベリングした例を示す説明図、図14は図13のラベリングした結果を矩形化処理した例を示す説明図、図15は前記入力された文字をラベリングして行として抽出した一例を示す説明図である。
第3実施形態は、表示方向制御部7の機能として、上述した第1実施形態における機能に加えてスケーリング機能を備えることを特徴としている。これにより、入力表示装置1の表示画面10に入力されたオブジェクトを拡大、縮小して表示制御することが可能になる。
入力表示装置1の表示画面10において、手書き入力する時の文字の大きさについては、ユーザによって大きさが異なるため、そのままの状態では、非常に見づらくなることが考えられる。そのため、表示内容の視認性、及び、その表示内容の再利用性を高めるとなると、手書き入力されたオブジェクトを拡大・縮小する必要がある。
例えば、図10(a)に示すように、ユーザAの手書き入力された文字301が、先に入力されたオブジェクト300よりも小さい場合は、入力終了後、所定処理(ここでは拡大処理)を実施した上で、図10(b)に示すように、設定されている閾値に基づいて、他の文字と同じような大きさの文字302になるようスケーリングが行われる。
以下に、第3実施形態の入力表示装置1において、入力されたオブジェクトに対してスケーリングを行い表示する表示制御の手順をフローチャートに沿って説明する。
図11に示すように、入力表示装置1において、表示画面10へのオブジェクト(描画情報)の入力が開始されると、最初にユーザによる手書き入力が終了したか否かが判断される(ステップS401)。
ステップ401において、ユーザによる手書き入力が終了していないと判断された場合は、入力が終了するまで判定を繰り返す。一方、ステップS401において、ユーザによる手書き入力が終了したと判断された場合は、次にラベリング処理が実行される(ステップS402)。
ステップS402におけるラベリング処理は、ユーザが手書き入力した内容を2値化し、「1」が連続した画素に同じ番号を振る。
図12は、2値化された画像の縦、横方向に連続している部分を同じラベルにする4連結の例を示している。例えば、注目画素310の2値データを([y][x])とすると、左上データ311は([y−1][x−1])、上データ312は([y−1][x])、右上データ313は([y−1][x+1])、左データ314は([y][x−1])、・・・となる。また、例えば、「あ」という文字をラベリングした例は、図13のようになる。
ラベリング処理の後、矩形化処理を実施する(ステップS403)。
ステップS403における矩形化処理は、同じラベルが付与された画素群の外接四角形を求める処理である。図14は、図13のラベリングした「あ」という文字を矩形化処理した結果の例である。
その後、ステップS404において、各矩形の重心を求め、各矩形の重心位置が所定閾値以内であれば、その矩形群を結合する結合処理を行う。
そして、ステップS405において、図15に示すように、ラベリングした文字320を行として抽出する。
そして、抽出した行数を「i」に設定する(ステップS406)。
そして、その「i」の数、つまり、抽出行数分、次の処理を実施する。
まず、ステップS407において、抽出された行が縦書きであるか否かが判断される。縦書きか横書きかの判定方法としては、図15に示すように、行抽出された外接矩形の座標から判定する。外接矩形の座標は、左上を(X1,Y1)として、右下を(X2,Y2)とする。
そして、
|X1−X2|>|Y1−Y2|ならば横書き、
|X1−X2|<|Y1−Y2|ならば縦書き、
として判定可能である。
ステップS407において、抽出された行が縦書きであると判断された場合は、ステップS408に進み、入力されたオブジェクトはスケーリング倍率:(閾値3/|X1−X2|)でスケーリングされる。
例えば、ディスプレイが60型FULL−HDの場合、画素ピッチは0.692mmであるため、実際の文字の大きさ(幅)を50mm程度で表示させたい場合は、約73dot必要であるため、閾値3を73と設定する。
そして、ステップS409に進み、抽出された行の幅(|Y1−Y2|)が閾値4より大きいか否かが判断される。
例えば、ディスプレイが60型の場合は、垂直方向の画素数は1080dotであり、例えば、表示エリアをこの80%とした場合は、864dot(閾値4)となる。
ステップS409において、抽出された行の幅(|Y1−Y2|)が閾値4より大きいと判断された場合は、スケーリング後の抽出された行が1行に収まらないことを意味しているため、ステップS410に進み、列を分割する。そして、この判定を繰り返す。
一方、ステップS409において、抽出された行の幅(|Y1−Y2|)が閾値4より大きくないと判断された場合、すなわち、(|Y1−Y2|)≦閾値4となった時点で、ステップS411に進み、「i」から1を減算して、ステップS412に進む。
ステップS412では、「i」が0であるか否かが判断される。ステップS412において、「i」が0であると判断された場合は、スケーリング処理を終了する。一方、ステップS412において、「i」が0ではないと判断された場合は、ステップS407に戻り、縦書き判定が繰り返される。
ステップS407において、抽出された行が縦書きではない、横書きであると判断された場合は、ステップS413に進み、入力されたオブジェクトはスケーリング倍率:(閾値1/|Y1−Y2|)でスケーリングされる。
そして、ステップS414に進み、抽出された行の幅(|X1−X2|)が閾値2より大きいか否かが判断される。
ステップS414において設定される閾値2は、縦書きの際の閾値4の設定方法と同様である。
ステップS414において、抽出された行の幅(|X1−X2|)が閾値2より大きいと判断された場合は、スケーリング後の抽出された行が1行に収まらないことを意味しているため、ステップS415に進み、列を分割する。そして、この判定を繰り返す。
一方、ステップS414において、抽出された行の幅(|X1−X2|)が閾値2より大きくないと判断された場合、すなわち、(|X1−X2|)≦閾値2となった時点で、ステップS411に進み、「i」から1を減算して、ステップS412に進む。
ステップS412では、「i」が0であるか否かが判断される。ステップS412において、「i」が0であると判断された場合は、スケーリング処理を終了する。一方、ステップS412において、「i」が0ではないと判断された場合は、ステップS407に戻り、縦書き判定が繰り返される。
以上のように、第3実施形態によれば、表示方向制御部7の機能として、スケーリング機能を備えることで、図10(a),(b)に示すように、手書き入力された文字の大きさ(大きい、小さい)に関わらず、あらかじめ設定された大きさに手書き入力文字をスケーリングすることが可能となる。
(第4実施形態)
次に、本発明の第4実施形態について図面を参照して説明する。
なお、説明の便宜上、第1実施形態と同一の機能を有する構成には、同一の番号を付して説明を省略する。
図16は本発明の第4実施形態に係る入力表示装置の表示画面を用いてブレインストーミングを行う一例を示す説明図である。
第4実施形態は、上述した実施形態のように入力表示装置1の表示画面10に入力されたオブジェクトを箇条書きに表示すること以外の例として、ブレインストーミングに用いることを可能にしたものである。
第4実施形態では、例えば、図16に示すように、マスタ位置(M)に特定されたユーザAが出した「展示会の成功」というテーマ401に対して、ユーザB〜Dがそれぞれのアイデアを手書き入力した結果を表示している。
ユーザB〜Dによって入力されたオブジェクト402b,403c,404d等は、それぞれユーザに対して正方向の向きに対応して表示される。
形状/手つき判定部4によるお手つき形状の判定により、入力されたオブジェクトとユーザを一致させることができるため、例えば、ユーザに応じて各自が入力したオブジェクトを色づけして、表示=グルーピングすることが可能である。
なお、ユーザをセンサ等で判定し、ユーザと文字入力を関連付けてもよい。
表示画面10においてブレインストーミングを行った結果を表示した後の処理として、ユーザ指示により、各オブジェクトを移動したり、あるいは、マスタであるユーザAの位置が正方向となるよう回転するようにしたりすることも可能である。
以上のように、本発明は、上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、すなわち、本発明の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
また、発明の一態様としては、情報を表示する表示画面と、前記表示画面に対するユーザの入力を検出するセンサを備え、ペンを用いた入力操作が可能なテーブル型入力表示装置であって、
前記センサは、複数の入力を検出可能な機能を備え、
前記センサにより検出した複数の入力情報に基づき、入力領域の大きさと入力方向を比較する入力情報比較部と、
前記入力情報比較部による比較結果に基づき、前記表示画面に対するユーザの位置を判断するユーザ位置判断部と、
前記ユーザ位置判断部による判断結果に基づき、前記表示画面に表示される画像情報の表示方向を切り替える表示方向切換部と、を備え、
前記表示方向切換部は、複数のユーザにより前記表示画面を共有する場合は、予め特定されたユーザの位置に対して正方向となる向きで入力された描画情報を前記表示画面に表示する機能と、追加入力された描画情報を予め特定されたユーザの位置に対して正方向となる向きで追加した状態で表示する機能と、さらに、1または複数のユーザのうちの1ユーザによる描画情報を入力完了後、前記ユーザにより入力された描画情報を移動する指示を検出した場合、前記ユーザの指示に基づき、前記入力された描画情報を移動する機能と、前記ユーザによる描画情報の移動完了後、前記入力された描画情報が表示される方向と、予め特定されたユーザの位置に対して正方向となる向きとが異なる場合は、前記入力された描画情報が予め特定されたユーザの位置に対して正方向になるように表示する機能と、を備えることを特徴とするテーブル型入力表示装置であってもよい。
このとき、前記表示画面には、入力操作に関するメニュー画像が表示され、前記表示方向切換部は、ユーザが入力中である場合に、その入力された描画情報と前記メニュー画像の表示方向を、入力中のユーザに対して正方向になるように切換える機能と、前記ユーザによる描画情報の入力完了後、前記入力された描画情報が表示される方向と、予め特定されたユーザの位置に対して正方向となる向きとが異なる場合には、前記入力された描画情報が予め特定されたユーザの位置に対して正方向となるように表示する機能と、を備えることを特徴としてもよい。
このとき、前記センサにて検出されたユーザにより入力された描写情報に応じて描画表示を行う描画部を備え、前記描画部は、ユーザにより入力された描画情報を記憶する記憶部を備え、前記表示方向切換部による表示方向を切換える判断に用いた複数の入力情報を描画の入力としては使用しないことを特徴としてもよい。
このとき、前記センサにて検出されたユーザにより入力された描写情報に応じて描画表示を行う描画部を備え、前記描画部は、ユーザにより入力された描画情報を記憶する記憶部を備え、ユーザによる描画情報を入力完了後、その入力された描画情報と表示方向を関連付けて前記記憶部に保存し、前記描画情報を表示する表示制御に使用することを特徴としてもよい。