以下、図面を参照しながら本発明を実施するための形態を、複数の形態について説明する。各形態で先行する形態で説明している事項に対応している部分には同一の参照符を付し、重複する説明を略する場合がある。構成の一部のみを説明している場合、構成の他の部分は、先行して説明している形態と同様とする。また実施の各形態で具体的に説明している部分の組合せばかりではなく、特に組合せに支障が生じなければ、実施の形態同士を部分的に組合せることも可能である。
図1は、本発明の実施の一形態である表示装置1の電気的構成を示すブロック図である。表示装置1は、たとえば机に設けられ、種々の物体を識別するために付与される識別情報を検出すると、その識別情報に関連付けられている関連データを検索し、検索された関連データに基づく関連画像を表示部に表示可能に構成されている。本実施の形態では、書類などの物品に識別情報を予め付加し、この識別情報に関連する関連データ、たとえば前記書類の補足説明などを表示装置1に記憶させておく。使用者は、表示装置1に識別情報を検出させ、この識別情報に関連する関連データを検索させる。表示装置1は、前記関連データに基づいて、関連画像を表示する。使用者は、書類と前記関連画像とを照らし合わせながら書類の内容を説明することができる。
表示装置1は、液晶ディスプレイ(Liquid Crystal Display:略称LCD)2と、光センサ3と、発光部4と、画像入力部5と、バスライン6と、主記憶部7と、補助記憶部8と、位置認識部9と、タグ認識部10と、文字認識部11と、方向認識部12と、関連データ検索部13と、表示制御部14と、デジタイザ15と、座標入力手段16と、座標入力部17と、入力部18と、通信部19と、中央演算処理装置(Central Processing
Unit:略称CPU)20とを有する。
図2は、表示装置1の使用状態を示す概略図である。図3は、表示装置1に載置されるパンフレット21を示す平面図である。図3(a)は、パンフレット21の表表紙21aを示す平面図である。図3(b)は、パンフレット21の裏表紙21bを示す平面図である。以下では、店員22と客23とが、表示装置1を介して対面に着座などして、店員22が客23に対して表示装置1を用いてパンフレット21の内容を説明する場合について説明する。表示装置1のLCD2に対象物であり物品であるパンフレット21が載置されている。LCD2には、この載置されるパンフレット21に関連する関連データに基づいて、3つの関連画像24a,24b,24cが表示されている。以下では、単にLCD2に表示されている関連画像を指す場合、関連画像24と称する。関連画像24は、客23に向かって表示され、パンフレット21を避けてLCD2に配置されている。パンフレット21の表表紙21aには、「夏旅行!北海道」の文字および背景画が記載されている。パンフレット21の裏表紙21bには、タグである2つのQRコード27,28および「○○旅行店」の文字(以下、「裏表紙文字」)29が記載されている。各QRコード27,28は、裏表紙21bの対角をなす2つの角部にそれぞれ配置されている。
データキャリアであるQRコード27,28には、識別情報、方向認識情報および形状認識情報が含まれている。識別情報は、パンフレット21を識別するための情報である。本実施の形態では、識別情報は、パンフレット21が北海道旅行のパンフレットであることを識別するための情報である。方向認識情報は、パンフレット21の上下方向または左右方向を認識するための情報である。本実施の形態では、上下方向は、パンフレット21に記載される文字または図画の上下方向と同義であり、図3において紙面上下方向であり、左右方向は、パンフレット21に記載される文字の左右方向と同義であり、図3において紙面左右方向である。形状認識情報は、パンフレット21の形状を認識するための情報である。裏表紙文字29は、裏表紙面21bの中央に記載されている。
表示装置1は、LCD2の裏側に間隔をあけて、バックライトなどの発光部4が配設されている。LCD2と発光部4との間には、複数のCCDイメージセンサから成る光センサ3が配設されている。ただし光センサ3は、複数のCCDイメージセンサから成るものに限定されず、1つのCCDイメージセンサであってもよい。表示装置1では、発光部4から発せられる光がLCD2を透過し、LCD2に載置されている物品によって反射されて、再度LCD2を透過して光センサ3によって受光される。光センサ3は、物品によって反射される光によって、LCD2に載置される物品を撮像する。表示装置1は、光センサ3によって撮像することによって、パンフレット21などの物品を検出し、この物品を避けて関連画像24などの画像を表示させる。またパンフレット21のようにQRコード27,28および裏表紙文字29が記載される場合、QRコード27,28および裏表紙文字29を検出する。表示装置1は、検出されたQRコード27,28および裏表紙文字29に基いて関連データを検索し、検索された関連データに基づく関連画像24を表示パネルに表示する。以下では、関連画像24を表示するときのCPU20の処理動作について説明する。
図4は、CPU20の処理動作の手順を示すフローチャートである。図5は、タグを認識するときのCPU20の処理動作の手順を示すフローチャートである。図6は、識別情報に基いて関連データを検索するときのCPU20の処理動作の手順を示すフローチャートである。画像表示処理が開始し、ステップs1へ移行する。画像取り込み工程であるステップs1では、光センサ3に対して、各CCDイメージセンサで撮像した分割画像情報を画像入力部5に出力させる。画像入力部5は、出力された分割画像情報を合成し、画像情報を生成する。生成された画像情報は、バスライン6を介して記憶部7,8に伝送され、記憶部7,8に伝送された時刻とともに記憶部7,8に記憶される。以下では、記憶部7,8に記憶された画像情報を取得画像と称する場合がある。本実施の形態では、CPU20は、予め定められる撮像時間間隔、たとえば1/100秒間隔で、光センサ3に分割画像情報を出力させている。記憶部7,8に記憶させると、ステップs2へ移行する。
取得画像変化認識工程であるステップs2では、位置認識部9に、互いに異なる時刻に記憶される2つの取得画像に変化があるか否かを判定させる。位置認識部9は、最新の取得情報と撮像時間前の取得情報とを比較して、取得画像が異なるか否かを判定する。位置認識部9が、2つの取得画像に変化があると判定すると、ステップs3へ移行する。取得画像不変化認識工程であるステップs3では、位置認識部9に予め定められる表示時間、たとえば1秒間、取得画像に変化がないか否かを判定させる。位置認識部9は、最新の取得情報と表示時間前の取得情報とに変化がないか否かを判定する。2つの取得画像に変化がある場合、ステップs12へ移行する。2つの取得画像に変化がない場合、ステップs4へ移行する。
載置認識工程であるステップs4では、取得画像に基いてLCD2に物品が載置されているか否かを判定する。具体的には、取得画像に基いて、光センサ3が受光する受光量の大小を検出し、LCD2に物品が載置されているか否かを判定する。受光量が大きい場合、物品が載置されていると判定する。受光量が小さい場合、物品が載置されていないと判定する。物品が載置されていると判定すると、ステップs5へ移行する。
物品位置認識工程であるステップs5では、位置認識部9に取得画像に基いて物品の位置、領域および形状を認識させる。位置認識部9は、LCD2の予め定められる位置25、たとえば図2においてLCD2の左下の位置25を原点として、物品の原点に最も近い部分26の位置座標を認識する。位置認識部9は、LCD2のうち物品が占める領域を検出することによって物品の領域を認識する。さらに位置認識部9は、認識された物品の領域に基いて、物品の形状を認識する。ただし物品の形状と領域とは、取得画像に基いて認識するものに限定されず、QRコードに含まれる情報に基いて認識してもよい。物品の位置、領域および形状を認識すると、ステップs6へ移行する。
手認識工程であるステップs6では、位置認識部9によって認識された物品の領域または形状に基いて、LCD2に載置される物品が人の手であるか否かを判定する。たとえば認識された物品の領域の面積に基いて判定する場合、物品の領域の面積が予め定められる面積以下であると、人の手が載置されていると判定する。また物品の形状に基いて判定する場合、物品の形状が人の手の形状に類似しているかを判定する。前記物品が人の手でないと判定すると、ステップs7へ移行する。
識別情報付加認識工程であるステップs7では、タグ認識部10に、物品に識別情報が付加されているか、すなわち物品にタグが形成されているかを判定させ、文字認識部11に、取得画像に基いて、物品に特定文字が形成されているかを判定させる。特定文字とは、パンフレット21において裏表紙文字29に相当する。本実施の形態では、取得画像に基いて、QRコードが物品に形成されているかを判定させる。QRコードが形成されていると判定すると、ステップs8へ移行する。
識別情報認識工程であるステップs8は、タグ認識部10にタグに含まれる各種の情報を認識させる。タグ認識部10は、取得画像に基いて、タグに含まれる識別情報および方向認識情報を認識する。本実施の形態では、QRコード27,28に含まれる識別情報および方向認識情報を読取り、認識する。タグ認識部10は、認識した識別情報および方向認識情報を記憶部7,8に記憶させる。各種の情報を認識すると、ステップs9へ移行する。本実施の形態では、識別情報および方向認識情報の認識を行っているけれども、これらの情報の認識とともに形状識別情報を認識するように構成してもよい。
さらに図5を参照して、タグ認識部10の処理動作について具体的に説明すると、タグ認識部10は、タグに含まれる各種情報の認識を、CPU20から命令されると、ステップs81へ移行する。ステップs81では、取得画像に基いて、タグに含まれる方向認識情報を読取り、認識する。さらに認識された方向認識情報を記憶部7,8に記憶させる。方向認識情報を認識し、記憶させると、ステップs82へ移行する。ステップs82では、取得画像に基いて、タグに含まれる識別情報を読取り、認識する。さらに認識された識別情報を記憶部7,8に記憶させる。識別情報を認識し、記憶させると、処理が終了し、ステップs9へ移行する。
関連データ検索工程であるステップs9では、関連データ検索部13に、記憶部7,8に記憶される複数の情報から、ステップs8で認識された識別情報に関連する関連データを検索させる。関連データは、記憶部7,8に記憶されている情報および通信部19を介して通信可能に接続されるサーバコンピュータおよびパーソナルコンピュータなど電子機器に記憶されている情報、たとえば識別情報と関連付けられたアドレスである。識別情報は、関連データと予め関連付けされている。関連データは、たとえば音楽情報、動画情報および静止画情報である。関連データ検索部13は、前記識別情報に基いて、この関連付けられている関連データを検索する。関連データを検索すると、ステップs10へ移行する。
さらに図6を参照して、関連データ検索部13の処理動作について具体的に説明すると、関連データ検索部13は、識別情報に基いて関連データを検索すべきことを、CPU20から命令されると、ステップs91へ移行する。ステップs91では、記憶部7,8に記憶される情報から識別情報に関連付けられた関連データを検索する。検索が終了すると、ステップs92へ移行する。ステップs92では、識別情報に基いて、識別情報に関連付けられた関連データを、通信部19を介して通信可能な電子機器に記憶される情報から検索する。検索が終了すると、関連データ検索部13の処理動作が終了し、ステップs10へ移行する。
差分量検出工程であるステップs10では、表示されている画像(以下、「表示画像」と称する場合がある)と載置されている物品の領域との差分量を演算し、差分量が予め定められる限界差分量以上であるかを判定する。重複度である差分量は、取得画像の物品の領域の周縁と画像の周縁との相対距離である。前記LCD2に垂直な方向でLCD2に物品を投影して得られる像(以下、単に「投影像」と称する)に対して表示画像が離反している場合、差分量が負の値であり、投影像と表示画像とが重複している場合、差分量が正の値となる。さらに差分量を演算すると、その差分量が限界差分量、たとえば5mm以上であるか否かを判定する。限界差分量は、たとえば各表示画像が有するマージンに基いて定められ、各表示画像によって異なるように設定してもよい。演算された差分量が限界差分量以上である場合、ステップs11へ移行する。
関連画像表示工程であるステップs11では、まず表示制御部14を制御して、各表示画像および投影像とが重複しないように、各表示画像の表示領域を変更させる。表示領域の変更には、表示画像の移動および表示画像を縮小または拡大などが含まれる。具体的には、表示制御部14は、表示画像、物品の位置および領域、差分量、ならびにステップs9で検索された関連データに基いて、投影像と前記関連データに基づく画像、つまり関連画像と表示画像とが互いに重複しないように、表示画像の表示領域を変更させ、非表示領域を確保させる。非表示領域は、画像が表示されていない領域であり、つまり表示可能領域24のうち表示画像の表示領域を除く領域である。
さらに詳細に説明すると、各表示画像には、重要度が割り当てられ、その重要度に応じて、その表示領域が変更される。重要度は、たとえば表示画像に含まれる文字数が多い、図画が大きいなどで非圧縮の状態で表示領域が大きいものが高く、非圧縮の状態で表示領域が小さいものが低く設定される。表示画像の表示領域の変更の頻度は、重要度のより低いものから順にその頻度を多くし、重要度の高い表示画像の表示領域の変更を抑制する。これによってCPU20および表示制御部14の負担を抑制できる。
次に表示制御部14を制御して、方向認識情報に基いて、表示画像の向きを変更または維持させる。具体的には、表示制御部14は、方向認識情報に基いて、物品の方向、たとえば上下方向を認識する。表示制御部14は、認識した物品の方向に基いて、前記物品の方向と一致するように、表示画像の向きを変更または維持させる。
具体的には、各表示画像において、方向が予め規定されている、たとえば各表示画像に対して上下方向が規定されている。本実施の形態では、画像の上下方向は、画像に含まれる文字または図画の上下方向と同義である。2つのQRコード27,28には、方向認識情報として、パンフレット21のどの位置に配置されているかを示す旨の情報が付加されている。本実施の形態では、パンフレット21の左上に形成される一方のQRコード27に、左上に配置されている旨の情報が付加され、パンフレット21の右下に形成される他方のQRコード28に、右下に配置されている旨の情報が付加されている。方向認識部12は、取得画像と2つのQRコード27,28の配置位置を示す情報とに基いて、パンフレット21の予め規定された方向、本実施の形態では上下方向を認識する。表示制御部14は、このパンフレット21の上下方向と表示画像の上下方向とが一致するように、表示画像の向きを変更または維持させる。これによって表示画像は、投影像を避け、かつ物品の向きに対応する方向に向けて表示され、関連画像24を表示可能な非表示領域が確保できる。
最後に表示制御部14を制御して、投影像の領域を除く非表示領域に関連画像24を表示させる。表示制御部14は、載置物品の方向認識情報に基いて、関連画像24を表示する向きを決定し、この決定される向きに向けた関連画像24を表示させる。このように載置物品の予め規定された方向と、関連画像24において予め規定された方向、たとえば上下方向とが一致するように、関連画像24をLCD2に表示させる。これによって方向認識情報に基づく向きに関連画像24を向けて、かつ投影像を避けるように、LCD2に関連画像24を表示させることができる。関連画像24を表示させると、ステップs1へ戻り、処理を繰返す。
ステップs2において取得画像に変化がないと判定された場合、ステップs3において所定時間内に取得画像に変化があったと判定された場合、ステップs6において載置される物品が手であると認識した場合、およびステップs10において演算された差分量が限界差分量以上である場合、ステップs12へ移行する。ステップs12では、現在の表示画像を維持し、ステップs1へ戻り、処理を繰返す。
ステップs4で画面上に物品が載置されていないと判定すると、ステップs13へ移行する。非載置時間検出工程であるステップs13では、物品が載置されていない状態が予め定められる非載置時間継続しているか否かを判定する。非載置時間継続すると、ステップs14へ移行する。表示画像切替工程であるステップs14では、表示制御部14を制御して、関連画像24から予め定められる画像に表示画像を切換える。切換えると、ステップs1へ戻り、処理を繰返す。ステップs13で、物品が載置されていない状態が非載置時間継続しなかった場合、ステップs1へ戻り、処理を繰返す。
ステップs7で、物品に識別情報が付加されていない、すなわち物品にタグが形成されていないと判定すると、ステップs15へ移行する。画像回避工程であるステップs15では、表示制御部14を制御して、表示画像および投影像とが重複しないように、表示画像の表示領域を変更させる。具体的には、表示制御部14は、表示画像の表示領域、ならびに物品の位置および領域に基いて、投影像と表示画像とが互いに重複しないように、表示画像の表示領域を変更させる。これによって表示画像が投影像を避けて表示される。
ステップs7において、文字認識部11が特定文字が形成されていると判定すると、ステップs8へ移行する。ステップs8以降の工程では、タグが形成されていると判定した場合と同様の処理を行う。このとき特定文字、すなわち裏表紙文字29自体が識別情報および方向認識情報となる。具体的には、裏表紙文字29を読取ることによって、識別情報および方向認識情報を認識する。文字認識部11は、認識した識別情報および方向認識情報を記憶部7,8に記憶させる。さらに詳細に説明すると、文字認識部11は、裏表紙文字29によって、○○旅行店のパンフレット21であることを示す識別情報を認識し、裏表紙文字29の上下方向によって、パンフレット21の方向を示す方向認識情報を認識している。またたとえば表表紙21aの「夏旅行!北海道」の文字に基いて、北海道旅行のパンフレット21であることを示す識別情報を認識させてもよい。ステップs9以下では、この識別情報および方向認識情報に基いて、処理が行われる。
図7は、LCD2の表示状態の経時変化を示す平面図である。図7A(a)は、LCD2にパンフレット21が載置されていない初期の表示状態を示す平面図である。図7A(b)は、店員22と客23とが対面に着座などし、LCD2にパンフレット21を客23に向けて載置しているときの表示状態を示す平面図である。図7B(c)は、図7A(b)の状態からパンフレット21の位置を変更したときの表示状態を示す平面図である。図7B(d)は、店員22と客23とが互いに隣り合って着座などし、LCD2にパンフレット21を客23に向けて載置しているときの表示状態を示す平面図である。図7C(e)は、LCD2からパンフレット21を取り除いたときの表示状態を示す平面図である。図7C(f)は、図7C(e)から予め定められる時間が経過した後の表示状態を示す平面図である。以下では、LCD2にパンフレット21を載置させて関連画像24を表示させるときの表示装置1の動作を、図4〜図7を参照して、説明する。
まず図7A(a)に示すように、LCD2は、初期の表示状態にあり、初期の表示状態には、複数のアイコン30が表示され、座標入力手段16によって前記アイコンを指すと、前記アイコンに対応付けられる画像が表示される。LCD2にパンフレット21を載置すると、ステップs1で記憶部7,8に記憶させた画像情報に基いて、ステップs2で取得画像に変化があると判定し、ステップs3に移行する。
ステップs3では、パンフレット21が載置されてから1秒以上、パンフレット21が移動しなければ、1秒間、取得画像に変化がないと判定し、ステップs4へ移行する。ステップs4では、LCD2にパンフレット21が載置されているので、ステップs4で物品が載置されていると判定し、ステップs5へ移行する。ステップs5では、パンフレット21の位置、領域および形状を認識し、ステップs6へ移行する。ステップs6では、LCD2に載置される物品がパンフレット21であるので、手でないと認識し、ステップs7へ移行する。
ステップs7では、パンフレット21の裏表紙21bに形成されるタグである2つのQRコード27,28を認識し、ステップs8へ移行する。ステップs8では、2つのQRコード27,28から識別情報、方向認識情報および形状認識情報を認識し、ステップs9へ移行する。ステップs9では、ステップs8で認識した識別情報に基いて、識別情報に関連する関連データを記憶部7,8、および通信部19を介して接続される電子機器に記憶される情報から検索する。3つの関連データが検索され、この検索が終了すると、ステップs10へ移行する。
ステップs10では、初期の表示状態のLCD2にパンフレット21が載置されるので、表示画像がLCD2に映し出され、差分量が予め定められる差分量以上であると判定される。これによってステップs11へ移行する。ステップs11では、ステップs8で認識した方向識別情報に基いて、パンフレット21の向きを認識し、ステップs9で検索された3つの関連データに基づく3つの関連画像24a,24b,24cをパンフレット21の向きに合わせて表示する(図7A(b)参照)。
次に図7A(b)のパンフレット21を実線で示す位置から仮想線で示す位置に移動させた場合について、図7A(b)および図7B(c)を参照して、説明する。パンフレット21を移動させた場合の表示装置1の動作は、初期の表示状態のLCD2にパンフレット21を載置した場合の表示装置1の動作と類似しており、異なる点についてだけ説明し、同様の動作については、その説明を省略する。ステップs10では、移動後の関連画像24bに対する差分量を演算し、関連画像24bに対する差分量がL1であることを求める。L1が限界差分量L以上であると判定され、パンフレット21と関連画像24bとが重複すると判定され、ステップs11へ移行する。
ステップs11では、パンフレット21に付加されている識別情報に関連する関連画像は、表示画像として表示されているので、表示されている関連画像を移動させる。パンフレット21と関連画像24とが重複するので、パンフレット21と関連画像24bとが重複しないように3つの関連画像24a,24b,24cを移動させ、パンフレット21を避けて、3つの関連画像24a,24b,24cを表示させる(図7B(c)参照)。このときパンフレット21の向きが変更されていないので、3つ関連画像24a,24b,24cの向きは、変更されず維持される。
次に客23が店員22の隣に着座などする場合について、図7B(d)を参照して、説明する。パンフレット21の向きを変えた場合の表示装置1の動作は、初期の表示状態のLCD2にパンフレット21を載置した場合の表示装置1の動作と類似しており、異なる点についてだけ説明し、同様の動作については、その説明を省略する。ステップs11では、方向認識情報に基いて、パンフレット21が、その上下方向が図7B(d)の紙面左右方向に一致するように配置されていることを認識する。このパンフレット21の上下方向に対応するように、関連画像の上下方向を、図7B(d)の紙面左右方向に一致させて、3つの関連画像24a,24b,24cを客23に向けて表示する。さらに3つの関連画像24a,24b,24cは、パンフレット21を避けるように表示され、図7A(b)および図7B(c)に対して、表示領域が縮小または拡大されて表示されている。
最後にLCD2に載置されているパンフレット21を取り除いた場合について、図7C(e)および図7C(f)を参照して、説明する。LCD2に載置されるパンフレット21を取り除くと、ステップs1で記憶部7,8に記憶させた画像情報に基いて、ステップs2で取得画像に変化があると判定し、ステップs3に移行する。
ステップs3では、パンフレット21が取り除かれてから1秒以上経過していれば、1秒間、取得画像に変化がないと判定され、ステップs4へ移行する。ステップs4では、LCD2にパンフレット21が載置されていないので、ステップs4で物品が載置されていないと判定し、ステップs13へ移行する。パンフレット21が取り除かれてから非載置時間経過していれば、非載置時間経過していると判定し、ステップs14へ移行する。
ステップs14では、LCD2に静止画31、本実施の形態では、「ありがとうございました」の文字が表示される(図7C(e)参照)。静止画31が表示されて、所定の時間が経過すると、LCD2は、初期の表示状態に戻る。
図8は、関連画像24a,24cにパンフレット21の一部が重複しているときのLCD2を示す平面図である。関連画像24a,24cにパンフレット21の一部が重複している場合について説明する。CPU20が差分量を演算し、パンフレット21と周辺施設案内の関連画像24aとの差分量がL2であり、価格表である関連画像24cとの差分量がL3であることを求める。ここで差分量L2およびL3は、重複しているので、正の値である。次にCPU20は、演算された差分量L2およびL3が限界差分量L以上であるか否かを判定する。ここで限界差分量Lは、正の値であり、差分量L2およびL3未満の値であるとする。この場合、ステップs10で、CPU20が差分量L2およびL3が、限界差分量Lより小さいと判定し、ステップ12へ移行し、現状の表示状態を維持する(図8参照)。差分量L2およびL3が限界差分量L以上の場合、パンフレット21を避けるように、関連画像24a,24b,24cの表示領域が変更される。このように限界差分量Lより小さければ、関連画像24a,24b,24cとパンフレット21とが重複する部分が少ないので、関連画像の内容が見えないなどの不都合がなく、かつ関連画像がすぐに移動してちらつくなどの問題が解決される。
図9は、LCD2に載置されるパンフレット21が予め定められる基準方向A1に対して角度α傾いて載置された場合の表示装置1を示す平面図である。表示装置1では、LCD2において基準となる基準方向A1が規定されている。本実施の形態では、基準方向A1を図9の紙面上下方向に規定している。この基準方向A1に対してパンフレット21が角度α傾いている場合の表示装置1の動作について、以下に説明する。
ステップs11において、CPU20は、方向認識部12にパンフレット21の向き、具体的には上下方向を認識させる。CPU20は、認識させたパンフレット21の上下方向と基準方向A1とを比較し、前記パンフレット21の上下方向に平行な仮想直線B1と基準方向A1に平行な仮想直線B2とがなす角度αを演算する。角度αが0度以上45度未満の場合、CPU20は、表示制御部14を制御して、関連画像24の向きを基準方向A1に一致させて、関連画像24をLCD2に表示させる。角度αが45度以上90度未満の場合、CPU20は、表示制御部14を制御して、関連画像24の向きを基準方向A1に垂直な方向に一致させて、関連画像24をLCD2に表示させる。このように表示することによって、関連画像24が傾くことなく、図9の紙面上下方向または左右方向に向けて表示される。したがってパンフレット21が傾いて載置された場合であっても、店員22および客23は、関連画像24が見やすい。ただしこのような構成に限定されず、パンフレット21が基準方向A1に対して角度αに載置された場合であっても、パンフレットの上下方向と関連画像24の上下方向と一致するように、関連画像24を表示させてもよい。またパンフレット21の上下方向と関連画像24の左右方向と一致するように、関連画像24を表示させてもよい。
このように表示装置1は、タグ識別部10が識別情報および方向識別情報を認識することによって、対象物である物品を認識し、この物品に関連付けて記憶される関連情報を検索してLCD2に表示させることができる。また表示装置1は、文字認識部11が特定文字を認識することによっても、対象物である物品を認識し、この物品に関連付けて記憶される関連情報を検索してLCD2に表示させることができる。
以下では、本実施の形態の表示装置1が奏する効果について説明する。本実施の形態の表示装置1によれば、タグ認識部10が識別情報を検出すると、記憶部7,8のうち少なくとも一方に記憶される関連データから識別情報に関連付けられた関連データを検索する。LCD2には、検索された関連データに基づく関連画像が表示される。したがってパンフレット21などの物品に識別情報を付加し、タグ認識部10によって識別情報を検出させると、LCD2にパンフレット21などの物品の関連画像24を表示させることができる。このように識別情報を検出するだけで、記憶部7,8または通信部19を経由した外部記憶装置のうち少なくとも一つに記憶される関連データから前記対象物に関連する関連データを容易に検索することができ、この関連データに基づく関連画像24を表示させることができ、使用者の検索時間および労力を従来の技術に比べて低減することができる。
本実施の形態の表示装置1によれば、方向認識部12がパンフレット21などの物品の向きを検出すると、表示制御部14は、検出された向きに基づいて、関連画像24の向きを制御する。したがって関連画像24の向きは、一義的に決定されるのではなく、パンフレット21などの物品の向きに応じて変更することができるので、LCD2を視認する客23が着座などする位置に合わせて変更することできる。換言すると客23の視認方向に合わせて、関連画像の向きを変更することができ、パンフレット21などの物品の向きを変えることによって、客23が理解しやすい向きに関連画像24を配置することができる。また客23の視認方向に合わせて表示装置1の配置を変更する、または客23が着座などする位置を変えさせる必要がなく、利便性の高い表示装置1が実現できる。
本実施の形態の表示装置1によれば、LCD2に載置されるパンフレット21などの物品の識別情報を検出し、この検出される識別情報に関連する関連データに基づく関連画像24がLCD2に表示される。したがって表示される関連画像24の近くにパンフレット21などの物品があるので、客23は、パンフレット21などの物品と関連画像24とを参照し易い。たとえば関連画像24を用いてパンフレット21などの物品を説明する場合、パンフレット21などの物品と関連画像24とを参照し易く、客23の理解を深めることができる。
本実施の形態の表示装置1によれば、位置認識部9がLCD2に対するパンフレット21などの物品の相対位置を検出すると、この相対位置に基づいて、関連画像24の配置を制御する。LCD2に対するパンフレット21などの物品の相対位置に応じてLCD2に表示される関連画像の配置が変更するので、関連画像24の配置に関係なく、パンフレット21などの物品をLCD2に配置することができる。
本実施の形態の表示装置1によれば、CPU20によって、差分量が検出され、この差分量に基づいて、関連画像24の配置を制御する。関連画像24とパンフレット21などの物品とが重なる度合いに応じて関連画像24の配置が制御され、関連画像24全体がパンフレット21などの物品で覆われることを抑制できる。これによって関連画像24を視認不能になることを抑制できる。
本実施の形態の表示装置1によれば、予め定められる表示時間、取得画像に変化がないかを判定後に、表示画像の表示領域を変更する。これによってパンフレット21などの物品を移動させたとき、パンフレット21などの物品のLCD2の位置が確定するまで表示画像の表示領域が変更されず、パンフレット21などの物品の移動にともなって表示画像が目まぐるしく移動することを抑制できる。このような表示画像の移動を抑制できるので、LCD2の視認による疲れを抑制できる。また表示画像のちらつきも抑制することができる。
本実施の形態の表示装置1によれば、手がLCD2に載置されているか否かを判定し、手が載置されていると判定した場合、表示画像を維持する。したがってLCD2に載置される手に応答して表示画像の表示領域が変更することがなく、パンフレット21などの物品を手で指示すなどして説明することができ、相手側の理解を高めることができる。認識するのは、手でなくても、差棒などであってもよい。
本実施の形態の表示装置1によれば、演算される差分量に応じて、表示画像の表示領域を変更する。関連画像には、マージンが含まれ、パンフレット21などの物品が関連画像のマージンの部分に重複しても、関連画像に含まれる文字および画像などの部分が前記物品に重ならなければ、視認者は関連画像に含まれる情報を読取ることができる。したがって前記物品と関連画像とが重複する部分が、各関連画像に定められるマージン以下であれば、関連画像と前記物品とが重なり合って、情報を読取ることが困難になることを抑制できる。
本実施の形態の表示方法によれば、識別情報認識工程で識別情報を検出すると、識別情報に関連付けられている関連データを検索する。表示工程では、検索される関連データに基づく関連画像24を表示する。したがって各パンフレット21などの物品に識別情報を付加することによって、識別情報検出工程で識別情報を検出すると、パンフレット21などの物品の関連画像をLCD2に表示させることができる。このように識別情報を検出するだけで、パンフレット21などの物品に関連する関連データを容易に検索することができ、この関連データに基づく関連画像24を表示させることができ、使用者の検索時間および労力を従来の技術に比べて低減することができる。
本実施の形態のプログラムによれば、コンピュータに表示装置1の機能を実行させることができ、関連データを検索する時間および労力を低減できる。
図10は、他の形態のパンフレット21Aを示す図である。パンフレット21Aは、裏表紙21bに、1つのQRコード27Aが形成されている。QRコード27Aには、識別情報、方向認識情報および形状情報が含まれている。タグ認識部10は、取得画像に基いて、QRコード27Aに含まれる識別情報などの情報を取得する。
本実施の形態では、QRコード27,28に基いて、パンフレット21の向きを認識しているけれども、裏表紙文字29Aの向きによって認識してもよい。この場合、裏表紙文字29Aが方向認識情報に相当する。具体的な認識方法は、取得画像に基いて、裏表紙文字29Aと予め記憶部7,8に記憶される文字画像と比較し、文字画像を傾き補正するなどして、裏表紙文字29Aと文字画像とが一致する向きを検出する。この検出された裏表紙文字29Aの向きに基いて、パンフレット21Aの向きを認識する。文字画像は、予め定められた書式で記載された文字の画像であり、裏表紙文字29Aに含まれる文字と同一の文字である。
裏表紙文字29Aで認識することによって、QRコード27,28を作成する必要がない。したがって不要な画像を物品に形成する必要がないので、物品の美観を損ねることなく、表示装置1の機能を達成させることができる。
複数の物品が載置されるなどして、複数の関連画像24を含む複数の表示画像を表示させる場合、前記載置される複数の物品を避けて、かつ複数の画像を重ねて表示させてもよい。各画像に重要度を規定し、LCD2には、重要度の高い画像を画面の手前側に表示し、重要度の低い画像を画面の奥側に表示する。したがって重要度の高い画像から低い画像へ順番に、手前側から奥側に表示される。座標入力手段16によって奥側に表示されている画像を指定すると、指定された画像が手前側に表示されるように構成される。これによって複数の関連画像24を表示できるとともに、表示される関連画像24の数に関係なく、各関連画像24の表示領域を確保することができる。
また本実施の形態では、表示装置1に表示される画像については、関連画像についてだけ説明しているけれども、関連画像に限定されない。たとえば入力部18によって、記憶部7,8に記憶されるデータに基づく画像を表示させてもよく、また通信部19を介して通信可能なコンピュータに記憶されるデータに基づく画像を表示させてもよい。
さらに本実施の形態では、識別情報などが含まれるタグとしてQRコードについて説明しているけれども、QRコードに限定されない。たとえば1次元バーコードおよびQRコード以外の2次元バーコードであってもよく、また電子透かしなどであってもよい。さらに本実施では、人が視認可能な塗料でQRコードをパンフレット21に形成しているけれども、視認不可能で、光センサ3が受光可能な周波数、たとえば赤外線を反射可能塗料であってもよい。このような塗料を用いることによって、表示装置1に関連データを表示させる機能を達成させることができるとともに、パンフレット21などの物品の美観を損ねない。さらにRFIDなどのタグであってもよい。このように識別情報を担う担体、すなわちデータキャリアであればよく、その情報担体は限定されない。
さらに本実施の形態では、QRコード27,28に方向識別情報が含まれているけれども、QRコードと別個に形成してもよい。たとえば塗料を塗布するなどして矢印をパンフレット21に形成する。方向認識部12は、取得画像に含まれるこの矢印に基いて、パンフレット21の方向を認識する。これによって関連画像の向きを決定することができる。
さらに本実施の形態では、表示装置1は、ステップs11で差分量に基いて、表示画像の表示領域を変更しているけれども、投影像と関連画像との重複する割合に基いて、表示画像の表示領域を変更してもよい。
さらに本実施の形態では、QRコード27,28に含まれる識別情報に基いて、物品を識別しているけれども、必ずしもQRコード27,28に含まれる識別情報に限定されない。たとえば取得画像に基いて、投影像の形状を検出し、この形状と関連データとを関連付けることによって、関連データの検索を可能にできる。すなわち投影像の形状が識別情報の役割を果たす。このように投影像の形状を識別情報として使用してもよい。物品のLCD2に当接する部分に、切欠きを形成し、この切欠きに基いて、物品を識別させるように形成してもよい。またQRコードに含まれる3つの位置検知パターンに基いて、QRコードの向きを検出し、これによってパンフレット21の向きを検出してもよい。
さらに本実施の形態では、CPU20と位置認識部9、方向認識部12、タグ認識部10および文字認識部11とが別個に設けられているけれども、位置認識部9、方向認識部12、タグ認識部10および文字認識部11の機能をCPU20が達成してもよい。つまりCPU20が、位置認識部9、方向認識部12、タグ認識部10および文字認識部11の機能を達成するように構成してもよい。
さらに本実施の形態では、パンフレット21を載置した場合について説明しているけれども、載置される物品はパンフレット21に限定されない。たとえば書類、陶器、電化製品、遊具でもよく、物体であればよい。
本実施の形態では、LCD2について説明しているけれども、このような構成に限定されない。たとえばプロジェクタであってもよく、表面電界ディスプレイ(Surface-
conduction Electron-emitter Display:略称SED)であってもよい。