JP2004038429A - 合成画像表示システム、合成画像表示方法、合成画像表示プログラム及びそのプログラムを記録した記録媒体 - Google Patents
合成画像表示システム、合成画像表示方法、合成画像表示プログラム及びそのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP2004038429A JP2004038429A JP2002192824A JP2002192824A JP2004038429A JP 2004038429 A JP2004038429 A JP 2004038429A JP 2002192824 A JP2002192824 A JP 2002192824A JP 2002192824 A JP2002192824 A JP 2002192824A JP 2004038429 A JP2004038429 A JP 2004038429A
- Authority
- JP
- Japan
- Prior art keywords
- image
- composite image
- screen
- display
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
Abstract
【課題】本発明は、画面に表示する物体とカメラで撮影された人物画像とを合成して他のPCに提供するときに、あたかも、その人物が物体を操作しているかの如くに見えるようにする新たな合成画像表示技術の提供を目的とする。
【解決手段】カメラの撮影する人物画像と記憶装置に蓄積された物体画像とを合成して表示PCの画面に表示する。このとき、それぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識して、その認識結果に従って、それらの特定部位が画面上で重なるのか否かを検出する。そして、その重なりが検出される場合に、人物画像の持つ特定部位の移動を検出すると、物体画像の表示形態を変更する。これにより、カメラにより撮影される人物は、画面を見ながら指先を物体画像の特定位置にもってくることで、画面に表示される物体を回転させたり、その物体の扉や蓋を開いて内部を表示することが可能となる。
【選択図】 図9
【解決手段】カメラの撮影する人物画像と記憶装置に蓄積された物体画像とを合成して表示PCの画面に表示する。このとき、それぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識して、その認識結果に従って、それらの特定部位が画面上で重なるのか否かを検出する。そして、その重なりが検出される場合に、人物画像の持つ特定部位の移動を検出すると、物体画像の表示形態を変更する。これにより、カメラにより撮影される人物は、画面を見ながら指先を物体画像の特定位置にもってくることで、画面に表示される物体を回転させたり、その物体の扉や蓋を開いて内部を表示することが可能となる。
【選択図】 図9
Description
【0001】
【発明の属する技術分野】
本発明は、撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示PCの画面に表示するとともに、その合成画像をネットワークを経由して他のPCに送信して表示させる合成画像表示システムと、その合成画像表示システムの実現に用いられる合成画像表示方法と、その合成画像表示方法の実現に用いられる合成画像表示プログラムと、その合成画像表示プログラムを記録した記録媒体とに関する。
【0002】
【従来の技術】
従来の画像表示システムでは、ホームページの表示などに見られるように、画面に表示した物体の表示形態を変更したり、その物体に関連する画像を取得して画面に表示するような場合には、ユーザにより操作されるマウスなどの操作内容を検出して、それに応じて、画面に表示した物体の表示形態を変更したり、その物体に関連する画像を取得して画面に表示するようにしている。
【0003】
また、人の画像と物体の画像とを合成して表示するようなことも行われているが、そのような場合に、画面に表示した物体の表示形態を変更したり、その物体に関連する画像を取得して画面に表示するような場合には、その表示する人物以外の人により操作されるマウスなどの操作内容を検出して、それに応じて、画面に表示した物体の表示形態を変更したり、その物体に関連する画像を取得して画面に表示することで、あたかも、その合成画面上の人物がその物体を操作しているかの如くに見せるようにしている。
【0004】
【発明が解決しようとする課題】
最近、画面に表示する物体と撮影カメラで撮影された人物画像とを合成して、あたかも、その人物が物体を操作しているかの如くに、その物体を扱うことで合成画像を作成して、それをネットワークを経由して他のPCに送信するという技術の提供が望まれている。
【0005】
このような技術が提供されると、例えば、ある製品の操作方法などについてネットワークを介して顧客に説明する場合に、説明者がその製品の扉を開けたりしながら、その製品の操作方法などについて説明したり、説明者がその製品のある箇所に手を触れると、その箇所に関係した画像を表示しながら、その製品の操作方法などについて説明できるようになるというようなことを実現できるようになる。
【0006】
しかしながら、従来技術に従っていたのでは、他の操作者の支援を受けることなく、この技術を実現することは不可能である。
【0007】
すなわち、従来技術でも、人の画像と物体の画像とを合成して表示する場合にあって、あたかも、その合成画面上の人物がその物体を操作しているかの如くに見せるようにすることは行われているが、上述したように、それは合成画面上の人物以外の操作者の支援により実現されているものであるからである。
【0008】
本発明はかかる事情に鑑みてなされたものであって、画面に表示する物体と撮影カメラで撮影された画像(例えば人物画像)とを合成して、他の操作者の支援を受けることなく、あたかも、その撮影カメラで撮影された画像が物体を操作しているかの如くに、その物体を扱うことで合成画像を作成して、それをネットワークを経由して他のPCに送信できるようにする新たな合成画像表示技術の提供を目的とする。
【0009】
【課題を解決するための手段】
この目的を達成するために、本発明の合成画像表示システムは、撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示PCの画面に表示するとともに、その合成画像をネットワークを経由して他のPCに送信して表示させるときにあって、▲1▼合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識する手段と、▲2▼その認識結果に従って、それぞれの画像の持つ特定部位が画面上で重なるのか否かを検出する手段と、▲3▼その重なりが検出される場合に、関連する画像を取得して表示PCの画面に表示する手段とを備えるように構成する。
【0010】
そして、この目的を達成するために、本発明の合成画像表示システムは、撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示PCの画面に表示するとともに、その合成画像をネットワークを経由して他のPCに送信して表示させるときにあって、▲1▼合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識する手段と、▲2▼その認識結果に従って、それぞれの画像の持つ特定部位が画面上で重なるのか否かを検出する手段と、▲3▼その重なりが検出される場合に、合成画像を構成する物体画像の表示形態を変更する手段とを備えるように構成する。
【0011】
そして、この目的を達成するために、本発明の合成画像表示システムは、撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示PCの画面に表示するとともに、その合成画像をネットワークを経由して他のPCに送信して表示させるときにあって、▲1▼合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識する手段と、▲2▼その認識結果に従って、それぞれの画像の持つ特定部位が画面上で重なるのか否かを検出する手段と、▲3▼その重なりが検出される場合に、合成画像を構成する撮影画像の持つ特定部位の移動を検出する手段と、▲4▼その移動が検出される場合に、合成画像を構成する物体画像の表示形態を変更する手段とを備えるように構成する。
【0012】
さらに、本発明の合成画像表示システムは、このように構成されるときにあって、合成画像の送信先となるPCから接続要求が発行される場合に、複数の表示PCの中から未接続のものを選択する手段を備えたり、物体画像ごとに、表示PCと他のPCとの間の接続回数及び/又は接続時間を集計する手段を備えることがある。
【0013】
以上の各処理手段により実現される本発明の合成画像表示方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供することができる。
【0014】
このように構成される本発明の合成画像表示システムでは、合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識して、その認識結果に従って、それらの特定部位が画面上で重なるのか否かを検出し、その重なりが検出される場合に、関連する画像を取得して表示PCの画面に表示するように処理する。
【0015】
ここで、取得した関連画像を、表示PCの画面の他に、他のPCの画面にも表示するようにしてもよい。
【0016】
また、このように構成される本発明の画像合成表示システムでは、合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識して、その認識結果に従って、それらの特定部位が画面上で重なるのか否かを検出し、その重なりが検出される場合に、合成画像を構成する物体画像の表示形態を変更するように処理する。
【0017】
また、このように構成される本発明の画像合成表示システムでは、合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識して、その認識結果に従って、それらの特定部位が画面上で重なるのか否かを検出し、その重なりが検出される場合に、合成画像を構成する撮影画像の持つ特定部位の移動を検出して、その移動が検出される場合に、合成画像を構成する物体画像の表示形態を変更するように処理する。
【0018】
このとき、物体画像の表示形態をオン・オフ的に変更するのではなくて、その移動の移動方向や移動量に応じて、物体画像の表示形態を連続的に変更するように処理することがある。
【0019】
このようにして、本発明の画像合成表示システムによれば、例えば、合成画像に表示される人物は、合成画像を見ながら、▲1▼自分の指先を物体画像の持つ特定部位に重なるようにと空間上を移動させることで、関連する画像を表示できるようになったり、また、▲2▼自分の指先を物体画像の持つ特定部位に重なるようにと空間上を移動させることで、物体画像の持つ扉を開くというように物体画像の表示形態を変更できるようになったり、また、▲3▼自分の指先を物体画像の持つ特定部位に重なるようにと空間上を移動させた後、その位置から指先を移動させることで、物体画像の持つ扉を開くというように物体画像の表示形態を変更できるようになる。
【0020】
このような形で合成画像の表示を行うときに、複数の企業から提供される物体画像を使って例えば製品の操作方法の説明をするなどのサービスを行う場合には、物体画像ごとに、表示PCと接続要求元PCとの間の接続回数や接続時間を集計できるようになっていることから、それに応じて、それらの企業からサービス利用料金を徴収することができるようになることで、新たなビジネスモデルを構築できるようになる。
【0021】
このように、本発明によれば、画面に表示する物体と撮影カメラで撮影された画像(例えば人物画像)とを合成して、他の操作者の支援を受けることなく、あたかも、その撮影カメラで撮影された画像が物体を操作しているかの如くに、その物体を扱うことで合成画像を作成して、それをネットワークを経由して他のPCに送信できるようになる。
【0022】
【発明の実施の形態】
図1に、本発明を具備するシステムの全体構成を図示する。
【0023】
この図に示すように、本発明を具備するシステムでは、顧客側に設けられる顧客PC2と受付センタ1に設けられる受付用PC10とが、インターネットやIPネットワークなどの通信ネットワーク3を介して接続されている。
【0024】
そして、受付用PC10には、受付者を撮影して受付用PC10で送信するための撮像カメラ100が接続されている。
【0025】
このように構成される本発明を具備するシステムは、例えば、図2に示すように、複数の企業からの業務委託を受けて、受付用PC10と顧客PC2との間で画像を共有しつつ、受付センタ1にいる受付者が各企業の製品の画像を使って、その製品の操作方法などを説明することにより、各企業から手数料の支払いを受け取るというビジネスを実現可能にする。
【0026】
図3に、受付センタ1のシステム構成の一例を図示する。
【0027】
この図に示す受付センタ1では、受付用PC10は、LAN11を介して合成サーバ12に接続されている。また、このLAN11には、静止画(各企業の製品の静止画)を蓄積する静止画DB13と、通信ネットワーク3に接続するためのルータ14とが接続されている。
【0028】
ここで、静止画DB13に蓄積される静止画の持つ操作可能部位(例えば製品の扉)には、操作可能部位を示すマークが埋め込まれており、このマークには、静止画DB13に格納される別の静止画へのアクセスを指示するとか、その操作可能部位についての画面上での回転や拡大や縮小を指示するといったような操作内容が割り付けられている。
【0029】
図4に、受付センタ1のシステム構成の他の一例を図示する。
【0030】
この図に示す受付センタ1では、複数の受付用PC10がLAN11に接続されており、これに合わせて、複数の受付用PC10の中で空いているものを探すためのACD15(automatic call distributor)がLAN11に接続されている。
【0031】
この図4の構成に従う受付センタ1を用いる場合には、顧客PC2から製品の操作方法についての説明要求が発行されると、その説明要求は合成サーバ12で受け付けられ、合成サーバ12からACD15に対して空いている受付用PC10の選択指示が発行されることで、空いている受付用PC10が選択されて、その選択された受付用PC10を操作する受付者(オペレータ)が顧客PC2から送られてくる質問に応じて、ある企業の製品の操作方法などについて説明を行うことになる。
【0032】
図5に、ACD15の機能ブロック構成を図示する。
【0033】
ACD15は、空いている受付用PC10の選択処理や各企業に請求する料金の計算処理を行うように処理する。
【0034】
ACD15は、この処理を行うために、図5に示すように、IPパケット送信部150、IPパケット受信部151、オーダ分析部152、PC接続/切断監視部153、PC接続カウンタ154、料金表保持部155、料金計算部156、受付用PC空塞管理部157、空きPC選択部158を備える。
【0035】
オーダ分析部152は、受信パケットを分析して、▲1▼合成サーバ12からの空きPC選択指示か、▲2▼着信した受付用PC10からの接続開始、終了の通知か、▲3▼管理者などからの料金情報の計算請求かを分析し、それぞれ対応する機能に指示を出す。
【0036】
PC接続/切断監視部153は、受付用PC10からの接続開始、終了の情報を受付用PC空塞管理部157に転送するとともに、PC接続カウンタ154に接続開始、終了の情報を転送する。
【0037】
PC接続カウンタ154は、受付用PC10ごとの接続回数、接続時間を蓄積するとともに、受付者が受付用PC10から投入した企業名ごとの接続回数、接続時間の統計を取って記録する。
【0038】
料金表保持部155は、接続回数、接続時間、企業ごとに設定された料金表を保持する。
【0039】
料金計算部156は、管理者などから料金情報の計算要求(各企業にいくら料金を請求するのかについての計算要求)がきた場合、PC接続カウンタ154および料金表保持部155の情報を用いて、企業ごとの接続回数、接続時間、料金を計算して返送する。
【0040】
受付用PC空塞管理部157は、PC接続/切断監視部153から受信した受付用PC10の接続開始、終了情報により、受付用PC10の空塞を図6に示すようなテーブル構造を持つ受付用PC空塞管理テーブルを使って管理する。
【0041】
ここで、図6に示す受付用PC空塞管理テーブルでは、受付用PC10のIPアドレスと対応付けて、空き(1)であるのか使用中(0)であるのかを管理するという例を示しているが、IPアドレスの代わりに受付用PC10の論理番号を使うことも可能である。
【0042】
空きPC選択部158は、合成サーバ12からの空きPC選択のオーダに応答して、受付用PC空塞管理部157を検索して空いている受付用PC10を選び出し、問い合わせ元である合成サーバ12に対して、その選んだ受付用PC10のIPアドレス(あるいは論理番号)を通知する。
【0043】
この受付用PC10の選択の仕方としては、受付用PC空塞管理テーブルの先頭から順にサーチして空塞表示が空きの受付用PC10を選択する方法や、前回選択した受付用PC10の次の受付用PC10から空塞のチェックを行う方法などを用いることができる。
【0044】
図7に、合成サーバ12の機能ブロック構成を図示する。
【0045】
合成サーバ12は、受付用PC10から送られてくる受付者の画像(映像)と、静止画DB13から送られてくる製品の画像とを合成して、受付用PC10および顧客PC2に送信するように処理する。
【0046】
合成サーバ12は、この処理を行うために、図7に示すように、受信バッファ1200、送信バッファ1201、ACDアクセス部1202、振り分け部1203、オブジェクトバッファ1204、映像バッファ1205、バッファ制御部1206、輪郭検出部1207、表示位置検出部1208、マーキング位置検出部1209、重なり検出部1210、動き検出部1211、オブジェクト付加属性検索部1212、画像合成部1213、画像移動処理部1214、DBアクセス部1215を備える。
【0047】
ACDアクセス部1202は、顧客PC2からの着信があった場合に、LAN11を経由してACD15に対して、空いている受付用PC10のIPアドレス(あるいは論理番号)を要求し、それを受信すると、顧客PC2のIPアドレスとともにバッファ制御部1206に通知する。
【0048】
振り分け部1203は、受信したデータが受付用PC10の要求した静止画DB13から読み出された製品の画像(以下、オブジェクトと称することがある)であるのか、受付用PC10から送られてくる受付者の画像(映像)であるのかを判断して、それぞれをオブジェクトバッファ1204、映像バッファ1205に格納する。
【0049】
この際、受付用PC10からの映像とそれが請求した製品の画像とを、受付用PC10に対応付けて用意される対応する映像バッファ1205とオブジェクトバッファ1204とに格納する。また、バッファ制御部1206に対して、受付用PC10のIPアドレス(あるいは論理番号)とオブジェクトバッファ1204および映像バッファ1205との対応付け情報を送付する。
【0050】
オブジェクトバッファ1204および映像バッファ1205の対は、上述したことから分かるように、受付用PC10の数だけ用意される。
【0051】
輪郭検出部1207は、映像バッファ1205に格納される受付者の映像から、その受付者の指先を抽出、認識する。この機能は公知の技術で実行可能である。
【0052】
表示位置検出部1208は、輪郭検出部1207により認識された指先が画面のどの座標位置に対応するのかを計算する。
【0053】
マーキング位置検出部1209は、オブジェクトバッファ1204に格納されるオブジェクトの各操作可能部位にあらかじめ埋め込まれている全てのマークについて、そのマークの画面上での座標位置を計算する。このマークには、上述したように、静止画DB13に格納される別の静止画へのアクセスを指示するとか、その操作可能部位についての画面上での回転や拡大や縮小を指示するといったような操作内容が割り付けられている。
【0054】
重なり検出部1210は、表示位置検出部1208の検出する指先の座標位置と、マーキング位置検出部1209の検出するマークの座標位置とを相互参照して、指先に重なりのあるマークを検出する。
【0055】
動き検出部1211は、表示位置検出部1208の検出する指先の画面上での移動を検出(移動の有無の他に、移動方向や移動量を検出することもある)する。
【0056】
オブジェクト付加属性検索部1212は、重なり検出部1210により検出されたマーク(指先との重なりの検出されたマーク)と、動き検出部1211により検出された指先の移動とから、マークに割り付けられている操作内容が回転、縮小、拡大可能を示すときには、その指先の移動に応じて、オブジェクトを回転、縮小、拡大するようにと画像移動処理部1214に通知する。
【0057】
このとき、指先の移動方向や移動量から、回転や縮小や拡大の大きさを決定するようにしてもよいし、指先の移動方向や移動量に関係なく、移動の有無に応じて、ある定められた大きさの回転や縮小や拡大を決定するようにしてもよい。
【0058】
一方、オブジェクト付加属性検出部1212は、マークに割り付けられる操作内容が別の静止画にアクセスすることを要求している場合には、DBアクセス部1215に対して、その指定される静止画にアクセスするように要求し、これにより、その指定される静止画が対応するオブジェクトバッファ1204に格納されることになる。
【0059】
画像移動処理部1214は、オブジェクト付加属性検索部1212からの通知に従って、オブジェクト(製品の画像)に対して操作を施してオブジェクトバッファ1204に格納する。
【0060】
画像合成部1213は、対応するオブジェクトバッファ1204および映像バッファ1205を一定のタイミングでアクセスして両映像を合成し、バッファ制御部1206から指示されたIPアドレスに従って、この合成した画像を顧客PC2および受付用PC10に送付する。
【0061】
なお、ACD15や静止画DB13については、合成サーバ12に実装することも可能である。
【0062】
図8に、合成サーバ12の実行する処理フローの一実施形態例を図示する。
【0063】
次に、この処理フローに従って、このように構成される合成サーバ12の実行する処理について詳細に説明する。
【0064】
合成サーバ12は、データを受信すると、図8の処理フローに示すように、先ず最初に、ステップ10で、顧客PC2からの新規の着信であるのか否かを判断して、顧客PC2からの新規の着信であることを判断するときには、ステップ11に進んで、ACD15に対して、空いている受付用PC10の選択を指示し、続くステップ12で、発信元の顧客PC2のIPアドレスをバッファ制御部1206に通知する。
【0065】
この空いている受付用PC10の選択要求を受けて、ACD15は、上述したように、空いている受付用PC10を選択して、その受付用PC10のIPアドレスを返信してくる。
【0066】
そして、ACD15により空いている受付用PC10が選択されると、その受付用PC10を操作する受付者が対応を開始して、顧客は、どの企業のどの製品についての操作方法の提供や相談を望むかについて受付者に通知し、これを受けて、受付者は、静止画DB13を検索して該当製品の画像を選択することになる。
【0067】
このようにして選択された製品の画像や、受付用PC10の備える撮像カメラ100により撮影される受付者の画像(映像)が合成サーバ12に送られてくることになる。
【0068】
これから、ステップ10で、受信データが顧客PC2からの新規の着信でないことを判断するときには、ステップ13に進んで、受信データが画像(製品の画像や受付者の画像)であるのか否かを判断して、受信データが画像でないことを判断するとき、すなわち、受信データがステップ11の処理に応答して返信されてくる空きの受付用PC10のIPアドレスであることを判断するときには、ステップ14に進んで、その返信されてくる空きの受付用PC10のIPアドレスをバッファ制御部1206に通知する。
【0069】
一方、ステップ13で、受信データが画像であることを判断するときには、ステップ15に進んで、受信した画像がオブジェクト(製品の画像)であるのか受付者の画像(映像)であるのかを判断して、その判断結果に基づいて、その受信した画像をバッファ制御部1206の指示するオブジェクトバッファ1204または映像バッファ1205に格納する。
【0070】
このようにして、画像を受信してオブジェクトバッファ1204や映像バッファ1205に格納すると、ステップ16に示すように、オブジェクトバッファ1204に格納されるオブジェクトと映像バッファ1205に格納される映像とを合成して、バッファ制御部1206の指示する受付用PC10および顧客PC2(接続要求元の顧客PC2および、接続先の受付用PC10)に送信する。
【0071】
そして、このようにして、画像を受信してオブジェクトバッファ1204や映像バッファ1205に格納すると、ステップ17に示すように、オブジェクトのマーキング位置の画面上の座標を検出して、ステップ18で示すように、その画面位置が映像から検出された受付者の手や指先の位置(後述するステップ19で検出する)に重なるのか否かを検出する。
【0072】
そして、このようにして、画像を受信してオブジェクトバッファ1204や映像バッファ1205に格納すると、ステップ19に示すように、受付者の映像から、その受付者の手や指先を認識して、その画面上の座標を検出し、ステップ20で示すように、その画面位置から受付者の手や指先の動きを検出する。
【0073】
そして、このようにして、画像を受信してオブジェクトバッファ1204や映像バッファ1205に格納すると、ステップ21で示すように、オブジェクトのマーキング位置に割り付けられている付加属性(操作内容)を分析する。
【0074】
このようにして、ステップ17ないしステップ21の処理を実行すると、ステップ22に進んで、オブジェクトの持つマークと受付者の手や指先との重なりを検出したのか否かを判断して、この重なりを検出しない場合には、何の処理も行わない。
【0075】
一方、ステップ22で、オブジェクトの持つマークと受付者の手や指先との重なりを検出した場合には、ステップ23に進んで、オブジェクトの付加属性の分析結果に基づいて、オブジェクトの全体または一部を回転させたり縮小させたり拡大させたりする動作機能の実行指示が割り付けられているのか否かを判断して、そのような動作機能の実行指示が割り付けられていることを判断するときには、ステップ24に進んで、検出された受付者の手や指先の動きと割り付けられている動作機能とに従って、オブジェクトバッファ1204に格納されるオブジェクト(製品の画像)を動作させる。
【0076】
一方、ステップ23で、オブジェクトの動作機能の実行指示が割り付けられていないことを判断するとき、すなわち、別の静止画へのアクセス要求がマークに割り付けられていることを判断する場合には、ステップ25に進んで、静止画DB13にアクセスすることでその静止画を取得するように処理する。
【0077】
以上に説明した合成サーバ12の処理に従って、次のようなビジネスを実現できるようになる。
【0078】
すなわち、顧客が顧客PC2で接続を要求すると、空いている受付用PC10が割り当てられて、その受付用PC10の受付者が対応を開始する。顧客は、どの企業のどの製品についての情報提供、相談を望むのかを受付者に話し、それにより受付者が静止画DB13を検索して該当製品を選択する。
【0079】
このとき、顧客が指定した企業の関連全製品の写真が静止画DB13からアクセスされて両PCに表示され、これを受けて、受付者は、指で指し示しながら顧客に確認して、該当製品を選択する。この際に、対応する製品の企業情報がACD15内部のPC接続カウンタ154に通知される。
【0080】
続いて、選択された製品の画像が静止画DB13から取り出され、受付者と顧客とでその画像を両PCで共有しながら、受付者は、指先の動きに応じて製品の扉や蓋を開けた内部画面などに表示を切り替えながら、顧客に対して、操作方法、接続方法などを説明する。
【0081】
このようにして、受付者は、例えば図9に示すように、画面を見ながら指先を製品画像の位置にもってくることで、画面に表示される製品を回転させたり、その製品の扉や蓋を開いて内部を表示することが可能となる。
【0082】
このような表示により、従来電話で説明しても顧客にはわかりにくい内容が視覚的に理解できるようになる。また、受付者も受付用PC10の画像を直接見ることで説明が容易になる。さらに、静止画DB13に製品マニュアルも併せて格納しておき、例えば受付者の操作する受付用PC10にのみマニュアルを表示するといったようなことも可能で、より受付者の利便性を向上できる。このとき、静止画DB13から読み出した製品マニュアルを受付用PC10のみならず、顧客PC2にも表示させるようにしてもよい。
【0083】
上述したように、ACD15には、製品企業ごとの料金集計機能が用意されている。
【0084】
これから、複数企業の製品を静止画DB13に格納して、その操作法や相談に対応することで、各企業に対応料金を請求することが可能である。
【0085】
したがって、本発明によれば、各企業から受付センタ業者が委託をうけ、顧客からの企業ごとの対応件数、対応時間により委託手数料を受け取るという図2に示したようなビジネスを実現できるようになる。
【0086】
図示実施形態例に従って本発明を説明したが、本発明はこれに限定されるものでない。
【0087】
例えば、実施形態例では、物体画像と受付者の手や指先との重なりが検出される場合に、受付者の手や指先の動きに応答して、物体画像の表示形態を変更するという構成を用いたが、物体画像と受付者の手や指先との重なりが検出されると同時に、受付者の手や指先の動きに関係なく、物体画像の表示形態を変更するという構成を用いてもよい。
【0088】
また、実施形態例では、撮影カメラにより撮影されるものが人物の画像ということで説明したが、撮影カメラにより撮影されるものは人物の画像に限られるものではない。
【0089】
【発明の効果】
以上説明したように、本発明によれば、画面に表示する物体と撮影カメラで撮影された画像(例えば人物画像)とを合成して、他の操作者の支援を受けることなく、あたかも、その撮影カメラで撮影された画像が物体を操作しているかの如くに、その物体を扱うことで合成画像を作成して、それをネットワークを経由して他のPCに送信できるようになる。
【0090】
そして、本発明によれば、このような形で合成画像の表示を行うときに、複数の企業から提供される物体画像を使って例えば製品の操作方法の説明をするなどのサービスを行う場合には、物体画像ごとに、表示PCと接続要求元PCとの間の接続回数や接続時間を集計できるようになっていることから、それに応じて、それらの企業からサービス利用料金を徴収することができるようになることで、新たなビジネスモデルを構築できるようになる。
【図面の簡単な説明】
【図1】本発明を具備するシステムの全体構成図である。
【図2】本発明を具備するシステムにより実現されるビジネスの説明図である。
【図3】受付センタのシステム構成の一例である。
【図4】受付センタのシステム構成の他の一例である。
【図5】ACDの機能ブロック構成図である。
【図6】受付用PC空塞管理テーブルの説明図である。
【図7】合成サーバの機能ブロック構成図である。
【図8】合成サーバの実行する処理フローの一実施形態例である。
【図9】本発明により実現される合成画像表示処理の説明図である。
【符号の説明】
1 受付センタ
2 顧客PC
3 通信ネットワーク
10 受付用PC
11 LAN
12 合成サーバ
13 静止画DB
14 ルータ
15 ACD
【発明の属する技術分野】
本発明は、撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示PCの画面に表示するとともに、その合成画像をネットワークを経由して他のPCに送信して表示させる合成画像表示システムと、その合成画像表示システムの実現に用いられる合成画像表示方法と、その合成画像表示方法の実現に用いられる合成画像表示プログラムと、その合成画像表示プログラムを記録した記録媒体とに関する。
【0002】
【従来の技術】
従来の画像表示システムでは、ホームページの表示などに見られるように、画面に表示した物体の表示形態を変更したり、その物体に関連する画像を取得して画面に表示するような場合には、ユーザにより操作されるマウスなどの操作内容を検出して、それに応じて、画面に表示した物体の表示形態を変更したり、その物体に関連する画像を取得して画面に表示するようにしている。
【0003】
また、人の画像と物体の画像とを合成して表示するようなことも行われているが、そのような場合に、画面に表示した物体の表示形態を変更したり、その物体に関連する画像を取得して画面に表示するような場合には、その表示する人物以外の人により操作されるマウスなどの操作内容を検出して、それに応じて、画面に表示した物体の表示形態を変更したり、その物体に関連する画像を取得して画面に表示することで、あたかも、その合成画面上の人物がその物体を操作しているかの如くに見せるようにしている。
【0004】
【発明が解決しようとする課題】
最近、画面に表示する物体と撮影カメラで撮影された人物画像とを合成して、あたかも、その人物が物体を操作しているかの如くに、その物体を扱うことで合成画像を作成して、それをネットワークを経由して他のPCに送信するという技術の提供が望まれている。
【0005】
このような技術が提供されると、例えば、ある製品の操作方法などについてネットワークを介して顧客に説明する場合に、説明者がその製品の扉を開けたりしながら、その製品の操作方法などについて説明したり、説明者がその製品のある箇所に手を触れると、その箇所に関係した画像を表示しながら、その製品の操作方法などについて説明できるようになるというようなことを実現できるようになる。
【0006】
しかしながら、従来技術に従っていたのでは、他の操作者の支援を受けることなく、この技術を実現することは不可能である。
【0007】
すなわち、従来技術でも、人の画像と物体の画像とを合成して表示する場合にあって、あたかも、その合成画面上の人物がその物体を操作しているかの如くに見せるようにすることは行われているが、上述したように、それは合成画面上の人物以外の操作者の支援により実現されているものであるからである。
【0008】
本発明はかかる事情に鑑みてなされたものであって、画面に表示する物体と撮影カメラで撮影された画像(例えば人物画像)とを合成して、他の操作者の支援を受けることなく、あたかも、その撮影カメラで撮影された画像が物体を操作しているかの如くに、その物体を扱うことで合成画像を作成して、それをネットワークを経由して他のPCに送信できるようにする新たな合成画像表示技術の提供を目的とする。
【0009】
【課題を解決するための手段】
この目的を達成するために、本発明の合成画像表示システムは、撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示PCの画面に表示するとともに、その合成画像をネットワークを経由して他のPCに送信して表示させるときにあって、▲1▼合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識する手段と、▲2▼その認識結果に従って、それぞれの画像の持つ特定部位が画面上で重なるのか否かを検出する手段と、▲3▼その重なりが検出される場合に、関連する画像を取得して表示PCの画面に表示する手段とを備えるように構成する。
【0010】
そして、この目的を達成するために、本発明の合成画像表示システムは、撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示PCの画面に表示するとともに、その合成画像をネットワークを経由して他のPCに送信して表示させるときにあって、▲1▼合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識する手段と、▲2▼その認識結果に従って、それぞれの画像の持つ特定部位が画面上で重なるのか否かを検出する手段と、▲3▼その重なりが検出される場合に、合成画像を構成する物体画像の表示形態を変更する手段とを備えるように構成する。
【0011】
そして、この目的を達成するために、本発明の合成画像表示システムは、撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示PCの画面に表示するとともに、その合成画像をネットワークを経由して他のPCに送信して表示させるときにあって、▲1▼合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識する手段と、▲2▼その認識結果に従って、それぞれの画像の持つ特定部位が画面上で重なるのか否かを検出する手段と、▲3▼その重なりが検出される場合に、合成画像を構成する撮影画像の持つ特定部位の移動を検出する手段と、▲4▼その移動が検出される場合に、合成画像を構成する物体画像の表示形態を変更する手段とを備えるように構成する。
【0012】
さらに、本発明の合成画像表示システムは、このように構成されるときにあって、合成画像の送信先となるPCから接続要求が発行される場合に、複数の表示PCの中から未接続のものを選択する手段を備えたり、物体画像ごとに、表示PCと他のPCとの間の接続回数及び/又は接続時間を集計する手段を備えることがある。
【0013】
以上の各処理手段により実現される本発明の合成画像表示方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供することができる。
【0014】
このように構成される本発明の合成画像表示システムでは、合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識して、その認識結果に従って、それらの特定部位が画面上で重なるのか否かを検出し、その重なりが検出される場合に、関連する画像を取得して表示PCの画面に表示するように処理する。
【0015】
ここで、取得した関連画像を、表示PCの画面の他に、他のPCの画面にも表示するようにしてもよい。
【0016】
また、このように構成される本発明の画像合成表示システムでは、合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識して、その認識結果に従って、それらの特定部位が画面上で重なるのか否かを検出し、その重なりが検出される場合に、合成画像を構成する物体画像の表示形態を変更するように処理する。
【0017】
また、このように構成される本発明の画像合成表示システムでは、合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識して、その認識結果に従って、それらの特定部位が画面上で重なるのか否かを検出し、その重なりが検出される場合に、合成画像を構成する撮影画像の持つ特定部位の移動を検出して、その移動が検出される場合に、合成画像を構成する物体画像の表示形態を変更するように処理する。
【0018】
このとき、物体画像の表示形態をオン・オフ的に変更するのではなくて、その移動の移動方向や移動量に応じて、物体画像の表示形態を連続的に変更するように処理することがある。
【0019】
このようにして、本発明の画像合成表示システムによれば、例えば、合成画像に表示される人物は、合成画像を見ながら、▲1▼自分の指先を物体画像の持つ特定部位に重なるようにと空間上を移動させることで、関連する画像を表示できるようになったり、また、▲2▼自分の指先を物体画像の持つ特定部位に重なるようにと空間上を移動させることで、物体画像の持つ扉を開くというように物体画像の表示形態を変更できるようになったり、また、▲3▼自分の指先を物体画像の持つ特定部位に重なるようにと空間上を移動させた後、その位置から指先を移動させることで、物体画像の持つ扉を開くというように物体画像の表示形態を変更できるようになる。
【0020】
このような形で合成画像の表示を行うときに、複数の企業から提供される物体画像を使って例えば製品の操作方法の説明をするなどのサービスを行う場合には、物体画像ごとに、表示PCと接続要求元PCとの間の接続回数や接続時間を集計できるようになっていることから、それに応じて、それらの企業からサービス利用料金を徴収することができるようになることで、新たなビジネスモデルを構築できるようになる。
【0021】
このように、本発明によれば、画面に表示する物体と撮影カメラで撮影された画像(例えば人物画像)とを合成して、他の操作者の支援を受けることなく、あたかも、その撮影カメラで撮影された画像が物体を操作しているかの如くに、その物体を扱うことで合成画像を作成して、それをネットワークを経由して他のPCに送信できるようになる。
【0022】
【発明の実施の形態】
図1に、本発明を具備するシステムの全体構成を図示する。
【0023】
この図に示すように、本発明を具備するシステムでは、顧客側に設けられる顧客PC2と受付センタ1に設けられる受付用PC10とが、インターネットやIPネットワークなどの通信ネットワーク3を介して接続されている。
【0024】
そして、受付用PC10には、受付者を撮影して受付用PC10で送信するための撮像カメラ100が接続されている。
【0025】
このように構成される本発明を具備するシステムは、例えば、図2に示すように、複数の企業からの業務委託を受けて、受付用PC10と顧客PC2との間で画像を共有しつつ、受付センタ1にいる受付者が各企業の製品の画像を使って、その製品の操作方法などを説明することにより、各企業から手数料の支払いを受け取るというビジネスを実現可能にする。
【0026】
図3に、受付センタ1のシステム構成の一例を図示する。
【0027】
この図に示す受付センタ1では、受付用PC10は、LAN11を介して合成サーバ12に接続されている。また、このLAN11には、静止画(各企業の製品の静止画)を蓄積する静止画DB13と、通信ネットワーク3に接続するためのルータ14とが接続されている。
【0028】
ここで、静止画DB13に蓄積される静止画の持つ操作可能部位(例えば製品の扉)には、操作可能部位を示すマークが埋め込まれており、このマークには、静止画DB13に格納される別の静止画へのアクセスを指示するとか、その操作可能部位についての画面上での回転や拡大や縮小を指示するといったような操作内容が割り付けられている。
【0029】
図4に、受付センタ1のシステム構成の他の一例を図示する。
【0030】
この図に示す受付センタ1では、複数の受付用PC10がLAN11に接続されており、これに合わせて、複数の受付用PC10の中で空いているものを探すためのACD15(automatic call distributor)がLAN11に接続されている。
【0031】
この図4の構成に従う受付センタ1を用いる場合には、顧客PC2から製品の操作方法についての説明要求が発行されると、その説明要求は合成サーバ12で受け付けられ、合成サーバ12からACD15に対して空いている受付用PC10の選択指示が発行されることで、空いている受付用PC10が選択されて、その選択された受付用PC10を操作する受付者(オペレータ)が顧客PC2から送られてくる質問に応じて、ある企業の製品の操作方法などについて説明を行うことになる。
【0032】
図5に、ACD15の機能ブロック構成を図示する。
【0033】
ACD15は、空いている受付用PC10の選択処理や各企業に請求する料金の計算処理を行うように処理する。
【0034】
ACD15は、この処理を行うために、図5に示すように、IPパケット送信部150、IPパケット受信部151、オーダ分析部152、PC接続/切断監視部153、PC接続カウンタ154、料金表保持部155、料金計算部156、受付用PC空塞管理部157、空きPC選択部158を備える。
【0035】
オーダ分析部152は、受信パケットを分析して、▲1▼合成サーバ12からの空きPC選択指示か、▲2▼着信した受付用PC10からの接続開始、終了の通知か、▲3▼管理者などからの料金情報の計算請求かを分析し、それぞれ対応する機能に指示を出す。
【0036】
PC接続/切断監視部153は、受付用PC10からの接続開始、終了の情報を受付用PC空塞管理部157に転送するとともに、PC接続カウンタ154に接続開始、終了の情報を転送する。
【0037】
PC接続カウンタ154は、受付用PC10ごとの接続回数、接続時間を蓄積するとともに、受付者が受付用PC10から投入した企業名ごとの接続回数、接続時間の統計を取って記録する。
【0038】
料金表保持部155は、接続回数、接続時間、企業ごとに設定された料金表を保持する。
【0039】
料金計算部156は、管理者などから料金情報の計算要求(各企業にいくら料金を請求するのかについての計算要求)がきた場合、PC接続カウンタ154および料金表保持部155の情報を用いて、企業ごとの接続回数、接続時間、料金を計算して返送する。
【0040】
受付用PC空塞管理部157は、PC接続/切断監視部153から受信した受付用PC10の接続開始、終了情報により、受付用PC10の空塞を図6に示すようなテーブル構造を持つ受付用PC空塞管理テーブルを使って管理する。
【0041】
ここで、図6に示す受付用PC空塞管理テーブルでは、受付用PC10のIPアドレスと対応付けて、空き(1)であるのか使用中(0)であるのかを管理するという例を示しているが、IPアドレスの代わりに受付用PC10の論理番号を使うことも可能である。
【0042】
空きPC選択部158は、合成サーバ12からの空きPC選択のオーダに応答して、受付用PC空塞管理部157を検索して空いている受付用PC10を選び出し、問い合わせ元である合成サーバ12に対して、その選んだ受付用PC10のIPアドレス(あるいは論理番号)を通知する。
【0043】
この受付用PC10の選択の仕方としては、受付用PC空塞管理テーブルの先頭から順にサーチして空塞表示が空きの受付用PC10を選択する方法や、前回選択した受付用PC10の次の受付用PC10から空塞のチェックを行う方法などを用いることができる。
【0044】
図7に、合成サーバ12の機能ブロック構成を図示する。
【0045】
合成サーバ12は、受付用PC10から送られてくる受付者の画像(映像)と、静止画DB13から送られてくる製品の画像とを合成して、受付用PC10および顧客PC2に送信するように処理する。
【0046】
合成サーバ12は、この処理を行うために、図7に示すように、受信バッファ1200、送信バッファ1201、ACDアクセス部1202、振り分け部1203、オブジェクトバッファ1204、映像バッファ1205、バッファ制御部1206、輪郭検出部1207、表示位置検出部1208、マーキング位置検出部1209、重なり検出部1210、動き検出部1211、オブジェクト付加属性検索部1212、画像合成部1213、画像移動処理部1214、DBアクセス部1215を備える。
【0047】
ACDアクセス部1202は、顧客PC2からの着信があった場合に、LAN11を経由してACD15に対して、空いている受付用PC10のIPアドレス(あるいは論理番号)を要求し、それを受信すると、顧客PC2のIPアドレスとともにバッファ制御部1206に通知する。
【0048】
振り分け部1203は、受信したデータが受付用PC10の要求した静止画DB13から読み出された製品の画像(以下、オブジェクトと称することがある)であるのか、受付用PC10から送られてくる受付者の画像(映像)であるのかを判断して、それぞれをオブジェクトバッファ1204、映像バッファ1205に格納する。
【0049】
この際、受付用PC10からの映像とそれが請求した製品の画像とを、受付用PC10に対応付けて用意される対応する映像バッファ1205とオブジェクトバッファ1204とに格納する。また、バッファ制御部1206に対して、受付用PC10のIPアドレス(あるいは論理番号)とオブジェクトバッファ1204および映像バッファ1205との対応付け情報を送付する。
【0050】
オブジェクトバッファ1204および映像バッファ1205の対は、上述したことから分かるように、受付用PC10の数だけ用意される。
【0051】
輪郭検出部1207は、映像バッファ1205に格納される受付者の映像から、その受付者の指先を抽出、認識する。この機能は公知の技術で実行可能である。
【0052】
表示位置検出部1208は、輪郭検出部1207により認識された指先が画面のどの座標位置に対応するのかを計算する。
【0053】
マーキング位置検出部1209は、オブジェクトバッファ1204に格納されるオブジェクトの各操作可能部位にあらかじめ埋め込まれている全てのマークについて、そのマークの画面上での座標位置を計算する。このマークには、上述したように、静止画DB13に格納される別の静止画へのアクセスを指示するとか、その操作可能部位についての画面上での回転や拡大や縮小を指示するといったような操作内容が割り付けられている。
【0054】
重なり検出部1210は、表示位置検出部1208の検出する指先の座標位置と、マーキング位置検出部1209の検出するマークの座標位置とを相互参照して、指先に重なりのあるマークを検出する。
【0055】
動き検出部1211は、表示位置検出部1208の検出する指先の画面上での移動を検出(移動の有無の他に、移動方向や移動量を検出することもある)する。
【0056】
オブジェクト付加属性検索部1212は、重なり検出部1210により検出されたマーク(指先との重なりの検出されたマーク)と、動き検出部1211により検出された指先の移動とから、マークに割り付けられている操作内容が回転、縮小、拡大可能を示すときには、その指先の移動に応じて、オブジェクトを回転、縮小、拡大するようにと画像移動処理部1214に通知する。
【0057】
このとき、指先の移動方向や移動量から、回転や縮小や拡大の大きさを決定するようにしてもよいし、指先の移動方向や移動量に関係なく、移動の有無に応じて、ある定められた大きさの回転や縮小や拡大を決定するようにしてもよい。
【0058】
一方、オブジェクト付加属性検出部1212は、マークに割り付けられる操作内容が別の静止画にアクセスすることを要求している場合には、DBアクセス部1215に対して、その指定される静止画にアクセスするように要求し、これにより、その指定される静止画が対応するオブジェクトバッファ1204に格納されることになる。
【0059】
画像移動処理部1214は、オブジェクト付加属性検索部1212からの通知に従って、オブジェクト(製品の画像)に対して操作を施してオブジェクトバッファ1204に格納する。
【0060】
画像合成部1213は、対応するオブジェクトバッファ1204および映像バッファ1205を一定のタイミングでアクセスして両映像を合成し、バッファ制御部1206から指示されたIPアドレスに従って、この合成した画像を顧客PC2および受付用PC10に送付する。
【0061】
なお、ACD15や静止画DB13については、合成サーバ12に実装することも可能である。
【0062】
図8に、合成サーバ12の実行する処理フローの一実施形態例を図示する。
【0063】
次に、この処理フローに従って、このように構成される合成サーバ12の実行する処理について詳細に説明する。
【0064】
合成サーバ12は、データを受信すると、図8の処理フローに示すように、先ず最初に、ステップ10で、顧客PC2からの新規の着信であるのか否かを判断して、顧客PC2からの新規の着信であることを判断するときには、ステップ11に進んで、ACD15に対して、空いている受付用PC10の選択を指示し、続くステップ12で、発信元の顧客PC2のIPアドレスをバッファ制御部1206に通知する。
【0065】
この空いている受付用PC10の選択要求を受けて、ACD15は、上述したように、空いている受付用PC10を選択して、その受付用PC10のIPアドレスを返信してくる。
【0066】
そして、ACD15により空いている受付用PC10が選択されると、その受付用PC10を操作する受付者が対応を開始して、顧客は、どの企業のどの製品についての操作方法の提供や相談を望むかについて受付者に通知し、これを受けて、受付者は、静止画DB13を検索して該当製品の画像を選択することになる。
【0067】
このようにして選択された製品の画像や、受付用PC10の備える撮像カメラ100により撮影される受付者の画像(映像)が合成サーバ12に送られてくることになる。
【0068】
これから、ステップ10で、受信データが顧客PC2からの新規の着信でないことを判断するときには、ステップ13に進んで、受信データが画像(製品の画像や受付者の画像)であるのか否かを判断して、受信データが画像でないことを判断するとき、すなわち、受信データがステップ11の処理に応答して返信されてくる空きの受付用PC10のIPアドレスであることを判断するときには、ステップ14に進んで、その返信されてくる空きの受付用PC10のIPアドレスをバッファ制御部1206に通知する。
【0069】
一方、ステップ13で、受信データが画像であることを判断するときには、ステップ15に進んで、受信した画像がオブジェクト(製品の画像)であるのか受付者の画像(映像)であるのかを判断して、その判断結果に基づいて、その受信した画像をバッファ制御部1206の指示するオブジェクトバッファ1204または映像バッファ1205に格納する。
【0070】
このようにして、画像を受信してオブジェクトバッファ1204や映像バッファ1205に格納すると、ステップ16に示すように、オブジェクトバッファ1204に格納されるオブジェクトと映像バッファ1205に格納される映像とを合成して、バッファ制御部1206の指示する受付用PC10および顧客PC2(接続要求元の顧客PC2および、接続先の受付用PC10)に送信する。
【0071】
そして、このようにして、画像を受信してオブジェクトバッファ1204や映像バッファ1205に格納すると、ステップ17に示すように、オブジェクトのマーキング位置の画面上の座標を検出して、ステップ18で示すように、その画面位置が映像から検出された受付者の手や指先の位置(後述するステップ19で検出する)に重なるのか否かを検出する。
【0072】
そして、このようにして、画像を受信してオブジェクトバッファ1204や映像バッファ1205に格納すると、ステップ19に示すように、受付者の映像から、その受付者の手や指先を認識して、その画面上の座標を検出し、ステップ20で示すように、その画面位置から受付者の手や指先の動きを検出する。
【0073】
そして、このようにして、画像を受信してオブジェクトバッファ1204や映像バッファ1205に格納すると、ステップ21で示すように、オブジェクトのマーキング位置に割り付けられている付加属性(操作内容)を分析する。
【0074】
このようにして、ステップ17ないしステップ21の処理を実行すると、ステップ22に進んで、オブジェクトの持つマークと受付者の手や指先との重なりを検出したのか否かを判断して、この重なりを検出しない場合には、何の処理も行わない。
【0075】
一方、ステップ22で、オブジェクトの持つマークと受付者の手や指先との重なりを検出した場合には、ステップ23に進んで、オブジェクトの付加属性の分析結果に基づいて、オブジェクトの全体または一部を回転させたり縮小させたり拡大させたりする動作機能の実行指示が割り付けられているのか否かを判断して、そのような動作機能の実行指示が割り付けられていることを判断するときには、ステップ24に進んで、検出された受付者の手や指先の動きと割り付けられている動作機能とに従って、オブジェクトバッファ1204に格納されるオブジェクト(製品の画像)を動作させる。
【0076】
一方、ステップ23で、オブジェクトの動作機能の実行指示が割り付けられていないことを判断するとき、すなわち、別の静止画へのアクセス要求がマークに割り付けられていることを判断する場合には、ステップ25に進んで、静止画DB13にアクセスすることでその静止画を取得するように処理する。
【0077】
以上に説明した合成サーバ12の処理に従って、次のようなビジネスを実現できるようになる。
【0078】
すなわち、顧客が顧客PC2で接続を要求すると、空いている受付用PC10が割り当てられて、その受付用PC10の受付者が対応を開始する。顧客は、どの企業のどの製品についての情報提供、相談を望むのかを受付者に話し、それにより受付者が静止画DB13を検索して該当製品を選択する。
【0079】
このとき、顧客が指定した企業の関連全製品の写真が静止画DB13からアクセスされて両PCに表示され、これを受けて、受付者は、指で指し示しながら顧客に確認して、該当製品を選択する。この際に、対応する製品の企業情報がACD15内部のPC接続カウンタ154に通知される。
【0080】
続いて、選択された製品の画像が静止画DB13から取り出され、受付者と顧客とでその画像を両PCで共有しながら、受付者は、指先の動きに応じて製品の扉や蓋を開けた内部画面などに表示を切り替えながら、顧客に対して、操作方法、接続方法などを説明する。
【0081】
このようにして、受付者は、例えば図9に示すように、画面を見ながら指先を製品画像の位置にもってくることで、画面に表示される製品を回転させたり、その製品の扉や蓋を開いて内部を表示することが可能となる。
【0082】
このような表示により、従来電話で説明しても顧客にはわかりにくい内容が視覚的に理解できるようになる。また、受付者も受付用PC10の画像を直接見ることで説明が容易になる。さらに、静止画DB13に製品マニュアルも併せて格納しておき、例えば受付者の操作する受付用PC10にのみマニュアルを表示するといったようなことも可能で、より受付者の利便性を向上できる。このとき、静止画DB13から読み出した製品マニュアルを受付用PC10のみならず、顧客PC2にも表示させるようにしてもよい。
【0083】
上述したように、ACD15には、製品企業ごとの料金集計機能が用意されている。
【0084】
これから、複数企業の製品を静止画DB13に格納して、その操作法や相談に対応することで、各企業に対応料金を請求することが可能である。
【0085】
したがって、本発明によれば、各企業から受付センタ業者が委託をうけ、顧客からの企業ごとの対応件数、対応時間により委託手数料を受け取るという図2に示したようなビジネスを実現できるようになる。
【0086】
図示実施形態例に従って本発明を説明したが、本発明はこれに限定されるものでない。
【0087】
例えば、実施形態例では、物体画像と受付者の手や指先との重なりが検出される場合に、受付者の手や指先の動きに応答して、物体画像の表示形態を変更するという構成を用いたが、物体画像と受付者の手や指先との重なりが検出されると同時に、受付者の手や指先の動きに関係なく、物体画像の表示形態を変更するという構成を用いてもよい。
【0088】
また、実施形態例では、撮影カメラにより撮影されるものが人物の画像ということで説明したが、撮影カメラにより撮影されるものは人物の画像に限られるものではない。
【0089】
【発明の効果】
以上説明したように、本発明によれば、画面に表示する物体と撮影カメラで撮影された画像(例えば人物画像)とを合成して、他の操作者の支援を受けることなく、あたかも、その撮影カメラで撮影された画像が物体を操作しているかの如くに、その物体を扱うことで合成画像を作成して、それをネットワークを経由して他のPCに送信できるようになる。
【0090】
そして、本発明によれば、このような形で合成画像の表示を行うときに、複数の企業から提供される物体画像を使って例えば製品の操作方法の説明をするなどのサービスを行う場合には、物体画像ごとに、表示PCと接続要求元PCとの間の接続回数や接続時間を集計できるようになっていることから、それに応じて、それらの企業からサービス利用料金を徴収することができるようになることで、新たなビジネスモデルを構築できるようになる。
【図面の簡単な説明】
【図1】本発明を具備するシステムの全体構成図である。
【図2】本発明を具備するシステムにより実現されるビジネスの説明図である。
【図3】受付センタのシステム構成の一例である。
【図4】受付センタのシステム構成の他の一例である。
【図5】ACDの機能ブロック構成図である。
【図6】受付用PC空塞管理テーブルの説明図である。
【図7】合成サーバの機能ブロック構成図である。
【図8】合成サーバの実行する処理フローの一実施形態例である。
【図9】本発明により実現される合成画像表示処理の説明図である。
【符号の説明】
1 受付センタ
2 顧客PC
3 通信ネットワーク
10 受付用PC
11 LAN
12 合成サーバ
13 静止画DB
14 ルータ
15 ACD
Claims (12)
- 撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示PCの画面に表示するとともに、該合成画像をネットワークを経由して他のPCに送信して表示させる合成画像表示システムであって、
上記合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識する手段と、
上記認識結果に従って、上記特定部位が画面上で重なるのか否かを検出する手段と、
上記重なりが検出される場合に、関連する画像を取得して上記表示PCの画面に表示する手段とを備えることを、
特徴とする合成画像表示システム。 - 撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示PCの画面に表示するとともに、該合成画像をネットワークを経由して他のPCに送信して表示させる合成画像表示システムであって、
上記合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識する手段と、
上記認識結果に従って、上記特定部位が画面上で重なるのか否かを検出する手段と、
上記重なりが検出される場合に、上記合成画像を構成する物体画像の表示形態を変更する手段とを備えることを、
特徴とする合成画像表示システム。 - 撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示PCの画面に表示するとともに、該合成画像をネットワークを経由して他のPCに送信して表示させる合成画像表示システムであって、
上記合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識する手段と、
上記認識結果に従って、上記特定部位が画面上で重なるのか否かを検出する手段と、
上記重なりが検出される場合に、上記合成画像を構成する撮影画像の持つ上記特定部位の移動を検出する手段と、
上記移動が検出される場合に、上記合成画像を構成する物体画像の表示形態を変更する手段とを備えることを、
特徴とする合成画像表示システム。 - 請求項3記載の合成画像表示システムにおいて、
上記変更する手段は、上記移動の形態に応じて、上記合成画像を構成する物体画像の表示形態を変更することを、
特徴とする合成画像表示システム。 - 請求項1ないし4のいずれか1項に記載の合成画像表示システムにおいて、
上記合成画像の送信先となるPCから接続要求が発行される場合に、複数の表示PCの中から未接続のものを選択する手段を備えることを、
特徴とする合成画像表示システム。 - 請求項1ないし4のいずれか1項に記載の合成画像表示システムにおいて、
上記物体画像ごとに、上記表示PCと上記他のPCとの間の接続回数及び/又は接続時間を集計する手段を備えることを、
特徴とする合成画像表示システム。 - 撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示PCの画面に表示するとともに、該合成画像をネットワークを経由して他のPCに送信して表示させる合成画像表示方法であって、
上記合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識する過程と、
上記認識結果に従って、上記特定部位が画面上で重なるのか否かを検出する過程と、
上記重なりが検出される場合に、関連する画像を取得して上記表示PCの画面に表示する過程とを備えることを、
特徴とする合成画像表示方法。 - 撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示PCの画面に表示するとともに、該合成画像をネットワークを経由して他のPCに送信して表示させる合成画像表示方法であって、
上記合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識する過程と、
上記認識結果に従って、上記特定部位が画面上で重なるのか否かを検出する過程と、
上記重なりが検出される場合に、上記合成画像を構成する物体画像の表示形態を変更する過程とを備えることを、
特徴とする合成画像表示方法。 - 撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示PCの画面に表示するとともに、該合成画像をネットワークを経由して他のPCに送信して表示させる合成画像表示方法であって、
上記合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識する過程と、
上記認識結果に従って、上記特定部位が画面上で重なるのか否かを検出する過程と、
上記重なりが検出される場合に、上記合成画像を構成する撮影画像の持つ上記特定部位の移動を検出する過程と、
上記移動が検出される場合に、上記合成画像を構成する物体画像の表示形態を変更する過程とを備えることを、
特徴とする合成画像表示方法。 - 請求項9記載の合成画像表示方法において、
上記変更する過程では、上記移動の形態に応じて、上記合成画像を構成する物体画像の表示形態を変更することを、
特徴とする合成画像表示方法。 - 請求項7ないし10のいずれか1項に記載の合成画像表示方法の実現に用いられる処理をコンピュータに実行させるための合成画像表示プログラム。
- 請求項7ないし10のいずれか1項に記載の合成画像表示方法の実現に用いられる処理をコンピュータに実行させるための合成画像表示プログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002192824A JP2004038429A (ja) | 2002-07-02 | 2002-07-02 | 合成画像表示システム、合成画像表示方法、合成画像表示プログラム及びそのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002192824A JP2004038429A (ja) | 2002-07-02 | 2002-07-02 | 合成画像表示システム、合成画像表示方法、合成画像表示プログラム及びそのプログラムを記録した記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004038429A true JP2004038429A (ja) | 2004-02-05 |
Family
ID=31701942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002192824A Pending JP2004038429A (ja) | 2002-07-02 | 2002-07-02 | 合成画像表示システム、合成画像表示方法、合成画像表示プログラム及びそのプログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004038429A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8232964B2 (en) | 2007-10-18 | 2012-07-31 | Jun Maeda | Apparatus for operating objects and a method for identifying markers from digital image frame data |
CN109636720A (zh) * | 2018-11-28 | 2019-04-16 | 维沃移动通信(杭州)有限公司 | 一种图像显示方法及终端设备 |
-
2002
- 2002-07-02 JP JP2002192824A patent/JP2004038429A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8232964B2 (en) | 2007-10-18 | 2012-07-31 | Jun Maeda | Apparatus for operating objects and a method for identifying markers from digital image frame data |
CN109636720A (zh) * | 2018-11-28 | 2019-04-16 | 维沃移动通信(杭州)有限公司 | 一种图像显示方法及终端设备 |
CN109636720B (zh) * | 2018-11-28 | 2023-03-21 | 维沃移动通信(杭州)有限公司 | 一种图像显示方法及终端设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10951862B2 (en) | Systems and methods for managing and displaying video sources | |
US6567121B1 (en) | Camera control system, camera server, camera client, control method, and storage medium | |
JP6126738B2 (ja) | 手振り制御方法、装置およびシステム | |
US7209653B2 (en) | Photographic image service system | |
JP5730518B2 (ja) | 特定人物検知システムおよび特定人物検知方法 | |
US20060136828A1 (en) | System and method for sharing display screen between information processing apparatuses | |
US8554250B2 (en) | Remote object recognition | |
US20120081529A1 (en) | Method of generating and reproducing moving image data by using augmented reality and photographing apparatus using the same | |
CN101489116A (zh) | 影像网络***以及影像数据管理方法 | |
JP2003506799A (ja) | Guiと指紋スキャナとの間のインターフェースのための方法、システム、およびコンピュータプログラム製品 | |
US7705875B2 (en) | Display device, system, display method, and storage medium storing its program | |
US20090290014A1 (en) | Object management apparatus, mobile terminal, and object management method | |
WO2024007748A9 (zh) | 拍照时显示缩略图的方法和电子设备 | |
EP1320052A1 (en) | Estimation system for vehicle repair cost | |
CN106791563A (zh) | 信息传输方法、本端设备、对端设备及*** | |
JP2004038429A (ja) | 合成画像表示システム、合成画像表示方法、合成画像表示プログラム及びそのプログラムを記録した記録媒体 | |
CN106326328B (zh) | 图像发送装置、图像发送方法以及记录介质 | |
CN103546677B (zh) | 互动***及互动方法 | |
KR20200024538A (ko) | 이미지 검색과 관련한 정보 추천 방법 및 이를 지원하는 서비스 장치 | |
JP2019168943A (ja) | シェアリング・エコノミー・システム | |
JP2004056405A (ja) | 応対支援システム、応対支援方法、応対支援プログラム及びそのプログラムを記録した記録媒体 | |
JP6725926B1 (ja) | 情報処理装置、情報処理システム、コンピュータプログラム及び情報処理方法 | |
JP2005107992A (ja) | 支援情報提供方法、支援情報提供プログラム及び情報提供管理システム | |
JP2002077862A (ja) | デジタル画像通信システム | |
JP6044047B2 (ja) | 映像実体化システム |