JPWO2017098999A1 - 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、コンピュータープログラム - Google Patents
情報処理装置、情報処理システム、情報処理装置の制御方法、及び、コンピュータープログラム Download PDFInfo
- Publication number
- JPWO2017098999A1 JPWO2017098999A1 JP2017555037A JP2017555037A JPWO2017098999A1 JP WO2017098999 A1 JPWO2017098999 A1 JP WO2017098999A1 JP 2017555037 A JP2017555037 A JP 2017555037A JP 2017555037 A JP2017555037 A JP 2017555037A JP WO2017098999 A1 JPWO2017098999 A1 JP WO2017098999A1
- Authority
- JP
- Japan
- Prior art keywords
- site
- information
- image
- person
- base
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
- Telephonic Communication Services (AREA)
- Processing Or Creating Images (AREA)
Abstract
臨場感のある複数の他拠点の画像を表示するための技術を提供する。情報処理装置は複数の他拠点と通信し、他拠点の人物の視線に関する他拠点視線情報と、他拠点の人物を表す情報を含む他拠点人物情報と、を含む他拠点元情報を受信する通信部と、表示装置の表示画面における他拠点画像の表示位置を表す表示位置情報を取得し、視線情報と表示位置情報とに基づいて、他拠点人物情報から他拠点画像を生成する表示画像生成部と、表示装置に他拠点画像を表示させる表示制御部と、を備える。
Description
本発明は、他拠点画像を表示するための技術に関する。
従来、複数の拠点をネットワークを介して接続したテレビ会議システムが知られている(例えば、特許文献1)。従来のテレビ会議システムでは、複数の他拠点の参加者の画像が自拠点のモニターに表示される。また従来、テレビ会議の臨場感を高める方法として、撮像側の空間の3次元画像を生成し、3次元画像から表示側の視点位置に応じた2次元画像を表示装置に表示させる技術が知られている(例えば、特許文献2)。また従来、通信相手と視線が合った状態で会話を行うために、多数の方向から撮影した画像を、視聴者の視線方向に応じて表示する技術が知られている(例えば、特許文献3)。
特許文献1の技術では、複数の他拠点のカメラが撮像した参加者の画像を自拠点に転送し、自拠点のモニターに複数の他拠点の参加者の画像が表示される。特許文献1の技術では、特定の参加者が別の参加者に視線を送ったり、特定の参加者を指差すなどの指示動作を行うことできないので、臨場感が乏しくなる場合があった。また特許文献2の技術では、自拠点のモニターに表示された画像において、各拠点の参加者がどの拠点の参加者を見ているかを表すことは困難である。また、特許文献3の技術では、ある拠点の参加者と他の拠点の参加者とが視線を合わすためには参加者の左右の移動だけではなく、参加者の上下方向の視線についても調整する必要がある。視線を合わすためには被写体の視線高さに合わせてカメラをセットする必要があり、様々な状況(参加者の身長差や参加者が座っているか立っているかなどの状況)に柔軟に対応することが困難な場合がある。
よって、自拠点の表示装置に臨場感のある複数の他拠点の画像を容易に表示するための技術が望まれている。また、従来の技術において、低コスト化、省資源化、製造の容易化、使い勝手の向上等が望まれている。このような課題は、TV会議システムに限らず、複数の他拠点の画像を自拠点で表示する技術に共通する。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
(1)本発明の一形態によれば、情報処理装置が提供される。この情報処理装置は、複数の他拠点と通信し、自拠点の表示装置が有する表示画面に前記他拠点の人物画像を含む他拠点画像を表示させるための他拠点元情報であって、前記他拠点の人物の視線に関する他拠点視線情報と、前記他拠点の人物を表す情報を含む他拠点人物情報と、を含む他拠点元情報を受信する通信部と、前記表示装置の表示画面における前記他拠点画像の表示位置を表す表示位置情報を取得し、前記他拠点視線情報と前記表示位置情報とに基づいて、前記他拠点人物情報から前記他拠点画像を生成する表示画像生成部と、前記表示装置に前記他拠点画像を表示させる表示制御部と、を備える。この形態によれば、他拠点視線情報と表示位置情報とに基づいて他拠点画像を生成できるので、臨場感を高めた他拠点画像を表示画面に表示させることができる。
(2)上記形態であって、前記表示画像生成部は、前記他拠点視線情報に基づいて、特定の前記他拠点に配置された表示装置の表示画面に表示された前記自拠点の人物及び他の前記他拠点の人物の中から、特定の前記他拠点の前記人物が見ている対象人物を特定し、前記自拠点の前記表示画面において前記特定の前記他拠点の人物が前記対象人物の方向を向くような前記他拠点画像を前記他拠点人物情報から生成しても良い。この形態によれば、他拠点の人物がそれぞれの拠点の表示画面で見ている対象人物の方向を向くような他拠点画像を自拠点の表示画面に表示できるため、より臨場感を高めた他拠点画像を生成できる。
(3)上記形態であって、前記他拠点の人物を表す情報は、他拠点の人物画像を含む他拠点元画像であり、前記表示画像生成部は、前記自拠点の前記表示画面において、前記対象人物が位置する一方の側から反対の側に向かって表示領域が大きくなる前記他拠点画像を前記他拠点元画像から生成しても良い。この形態によれば、他拠点画像の表示領域が一方の側から反対の側に向かって大きくなることで、対象人物の方向を向くような他拠点画像を生成できる。
(4)上記形態であって、前記他拠点の人物を表す情報は、前記他拠点の人物の3次元モデルであり、前記表示画像生成部は、前記他拠点視線情報に基づいて、特定の前記他拠点に配置された表示装置の表示画面に表示された自拠点の人物及び他の前記他拠点の人物の中から、前記特定の前記他拠点の前記人物が見ている対象人物を特定し、前記自拠点の前記表示画面において、前記特定の前記他拠点の人物が前記対象人物の方向を向くような前記他拠点画像を、前記3次元モデルを回転させて生成しても良い。この形態によれば、3次元モデルを回転させることで対象人物の方向を向くような他拠点画像を容易に生成できる。
(5)上記形態であって、更に、入力部を備え、前記表示制御部は、前記入力部に入力された新たな前記表示位置情報に基づいて、前記自拠点の前記表示画面に表示する前記他拠点画像の表示位置を変更し、前記表示画像生成部は、新たな前記表示位置情報に基づいて、前記3次元モデルを回転させて前記他拠点画像を生成しても良い。この形態によれば、新たな表示位置情報に基づいて3次元モデルを回転させて他拠点画像を生成できる。
(6)上記形態であって、前記通信部は、前記自拠点に配置された撮像部と通信し、前記撮像部によって撮像された撮像画像を受信し、前記情報処理装置は、更に、前記自拠点の人物の視線に関する自拠点視線情報を生成するための視線情報生成部と、前記撮像画像に基づいて、前記自拠点の人物を表す情報を含む自拠点人物情報を生成するための人物情報生成部と、を備え、前記通信部は、前記自拠点人物情報と前記自拠点視線情報とを含む自拠点元情報を前記複数の他拠点に送信しても良い。この形態によれば、自拠点人物情報と自拠点視線情報とを含む自拠点元情報を他拠点の情報処理装置が他拠点画像を生成できる。
(7)上記形態であって、前記自拠点視線情報は、前記自拠点を識別するための自拠点識別情報と、前記自拠点の前記表示画面に表示された複数の前記他拠点画像のうち、前記自拠点の人物の視線が示す特定の前記他拠点画像を識別するための特定他拠点識別情報と、を少なくとも含んでも良い。この形態によれば、自拠点視線情報が、自拠点識別情報を含むので、自拠点視線情報が自拠点によって生成されたことを容易に特定できる。
(8)上記形態であって、前記人物情報生成部は、前記撮像画像に基づいて、前記自拠点の人物を含む対象物の3次元モデルを前記自拠点の人物を表す情報として生成しても良い。この形態によれば、自拠点の人物を表す情報を3次元モデルとして生成できる。
(9)上記形態であって、前記通信部は、前記撮像画像が表す撮像対象物の深度情報を受信し、前記人物情報生成部は、前記撮像画像と、前記深度情報とに基づいて前記3次元モデルを生成しても良い。この形態によれば、撮像画像と深度情報とに基づいて3次元モデルを生成できる。
例えば、本発明の一形態において、通信部と、表示画像生成部と、表示制御部と、の複数の要素の内の1つ以上の要素を備えた装置としても実現可能である。すなわち、この装置は、通信部を有していても良く、有していなくても良い。また、この装置は、表示画像生成部を有していても良く、有していなくても良い。また、この装置は、表示制御部を有していても良く、有していなくても良い。このような各種形態によれば、装置の小型化、低コスト化、省資源化、製造の容易化、使い勝手の向上等の種々の課題の少なくとも1つを解決できる。また前述した情報処理装置の各形態の技術的特徴の一部又は全部は、いずれもこの装置又は方法に適用することが可能である。
なお、本発明は、種々の形態で実現することが可能であり、情報処理装置、情報処理装置を含む情報処理システム、情報処理装置の制御方法、これらの装置、システム、方法の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記憶した記憶媒体等の形態で実現することができる。
A.実施形態:
A−1:画像送受信システムの構成:
図1は、本発明の実施形態としてのテレビ会議システム10を説明するための図である。テレビ会議システム10は、複数の拠点20A,20B,20C,20Xのそれぞれに配置された情報処理装置60をインターネットINTを介して接続したシステムである。各拠点20A,20B,20C,20Xの表示装置に表示された他の拠点の参加者22A,22B,22C、22Xの動画と、音声出力部によって出力された他の拠点の音声とを送受信してテレビ会議が開催される。
A−1:画像送受信システムの構成:
図1は、本発明の実施形態としてのテレビ会議システム10を説明するための図である。テレビ会議システム10は、複数の拠点20A,20B,20C,20Xのそれぞれに配置された情報処理装置60をインターネットINTを介して接続したシステムである。各拠点20A,20B,20C,20Xの表示装置に表示された他の拠点の参加者22A,22B,22C、22Xの動画と、音声出力部によって出力された他の拠点の音声とを送受信してテレビ会議が開催される。
それぞれの情報処理装置60は、インターネットINTを介してデータを送受信できる。ここで、複数の拠点20A,20B,20C,20Xのうち、拠点20Xを自拠点とし、拠点20A,20B,20Cを他拠点20Yとする。また、自拠点20Xの情報処理装置60を「自拠点情報処理装置60X」とも呼び、他拠点20Yの情報処理装置60を「他拠点情報処理装置60Y」とも呼ぶ。拠点20A,20B,20C,20Xは例えば会議室や教室である。なお、拠点の数は4つに限られるものではなく、4つ未満でまっても良いし5つ以上であっても良い。各拠点20A,20B,20C,20Xを区別することなく用いる場合は符号「20」を用いる。また、参加者22A,22B,22C、22Xを区別することなく用いる場合は、符号「22Y」を用いる。
自拠点情報処理装置60Xは、他拠点情報処理装置60Yから他拠点元情報DRYと、音声情報SDYとを受信する。他拠点元情報DRYは、自拠点表示装置60Xに後述する他拠点画像を表示させるために用いる情報である。他拠点元情報DRYは、他拠点視線情報DSYと他拠点人物情報DPYとを含む。他拠点視線情報DSYは、他拠点20A,20B,20Cの参加者22A,22B,22Cの視線に関する情報を含む。他拠点人物情報DPYは、他拠点20A,20B,20Cの参加者22A,22B,22Cを表す情報と、他拠点20A,20B,20Cを識別するための識別情報と、を含む。参加者22A,22B,22Cを表す情報としては、参加者22A,22B,22Cのそれぞれの撮像画像から生成した参加者22A,22B,22Cの顔を含む3次元モデルであっても良いし、参加者22A,22B,22Cの顔を含む撮像画像であっても良い。本実施形態では、参加者22A,22B,22Cを表す情報は、参加者22A,22B,22Cの顔を含む3次元モデルである。他拠点元情報DRYと音声情報SDYは互いに同期されている。
図2は、拠点20に配置された情報処理システム100の機能を示すブロック図である。図3は、表示装置70の正面図である。なお、各拠点20A,20B,20C,20Xの情報処理システム100は同一の構成である。以下では、代表して拠点20Xの情報処理システム100を説明する。
情報処理システム100は、他拠点20Yの情報処理装置60で生成した参加者22Yの他拠点視線情報DSY及び3次元モデルを自拠点20Xの情報処理装置60Xが受信し、受信した他拠点視線情報DSYに基づいて受信した3次元モデルを含む他拠点人物情報DPYから、他拠点20Yの画像である他拠点画像を表示装置70の表示画面に表示させるシステムである。情報処理システム100は、パートナルコンピューター(PC)やダブレット端末として実現されても良い。また、情報処理システム100の表示装置70は、PCやタブレット端末の表示部であっても良いし、PCやタブレット端末とは別体の大型FPD(flat panel display)やプロジェクターであっても良い。
情報処理システム100は、2つの撮像部としてのカメラモジュール50A,50Bと、情報処理装置60と、表示装置70とを備える。2つのカメラモジュール50A,50Bを区別することなく用いる場合は、符号「50」を用いる。
図3に示すように、表示装置70は液晶パネルなどで構成された表示部としての表示画面71と、音声を出力する音声出力部76とを備える。表示画面71には、表示画面71の横方向に沿って3つの拠点画像表示画面23P1〜23P3と、他拠点20A,20B,20Cの画像である第1〜第3他拠点画像72A,72B,72Cと、楕円状のテーブルなどの仮想画像702が表示されている。第1他拠点画像72Aは、他拠点20Aの他拠点情報処理装置60Yから受信した他拠点人物情報DPYを元に自拠点情報処理装置60Xによって生成される。第2他拠点画像72Bは、他拠点20Bの他拠点情報処理装置60Yから受信した他拠点人物情報DPYを元に自拠点情報処理装置60Xによって生成される。第3他拠点画像72Cは、他拠点20Cの他拠点情報処理装置60Yから受信した他拠点人物情報DPYを元に自拠点情報処理装置60Xによって生成される。
第1他拠点画像72Aは、他拠点20Aの参加者22Aの顔を含む人物画像22AIである。第2他拠点画像72Bは、他拠点20Bの参加者22Bの顔を含む人物画像22BIである。第3他拠点画像72Cは、他拠点20Cの参加者22Cの顔を含む人物画像22CIである。人物画像22AI〜22CIの背景となる背景画像は、各拠点20A,20B,20Cの背景画像である実背景画像であっても良いし、自拠点情報処理装置60Xが生成した仮想背景画像であっても良い。すなわち、各他拠点画像72A〜72Cは、実背景画像を含んでも良い。仮想背景画像は、例えば、青色などのカラー画像であっても良い。第1〜第3他拠点画像72A,72B,72Cを区別することなく用いる場合は「他拠点画像72Y」を用いる。また、自拠点20Xの表示装置70を「自拠点表示装置70X」とも呼び、他拠点20Yの表示装置70を「他拠点表示装置70Y」とも呼ぶ。
他拠点画像72A,72B,72Cと仮想画像702の表示画面71における表示位置は、自拠点20Xの参加者22Xが情報処理装置60に表示位置を入力することで変更可能である。他拠点画像72A,72B,72Cは、3つの拠点画像表示画面23P1〜23P3のいずれかに配置される。図3では、拠点画像表示画面23P1に第1他拠点画像72Aが表示され,拠点画像表示画面23P2に第2他拠点画像72Bが表示され,拠点画像表示画面23P3に第3他拠点画像72Cが表示されている。また、仮想画像702は、各画像72A,72B,72Cの下に表示されている。すなわち、テーブル702を囲んで参加者22A,22B,22C,22Xが着席して会議を行っているように表示画面71に他拠点20A,20B,20Cの参加者22A,22B,22Cが表示されている。これにより、テレビ会議の臨場感を高めることができる。また、各拠点画像表示画面23P1,23P2,23P3は、テーブル702をあたかも囲んでいるような外形形状を有する。すなわち、拠点画像表示画面23P1は、右端が左端よりも小さい台形形状である。また、拠点画像表示画面23P1は、長方形の外形形状である。また、拠点画像表示画面23P2は、左端が右端よりも小さい台形形状である。これにより、テレビ会議の臨場感を更に高めることができる。
図3に示す第1〜第3他拠点画像72A,72B,72Cは、以下の状況(1)〜(3)のときに表示される画像である。
(1)拠点20Aの参加者22Aが、拠点20Aの表示装置70に表示された他拠点画像72Yのうち、拠点20Bの参加者22Bの画像を見ている状況。
(2)拠点20Bの参加者22Bが、拠点20Bの表示装置70に表示された他拠点画像72Yのうち、拠点20Xの参加者22Xの画像を見ている状況。
(3)拠点20Cの参加者22Cが、拠点20Cの表示装置70に表示された他拠点画像72Yのうち、拠点20Bの参加者22Bの画像を見ている状況。
(1)拠点20Aの参加者22Aが、拠点20Aの表示装置70に表示された他拠点画像72Yのうち、拠点20Bの参加者22Bの画像を見ている状況。
(2)拠点20Bの参加者22Bが、拠点20Bの表示装置70に表示された他拠点画像72Yのうち、拠点20Xの参加者22Xの画像を見ている状況。
(3)拠点20Cの参加者22Cが、拠点20Cの表示装置70に表示された他拠点画像72Yのうち、拠点20Bの参加者22Bの画像を見ている状況。
上記状況(1)〜(3)のときは、自拠点情報処理装置60Xによって図3に示す第1〜第3他拠点画像72A〜72Cが生成され、自拠点表示装置70Xの表示画面71に表示される。第1他拠点画像72Aの人物画像22A1は、第2他拠点画像72Bの人物画像22BIを向いているように表示され、第2他拠点画像72Bの人物画像22BIは自拠点20Xの参加者22Xを向いているように表示され、第3拠点画像72Cの人物画像22CIは、第2他拠点画像72Bの人物画像22BIを向いているように表示される。なお、表示画像72に表示された人物画像22AI,22BI,22CIを区別することなく用いる場合は、符号「22IM」を用いる。
2つのカメラモジュール50A,50Bは、表示画面71の幅方向両側に配置されている。音声出力部76は、他拠点20A,20B,20Cから受信した音声を出力するスピーカーである。音声出力部76は、表示画面71の下側に配置されている。
カメラモジュール50Aは、参加者22Xの前方左側に配置されている。カメラモジュール50Bは、参加者22Xの前方右側に配置されている。つまり、2つのカメラモジュール50A,50Bは、それぞれ異なる方向から参加者22Xを含む領域を撮像する。
図2に示すように、2つのカメラモジュール50A,50Bはそれぞれ、カメラ52と、深度センサー54と、マイクロフォン56とを備える。
カメラ52は、外部からの光を受光して撮像する機能を有する。撮像された撮像画像IMGXは、自拠点情報処理装置60Xに送信される。カメラ52は、自拠点20Xの参加者22Xの顔と顔の背景とを含む領域を撮像している。本実施形態では、それぞれの拠点20X,20Yにおいて、カメラ52の高さと、参加者22X,22Yの視線の高さは一致しているものとする。
深度センサー54は、カメラ52によって撮像される撮像対象物までの距離を検出する。深度センサー54を用いた距離の検出方式としては、例えば、光源からの射出した光が撮像対象物によって反射して受光部によって受光される時間に基づいて距離を検出する方式(TOF方法)や、光の射出位置と受光位置とに基づいた三角測距方式が用いられる。深度センサー54によって検出された撮像対象物までの距離を表す深度情報DDXは、撮像画像IMGXに付加情報として付加されて、自拠点情報処理装置60Xに送信される。
マイクロフォン56は、音声を電気信号に変換する。電気信号としての音声情報SDXは撮像画像IMGXに同期して自拠点情報処理装置60Xに送信される。
自拠点情報処理装置60Xは、通信部62と、記憶部64と、制御部としてのCPU66と、入力部65と、を備える。通信部62と、記憶部64と、CPU66と、入力部65とは互いにバスを介して接続されている。記憶部64は、ROM642と、RAM644とを有する。
RAM644には、表示制御部663によって生成される他拠点画像72A,72B,72Cの表示位置を表す表示位置情報LDと、表示画像生成部662が他拠点画像72A,72B,72Cを生成するために参照する参照テーブルTBが記憶されている。
表示位置情報LDは、表示装置70Xの表示画面71における他拠点画像72A,72B,72Cの表示位置を表す。表示位置情報LDは、表示画面71における他拠点画像72A,72B,72Cのそれぞれの相対的な位置関係を表す相対位置情報によって表示位置を表しても良い。例えば、表示位置情報LDが「P72A,P72B,P72C」である場合、表示画面71の左から順に他拠点画像72A,72B,72Cが表示され、表示位置情報LDが「P72A,P72C,P72B」である場合は、表示画面71の左から順に他拠点画像72A,72C,72Bが表示される。表示位置情報LDは、他拠点画像72A,72B,72Cの表示位置の相対的な位置関係を示す情報であれば上記に限定されるものではない。例えば、他拠点画像72A,72B,72Cと、各他拠点画像72A,72B,72Cが表示される拠点画像表示画面23P1,23P2,23P3との対応関係を表す情報であっても良い。
参照テーブルTBは、他拠点視線情報DSYと表示位置情報LDとに応じてワールド座標系(Xw,Yw,Zw)から視点座標系(X,Y,Z)への回転行列と平行移動ベクトルを含む変換行列式、及び、視点座標系(X,Y,Z)からスクリーン座標系(y、z)への変換行列式とが対応付けたテーブルである。
入力部65は、利用者からの入力を受け付ける。入力部65は、例えば、マウスやキーボードや音声を用いた入力を受け付ける。
通信部62は、USB、LAN、Blluetooth,IrDA等の規格に準拠した入出力インターフェイスを備え、データを送受信する。例えば、通信部62は、複数の他拠点20A,20B,20Cの他拠点情報処理装置60Yと通信することで、他拠点元情報DRYと音声情報SDYとを受信する。また例えば、通信部62は、カメラモジュール50A,50Bから撮像画像IMGXと音声情報SDXとを取得する。
CPU66は、ROM642に記憶された各種プログラムをRAM644にロードして実行することで、後述する種々の処理を実現する。なお、後述する種々の処理は、各種プログラムに基づく動作によって実現されるが、各種プログラムの少なくとも一部は、回路などのハード的な構成によって実現しても良い。
CPU66は、表示画像生成部662と、表示制御部663と、視線情報生成部664と、人物情報生成部666と、モジュール制御部668として機能する。表示画像生成部662及び表示制御部663は、自拠点表示装置70Xに他拠点画像72Yを表示させる機能、及び、他拠点20Yの音声情報SDYを出力させる機能を構成する。視線情報生成部664と、人物情報生成部666と、モジュール制御部668とは、自拠点20Xが他拠点20Yとして機能する場合における、他拠点元情報DRYと音声情報SDYとを生成する機能を構成する。
表示画像生成部662は、RAM644に記憶された表示位置情報LDを取得し、他拠点情報処理装置60Yから受信した他拠点視線情報DSYと表示位置情報LDとに基づいて、他拠点人物情報DPYが含む3次元モデルを回転させて表示装置70Xに表示させるための他拠点画像72Yを生成する。表示制御部663は、表示装置70Xを制御する。具体的には、示位置情報LDに基づいて他拠点画像72Yと仮想画像702とを表示装置70Xの表示画面71に表示させる。他拠点画像72Yは所定のフレームレートで表示画面71に表示される。この所定のフレームレートは、他拠点20Yから送信される画像のフレームレートより低くても良い。また、表示制御部663は、他拠点情報処理装置60Yから受信した音声情報SDYを他拠点画像72Yに同期して自拠点表示装置70Xの音声出力部76によって出力させる。この表示画像生成部662が実行する他拠点画像72Yの生成工程については後述する。
人物情報生成部666は、2つのカメラモジュール50A、50Bが撮像した撮像画像IMGXに基づいて、自拠点の参加者22Xを表す情報を含む自拠点人物情報DPXを生成する。人物情報生成部666は、計測点が異なる2つのカメラモジュール50A,50Bから取得した深度情報DDXと、撮像画像IMGXとに基づいて自拠点人物情報DPXの一部を構成する3次元モデルを生成する。3次元モデルは、カメラモジュール50A,50Bのそれぞれから取得した撮像画像IMGYを深度情報DDXに基づいてつなぎ合わせる(Traiangulation)。そして、2方向からのデータを合成し、合成したデータにRGBの表面情報が付加する(テクスチャーマッピング)。この3次元モデルの生成工程については後述する。
視線情報生成部664は、自拠点20Xの参加者22Xの視線に関する自拠点視線情報DSXを生成する。自拠点視線情報DSXは、自拠点20Xを識別するための自拠点識別情報と、自拠点20Xの参加者22Xの視線方向を特定するための特定他拠点識別情報とを含む。自拠点識別情報は、自拠点視線情報DSXが生成された拠点20A,20B,20C,20X(情報処理装置60A,60B,60C,60X)を識別するための情報である。特定他拠点識別情報は、自拠点20Xの参加者22Xが自拠点表示装置70Xの表示画面71に表示された複数の他拠点画像72A,72B,72Cのうちのどの画像を見ているかを示す情報である。つまり、特定他拠点識別情報は、自拠点表示装置70Xの表示画面71に表示された複数の他拠点画像72A,72B,72Cのうち、参加者22Xの視線が示す特定の他拠点画像72Yを識別するための情報である。自拠点視線情報DSXが、自拠点20Xを識別するための自拠点識別情報を含むことで、自拠点視線情報DSXが生成された拠点を容易に特定できる。
自拠点視線情報DSXは、例えば、以下のような文字列によって表現される。
自拠点視線情報DSX:T=>V
ここで、「T」は、自拠点を識別するための自拠点識別情報であり、各情報処理装置60A,60B,60C,60Xに固有の識別番号TA,TB,TC,TXが付与されている。つまり、固有の識別番号TA,TB,TC,TXは、各拠点20A,20B,20C,20Xの参加者22A,22B,22C,22Xを識別するための情報であるとも言える。「V」は、特定他拠点識別情報であり、「V」は自拠点20Xの参加者22Xの視線方向に位置する他拠点画像72Aを識別するための情報であり、他拠点画像72A,72B,72C,72Xごとに固有の識別番号VA,VB,VC,VXが付与される。「=>」は、視線方向を示す情報であり、Xに対応する参加者がYに対応する他拠点画像72Yを見ていることを示している。つまり、自拠点視線情報DSXが「TA=>VB」である場合は、参加者22Aが参加者22Bの人物画像22BIを見ていることを示している。自拠点視線情報DSXは、他拠点20Yから見た場合には他拠点視線情報DSYと見なすことができる。なお、参加者22Yが表示装置70以外の場所を見ている場合のように、視線方向が判別できない場合もある。その場合、自拠点視線情報DSXを「TA=>UK」などのようにしても良い。こうすることにより、参加者22Yが表示装置70以外の場所を見ていることを他の拠点20に知らせることができる。
自拠点視線情報DSX:T=>V
ここで、「T」は、自拠点を識別するための自拠点識別情報であり、各情報処理装置60A,60B,60C,60Xに固有の識別番号TA,TB,TC,TXが付与されている。つまり、固有の識別番号TA,TB,TC,TXは、各拠点20A,20B,20C,20Xの参加者22A,22B,22C,22Xを識別するための情報であるとも言える。「V」は、特定他拠点識別情報であり、「V」は自拠点20Xの参加者22Xの視線方向に位置する他拠点画像72Aを識別するための情報であり、他拠点画像72A,72B,72C,72Xごとに固有の識別番号VA,VB,VC,VXが付与される。「=>」は、視線方向を示す情報であり、Xに対応する参加者がYに対応する他拠点画像72Yを見ていることを示している。つまり、自拠点視線情報DSXが「TA=>VB」である場合は、参加者22Aが参加者22Bの人物画像22BIを見ていることを示している。自拠点視線情報DSXは、他拠点20Yから見た場合には他拠点視線情報DSYと見なすことができる。なお、参加者22Yが表示装置70以外の場所を見ている場合のように、視線方向が判別できない場合もある。その場合、自拠点視線情報DSXを「TA=>UK」などのようにしても良い。こうすることにより、参加者22Yが表示装置70以外の場所を見ていることを他の拠点20に知らせることができる。
表示画像生成部662は、上記の他拠点視線情報DSYに基づいて、特定の他拠点20Yに配置された表示装置70が有する表示画面71に表示された自拠点20Xの参加者22X及び他の他拠点20Yの参加者22Yの中から、特定の他拠点20Yに位置する参加者22が見ている対象人物(人物画像)を特定できる。
モジュール制御部668は、通信部62を介して2つのカメラモジュール50A,50Bから撮像画像IMGXと音声情報SDXとを取得し、取得した撮像画像IMGXと音声情報SDXをRAM644に記憶する。
図4は、CPU66が実行する視線情報生成工程の処理フローである。モジュール制御部668は、撮像画像IMGXを取得する(ステップS10)。次に、視線情報生成部664は、撮像画像IMGXに基づいて自拠点20Xの参加者22Xの視線の方向を検出する(ステップS12)。具体的には、視線情報生成部664は、撮像画像IMGXに含まれる参加者22Xの顔画像に基づいて視線の方向を検出する。ここで、参加者22Xの顔は表示画面71正面を向いているものと仮定する。視線の方向の検出は、例えば、基準点を参加者22Xの目頭とし、動点を参加者22Xの虹彩として目頭と虹彩との位置関係に基づく検出方法(第1検出方法)を採用しても良い。また、例えば、視線の方向の検出は、例えば、基準点を参加者22Xの角膜反射とし、動点を参加者22Xの瞳孔として角膜反射と瞳孔の位置関係に基づく検出方法(第2検出方法)を採用しても良い。なお、視線情報生成部664は、撮像画像IMGXに含まれる参加者22Xの顔画像の向きによって視線の方向を検出しても良い。また、顔画像の向きと第1検出方法又は第2検出方法を組み合わせて視線の方向を検出しても良い。
視線情報生成部664は、ステップS12で検出した検出結果(視線の方向)を特定他拠点識別情報として生成する(ステップS14)。第1検出方法を用いた場合、視線情報生成部664は、虹彩が目頭に近い第1の場合は参加者22の視線の方向は左側前方であることを検出する。この検出結果と表示位置情報LDとに基づいて、視線情報生成部664は、参加者22Xが第1他拠点画像72Aを見ていることを示す特定他拠点識別情報を生成する。また、第1検出方法を用いた場合、第1の場合よりも第1虹彩が目頭から離れた第2の場合は、視線情報生成部664は、参加者22Xの視線の方向は正面前方であることを検出する。この検出結果と表示位置情報LDとに基づいて、視線情報生成部664は、参加者22Xが第2他拠点画像72Bを見ていることを示す特定他拠点識別情報を生成する。また、第1検出方法を用いた場合、第2の場合よりも第1虹彩が目頭から離れた第3の場合は、視線情報生成部664は、参加者22Xの視線の方向は右側前方であることを検出する。この検出結果と配置情報LDとに基づいて、視線情報生成部664は、参加者22Xが第3他拠点画像72Cを見ていることを示す特定他拠点識別情報を生成する。
ステップS14の後に、視線情報生成部664は、特定他拠点識別情報に自拠点識別情報を付与して視線情報DSXを生成する(ステップS16)。これにより、例えば、「X=>Y」という文字情報で表される自拠点視線情報DSXが生成される。この自拠点視線情報DSXは、RAM644に記憶される。
図5は、CPU66が実行する自拠点人物情報DPXの生成工程の処理フローである。はじめにCPU66は、2つのカメラモジュール50A,50Bの位置と方向(姿勢)をワールド座標系で特定する(ステップS20)。すなわち、モデル座標系からワールド座標系への変換行列式を算出する。ここでワールド座標系とは、2つのカメラモジュール50A,50Bの個々の座標系(モデル座標系)から独立している3軸直交座標系である。このワールド座標系から対象物を任意の視点から見るための座標系(視点座標系)への変換は、視野変換によって行われる。また、視点座標系から表示装置70に表示するためのスクリーン座標系への変換は、視点座標系に置かれた対象物に対して透視変換等の射影変換によって行われる。
2つのカメラモジュール50A,50B(詳細にはカメラ52)のそれぞれの位置関係と方向が正確に分かると、適当な原点を定めることにより2つのカメラモジュール50A,50Bの位置と方向をワールド座標系で定めることができる。実際には、キャリブレーションを実施することにより定めることができる。例えば、キャリブレーションのための既知のターゲットの周りの予め決められたおよその位置に予め決められたおよその姿勢で2つのカメラモジュール50A,50Bを設置した後に、2つの深度センサー54のそれぞれが生成する深度情報DDXに基づいて導出される既知のターゲットの形状の一部が既知のターゲットの同一領域を表していることを前提としてカメラモジュール50A,50Bの位置と方向、すなわち撮像位置と撮像方向と深度の計測位置と深度の計測方向を導出する。具体的には、各カメラモジュール50A,50Bが生成する深度情報DDXに基づいて、実際のカメラモジュール50A,50Bの位置と方向を、例えばICP(iterative closest point)等のパターンマッチングの手法を用いてワールド座標系で数学的に特定しておけば良い。各カメラモジュール50A、50Bの位置を示す座標と方向を示す単位ベクトルがワールド座標系で特定されると、各カメラモジュール50A,50Bに固有の座標系をワールド座標系に変換するための変換行列式を導出可能になる。
CPU66は、ボタンが押下される等の参加者22Xからの自拠点人物情報DPXを生成するための指示を入力部65を介して受け付けると、モジュール制御部668がカメラモジュール50A,50Bから撮像画像IMGXと深度情報DDXとを取得する(ステップS22)。本実施形態では、モジュール制御部668が、深度情報DDXが付加された撮像画像IMGXを取得する。
次に、人物情報生成部666は、撮像画像IMGXから対象物画像(人物画像)と背景画像とを抽出する(ステップS24)。次に、人物情報生成部666は、2つのカメラモジュール50A,50Bから取得した2つの深度情報DDXと2つの撮像画像IMGXとに基づいて3次元モデルを生成する(ステップS26)。具体的には、人物情報生成部666は、カメラモジュール50A,50Bから取得した深度情報DDX毎に人物22Xのポリゴンモデルをワールド座標系で特定する。また人物情報生成部666は、特定したポリゴンモデルの各ポリゴンと撮像画像IMGXとしてのRGB画像との対応付けをカメラモジュール50A,50B毎に生成する。すなわち、ポリゴンモデルの各ポリゴンの表面に、RGBの情報(色情報)をテクスチャとして貼り付けて3次元モデルを生成する。以上のように、人物情報生成部666は、2つのカメラモジュール50がそれぞれ撮像した撮像画像IMGXと、2つのカメラモジュール50が有するそれぞれの深度センサー54から取得した深度情報DDXとに基づいて3次元モデルを生成する。
次に、人物情報生成部666は、3次元モデルに自拠点識別情報(情報処理装置60の識別番号)を付与して自拠点人物情報DPXを生成する(ステップS28)。これにより、3次元モデルがどの情報処理装置60によって生成されたかを識別できる。自拠点人物情報DPXは、RAM644に記憶される。
図4及び図5の視線情報生成工程と自拠点人物情報生成工程によって生成された自拠点人物情報DPXと自拠点視線情報DSXとは、自拠点元情報DRXが含む情報として通信部62を介して複数の他拠点20Yの他拠点情報処理装置60Yに送信される。他拠点情報処理装置60Yを自拠点情報処理装置60Xとし、自拠点情報処理装置60Xを他拠点情報処理装置60Yとみなした場合、この自拠点元情報DRXは他拠点元情報DRYとなる。
図6は、CPU66が実行する他拠点画像72Yの生成工程の処理フローである。図7は、表示画像生成部662によって生成され表示画面71に表示された他拠点画像を示す第1の図である。図8は、表示画像生成部662によって生成され表示画面71に表示された他拠点画像を示す第2の図である。図9は、表示画像生成部662によって生成され表示画面71に表示された他拠点画像を示す第3の図である。
表示画像生成部662は、通信部62を介して他拠点20Yの情報処理装置60Yから他拠点元情報DRYを取得する(ステップS30)。この他拠点元情報DRYには、上述のごとく、他拠点視線情報DSYと、参加者22の情報を表す3次元モデルを他拠点人物情報DPYとが含まれている。
次に、表示画像生成部662は、他拠点視線情報DSYとRAM644に記憶された表示位置情報LDとに基づいて、他拠点人物情報DPYに含まれる3次元モデルを回転させて人物画像22IMを含む他拠点画像72Yを生成する(ステップS32)。
ここで、他拠点情報処理装置60A,60B,60Cからそれぞれ取得した他拠点視線情報DSYが「TA=>VB」、「TB=>VX」,「TC=>VB」であるとする。すなわち、参加者22Aは、拠点20Aの表示装置70に表示された他拠点画像72Yのうち、他拠点画像72Bに含まれる人物画像22BIを見ている。また、参加者22Bは、拠点20Bの表示装置70に表示された他拠点画像72Yのうち、他拠点画像に含まれる人物画像22XIを見ている。また、参加者22Cは、拠点20Cの表示装置70に表示された他拠点画像72Yのうち、他拠点画像72Bに含まれる人物画像22BIを見ている。また、表示位置情報LDは、「P72A,P72B,P72C」であるとする。すなわち、表示装置70Xの表示画面71には、左から順に他拠点画像72A,72B,72Cが表示される。具体的には、表示画面71の左から順に配置された、他拠点画像72A,72B,72Cを表示するための拠点画像表示画面23P1、23P2、23P3に他拠点画像72A,72B,72Cが表示される。
まず、表示画像生成部662は、参照テーブルTB(図2)を参照して、他拠点視線情報DSYと表示位置情報LDとに基づいて各変換行列式を決定する。そして、図7に示すように、表示画像生成部662は、表示画面71において第1他拠点画像72Aの人物画像22AIが対象人物を表す人物画像22BIの方向を向くように、決定した変換行列式を用いて参加者22Aの3次元モデルを回転させて人物画像22AIを生成する。すなわち、人物画像22AIが、人物画像22AIが位置する方向を向いているような画像となるように、参加者22Aの3次元モデルを回転させる。また、図7に示すように、表示画像生成部662は、表示画面71において第2他拠点画像72Bの人物画像22BIが対象人物である参加者22Xの方向(正面方向)を向くように、参照テーブルTB(図2)の変換行列式を用いて参加者22Bの3次元モデルを回転させて人物画像22BIを生成する。すなわち、人物画像22BIが、正面を向くように、参加者22Bの3次元モデルを回転させる。また、図7に示すように、表示画像生成部662は、表示画面71において第3他拠点画像72Cの人物画像22CIが対象人物を表す人物画像22BIの方向を向くように、参照テーブルTB(図2)の変換行列式を用いて参加者22Cの3次元モデルを回転させて人物画像22CIを生成する。すなわち、人物画像22CIが、人物画像22BIが位置する方向を向いているような画像となるように、参加者22Cの3次元モデルを回転させる。このように、表示画像生成部662は、自拠点20Xの表示装置70Xの表示画面71において、特定の他拠点20Yの参加者22Yが対象人物の方向を向くように、他拠点元情報DRYから他拠点画像72Yを生成する。
また、ある時点において他拠点情報処理装置60A,60B,60Cからそれぞれ取得した他拠点視線情報DSYが「TA=>VX」、「TB=>VA」,「TC=>VA」であるとする。このとき、表示画像生成部662は、図8に示す、第1〜第3他拠点画像72A〜72Cを表示画面71によって表示させる。
まず、表示画像生成部662は、参照テーブルTB(図2)を参照して他拠点視線情報DSYと表示位置情報LDとに基づいて変換行列式を決定する。そして、表示画像生成部662は、第1他拠点画像72Aの人物画像22AIが正面の方向を向くように、決定した変換行列式を用いて参加者22Aの3次元モデルを回転させて人物画像22AIを生成する。すなわち、人物画像22AIが、人物22Xが位置する方向を向いているような画像となるように、参加者22Aの3次元モデルを回転させる。また、図8に示すように、第2他拠点画像72Bの人物画像22BIが人物画像22AIの方向を向くように、決定した変換行列式を用いて参加者22Bの3次元モデルを回転させて人物画像22BIを生成する。すなわち、人物画像22BIが、人物画像22AIが位置する方向を向くように、参加者22Bの3次元モデルを回転させる。また、図8に示すように、第3他拠点画像72Cの人物画像22CIが人物画像22AIの方向を向くように、決定した変換行列式を用いて参加者22Cの3次元モデルを回転させて人物画像22CIを生成する。すなわち、人物画像22CIが、人物画像22AIが位置する方向を向いているような画像となるように、参加者22Cの3次元モデルを回転させる。
以上のように、表示画像生成部662は、他拠点視線情報DSYに基づいて、特定の他拠点に配置された表示装置70に表示された自拠点20Xの人物22X及び他の他拠点20Yの人物22Yの中から、特定の他拠点の人物が見ている対象人物を特定する。そして、自拠点20Xの表示装置70Xの表示画面71において、特定の他拠点20Yの人物22Y(人物画像)が対象人物(対象となる人物画像)の方向を向くように、3次元モデルを回転させて他拠点画像72Yを生成する。なお、他拠点視線情報DSYが、例えば「TA=>UK」などのように視線の方向が不明であることを示している場合、3次元モデルを回転せずに表示しても良い。例えば、他拠点20Aの参加者22Aが机上の書類に視線を落としている場合などが視線の方向が不明である場合に相当する。この場合、参加者22Aを撮影した画像は下を向いているため、3次元モデルを回転せずに表示しても、違和感はない。
ここで、図7に示す状態において、参加者22Xから表示位置が入力部65に入力され、新たな表示位置情報LDがRAM644に記憶されたとする。新たな表示位置情報LDは、「P72C,P72B,P72A」である。この入力情報としての新たな表示位置情報LDに基づいて、表示制御部663は表示画面71に表示させるための第1〜第3他拠点画像72A〜72Cの位置を、図7に示す表示位置から変更する。具体的には、表示制御部663は、図7に示す状態から第1他拠点画像72Aと第3他拠点画像72Cとの表示位置を入れ替える。
表示画像生成部662は、参照テーブルTB(図2)を参照して、図7の第1他拠点画像72A〜72Cを生成する際に用いた他拠点視線情報DSYと新たな表示位置情報LDとに基づいて、変換行列式を決定する。そして、決定した変換行列式を用いて、3次元モデルを回転させた後に射影変換することで人物画像22AI,22BI,22CIを生成する。図9では、表示画像生成部662は、人物画像22CIが人物画像22BIの位置する方向を向くような第3他拠点画像72Cを参加者22Cの3次元モデルを回転させて生成する。また、表示画像生成部662は、人物画像22AIが人物画像22BIの位置する方向を向くような第1拠点画像72Aを参加者22Aの3次元モデルを回転させて生成する。
なお、表示画像生成部662の機能を実行させない場合は、他拠点視線情報DSYと表示位置情報LDとに拘わらず所定の変換行列式を用いて、第1〜第3他拠点画像72A〜72Cが生成される。すなわち、他拠点20Yのカメラモジュール50にて撮像された人物画像として自拠点20Xの表示装置70の表示画面71に表示される。例えば図7に示す状況では、全ての人物画像22AI,22BI,22CIが人物画像22BIのように正面を向いているように表示される。表示画像生成部662の機能を実行させないことにより、自拠点情報処理装置60の他の処理の負荷が一時的に高くなってしまった場合でもテレビ会議を継続することができる。
上記実施形態によれば、情報処理装置60は、他拠点視線情報DSYと表示位置情報LDとに基づいて他拠点画像72Yを生成するので、臨場感を高めた他拠点画像72Yを表示画面71に生じさせることができる。特に、本実施形態では、他拠点視線情報DSYと表示位置情報LDとに基づいて、他拠点画像72Y中の参加者22Yがそれぞれの拠点20Yの表示画面71で見ている、特定の他拠点20Yの参加者22Yの方向を向くような他拠点画像72Yを自拠点20Xの表示画面71に表示できる(図7)。これにより、臨場感をより高めた他拠点画像72Yを情報処理装置60は生成できる。また、上記実施形態によれば、表示画像生成部662は、3次元モデルを回転させることで対象人物の方向を向くような他拠点画像72Yを容易に生成できる。また、情報処理装置60は、新たな表示位置情報LDが入力された場合、新たな表示位置情報LDに基づいて3次元モデルを回転させて他拠点画像72Yを生成できる。これにより、情報処理装置60は、他拠点画像72Yの表示位置を変更するという参加者22X,22Yの要望に柔軟に対応しつつ、臨場感を高めた他拠点画像72Yを生成できる。また、情報処理装置60は、他拠点画像72Yを生成するために3次元モデルを他の拠点20X,20Yの情報処理装置60に送信している。これにより、特定の拠点20X,20Yが他の複数の拠点20X,20Yに応じた画像を生成して、他の複数の拠点20X,20Yに送信する必要が無いため、他拠点画像72Yを表示するために通信されるデータ通信量を低減できる。
上記実施形態において、参加者22は、課題を解決するための手段に記載の「人物」に相当する。
B.自拠点人物情報と他拠点画像の変形例:
上記実施形態では、自拠点人物情報DPXは自拠点20Xの参加者22Xの3次元モデルを含み、他拠点画像72Yは3次元モデルを回転させることで生成されたが、自拠点人物情報DPXの種類と、他拠点画像72Yの生成方法は上記実施形態に限定されるものではない。以下に変形例の自拠点人物情報DPXaと他拠点画像72Yaについて説明する。
上記実施形態では、自拠点人物情報DPXは自拠点20Xの参加者22Xの3次元モデルを含み、他拠点画像72Yは3次元モデルを回転させることで生成されたが、自拠点人物情報DPXの種類と、他拠点画像72Yの生成方法は上記実施形態に限定されるものではない。以下に変形例の自拠点人物情報DPXaと他拠点画像72Yaについて説明する。
図10は、変形例である自拠点人物情報DPXaの生成工程の処理フローである。自拠点人物情報DPXaは、人物を表す情報として3次元モデルに変えて自拠点元画像を含む。
CPU66は、ボタンが押下される等の参加者22Xからの自拠点人物情報DPXaを生成するための指示を受け付けると、モジュール制御部668がカメラモジュール50A,50Bから撮像画像IMGXを取得する(ステップS22a)。次に、撮像画像IMGXから、参加者の顔を中心とした所定領域(縦M画素、横N画素)を切り出して自拠点元画像を生成する(ステップS24a)。具体的には、撮像画像IMGXから顔のエッジ(特徴部)を検出することで顔画像を特定し、顔画像の中心から所定範囲を切り出して自拠点元画像を生成する。自拠点元画像は、参加者22Xの顔画像とその背景画像を含む。次に、自拠点元画像に自拠点識別情報(情報処理装置60の識別番号)を付与して自拠点人物情報DPXaを生成する(ステップS28a)。自拠点人物情報DPXaと自拠点視線情報DSXとが自拠点元情報DRXaを構成し、他の拠点20Yから見た場合、自拠点元情報DRXaは他拠点元情報DRYaとなり、自拠点元画像は他拠点元画像となる。
図11は、変形例の他拠点画像72Yaの生成工程の処理フローである。表示画像生成部662は、通信部62を介して他拠点20Yの情報処理装置60Yから他拠点元情報DRYaを取得する(ステップS30)。他拠点元情報DRYaには、他拠点視線情報DSYと他拠点元画像とが含まれる。次に、表示画像生成部662は、他拠点視線情報DSYとRAM644に記憶された表示位置情報LDとに基づいて、他拠点元画像を変形させて他拠点画像72Yaを生成する(ステップS32a)。具体的には、表示画像生成部662は、自拠点20Xの表示画面71において、対象人物が位置する一方の側から反対の側に向かって表示領域が大きくなる他拠点画像72Yaを、他拠点元画像を変形させることで生成する。
図12は、表示画像生成部662が実行する他拠点元画像IMRwから他拠点画像72Yaの生成工程の具体例である。図12では、図7に示す第1他拠点画像72Aに代えて生成される第1他拠点画像72Aaについて説明する。つまり、他拠点視線情報DSYが「TA=>VB」であり、参加者22Aが参加者22Bの人物画像22BIを見ている状況である。また、表示位置情報LDは、「P72A,P72B,P72C」であり、表示装置70Xの表示画面71には、左から順に他拠点画像72Aa,72Ba,72Caが表示される状況である。この場合、M×Nの画素によって構成される他拠点元画像IMRwについて以下の画像処理を行う。つまり、対象人物である人物画像22BIが表示された右側(一方の側)から左側(他方の側)に向かって表示領域が大きくなるように、他拠点元画像IMRwを変形させて第1他拠点画像72Aaを生成する。具体的には、他拠点元画像IMRwの画素を間引くことで第1他拠点画像72Aaを生成する。本変形例では、他拠点元画像IMRwが、左端の縦画素数をM画素、右端の縦画素数がM画素の3分の1画素の台形となるように画素を間引いて第1他拠点画像72Aaを生成する。このように他拠点元画像IMRwが変形されることで、人物画像22AIが対象人物である人物画像22BI(図12の右側)の方向を向くような第1他拠点画像72Aaが生成される。
この変形例によれば、他拠点画像72Yaの表示領域が一方の側から反対の側に向かって大きくなる画像によって、対象人物の方向を向くような他拠点画像72Yaを容易に生成できるので、情報処理装置60の処理能力が低くても臨場感を高めた他拠点画像72Yaを表示画面71に表示させることができる。
C.3次元モデルの変形例:
3次元モデルの生成方法は上記実施形態に限定されるものではない。図13は、3次元モデルTMDの生成工程を説明するための図である。自拠点情報処理装置60Xは、他拠点元情報DRYの人物を含む撮像画像IGを他拠点情報処理装置60Yから取得する。自拠点情報処理装置60Xは、RAM644に頭部を表すポリゴンデータ90を記憶している。表示画像生成部662は、撮像画像IG中の顔画像221Aを抽出して、顔画像221Aをポリゴンデータ90に貼り付ける(テクスチャーマッピング)。これにより、3次元モデルTMDが生成される。表示画像生成部662は、生成した3次元モデルTMDを他拠点視線情報DSYと表示位置情報LDとに基づいて回転させて他拠点画像72Yを生成する。
3次元モデルの生成方法は上記実施形態に限定されるものではない。図13は、3次元モデルTMDの生成工程を説明するための図である。自拠点情報処理装置60Xは、他拠点元情報DRYの人物を含む撮像画像IGを他拠点情報処理装置60Yから取得する。自拠点情報処理装置60Xは、RAM644に頭部を表すポリゴンデータ90を記憶している。表示画像生成部662は、撮像画像IG中の顔画像221Aを抽出して、顔画像221Aをポリゴンデータ90に貼り付ける(テクスチャーマッピング)。これにより、3次元モデルTMDが生成される。表示画像生成部662は、生成した3次元モデルTMDを他拠点視線情報DSYと表示位置情報LDとに基づいて回転させて他拠点画像72Yを生成する。
この変形例によれば、情報処理装置60は、撮像画像IGを取得することで容易に3次元モデルTMDを生成し、この3次元モデルTMDを回転させることで他拠点画像72Yを生成できるので、情報処理装置60の処理能力が低くても臨場感を高めた他拠点画像72Yを表示画面71に表示させることができる。
D.その他の変形例:
D−1.第1変形例:
上記実施形態において、それぞれの拠点20X,20Yにおいて、カメラモジュール50のカメラ52の高さと、参加者22X,22Yが表示画面71に表示された他拠点画像72Yを見るときの視線の高さ(目の高さ)は必ずしも一致しない。例えば、カメラ52の高さが参加者22X,22Yの視線の高さよりも高い場合、他拠点画像72Y中の人物画像は下を向いているように表示される。よって、カメラ52の高さと参加者22X,22Yの視線の高さが異なる場合に、これらの高さの違いに応じて他拠点画像72Yの人物の視線方向が水平方向となるように、表示画像生成部662は、他拠点人物情報DPYから他拠点画像72Yを生成しても良い。具体的には、各拠点20X,20Yの情報処理装置60は、自身が位置する拠点20のカメラ52の位置(高さ位置)と表示画面71に表示される他拠点画像72Yの位置(高さ位置)の関係を定めたテーブルを予め記憶しておく。そして、例えば、3次元モデルを垂直方向に回転させることで、他拠点画像72Yの参加者22の視線方向が水平方向となる他拠点画像72Yが生成される。
D−1.第1変形例:
上記実施形態において、それぞれの拠点20X,20Yにおいて、カメラモジュール50のカメラ52の高さと、参加者22X,22Yが表示画面71に表示された他拠点画像72Yを見るときの視線の高さ(目の高さ)は必ずしも一致しない。例えば、カメラ52の高さが参加者22X,22Yの視線の高さよりも高い場合、他拠点画像72Y中の人物画像は下を向いているように表示される。よって、カメラ52の高さと参加者22X,22Yの視線の高さが異なる場合に、これらの高さの違いに応じて他拠点画像72Yの人物の視線方向が水平方向となるように、表示画像生成部662は、他拠点人物情報DPYから他拠点画像72Yを生成しても良い。具体的には、各拠点20X,20Yの情報処理装置60は、自身が位置する拠点20のカメラ52の位置(高さ位置)と表示画面71に表示される他拠点画像72Yの位置(高さ位置)の関係を定めたテーブルを予め記憶しておく。そして、例えば、3次元モデルを垂直方向に回転させることで、他拠点画像72Yの参加者22の視線方向が水平方向となる他拠点画像72Yが生成される。
D−2.第2変形例:
上記実施形態では、情報処理システム100は2台のカメラモジュール50A,50Bを有していたが、1台であっても良い。このようにしても、1台のカメラモジュール50から取得した深度情報DDXと撮像画像IMGXに基づいて、情報処理装置60は3次元データを生成できる。また、2台以上のカメラ52を有していれば深度センサー54は省略しても良い。このようにしても、三角測量を用いて撮像対象物までの深度情報を生成できる。
上記実施形態では、情報処理システム100は2台のカメラモジュール50A,50Bを有していたが、1台であっても良い。このようにしても、1台のカメラモジュール50から取得した深度情報DDXと撮像画像IMGXに基づいて、情報処理装置60は3次元データを生成できる。また、2台以上のカメラ52を有していれば深度センサー54は省略しても良い。このようにしても、三角測量を用いて撮像対象物までの深度情報を生成できる。
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
10…テレビ会議システム、20A,20B,20C,20Y…他拠点、20X…自拠点、22,22A,22B,22C,22X…参加者、22A1,22BI,22CI,22IM…人物画像、23P1,23P2,22P3…拠点画像表示画面、50,50A,50B…カメラモジュール、52…カメラ、54…深度センサー、56…マイクロフォン、60,60A,60B,60C,60X…情報処理装置、62…通信部、64…記憶部、65…入力部、66…CPU、70…表示装置、70X…自拠点表示装置、71…表示画面、72A,72Aa…第1他拠点画像、72B…第2他拠点画像、72C…第3他拠点画像、72Y,72Ya…他拠点画像、76…音声出力部、90…ポリゴンデータ、100…情報処理システム、221A…顔画像、642…ROM、644…RAM、662…表示画像生成部、663…表示制御部、664…視線情報生成部、666…人物情報生成部、668…モジュール制御部、702…仮想画像、DDX…深度情報、DPX,DPXa…自拠点人物情報、DPY…他拠点人物情報、DRX,DRXa…自拠点元情報、DRY,DRYa…他拠点元情報、DSX…自拠点視線情報、DSY…他拠点視線情報、IG,IMGX,IMGY…撮像画像、IMRw…他拠点元画像、INT…インターネット、SDX,SDY…音声情報、TMD…3次元モデル
Claims (14)
- 情報処理装置であって、
複数の他拠点と通信し、自拠点の表示装置が有する表示画面に前記他拠点の人物画像を含む他拠点画像を表示させるための他拠点元情報であって、前記他拠点の人物の視線に関する他拠点視線情報と、前記他拠点の人物を表す情報を含む他拠点人物情報と、を含む他拠点元情報を受信する通信部と、
前記表示装置の表示画面における前記他拠点画像の表示位置を表す表示位置情報を取得し、前記他拠点視線情報と前記表示位置情報とに基づいて、前記他拠点人物情報から前記他拠点画像を生成する表示画像生成部と、
前記表示装置に前記他拠点画像を表示させる表示制御部と、を備える、情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記表示画像生成部は、
前記他拠点視線情報に基づいて、特定の前記他拠点に配置された表示装置の表示画面に表示された前記自拠点の人物及び他の前記他拠点の人物の中から、特定の前記他拠点の前記人物が見ている対象人物を特定し、
前記自拠点の前記表示画面において前記特定の前記他拠点の人物が前記対象人物の方向を向くような前記他拠点画像を前記他拠点人物情報から生成する、情報処理装置。 - 請求項2に記載の情報処理装置であって、
前記他拠点の人物を表す情報は、他拠点の人物画像を含む他拠点元画像であり、
前記表示画像生成部は、前記自拠点の前記表示画面において、前記対象人物が位置する一方の側から反対の側に向かって表示領域が大きくなる前記他拠点画像を前記他拠点元画像から生成する、情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記他拠点の人物を表す情報は、前記他拠点の人物の3次元モデルであり、
前記表示画像生成部は、
前記他拠点視線情報に基づいて、特定の前記他拠点に配置された表示装置の表示画面に表示された自拠点の人物及び他の前記他拠点の人物の中から、前記特定の前記他拠点の前記人物が見ている対象人物を特定し、
前記自拠点の前記表示画面において、前記特定の前記他拠点の人物が前記対象人物の方向を向くような前記他拠点画像を、前記3次元モデルを回転させて生成する、情報処理装置。 - 請求項4に記載の情報処理装置であって、更に、
入力部を備え、
前記表示制御部は、前記入力部に入力された新たな前記表示位置情報に基づいて、前記自拠点の前記表示画面に表示する前記他拠点画像の表示位置を変更し、
前記表示画像生成部は、新たな前記表示位置情報に基づいて、前記3次元モデルを回転させて前記他拠点画像を生成する、情報処理装置。 - 請求項1から請求項5までのいずれか一項に記載の情報処理装置であって、
前記通信部は、前記自拠点に配置された撮像部と通信し、前記撮像部によって撮像された撮像画像を受信し、
前記情報処理装置は、更に、
前記自拠点の人物の視線に関する自拠点視線情報を生成するための視線情報生成部と、
前記撮像画像に基づいて、前記自拠点の人物を表す情報を含む自拠点人物情報を生成するための人物情報生成部と、を備え、
前記通信部は、前記自拠点人物情報と前記自拠点視線情報とを含む自拠点元情報を前記複数の他拠点に送信する、情報処理装置。 - 請求項6に記載の情報処理装置であって、
前記自拠点視線情報は、前記自拠点を識別するための自拠点識別情報と、前記自拠点の前記表示画面に表示された複数の前記他拠点画像のうち、前記自拠点の人物の視線が示す特定の前記他拠点画像を識別するための特定他拠点識別情報と、を少なくとも含む、情報処理装置。 - 請求項6又は請求項7に記載の情報処理装置であって、
前記人物情報生成部は、前記撮像画像に基づいて、前記自拠点の人物を含む対象物の3次元モデルを前記自拠点の人物を表す情報として生成する、情報処理装置。 - 請求項8に記載の情報処理装置であって、
前記通信部は、前記撮像部によって撮像される撮像対象物までの距離を表す深度情報を受信し、
前記人物情報生成部は、前記撮像画像と、前記深度情報とに基づいて前記3次元モデルを生成する、情報処理装置。 - 情報処理システムであって、
表示装置と、
請求項1から請求項9までのいずれか一項に記載の情報処理装置と、を備える、情報処理装置。 - 請求項10に記載の情報処理システムであって、更に、
撮像部を備える、情報処理システム。 - 請求項11に記載の情報処理システムであって、
前記撮像部は、深度センサーを有する、情報処理システム。 - 情報処理装置の制御方法であって、
(a)複数の他拠点と通信し、自拠点の表示装置が有する表示画面に前記他拠点の人物画像を含む他拠点画像を表示させるための他拠点元情報であって、前記他拠点の人物の視線に関する他拠点視線情報と、前記他拠点の人物を表す情報を含む他拠点人物情報と、を含む他拠点元情報を受信する工程と、
(b)前記表示装置の表示画面における前記他拠点画像の表示位置を表す表示位置情報を取得し、前記他拠点視線情報と前記表示位置情報とに基づいて、前記他拠点人物情報から前記他拠点画像を生成する工程と、
(c)前記表示装置に前記他拠点画像を表示させる工程と、を備える、制御方法。 - コンピュータープログラムであって、
複数の他拠点と通信し、自拠点の表示装置が有する表示画面に前記他拠点の人物画像を含む他拠点画像を表示させるための他拠点元情報であって、前記他拠点の人物の視線に関する他拠点視線情報と、前記他拠点の人物を表す情報を含む他拠点人物情報と、を含む他拠点元情報を受信する機能と、
前記表示装置の表示画面における前記他拠点画像の表示位置を表す表示位置情報を取得し、前記他拠点視線情報と前記表示位置情報とに基づいて、前記他拠点人物情報から前記他拠点画像を生成する機能と、
(c)前記表示装置に前記他拠点画像を表示させる機能と、をコンピューターに実現させるためのコンピュータープログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015238266 | 2015-12-07 | ||
JP2015238266 | 2015-12-07 | ||
PCT/JP2016/085827 WO2017098999A1 (ja) | 2015-12-07 | 2016-12-01 | 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、コンピュータープログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2017098999A1 true JPWO2017098999A1 (ja) | 2018-11-01 |
Family
ID=59014133
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017555037A Pending JPWO2017098999A1 (ja) | 2015-12-07 | 2016-12-01 | 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、コンピュータープログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2017098999A1 (ja) |
WO (1) | WO2017098999A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111480342B (zh) * | 2017-12-01 | 2024-04-23 | 索尼公司 | 编码装置、编码方法、解码装置、解码方法和存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2536729B2 (ja) * | 1993-07-30 | 1996-09-18 | 日本電気株式会社 | マルチ画面表示システム |
JPH1056626A (ja) * | 1996-08-13 | 1998-02-24 | Hitachi Software Eng Co Ltd | テレビ会議システム |
EP2255530A4 (en) * | 2008-03-17 | 2012-11-21 | Hewlett Packard Development Co | PRESENTATION OF FLOW OF PANORAMIC VIDEO IMAGES |
JP5208810B2 (ja) * | 2009-02-27 | 2013-06-12 | 株式会社東芝 | 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム |
JP2015191537A (ja) * | 2014-03-28 | 2015-11-02 | Kddi株式会社 | 視線一致画像生成方法、装置およびプログラム |
-
2016
- 2016-12-01 JP JP2017555037A patent/JPWO2017098999A1/ja active Pending
- 2016-12-01 WO PCT/JP2016/085827 patent/WO2017098999A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2017098999A1 (ja) | 2017-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10554921B1 (en) | Gaze-correct video conferencing systems and methods | |
US11089266B2 (en) | Communication processing method, terminal, and storage medium | |
US10659728B2 (en) | Information processing apparatus and information processing method | |
JPWO2017094543A1 (ja) | 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、パラメーターの設定方法 | |
US20210327156A1 (en) | Performing operations using a mirror in an artificial reality environment | |
JP5869712B1 (ja) | 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム | |
CN110637274B (zh) | 信息处理设备、信息处理方法以及程序 | |
US11145126B1 (en) | Movement instruction using a mirror in an artificial reality environment | |
CN113426117A (zh) | 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质 | |
WO2017141584A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
US11036987B1 (en) | Presenting artificial reality content using a mirror | |
CN114371779A (zh) | 一种视线深度引导的视觉增强方法 | |
WO2021196973A1 (zh) | 虚拟内容的显示方法、装置、电子设备及存储介质 | |
JP7452434B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN110060349B (zh) | 一种扩展增强现实头戴式显示设备视场角的方法 | |
WO2017098999A1 (ja) | 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、コンピュータープログラム | |
US20230164304A1 (en) | Communication terminal device, communication method, and software program | |
WO2017104448A1 (ja) | 情報処理装置、3次元モデル生成装置、情報処理装置の制御方法、及び、コンピュータープログラム | |
JP5326816B2 (ja) | 遠隔会議システム、情報処理装置、及びプログラム | |
JP5656809B2 (ja) | 会話映像表示システム | |
JP2004310470A (ja) | 視線位置を判定し組合わせるためのシステム及びコンピュータで実行可能なプログラム | |
JP2014233045A (ja) | 映像表示システム及び映像表示方法 | |
JP7525598B2 (ja) | 通信端末装置、通信方法、およびソフトウェアプログラム | |
US20240119676A1 (en) | Image generation method, apparatus, and system, and computer-readable storage medium | |
US20240144530A1 (en) | Method, program, and system for 3d scanning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A524 | Written submission of copy of amendment under section 19 (pct) |
Free format text: JAPANESE INTERMEDIATE CODE: A527 Effective date: 20180522 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20180906 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181119 |