JP2015130582A - 映像提供装置 - Google Patents
映像提供装置 Download PDFInfo
- Publication number
- JP2015130582A JP2015130582A JP2014000970A JP2014000970A JP2015130582A JP 2015130582 A JP2015130582 A JP 2015130582A JP 2014000970 A JP2014000970 A JP 2014000970A JP 2014000970 A JP2014000970 A JP 2014000970A JP 2015130582 A JP2015130582 A JP 2015130582A
- Authority
- JP
- Japan
- Prior art keywords
- video
- detection target
- unit
- area
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】検出対象をより広い範囲で検出すること。
【解決手段】複数のセンサ装置を用いて空間の情報を取得する計測部と、複数のセンサ装置によって重複して計測される重複領域を検出する重複検出部と、複数のセンサ装置によって取得された情報に基づいて検出対象を検出する対象検出部と、重複領域において検出された検出対象についてマッチング処理を行うことによって複数のセンサ装置が計測する同一の検出対象を検出するマッチング部と、複数のセンサ装置によって同一の検出対象の位置及び状態を表す情報を取得する情報取得部と、同一の検出対象の位置及び状態を表す情報に基づいて映像を生成する生成部と、を備える。
【選択図】図1
【解決手段】複数のセンサ装置を用いて空間の情報を取得する計測部と、複数のセンサ装置によって重複して計測される重複領域を検出する重複検出部と、複数のセンサ装置によって取得された情報に基づいて検出対象を検出する対象検出部と、重複領域において検出された検出対象についてマッチング処理を行うことによって複数のセンサ装置が計測する同一の検出対象を検出するマッチング部と、複数のセンサ装置によって同一の検出対象の位置及び状態を表す情報を取得する情報取得部と、同一の検出対象の位置及び状態を表す情報に基づいて映像を生成する生成部と、を備える。
【選択図】図1
Description
本発明は、映像を提供する技術に関する。
近年、映像表示装置及びセンサ装置を用いて、テレビ会議に代表される映像コミュニケーションや、デジタルサイネージ(電子看板)を実現する技術が実用化されている。これらの技術では、利用者の位置や姿勢などの状態に応じた、より対話的な情報提供を可能とする技術が提案されている。例えば、運動視差を表現する技術(例えば、非特許文献1参照。)や、顔認識を行う技術(例えば、非特許文献2参照。)などが提案されている。
MoPaCo:単眼カメラを用いた運動視差映像コミュニケーションシステム、石井亮、小澤史朗、能登肇、向内隆文、松浦宣彦、信学技報、IEICE Technical Report MVE2010-65(2010-10)
進化するインタラクティブ・サイネージ「ミテネ」、http://www.ar-mitene.jp/mob/index.php?site=mitene&ima=1947
SURF:Speeded Up Robust Features、Herbert Bay、Tinne Tuytelaars、Luc Van Gool、Computer vision ECCV2006,404-417,2006
High-Resolution Multi-View Projection Display With a Quantized-Diffusion-Angle Screen、Tohru Kawakami, Baku Katagiri, Takahiro Ishinabe, Tatsuo Uchida、JOURNAL OF DISPLAY TECHNOLOGY,VOL.8,NO.9,SEPTEMBER 2012
映像表示装置及びセンサ装置は一対一に対応付けられて用いられている。また、個々のセンサ装置が計測する領域は狭い。そのため、各映像表示装置に関して、広い範囲で利用者を検出することができないという問題があった。
上記事情に鑑み、本発明は、検出対象をより広い範囲で検出することを可能とする映像提供装置を提供することを目的としている。
上記事情に鑑み、本発明は、検出対象をより広い範囲で検出することを可能とする映像提供装置を提供することを目的としている。
本発明の一態様は、複数のセンサ装置を用いて空間の情報を取得する計測部と、前記複数のセンサ装置によって重複して計測される重複領域を検出する重複検出部と、前記複数のセンサ装置によって取得された情報に基づいて検出対象を検出する対象検出部と、前記重複領域において検出された前記検出対象についてマッチング処理を行うことによって前記複数のセンサ装置が計測する同一の検出対象を検出するマッチング部と、前記複数のセンサ装置によって前記同一の検出対象の位置及び状態を表す情報を取得する情報取得部と、前記同一の検出対象の位置及び状態を表す情報に基づいて映像を生成する生成部と、を備える映像提供装置である。
本発明の一態様は、上記の映像提供装置であって、前記生成部は、前記検出対象の位置に応じて前記映像を分割し、分割された前記映像を、指向性を有する映像を表示する表示装置に出力する、映像提供装置である。
本発明の一態様は、上記の映像提供装置であって、前記処理部は、前記検出対象の位置に応じて運動視差映像を処理し、処理された前記運動視差映像を前記表示装置に出力する、映像提供装置である。
本発明により、検出対象をより広い範囲で検出することが可能となる。
[実施形態]
図1は、実施形態の映像提供装置10の機能構成を表す機能ブロック図である。
映像提供装置10は、LAN(Local Area Network)やシリアルインターフェース等のインターフェースを介してセンサ群20によって計測された情報を取得する。映像提供装置10は、LANやシリアルインターフェース等のインターフェースを介して表示装置群30に映像を出力する。
センサ群20は、複数のセンサ装置を備えるセンサ装置群である。センサ装置とは、空間の情報を電気信号に置き換えて計測する装置のことである。センサ群20に含まれるセンサ装置は、例えば、カメラやマイク、深度センサなどの装置である。図1には、例として、センサ群20に含まれるセンサ装置として、センサ装置21、センサ装置22及びセンサ装置23の3台のセンサ装置が示されている。センサ群20は、計測によって取得した情報(以下、「計測情報」という。)を映像提供装置10に出力する。
図1は、実施形態の映像提供装置10の機能構成を表す機能ブロック図である。
映像提供装置10は、LAN(Local Area Network)やシリアルインターフェース等のインターフェースを介してセンサ群20によって計測された情報を取得する。映像提供装置10は、LANやシリアルインターフェース等のインターフェースを介して表示装置群30に映像を出力する。
センサ群20は、複数のセンサ装置を備えるセンサ装置群である。センサ装置とは、空間の情報を電気信号に置き換えて計測する装置のことである。センサ群20に含まれるセンサ装置は、例えば、カメラやマイク、深度センサなどの装置である。図1には、例として、センサ群20に含まれるセンサ装置として、センサ装置21、センサ装置22及びセンサ装置23の3台のセンサ装置が示されている。センサ群20は、計測によって取得した情報(以下、「計測情報」という。)を映像提供装置10に出力する。
表示装置群30は、複数の映像表示装置を備える映像表示装置群である。表示装置群30は例えば、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイ、タッチパネルなどの映像表示装置である。図1には、例として、表示装置群30に含まれる表示装置として、表示装置31、表示装置32及び表示装置33の3台の表示装置が示されている。表示装置群30は、映像提供装置10によって出力された映像を表示する。
図2は、観察者が複数の表示装置に表示される映像を観察する様子の具体例を示した図である。
図2の例では、3台の表示装置(表示装置A、表示装置B及び表示装置C)に表示される映像を3人の観察者(観察者1、観察者2及び観察者3)が観察する様子が示されている。また、図2の例では、表示装置A、表示装置B及び表示装置Cの上部に、それぞれ、センサ装置A、センサ装置B及びセンサ装置Cが設置されている。
図2の例では、3台の表示装置(表示装置A、表示装置B及び表示装置C)に表示される映像を3人の観察者(観察者1、観察者2及び観察者3)が観察する様子が示されている。また、図2の例では、表示装置A、表示装置B及び表示装置Cの上部に、それぞれ、センサ装置A、センサ装置B及びセンサ装置Cが設置されている。
図3は、表示装置の観察領域の具体例を示した図である。
観察領域とは、表示装置に表示される映像を、観察者が観察することのできる領域のことである。図3の例では、図2の例に示された表示装置(表示装置A、表示装置B及び表示装置C)の観察領域が示されている。観察領域A、観察領域B及び観察領域Cは、それぞれ表示装置A、表示装置B及び表示装置Cの観察領域を表している。観察領域A、観察領域B及び観察領域Cは、対応する表示装置が設置される位置及び向きによって他の観察領域と重複する領域を有している。
観察領域とは、表示装置に表示される映像を、観察者が観察することのできる領域のことである。図3の例では、図2の例に示された表示装置(表示装置A、表示装置B及び表示装置C)の観察領域が示されている。観察領域A、観察領域B及び観察領域Cは、それぞれ表示装置A、表示装置B及び表示装置Cの観察領域を表している。観察領域A、観察領域B及び観察領域Cは、対応する表示装置が設置される位置及び向きによって他の観察領域と重複する領域を有している。
図4は、センサ装置の検出領域の具体例を示した図である。
図4の例では、図2の例に示された表示装置(表示装置A、表示装置B及び表示装置C)に設置されたセンサ装置の検出領域が示されている。検出領域A、検出領域B及び検出領域Cは、それぞれ、センサ装置A、センサ装置B及びセンサ装置Cの検出領域を表している。センサ装置A、センサ装置B及びセンサ装置Cは、それぞれ、観察領域A、観察領域B及び観察領域Cが計測対象の領域(以下、「検出領域」という。)となるように設置されている。検出領域A、検出領域B及び検出領域Cは、対応する表示装置が設置される位置及び向きによって他の検出領域と重複する領域(以下、「重複領域」という。)を有している。すなわち、重複領域に位置する物体は、重複領域を計測する複数のセンサ装置によって計測される。
図4の例では、図2の例に示された表示装置(表示装置A、表示装置B及び表示装置C)に設置されたセンサ装置の検出領域が示されている。検出領域A、検出領域B及び検出領域Cは、それぞれ、センサ装置A、センサ装置B及びセンサ装置Cの検出領域を表している。センサ装置A、センサ装置B及びセンサ装置Cは、それぞれ、観察領域A、観察領域B及び観察領域Cが計測対象の領域(以下、「検出領域」という。)となるように設置されている。検出領域A、検出領域B及び検出領域Cは、対応する表示装置が設置される位置及び向きによって他の検出領域と重複する領域(以下、「重複領域」という。)を有している。すなわち、重複領域に位置する物体は、重複領域を計測する複数のセンサ装置によって計測される。
図5は、観察者が多指向映像出力装置に表示される映像を観察する様子の具体例を示した図である。
多指向映像出力装置とは、複数の指向性を有する映像を表示する映像表示装置である。指向性を有する映像とは、表示装置の観察領域のうち特定の領域においてのみ観察される映像である。多指向映像出力装置は、例えば、非特許文献4に記載のQDA(Quantized-Diffusion-Angle)スクリーンなどを用いて構成される。
図5の例では、1つの多指向映像出力装置(表示装置A)に表示される3種類の指向性を有する映像を、4人の観察者(観察者1、観察者2、観察者3及び観察者4)が観察する様子が示されている。また、図5の例では、表示装置Aの上部に、センサ装置A、センサ装置B及びセンサ装置Cが設置されている。各センサ装置は、それぞれ、表示装置Aに表示される映像の指向性に対応する観察領域が検出領域となるように設置されている。
多指向映像出力装置とは、複数の指向性を有する映像を表示する映像表示装置である。指向性を有する映像とは、表示装置の観察領域のうち特定の領域においてのみ観察される映像である。多指向映像出力装置は、例えば、非特許文献4に記載のQDA(Quantized-Diffusion-Angle)スクリーンなどを用いて構成される。
図5の例では、1つの多指向映像出力装置(表示装置A)に表示される3種類の指向性を有する映像を、4人の観察者(観察者1、観察者2、観察者3及び観察者4)が観察する様子が示されている。また、図5の例では、表示装置Aの上部に、センサ装置A、センサ装置B及びセンサ装置Cが設置されている。各センサ装置は、それぞれ、表示装置Aに表示される映像の指向性に対応する観察領域が検出領域となるように設置されている。
図6は、多指向映像出力装置の観察領域の具体例を示した図である。
図6の例では、図5の例に示された表示装置Aの観察領域が示されている。観察領域A、観察領域B及び観察領域Cは、表示装置Aの観察領域のうち、3種類の指向性を有するそれぞれの映像が観察される領域を表している。
図6の例では、図5の例に示された表示装置Aの観察領域が示されている。観察領域A、観察領域B及び観察領域Cは、表示装置Aの観察領域のうち、3種類の指向性を有するそれぞれの映像が観察される領域を表している。
図7は、多指向映像出力装置におけるセンサ装置の検出領域の具体例を示した図である。
図7の例では、図5の例に示された表示装置Aに設置されたセンサ装置の検出領域が示されている。検出領域A、検出領域B及び検出領域Cは、それぞれ、センサ装置A、センサ装置B及びセンサ装置Cの検出領域を表している。センサ装置A、センサ装置B及びセンサ装置Cは、それぞれ、観察領域A、観察領域B及び観察領域Cが検出領域となるように設置されている。
図7の例では、図5の例に示された表示装置Aに設置されたセンサ装置の検出領域が示されている。検出領域A、検出領域B及び検出領域Cは、それぞれ、センサ装置A、センサ装置B及びセンサ装置Cの検出領域を表している。センサ装置A、センサ装置B及びセンサ装置Cは、それぞれ、観察領域A、観察領域B及び観察領域Cが検出領域となるように設置されている。
図1の説明に戻る。映像提供装置10は、バスで接続されたCPU(Central Processing Unit)やメモリや補助記憶装置などを備え、制御プログラムを実行することによって、入力部11、マッチング部12、データ処理部13及び出力部14を備える装置として機能する。なお、入力部11、マッチング部12、データ処理部13及び出力部14の各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されてもよい。制御プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。制御プログラムは、電気通信回線を介して送信されてもよい。
入力部11は、LANやシリアルインターフェース等の通信インターフェースを用いて構成される。入力部11は、センサ群20に含まれるセンサ装置から計測情報を取得する。入力部11は、取得された計測情報をマッチング部12に出力する。
マッチング部12は、取得された計測情報に基づいて、計測対象の空間に存在する検出の対象となる物体(以下、「検出対象」という。)を検出する。検出対象は、具体的には、観察領域において表示装置に表示される映像を観察している観察者である。検出対象が、重複領域において検出された場合、マッチング部12は、複数のセンサ装置の間で検出対象のマッチング処理を行う。マッチング部12は、マッチング処理によって複数のセンサ装置の間で同一の検出対象が検出された場合、その検出対象の位置及び状態を表す情報を取得する。マッチング部12は、取得された検出対象の位置及び状態を表す情報を、データ処理部13に出力する。
マッチング部12は、取得された計測情報に基づいて、計測対象の空間に存在する検出の対象となる物体(以下、「検出対象」という。)を検出する。検出対象は、具体的には、観察領域において表示装置に表示される映像を観察している観察者である。検出対象が、重複領域において検出された場合、マッチング部12は、複数のセンサ装置の間で検出対象のマッチング処理を行う。マッチング部12は、マッチング処理によって複数のセンサ装置の間で同一の検出対象が検出された場合、その検出対象の位置及び状態を表す情報を取得する。マッチング部12は、取得された検出対象の位置及び状態を表す情報を、データ処理部13に出力する。
図8は、マッチング部12の機能構成の詳細を表す機能ブロック図である。
マッチング部12は、重複領域検出部121、検出対象認識部122及び情報取得部123を備える。
マッチング部12は、重複領域検出部121、検出対象認識部122及び情報取得部123を備える。
重複領域検出部121は、センサ群20に含まれるセンサ装置の3次元空間における位置及び向きを表す情報(以下、「センサ情報」という。)を取得する。センサ情報は、既知の情報として予め映像提供装置10に記憶されてもよい。また、センサ情報は、位置センサなどのセンサ装置を用いて取得されてもよい。また、センサ情報は、各センサ装置が設置された表示装置の位置及び向きに基づいて取得されてもよい。
重複領域検出部121は、取得されたセンサ情報と、センサ装置の検出範囲とに基づいて、3次元空間における各センサ装置の検出領域の位置を算出する。センサ装置の検出範囲は、例えば、カメラの画角やマイクの集音角度などの情報によって与えられる。重複領域検出部121は、3次元空間における各センサ装置の検出領域の位置に基づいて、各センサ装置の検出領域における重複領域を算出する。
検出対象認識部122は、計測情報に基づいて検出対象を検出し、検出対象の位置及び状態を表す情報を取得する。
例えば、センサ群20に含まれるセンサ装置にカメラなどの撮像装置が用いられた場合、検出対象認識部122は、各カメラによって撮影された画像に基づいて、画像の特徴量を算出する。検出対象認識部122は、算出された画像の特徴量に基づいて、検出対象を検出する。検出対象が重複領域において検出された場合、検出対象認識部122は、検出対象の特徴量と、検出対象の重複領域における位置とに基づいて、検出対象のマッチング処理を行う。このマッチング処理によって、検出対象認識部122は、複数のカメラによって撮影された検出対象の中から、同一の検出対象を識別する。
例えば、センサ群20に含まれるセンサ装置にカメラなどの撮像装置が用いられた場合、検出対象認識部122は、各カメラによって撮影された画像に基づいて、画像の特徴量を算出する。検出対象認識部122は、算出された画像の特徴量に基づいて、検出対象を検出する。検出対象が重複領域において検出された場合、検出対象認識部122は、検出対象の特徴量と、検出対象の重複領域における位置とに基づいて、検出対象のマッチング処理を行う。このマッチング処理によって、検出対象認識部122は、複数のカメラによって撮影された検出対象の中から、同一の検出対象を識別する。
また、例えば、センサ群20に含まれるセンサ装置にマイクなどの集音装置が用いられた場合、検出対象を検出するための特徴量には声紋が用いられてもよい。声紋は、音声が発せられた時刻と、音声の周波数スペクトルとによって表される音声の特徴を表す情報である。検出対象認識部122は、取得された声紋に基づいて、検出対象のマッチング処理を行う。このマッチング処理によって、検出対象認識部122は、複数のマイクによって集音された音声を発した検出対象の中から、同一の検出対象を識別する。
また、例えば、センサ群20に含まれるセンサ装置に深度センサなどの計測装置が用いられた場合、検出対象を検出するための特徴量には物体の形状を表す特徴量が用いられてもよい。検出対象認識部122は、検出対象の形状を表す特徴量に基づいて、検出対象のマッチング処理を行う。このマッチング処理によって、検出対象認識部122は、複数の深度センサによって計測された検出対象の中から、同一の検出対象を識別する。
このように、複数のセンサ装置によって計測された検出対象の中から、同一の検出対象を識別することにより、映像提供装置10は、検出対象が移動した際にも検出対象を見失うことなく、継続して検出することが可能となる。さらに、検出対象が1つのセンサ装置の検出領域外に移動した場合であっても、他のセンサ装置によって継続して検出対象を検出することが可能となる。
情報取得部123は、重複領域において検出された検出対象の状態を表す情報を取得する。
例えば、センサ群20に含まれるセンサ装置にカメラなどの撮像装置が用いられた場合、情報取得部123は、重複領域に位置する観察者(検出対象)の顔の位置を検出する。画像に基づいて顔の位置を検出する手法には、非特許文献2に記載の手法が用いられてもよい。情報取得部123は、検出された顔の位置と、カメラの位置及び向き(センサ情報)との関係性に基づいて、3次元空間における観察者の位置及び向きや姿勢などの状態を表す情報を取得する。顔の位置とセンサ情報の関係性は、予め映像提供装置10に記憶されてもよいし、訓練データを蓄積することにより学習されてもよい。
このように、重複領域に位置する検出対象は複数のセンサ装置によって計測情報が取得されるため、検出対象の状態を表す情報を精度よく取得することが可能となる。
例えば、センサ群20に含まれるセンサ装置にカメラなどの撮像装置が用いられた場合、情報取得部123は、重複領域に位置する観察者(検出対象)の顔の位置を検出する。画像に基づいて顔の位置を検出する手法には、非特許文献2に記載の手法が用いられてもよい。情報取得部123は、検出された顔の位置と、カメラの位置及び向き(センサ情報)との関係性に基づいて、3次元空間における観察者の位置及び向きや姿勢などの状態を表す情報を取得する。顔の位置とセンサ情報の関係性は、予め映像提供装置10に記憶されてもよいし、訓練データを蓄積することにより学習されてもよい。
このように、重複領域に位置する検出対象は複数のセンサ装置によって計測情報が取得されるため、検出対象の状態を表す情報を精度よく取得することが可能となる。
図1の説明に戻る。データ処理部13は、マッチング部12において取得された検出対象の位置及び状態を表す情報に基づいて、検出対象の位置及び状態に応じた映像を生成する。データ処理部13は、生成された映像を出力部14に出力する。
次に、図2の例のように、複数の表示装置を用いて観察者に映像が提供される場合に、データ処理部13によって生成される検出対象の状態に応じた映像の具体例を説明する。
例えば、観察者(検出対象)の位置及び状態を表す情報に基づいて、複数の観察者が同じ表示装置を観察していることが判定された場合を考える。この場合、データ処理部13は、同じ表示装置を観察する観察者の多くが関心を持つと推測される映像を生成してもよい。
例えば、観察者(検出対象)の位置及び状態を表す情報に基づいて、複数の観察者が同じ表示装置を観察していることが判定された場合を考える。この場合、データ処理部13は、同じ表示装置を観察する観察者の多くが関心を持つと推測される映像を生成してもよい。
また、データ処理部13は、複数の観察者の位置情報に基づいて重心位置を算出し、その重心位置を観察位置とする映像を生成してもよい。生成される映像は例えば、3次元CGモデルなどの映像である。
また、データ処理部13は、複数の観察者ごとに提供される映像を生成してもよい。データ処理部13は、表示装置の表示領域を観察者の数に応じて分割し、複数の観察者ごとの映像を分割された表示領域に表示してもよい。また、表示領域は、観察者の位置情報に基づいて、観察者に近い表示領域から順に等分されてもよい。
また、データ処理部13は、複数の観察者ごとに提供される映像を生成してもよい。データ処理部13は、表示装置の表示領域を観察者の数に応じて分割し、複数の観察者ごとの映像を分割された表示領域に表示してもよい。また、表示領域は、観察者の位置情報に基づいて、観察者に近い表示領域から順に等分されてもよい。
次に、図5の例のように、多指向映像出力装置を用いて観察者に映像が提供される場合に、データ処理部13によって生成される検出対象の位置に応じた映像の具体例を説明する。
例えば、多指向映像出力装置にQDAスクリーンを用いた場合について説明する。QDAスクリーンでは、指向性を有する各映像の観察領域は予め固定される。そのため、利用者は観察領域を動的に変更することができない。また、QDAスクリーンに表示される複数の映像の観察領域の間には、各観察領域の映像が混ざり合う観察には不適切な領域(以下、「観察不適領域」という。)が存在する。
例えば、多指向映像出力装置にQDAスクリーンを用いた場合について説明する。QDAスクリーンでは、指向性を有する各映像の観察領域は予め固定される。そのため、利用者は観察領域を動的に変更することができない。また、QDAスクリーンに表示される複数の映像の観察領域の間には、各観察領域の映像が混ざり合う観察には不適切な領域(以下、「観察不適領域」という。)が存在する。
データ処理部13は、観察者が観察不適領域に位置する場合、観察者の位置に応じて、指向性を有する各映像の表示領域を分割する。データ処理部13は、観察不適領域において混ざり合った状態で観察されることにより観察可能な映像となる、指向性が異なる2つの映像を生成する。データ処理部13は、分割された表示領域のうち、観察不適領域に対応する2つの表示領域に、生成された2つの映像を出力する。
データ処理部13の上記の処理によって、映像提供装置10は、観察不適領域に位置する観察者に対して観察可能な映像を提供することが可能となる。
次に、上述したデータ処理部13の処理の内容について具体例を用いて説明する。
次に、上述したデータ処理部13の処理の内容について具体例を用いて説明する。
図9は、多指向映像出力装置における映像の表示領域と観察領域を模式的に表した図である。
図9の例では、多指向映像出力装置は、指向性が異なる3つの映像を表示する。指向性が異なる3つの映像は、それぞれ、表示領域A、表示領域B及び表示領域Cに表示される。表示領域A、表示領域B及び表示領域Cに表示される映像の観察領域は、それぞれ、観察領域A、観察領域B及び観察領域Cである。観察不適領域ABは、観察領域A及び観察領域Bの間の観察不適領域である。観察不適領域BCは、観察領域B及び観察領域Cの間の観察不適領域である。
図9の例では、多指向映像出力装置は、指向性が異なる3つの映像を表示する。指向性が異なる3つの映像は、それぞれ、表示領域A、表示領域B及び表示領域Cに表示される。表示領域A、表示領域B及び表示領域Cに表示される映像の観察領域は、それぞれ、観察領域A、観察領域B及び観察領域Cである。観察不適領域ABは、観察領域A及び観察領域Bの間の観察不適領域である。観察不適領域BCは、観察領域B及び観察領域Cの間の観察不適領域である。
図10は、分割された多指向映像出力装置の映像の具体例を示す図である。
図10の例では、図9の例に示された表示領域と観察領域を有する多指向映像出力装置において、データ処理部13によって分割された映像の具体例が示されている。
多指向映像出力装置の観察者(検出対象)が、図10の例のように位置する場合、データ処理部13は、観察者の位置情報に基づいて、観察者を所定の数のグループに分類する。所定の数は、既定値として予め設定されてもよい。また、所定の数は、表示領域の大きさや観察者の数など任意の情報に基づいて、動的に決定されてもよい。図9の例では、観察者はグループ1、グループ2、グループ3及びグループ4の4つのグループに分類されている。
図10の例では、図9の例に示された表示領域と観察領域を有する多指向映像出力装置において、データ処理部13によって分割された映像の具体例が示されている。
多指向映像出力装置の観察者(検出対象)が、図10の例のように位置する場合、データ処理部13は、観察者の位置情報に基づいて、観察者を所定の数のグループに分類する。所定の数は、既定値として予め設定されてもよい。また、所定の数は、表示領域の大きさや観察者の数など任意の情報に基づいて、動的に決定されてもよい。図9の例では、観察者はグループ1、グループ2、グループ3及びグループ4の4つのグループに分類されている。
データ処理部13は、各グループの位置情報に基づいて、指向性を有する各映像の表示領域の分割位置を決定する。図9の例では、視聴不適領域BCに位置するグループ3の位置に基づいて、分割位置B及び分割位置Cの分割位置が決定されている。各グループの位置情報には、各グループに属する観察者の位置の平均が用いられてもよい。また、各グループの位置情報には、各グループに属する観察者の重心位置が用いられてもよい。表示領域の分割位置が分割位置B及び分割位置Cに決定されたことにより、表示領域Aには映像1が表示される。また、表示領域Bには、分割位置Bを境として映像2及び映像3Bが表示される。また、表示領域Cには、分割位置Cを境として映像3C及び映像4が表示される。
データ処理部13は、各表示領域の分割された領域に表示される映像を生成する。図9の例では、データ処理部13は、映像1、映像2、映像3B、映像3C及び映像4を生成する。データ処理部13は、観察不適領域BCにおいて混ざり合った状態で観察されることにより観察可能となる映像3B及び映像3Cを生成する。
データ処理部13は、生成された映像を出力部14に出力する。図10の例では、データ処理部13は、映像1を表示領域Aに表示される映像として出力部14に出力する。データ処理部13は、映像2及び映像3Bを表示領域Bに表示される映像として出力部14に出力する。データ処理部13は、映像3C及び映像4を表示領域Cに表示される映像として出力部14に出力する。
このように、表示装置に多指向映像出力装置を用いた場合、観察者(検出対象)の位置に応じて指向性を有する各映像の表示領域を分割することによって、映像提供装置10は、観察不適領域に位置する観察者に対して観察可能な映像を提供することが可能となる。
図1の説明に戻る。出力部14は、データ処理部13から出力された映像を表示装置群30に含まれる表示装置に出力する。
図11は、実施形態の映像提供装置10の処理の流れを表すフローチャートである。
まず、映像提供装置10は、センサ群20に含まれるセンサ装置から計測情報を取得する(ステップS101)。映像提供装置10は、3次元空間における各センサ装置の位置及び向きを表す情報(センサ情報)を取得する(ステップS102)。映像提供装置10は、取得されたセンサ情報に基づいて、3次元空間における各センサ装置の検出領域の位置を算出する(ステップS103)。
まず、映像提供装置10は、センサ群20に含まれるセンサ装置から計測情報を取得する(ステップS101)。映像提供装置10は、3次元空間における各センサ装置の位置及び向きを表す情報(センサ情報)を取得する(ステップS102)。映像提供装置10は、取得されたセンサ情報に基づいて、3次元空間における各センサ装置の検出領域の位置を算出する(ステップS103)。
映像提供装置10は、3次元空間における各センサ装置の検出領域の位置に基づいて、各センサ装置によって重複して計測される領域(重複領域)を算出する(ステップS104)。映像提供装置10は、計測情報に基づいて、検出領域の特徴量を算出する(ステップS105)。映像提供装置10は、算出された検出領域の特徴量に基づいて、検出対象(観察者)を検出する(ステップS106)。
映像提供装置10は、ステップS106において検出された検出対象が、重複領域に位置するか否かを判定する(ステップS107)。重複領域に検出対象が位置しない場合(ステップS107−NO)、ステップS110に進み、映像提供装置10は、観察者(検出対象)に提供する映像を生成する。一方、重複領域に検出対象が位置する場合(ステップS107−YES)、映像提供装置10は、重複領域に位置する検出対象の特徴量と位置情報とに基づいて、重複領域に位置する検出対象のマッチング処理を行う(ステップS108)。
映像提供装置10は、重複領域に位置する検出対象(観察者)の状態を表す情報を取得する(ステップS109)。状態を表す情報は、検出対象の向きや姿勢などの状態を表す情報である。映像提供装置10は、検出対象(観察者)の位置及び状態を表す情報に基づいて、検出対象(観察者)の位置及び状態に応じた映像を生成する(ステップS110)。映像提供装置10は、生成された映像を表示装置群30に含まれる表示装置に出力する(ステップS111)。
このように構成された実施形態の映像提供装置10は、重複領域の特徴量に基づいて、検出対象のマッチング処理を行う。このマッチング処理によって、映像提供装置10は、複数のセンサ装置の検出範囲を組み合わせ、より広い検出範囲で検出対象を検出することが可能となる。
また、実施形態の映像提供装置10は、重複領域に位置する同一の検出対象を複数のセンサ装置によって検出する。そのため、映像提供装置10は、重複領域に位置する検出対象を精度よく検出することが可能となる。その結果、映像提供装置10は、重複領域に位置する観察者(検出対象)に対して、観察者の位置及び状態に応じた映像を提供することが可能となる。
また、これらの機能は、表示装置群30に多指向映像出力装置を用いた場合にも応用することが可能である。実施形態の映像提供装置10は、指向性を有する各映像を、観察者の位置に応じて生成する。この機能により、映像提供装置10は、観察不適領域においても観察可能な映像を提供することが可能となる。また、映像提供装置10は、多指向映像出力装置を用いて構成されることにより、同じ物体の運動視差映像を同時に複数の観察者に対して提供することが可能となる。
<変形例>
検出対象は、観察領域において表示装置に表示される映像を観察している観察者に限定される必要は無い。例えば、検出対象は、観察領域に位置する全ての人物であってもよいし、観察領域に位置する人物のうち所定の条件を満たす人物であってもよいし、他の人又は物であってもよい。
検出対象は、観察領域において表示装置に表示される映像を観察している観察者に限定される必要は無い。例えば、検出対象は、観察領域に位置する全ての人物であってもよいし、観察領域に位置する人物のうち所定の条件を満たす人物であってもよいし、他の人又は物であってもよい。
上述した実施形態における映像提供装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
10…映像提供装置, 11…入力部, 12…マッチング部, 13…データ処理部, 14…出力部, 141…重複領域検出部, 142…検出対象認識部, 143…検出対象情報取得部, 20…センサ群, 21、22、23…センサ装置, 30…表示装置群, 31、32、33…表示装置
Claims (3)
- 複数のセンサ装置を用いて空間の情報を取得する計測部と、
前記複数のセンサ装置によって重複して計測される重複領域を検出する重複検出部と、
前記複数のセンサ装置によって取得された情報に基づいて検出対象を検出する対象検出部と、
前記重複領域において検出された前記検出対象についてマッチング処理を行うことによって前記複数のセンサ装置が計測する同一の検出対象を検出するマッチング部と、
前記複数のセンサ装置によって前記同一の検出対象の位置及び状態を表す情報を取得する情報取得部と、
前記同一の検出対象の位置及び状態を表す情報に基づいて映像を生成する生成部と、
を備える映像提供装置。 - 前記生成部は、前記検出対象の位置に応じて前記映像を分割し、分割された前記映像を、指向性を有する映像を表示する表示装置に出力する、請求項1に記載の映像提供装置。
- 前記処理部は、前記検出対象の位置に応じて運動視差映像を処理し、処理された前記運動視差映像を前記表示装置に出力する、請求項2に記載の映像提供装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014000970A JP2015130582A (ja) | 2014-01-07 | 2014-01-07 | 映像提供装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014000970A JP2015130582A (ja) | 2014-01-07 | 2014-01-07 | 映像提供装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015130582A true JP2015130582A (ja) | 2015-07-16 |
Family
ID=53761026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014000970A Pending JP2015130582A (ja) | 2014-01-07 | 2014-01-07 | 映像提供装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015130582A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107102802A (zh) * | 2017-04-19 | 2017-08-29 | 网易(杭州)网络有限公司 | 重叠目标选择方法及装置、存储介质、电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010281685A (ja) * | 2009-06-04 | 2010-12-16 | National Univ Corp Shizuoka Univ | 位置計測システム及び位置計測方法 |
JP2011081269A (ja) * | 2009-10-08 | 2011-04-21 | Nikon Corp | 画像表示装置および画像表示方法 |
JP2011192220A (ja) * | 2010-03-16 | 2011-09-29 | Glory Ltd | 同一人判定装置、同一人判定方法および同一人判定プログラム |
JP2011199478A (ja) * | 2010-03-18 | 2011-10-06 | Fujifilm Corp | 撮影装置及びその表示制御方法並びに3次元情報取得装置 |
JP2011233040A (ja) * | 2010-04-28 | 2011-11-17 | Glory Ltd | 同一対象物判定装置および同一対象物判定方法 |
JP2013005135A (ja) * | 2011-06-15 | 2013-01-07 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2013040791A (ja) * | 2011-08-11 | 2013-02-28 | Canon Inc | 画像処理装置および画像処理方法、プログラム |
-
2014
- 2014-01-07 JP JP2014000970A patent/JP2015130582A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010281685A (ja) * | 2009-06-04 | 2010-12-16 | National Univ Corp Shizuoka Univ | 位置計測システム及び位置計測方法 |
JP2011081269A (ja) * | 2009-10-08 | 2011-04-21 | Nikon Corp | 画像表示装置および画像表示方法 |
JP2011192220A (ja) * | 2010-03-16 | 2011-09-29 | Glory Ltd | 同一人判定装置、同一人判定方法および同一人判定プログラム |
JP2011199478A (ja) * | 2010-03-18 | 2011-10-06 | Fujifilm Corp | 撮影装置及びその表示制御方法並びに3次元情報取得装置 |
JP2011233040A (ja) * | 2010-04-28 | 2011-11-17 | Glory Ltd | 同一対象物判定装置および同一対象物判定方法 |
JP2013005135A (ja) * | 2011-06-15 | 2013-01-07 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2013040791A (ja) * | 2011-08-11 | 2013-02-28 | Canon Inc | 画像処理装置および画像処理方法、プログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107102802A (zh) * | 2017-04-19 | 2017-08-29 | 网易(杭州)网络有限公司 | 重叠目标选择方法及装置、存储介质、电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI754375B (zh) | 圖像處理方法、電子設備、電腦可讀儲存介質 | |
US8988317B1 (en) | Depth determination for light field images | |
JP6657214B2 (ja) | 画像ベースの深さ検知システムの精度測定 | |
JP2017174125A5 (ja) | ||
JP2007129709A (ja) | イメージングデバイスをキャリブレートするための方法、イメージングデバイスの配列を含むイメージングシステムをキャリブレートするための方法およびイメージングシステム | |
JP2016106668A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2008140271A (ja) | 対話装置及びその方法 | |
EP2779091A1 (en) | Automatic stereoscopic camera calibration | |
JP6712778B2 (ja) | 物体検知装置、物体検知システムおよび物体検知方法 | |
CN111784841B (zh) | 重建三维图像的方法、装置、电子设备及介质 | |
US20140168375A1 (en) | Image conversion device, camera, video system, image conversion method and recording medium recording a program | |
JP2014010805A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
CN109754439B (zh) | 标定方法、装置、电子设备及介质 | |
CN113936154A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
US20170302908A1 (en) | Method and apparatus for user interaction for virtual measurement using a depth camera system | |
CN113870213A (zh) | 图像显示方法、装置、存储介质以及电子设备 | |
CN115937291B (zh) | 一种双目图像的生成方法、装置、电子设备及存储介质 | |
JP2015130582A (ja) | 映像提供装置 | |
US9282317B2 (en) | Method and apparatus for processing an image and generating information representing the degree of stereoscopic effects | |
JP2018129025A (ja) | 決定装置、画像処理装置、決定方法及び決定プログラム | |
CN111127539B (zh) | 视差确定方法、装置、计算机设备及存储介质 | |
JP2018129026A (ja) | 決定装置、画像処理装置、決定方法及び決定プログラム | |
KR20130019080A (ko) | 플래놉틱 카메라와 깊이 카메라를 결합한 영상 장치 및 영상 처리 방법 | |
CN108353120A (zh) | 用于生成表示像素束的数据的装置和方法 | |
JP5638578B2 (ja) | 観測支援装置、観測支援方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161206 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20171003 |