JP2014212473A - 通信装置、及び頭部装着表示装置 - Google Patents
通信装置、及び頭部装着表示装置 Download PDFInfo
- Publication number
- JP2014212473A JP2014212473A JP2013088229A JP2013088229A JP2014212473A JP 2014212473 A JP2014212473 A JP 2014212473A JP 2013088229 A JP2013088229 A JP 2013088229A JP 2013088229 A JP2013088229 A JP 2013088229A JP 2014212473 A JP2014212473 A JP 2014212473A
- Authority
- JP
- Japan
- Prior art keywords
- mask
- image
- unit
- masked
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】撮像画像に含まれるマスクすべき対象物を適切にマスクする。
【解決手段】通信装置は、画像を撮像する撮像部と、撮像部が撮像した撮像画像を所定の期間遅延させた遅延画像を出力する遅延部と、遅延部から出力された遅延画像のうちの指定された領域をマスクするマスク処理部と、少なくともマスク処理部によってマスクされた遅延画像を送信する通信部と、撮像部が撮像した撮像画像を表示部に表示させるとともに、マスク処理部にマスクさせる領域を指定された領域として取得し、遅延画像における指定された領域をマスク処理部にマスクさせる制御部とを備える。
【選択図】図8
【解決手段】通信装置は、画像を撮像する撮像部と、撮像部が撮像した撮像画像を所定の期間遅延させた遅延画像を出力する遅延部と、遅延部から出力された遅延画像のうちの指定された領域をマスクするマスク処理部と、少なくともマスク処理部によってマスクされた遅延画像を送信する通信部と、撮像部が撮像した撮像画像を表示部に表示させるとともに、マスク処理部にマスクさせる領域を指定された領域として取得し、遅延画像における指定された領域をマスク処理部にマスクさせる制御部とを備える。
【選択図】図8
Description
本発明は、通信装置、及び頭部装着表示装置に関する。
近年、テレビ電話やテレビ会議など、撮像した撮像画像(動画像)を見ながらコミュニケーションを行う技術が知られている(例えば、特許文献1を参照)。特許文献1に記載の技術では、相手に画像を送信することが好ましくない対象物が含まれた撮像画像を送信しないように、一部の領域の指定を受け付けて、受け付けられた領域に基づいて、撮像画像における一部の領域をマスクしている。
しかしながら、特許文献1に記載の技術では、例えば、突然にマスクすべき対象物が撮像画像に写りこんだ場合に、マスクすべき対象物をマスクすることが困難であった。また、例えば、複数の送信先に、撮像画像を送信する場合に、特許文献1に記載の技術では、送信先に応じて適切にマスクを行うことが困難であった。
このように、特許文献1に記載の技術では、撮像画像に含まれるマスクすべき対象物を適切にマスクすることができない場合がある。
このように、特許文献1に記載の技術では、撮像画像に含まれるマスクすべき対象物を適切にマスクすることができない場合がある。
本発明は、上記問題を解決すべくなされたもので、その目的は、撮像画像に含まれるマスクすべき対象物を適切にマスクすることができる通信装置、及び頭部装着表示装置を提供することにある。
上記問題を解決するために、本発明の一態様は、画像を撮像する撮像部と、前記撮像部が撮像した撮像画像を所定の期間遅延させた遅延画像を出力する遅延部と、前記遅延部から出力された前記遅延画像のうちの指定された領域をマスクするマスク処理部と、少なくとも前記マスク処理部によってマスクされた前記遅延画像を送信する通信部と、前記撮像部が撮像した前記撮像画像を前記表示部に表示させるとともに、前記マスク処理部にマスクさせる領域を前記指定された領域として取得し、前記遅延画像における前記指定された領域を前記マスク処理部にマスクさせる制御部とを備えることを特徴とする通信装置である。
また、本発明の一態様は、画像を撮像する撮像部と、前記撮像部が撮像した撮像画像のうちの指定された領域をマスクするマスク処理部と、マスクが必要か否かを示すマスク要否情報と、前記指定された領域に対応する前記マスクに関する情報とを関連付けたマスク情報を生成するマスク情報生成部と、少なくとも前記マスク処理部によってマスクされた前記撮像画像とともに、前記マスク情報を送信する通信部と、前記マスク処理部にマスクさせる領域を前記指定された領域として取得し、前記撮像画像における前記指定された領域を前記マスク処理部にマスクさせる制御部とを備えることを特徴とする通信装置である。
また、本発明の一態様は、画像を撮像する撮像部と、マスクが必要か否かを示すマスク要否情報と、前記撮像部が撮像した撮像画像のうちのマスクする領域として指定された領域に対応するマスクに関する情報とを関連付けたマスク情報を生成するマスク情報生成部と、少なくとも前記撮像画像とともに、前記マスク情報を送信する通信部とを備えることを特徴とする通信装置である。
また、本発明の一態様は、画像を撮像する撮像部と、前記撮像部が撮像した撮像画像のうちの指定された領域をマスクするマスク処理部と、少なくとも前記マスク処理部によってマスクされた前記撮像画像を送信する通信部と、前記撮像部が撮像した前記撮像画像に含まれる2次元コードを検出するコード検出部と、前記コード検出部によって検出された前記2次元コードに基づいて、前記マスク処理部にマスクさせる領域を前記指定された領域として取得し、前記撮像画像における前記指定された領域を前記マスク処理部にマスクさせる制御部とを備えることを特徴とする通信装置である。
また、本発明の一態様は、画像を撮像する撮像部と、前記撮像部が撮像した撮像画像のうちのマスクする対象物を含まない範囲の領域を切り出した画像を生成することにより、前記対象物をマスクするマスク処理部と、少なくとも前記マスク処理部によってマスクされた前記撮像画像を送信する通信部と、前記対象物を含まない範囲の領域を取得し、取得した前記対象物を含まない範囲の領域に基づいて、前記マスク処理部に前記撮像画像をマスクさせる制御部とを備えることを特徴とする通信装置である。
また、本発明の一態様は、上記に記載の通信装置と、少なくとも前記撮像部が撮像した前記撮像画像を表示する表示部と、少なくとも前記撮像部及び前記表示部を使用者の頭部に装着する装着部とを備えることを特徴とする頭部装着表示装置である。
本発明によれば、撮像画像に含まれるマスクすべき対象物を適切にマスクすることができる。
以下、本発明の一実施形態による情報入出力装置及び頭部装着表示装置について、図面を参照して説明する。
以下の説明においては、必要に応じてXYZ直交座標系を設定し、このXYZ直交座標系を参照しつつ各部の位置関係について説明する。水平面内の所定方向をX軸方向、水平面内においてX軸方向と直交する方向をY軸方向、X軸方向及びY軸方向のそれぞれと直交する方向(すなわち鉛直方向)をZ軸方向とする。また、X軸、Y軸、及びZ軸まわりの回転(傾斜)方向をそれぞれ、θX、θY、及びθZ方向とする。
以下の説明においては、必要に応じてXYZ直交座標系を設定し、このXYZ直交座標系を参照しつつ各部の位置関係について説明する。水平面内の所定方向をX軸方向、水平面内においてX軸方向と直交する方向をY軸方向、X軸方向及びY軸方向のそれぞれと直交する方向(すなわち鉛直方向)をZ軸方向とする。また、X軸、Y軸、及びZ軸まわりの回転(傾斜)方向をそれぞれ、θX、θY、及びθZ方向とする。
[第1実施形態]
図1は、本実施形態のヘッドマウントディスプレイの斜視図である。図2は、ヘッドマウントディスプレイを背面側から見た斜視図である。図3は、本実施形態のヘッドマウントディスプレイの装着形態を示す図である。
図1は、本実施形態のヘッドマウントディスプレイの斜視図である。図2は、ヘッドマウントディスプレイを背面側から見た斜視図である。図3は、本実施形態のヘッドマウントディスプレイの装着形態を示す図である。
ヘッドマウントディスプレイ1(頭部装着表示装置)は、ディスプレイ本体20と、ユーザー(使用者)の頭部に装着されディスプレイ本体20を支持するヘッドバンド40(装着部)と、を備えた単眼式のヘッドマウントディスプレイである。本実施形態のヘッドマウントディスプレイ1は、図3に示すように、両眼どちらでも使用可能である。図3(A)には、ユーザーが右眼(右目)で表示部60を見ている状態、図3(B)には左眼(左目)で見ている状態が示されている。ここで、ヘッドバンド40は、ディスプレイ本体20をユーザーの頭部に装着する。
また、図2に示すように、ディスプレイ本体20とヘッドバンド40とは、連結ピン41を介して着脱可能に構成されている。
なお、図1及び図2では、ディスプレイ本体20の長手方向をY軸方向、ヘッドバンド40がユーザーの頭部を挟持する方向をX軸方向としている。
また、図2に示すように、ディスプレイ本体20とヘッドバンド40とは、連結ピン41を介して着脱可能に構成されている。
なお、図1及び図2では、ディスプレイ本体20の長手方向をY軸方向、ヘッドバンド40がユーザーの頭部を挟持する方向をX軸方向としている。
以下、ヘッドマウントディスプレイ1の各部の構成について詳細に説明する。
ディスプレイ本体20は、主要回路を内蔵するとともに操作部や各種インタフェースを備えた装置本体部21と、装置本体部21の先端に連結された表示部60とを有する。
ディスプレイ本体20は、主要回路を内蔵するとともに操作部や各種インタフェースを備えた装置本体部21と、装置本体部21の先端に連結された表示部60とを有する。
装置本体部21は、概略板状の筐体21A(図4)を有する。本実施形態では、装置本体部21においてヘッドバンド40との接続部が設けられている側の端部(+Y側の端部)を基端部とし、この基端部と反対側の端部(−Y側の端部)を先端部とする。また、装置本体部21をヘッドバンド40に装着した状態で、装置本体部21のヘッドバンド40側(+X側)を内側、ヘッドバンド40と反対側(−X側)を外側とする。
装置本体部21の外面には、図1に示すように、メインスイッチ28と、タッチスイッチ34と、集音マイク24とが、筐体21Aの長手方向に沿って配置されている。
メインスイッチ28は、ディスプレイ本体20の電源のオンオフ操作を行うスイッチである。タッチスイッチ34は、表面に手指等で触れることによりヘッドマウントディスプレイ1の各種操作を行うことができるタッチパネルである。集音マイク24は、環境音を収集する外部マイクである。
メインスイッチ28は、ディスプレイ本体20の電源のオンオフ操作を行うスイッチである。タッチスイッチ34は、表面に手指等で触れることによりヘッドマウントディスプレイ1の各種操作を行うことができるタッチパネルである。集音マイク24は、環境音を収集する外部マイクである。
装置本体部21内面の基端部側に、図2に示すように、耳元スピーカー23と、オーディオコネクター26と、連結孔31を有するヘッドバンドヒンジ32とが設けられている。装置本体部21内面の中央部に心拍数センサー137が設けられている。装置本体部21の内側面の先端部には通話マイク37が設けられている。
耳元スピーカー23は、ユーザーの耳の近傍に配置される。耳元スピーカー23からユーザーに音声情報が伝えられる。オーディオコネクター26は、例えば図6に示すイヤホンが接続される音声入出力端子である。ヘッドバンドヒンジ32は、ヘッドバンド40とのジョイント部である。通話マイク37にはユーザーの音声が入力される。
心拍数センサー137は、ユーザーの顔の表面に接触させることでユーザーの心拍数を測定するセンサーである。心拍数センサー137は、発光ダイオード等を備えた発光部と、ユーザーの皮膚内部で反射した光を検知する受光部とを有する。心拍数センサー137は、血流の変化による反射光量の変化を検出することで心拍数をカウントする。心拍数センサー137はユーザーの目の近くに配置されるが、発光部から赤外域の光を射出させる構成とすればユーザーにまぶしさを感じさせることはない。
装置本体部21の基端部側の側端面には、USBコネクター25と、操作スイッチ30と、ビデオコネクター27とが設けられている。
USBコネクター25はUSB(Universal Serial Bus)デバイスの接続端子である。本実施形態では、例えば、図5に示すリモコン(リモートコントローラー)140が接続される。
USBコネクター25はUSB(Universal Serial Bus)デバイスの接続端子である。本実施形態では、例えば、図5に示すリモコン(リモートコントローラー)140が接続される。
操作スイッチ30は、例えばトラックボールやスティックなどのポインティングデバイスである。操作スイッチ30は表示部60に表示される画面に正対するように設けられている。これにより、操作スイッチ30における操作の左右方向と、上記画面の左右方向とが一致するので、ユーザーは画面を見ながら直感的に操作スイッチ30を操作することが可能である。
ビデオコネクター27は映像入出力端子である。
ビデオコネクター27は映像入出力端子である。
ヘッドバンド40は、図2に示すように、ユーザーの頭部を挟持する一対のヘッドパット(装着部材)46、47と、第1ヘッドバンド43と、第2ヘッドバンド44と、回動機構56、57とを備えている。
第1ヘッドバンド43は、全体として円弧状を成す弾性部材である。第1ヘッドバンド43の頂部に、第1ヘッドバンド43を折り曲げるためのジョイント部43aが設けられている。第1ヘッドバンド43の両端には、回動機構56、57を構成する軸受部43b、43cがそれぞれ設けられている。軸受部43b、43cよりもさらにバンド先端側に、ヘッドパット46、47が接続される軸受部43d、43eが設けられている。
第2ヘッドバンド44は、全体として円弧状を成す弾性部材である。第2ヘッドバンド44の頂部には、第2ヘッドバンド44を折り曲げるためのジョイント部44aが設けられている。第2ヘッドバンド44の両端には、それぞれ回動機構56、57を構成する軸部材44b、44cが設けられている。
また本実施形態において、第2ヘッドバンド44は、ステンレス等の金属からなるバネ部材48の表面を樹脂等の柔軟な材料で被覆した構成を有する。この第2ヘッドバンド44のバネ部材48においてユーザーの頭部を挟持するバネ力を発生させる。また第2ヘッドバンド44は第1ヘッドバンド43と比較して広い幅に形成されている。ジョイント部44aの形成部分は他のバンド部分よりもさらに広く形成された標章表示部49とされている。標章表示部49には、シールや印刷により製品タグ等が付される。なお、第2ヘッドバンド44の全体を金属で形成してもよい。
ヘッドパット46は、板状の支持板46aと、支持板46aの一面側に設けられた断面アーチ状の弾性部材46bとを有する。支持板46aの弾性部材46bと反対側の面に、当該面に垂直な姿勢で概略六角柱状の連結ピン41が立設されている。連結ピン41は、第1ヘッドバンド43の一方の先端に設けられた軸受部43dに軸支されている。これにより、ヘッドパット46は連結ピン41回りに回転可能である。
ヘッドパット47は、板状の支持板47aと、支持板47aの一方の面に設けられた断面アーチ状の弾性部材47bとを有する。支持板47aの弾性部材47bと反対側の面には、軸部材47cが設けられている。軸部材47cは、第1ヘッドバンド43の先端に設けられた軸受部43eに軸支されている。これにより、ヘッドパット47は、軸部材47c回りに回転可能である。
図4は、ディスプレイ本体20の水平断面図である。
図4に示すように、装置本体部21には、筐体21Aの長手方向に沿って延びる板状の回路基板29と、バッテリー33とが内蔵されている。回路基板29には、不図示の制御回路、電源回路等が実装されており、不図示の配線を介してディスプレイ本体20の各部と電気的に接続されている。
図4に示すように、装置本体部21には、筐体21Aの長手方向に沿って延びる板状の回路基板29と、バッテリー33とが内蔵されている。回路基板29には、不図示の制御回路、電源回路等が実装されており、不図示の配線を介してディスプレイ本体20の各部と電気的に接続されている。
装置本体部21の外面に露出するタッチスイッチ34の内側には、液晶パネルからなる表示パネル36と、バックライト35とが配置されている。本実施形態では、表示パネル36の表示画像がタッチスイッチ34を透過して表示される。表示パネル36及びバックライト35を、有機ELパネルや電気泳動パネルとしてもよい。
ヘッドバンドヒンジ32は、筐体21Aに設けられた凹曲面状の収容部32aと、収容部32aに嵌合された球状部32bとからなるボールジョイントである。球状部32bは、球面状の側面部と、この側面部を挟むように互いに平行に形成された2つの平面部を有する。2つの平面部を垂直に貫くように連結孔31が形成されている。連結孔31は軸方向視で六角形状に形成されている。連結孔31にヘッドバンド40の連結ピン41が挿入されることによりディスプレイ本体20とヘッドバンド40とが連結される。
ヘッドバンドヒンジ32を備えていることで、ディスプレイ本体20は、図1に示したA方向(ヘッドバンドヒンジ32を中心とするX軸回り)に回動させることができる。本実施形態において、ディスプレイ本体20の回転可能範囲は270°程度とされる。このX軸回りの回転動作により、図3(A)に示す右目で画像を観察する形態と、図3(B)に示す左目で画像を観察する形態との切替機能が実現される。
また、ヘッドバンドヒンジ32は、ボールジョイントであるため、ディスプレイ本体20は図1に示すB方向(ヘッドバンドヒンジ32を中心とするZ軸回り)に揺動させることもできる。この揺動操作により、ディスプレイ本体20のユーザーの目や耳に対する位置を調整することができる。
ヘッドバンドヒンジ32近傍の心拍数センサー137は、装置本体部21の内面から突出するように設けられ、ヘッドマウントディスプレイ1の装着時にユーザーの顔の表面に当接可能とされている。バッテリー33は、充電式電池、使い捨て電池のいずれであってもよい。
表示部60は、図1及び図2に示すように、装置本体部21の先端部に連結されている。本実施形態において、表示部60のヘッドバンド40側を内側、ヘッドバンド40と反対側を外側とする。表示部60は、上面視(Z軸視)において湾曲した形状を有するアーム部材であり、装置本体部21との連結部から先端側へ向かうに従って内側へ湾曲する形状を有する。表示部60の内面に、ファインダー開口部67が設けられている。表示部60の外面には、カメラ64が設けられている。
図4に示すように、表示部60は、ディスプレイヒンジ61を介して装置本体部21と連結されている。ディスプレイヒンジ61は、表示部60の筐体60Aに形成された凹曲面状の収容部61aと、装置本体部21に形成され収容部61aに嵌合された球状部61bとからなるボールジョイントである。
装置本体部21の球状部61bは、装置本体部21の外面先端部に形成された筐体21Aの長手方向に対して斜めに延びる傾斜面に、この傾斜面の法線方向(図4のY’軸方向)に突出するようにして設けられている。表示部60は、ディスプレイヒンジ61の球状部61bに対してY’軸回りに自由に回転させることができる。
ディスプレイヒンジ61の球状部61bには、球状部61bを高さ方向(Y’軸方向)に貫通する貫通孔61cが形成されている。貫通孔61cを介して、表示部60の内部と装置本体部21の内部とが連通されている。貫通孔61cには不図示のケーブルが挿通される。挿通されたケーブルを介して回路基板29と表示部60の各部とが電気的に接続される。
表示部60の内部には、バックライト62と、表示パネル63と、カメラ64と、プリズム65と、反射ミラー66と、前方ライト68と、前方スピーカー70と、結像レンズ71と、撮像素子72とが設けられている。すなわち、表示部60は、バックライト62、表示パネル63、カメラ64、プリズム65、反射ミラー66、前方ライト68、前方スピーカー70、結像レンズ71、及び撮像素子72を備えている。
プリズム65は、上面視(Z軸視)で略三角形状の第1プリズム65aと第2プリズム65bとを互いの面で貼り合わせた構成を有する。この貼り合わせ面以外の第1プリズム65aの他の二面のうち、一方の面に対向する位置に、液晶パネルからなる表示パネル63が設けられている。表示パネル63の背面に表示パネル63を透過照明するバックライト62が配置されている。第1プリズム65aの他方の面に対向する位置に反射ミラー66が配置されている。反射ミラー66は、ファインダー開口部67の略正面に位置する。
第2プリズム65bの貼り合わせ面以外の他の二面のうち、一方の面はファインダー開口部67に配置されたファインダー接眼面である。第2プリズム65bの他方の面に対向する位置には結像レンズ71を介して撮像素子72が対向配置されている。
表示部60において、表示パネル63に表示された画像は、第1プリズム65a、反射ミラー66、第2プリズム65bを介してファインダー開口部67から射出され、ユーザーに観察される。また、ファインダー開口部67を見ているユーザーの目元は、第2プリズム65b及び結像レンズ71を介して撮像素子72上に結像される。撮像素子72を介して取得された目元の画像は、ユーザーの視線の方向や瞬き、表情の解析に用いられる。すなわち、撮像素子72は、ユーザーの目元を撮像する撮像部として機能する。バックライト62は、撮像素子72による目元撮像の照明装置としても利用される。
カメラ64(撮像部)は、例えば、500万画素〜1000万画素の撮像素子を有し、オートフォーカス動作が可能に構成される。
本実施形態の場合、カメラ64の撮像方向は、ユーザーの視線方向と一致するように設定される。すなわち、カメラ64は、ヘッドマウントディスプレイ1を装着したユーザーの視線方向の画像(映像)を撮像する。なお、撮像方向と視線方向との調整は、機械的に行ってもよく、画像処理により行ってもよい。例えば、カメラ64を広角の映像を取得可能に構成し、ユーザーの目元画像から取得した視線方向の情報に基づいて、電気的に捕らえた映像の一部を、視線方向の映像として抜き出して表示パネル63に表示させる。これにより、カメラ64に調整機構を設けることなくユーザー正面の映像(画像)の撮像、表示が可能となる。
本実施形態の場合、カメラ64の撮像方向は、ユーザーの視線方向と一致するように設定される。すなわち、カメラ64は、ヘッドマウントディスプレイ1を装着したユーザーの視線方向の画像(映像)を撮像する。なお、撮像方向と視線方向との調整は、機械的に行ってもよく、画像処理により行ってもよい。例えば、カメラ64を広角の映像を取得可能に構成し、ユーザーの目元画像から取得した視線方向の情報に基づいて、電気的に捕らえた映像の一部を、視線方向の映像として抜き出して表示パネル63に表示させる。これにより、カメラ64に調整機構を設けることなくユーザー正面の映像(画像)の撮像、表示が可能となる。
前方ライト68は、例えば、LED(Light Emitting Diode)ライトである。前方ライト68は、赤、緑、青の各色の発光素子を有し、任意の色を任意のタイミングで発光させることが可能に構成してもよい。前方ライト68は、発光色や発光タイミングにより外部に対して情報を表示する装置として用いてもよく、カメラ64で撮像する際の照明装置として用いてもよい。
図5は、本実施形態のヘッドマウントディスプレイ1に付属のリモコンを示す斜視図である。
リモコン140は、筐体140Aと、タッチパッド141と、操作スイッチ147と、USBコネクター142と、インジケーター143a、143b、143cと、取付クリップ144と、インジケータースイッチ150と、を備えている。
リモコン140は、筐体140Aと、タッチパッド141と、操作スイッチ147と、USBコネクター142と、インジケーター143a、143b、143cと、取付クリップ144と、インジケータースイッチ150と、を備えている。
リモコン140は、USBケーブル148の一方の端子をUSBコネクター142に接続し、他方の端子を装置本体部21のUSBコネクター25に接続することで、装置本体部21と電気的に接続される。USBケーブル148としては市販のUSBケーブルを用いることができる。本実施形態の場合、USBケーブル148の途中に複数のクリップ149が設けられている。複数のクリップ149は、例えばUSBケーブル148を第2ヘッドバンド44に沿わせた状態で固定するために用いることができる。
リモコン140には、ディスプレイ本体20や他の電子機器と無線通信を行うための通信回路が内蔵されている。通信回路の通信方式としては、例えば、Bluetooth(登録商標)、無線LAN、赤外線通信、UWB(Ultra Wide Band)、Transfer Jetなどを用いることができる。かかる通信回路により、USBケーブル148を接続していなくてもディスプレイ本体20との通信が可能である。
リモコン140には、Gセンサーや加速度センサー、方位センサーが内蔵されていてもよい。これらのセンサーで検出した情報についても、上記した通信回路を介してディスプレイ本体20へ通信可能である。
タッチパッド141は、筐体140Aの一方の主面に設けられている。タッチパッド141は、ユーザーがタッチすることによりディスプレイ本体20を操作するための操作部である。タッチパッド141の背面側の筐体140A内部には、装置本体部21のタッチスイッチ34と同様に表示パネルやバックライトが設けられていてもよい。
操作スイッチ147は、リモコン140やディスプレイ本体20を手動操作するためのスイッチである。操作スイッチ147は、必要に応じて設けられていればよい。筐体140Aの側面に設けられたインジケータースイッチ150は、インジケーター143a〜143cを利用した所定動作を行わせるためのスイッチである。
USBコネクター142は、装置本体部21との接続のほか、リモコン140が充電式のバッテリーを内蔵している場合にはリモコン140の充電端子や、PCとの接続にも用いられる。
また、USBコネクター142は、リモコン140がバッテリーを内蔵している場合には、装置本体部21への給電端子として用いることもできる。リモコン140のバッテリーを補助電源として使用可能にすることで、ヘッドマウントディスプレイ1は、装置本体部21のバッテリー容量を小さくでき、装置本体部21を小型軽量化することができる。
また、USBコネクター142は、リモコン140がバッテリーを内蔵している場合には、装置本体部21への給電端子として用いることもできる。リモコン140のバッテリーを補助電源として使用可能にすることで、ヘッドマウントディスプレイ1は、装置本体部21のバッテリー容量を小さくでき、装置本体部21を小型軽量化することができる。
インジケーター143a、143b、143cは、タッチパッド141の周囲に配置されている。本実施形態では、タッチパッド141の一辺に沿う位置にインジケーター143aが配置され、インジケーター143aに対してタッチパッド141を挟んだ反対側にインジケーター143bとインジケーター143cとが配置されている。
インジケーター143a〜143cはLED等の発光素子を備えている。本実施形態では、インジケーター143aは緑色の発光素子、インジケーター143bはオレンジ色の発光素子、インジケーター143cは青色の発光素子をそれぞれ備えている。これらの発光素子は制御されたタイミングでパターン発光可能に構成されている。インジケーター143a〜143cの上記パターン発光は、筐体140A側面のインジケータースイッチ150を操作することでオンオフすることができる。
取付クリップ144は、筐体140Aのタッチパッド141と反対側の面に設けられている。本実施形態の場合、取付クリップ144は、一端を筐体140Aに固定された側面視S形のバネ板部材である。取付クリップ144により、リモコン140をユーザーの衣服やベルト等に装着することができる。
また、ヘッドマウントディスプレイ1は、取付クリップ144によりヘッドパット47の近傍を挟むことで、ヘッドバンド40にリモコン140を取り付けてもよい。ヘッドバンド40のヘッドパット46にディスプレイ本体20を取り付ける一方、ヘッドパット47側にリモコン140を取り付けることで、ヘッドマウントディスプレイ1における重量バランスの不均衡を低減することができる。
また、リモコン140をユーザーが手に持って操作スイッチ147を操作することで、インジケーター143a〜143cは、所定のパターンで点滅するように構成されている。例えば、インジケーター143aの色は緑、インジケーター143bはオレンジ、インジケーター143cは青色となっており、この3つのインジケーターの発光パターンを表示部60に設けられたカメラ64で捕らえることにより、リモコン140の上下左右の傾きを認識することが可能となっている。ここ結果、リモコン140とディスプレイ本体20とで後述するBluetooth(登録商標)による通信を行うことなく、すなわち消費電力を最小に押さえつつリモコン140の操作状態を本体側に伝えることが可能である。
図6は、本実施形態のヘッドマウントディスプレイに付属のステレオイヤホンを示す斜視図である。
ステレオイヤホン100は、コネクター101と、ケーブル102と、第1スピーカー103と、第2スピーカー104と、集音マイク105と、複数のクリップ106とを有している。
ステレオイヤホン100は、コネクター101と、ケーブル102と、第1スピーカー103と、第2スピーカー104と、集音マイク105と、複数のクリップ106とを有している。
コネクター101は、ケーブル102の一方の端部に設けられている。コネクター101は、例えば、一般的な4極φ3.5mmのミニプラグである。4極の内訳は、集音マイク105、第1スピーカー103、第2スピーカー104、グランド(GND)である。ケーブル102は、コネクター101の近傍において二分岐され、分岐されたケーブルの先端に第1スピーカー103が設けられている。ケーブル102の他方の端部には、第2スピーカー104と集音マイク105とが設けられている。複数のクリップ106は、ケーブル102上に所定の間隔で配置されている。
ステレオイヤホン100の第1スピーカー103は、ディスプレイ本体20が配置された側のユーザーの耳に装着され、第2スピーカー104は第1スピーカー103と反対側の耳に装着される。このとき、ケーブル102は、クリップ106によって第2ヘッドバンド44に固定することができる。
また、ステレオイヤホン100の集音マイク105と、ディスプレイ本体20において筐体21Aの外側面に設けられた集音マイク24とにより、ステレオ録音が可能である。例えば、図3(A)に示すようにディスプレイ本体20が右眼側に配置されているとすれば、ディスプレイ本体20の集音マイク24はユーザーの右側の音を収集し、左耳に装着された集音マイク105はユーザーの左側の音を収集する。なお、ステレオイヤホン100の第1スピーカー103から右チャンネルの音声が出力され、第2スピーカー104からは左チャンネルの音声が出力される。
一方、図3(B)に示すように左眼側にディスプレイ本体20が配置されている場合には、ディスプレイ本体20の集音マイク24がユーザーの左側の音を収集し、右耳に装着された集音マイク105がユーザーの右側の音を収集する。ステレオイヤホン100の第1スピーカー103から左チャンネルの音声が出力され、第2スピーカー104からは右チャンネルの音声が出力される。
図7は、ヘッドマウントディスプレイ1の機能ブロック図である。
ヘッドマウントディスプレイ1は、処理部123を中心として種々の電気回路を備えている。ヘッドマウントディスプレイ1は、例えば、バックライト62、表示パネル63、カメラ64、撮像素子72、デコーダー121、フラッシュメモリー122、処理部123、LCDドライバ125、BLドライバ126、メモリー127、エンコーダー129、スピーカーアンプ162、耳元スピーカー23、集音マイク24、メインスイッチ28、操作スイッチ30、タッチスイッチ34、通話マイク37、BT通信回路130、WiFi通信回路131、及び3G/LTE通信回路138を備えている。
ヘッドマウントディスプレイ1は、処理部123を中心として種々の電気回路を備えている。ヘッドマウントディスプレイ1は、例えば、バックライト62、表示パネル63、カメラ64、撮像素子72、デコーダー121、フラッシュメモリー122、処理部123、LCDドライバ125、BLドライバ126、メモリー127、エンコーダー129、スピーカーアンプ162、耳元スピーカー23、集音マイク24、メインスイッチ28、操作スイッチ30、タッチスイッチ34、通話マイク37、BT通信回路130、WiFi通信回路131、及び3G/LTE通信回路138を備えている。
なお、本実施形態において、カメラ64、撮像素子72、デコーダー121、処理部123、メモリー127、エンコーダー129、メインスイッチ28、操作スイッチ30、タッチスイッチ34、BT通信回路130、WiFi通信回路131、及び3G/LTE通信回路138が通信装置200に対応する。すなわち、通信装置200は、カメラ64、撮像素子72、デコーダー121、フラッシュメモリー122、処理部123、メモリー127、エンコーダー129、メインスイッチ28、操作スイッチ30、タッチスイッチ34、BT通信回路130、WiFi通信回路131、及び3G/LTE通信回路138を備えている。
また、本実施形態において、BT通信回路130、WiFi通信回路131、及び3G/LTE通信回路138は、通信部13に対応する。
また、本実施形態において、BT通信回路130、WiFi通信回路131、及び3G/LTE通信回路138は、通信部13に対応する。
処理部123は、例えば、CPU(Central Processing Unit)であり、ヘッドマウントディスプレイ1の各種回路と接続されるとともに、ヘッドマウントディスプレイ1を総合的に制御する。処理部123の詳細については、後述する。
本実施形態の場合、エンコーダー129、デコーダー121、電源回路120、操作スイッチ30、フラッシュメモリー122、BT通信回路130、WiFi通信回路131、加速度センサー132、地磁気センサー133、前方ライト68、3G/LTE通信回路138、レーザー発振器73、角速度センサー134、GPSセンサー135、温湿度センサー136、心拍数センサー137、BLドライバ126、メモリー127、メインスイッチ28、及びタッチスイッチ34は、処理部123に接続されている。
本実施形態の場合、エンコーダー129、デコーダー121、電源回路120、操作スイッチ30、フラッシュメモリー122、BT通信回路130、WiFi通信回路131、加速度センサー132、地磁気センサー133、前方ライト68、3G/LTE通信回路138、レーザー発振器73、角速度センサー134、GPSセンサー135、温湿度センサー136、心拍数センサー137、BLドライバ126、メモリー127、メインスイッチ28、及びタッチスイッチ34は、処理部123に接続されている。
エンコーダー129は、音声信号及び映像信号を所定方式の音声データ及び映像データにエンコード(符号化)する。エンコーダー129には、カメラ64、撮像素子72、集音マイク24、通話マイク37、オーディオコネクター26、ビデオコネクター27が接続されている。
エンコーダー129は、集音マイク24、通話マイク37、及び、オーディオコネクター26から供給される音声信号をエンコード(符号化)し、エンコードした音声信号を処理部123に供給する。また、エンコーダー129は、カメラ64、ユーザーの目元を撮像する撮像素子72、及びビデオコネクター27から入力される映像(画像)信号をエンコード(符号化)し、エンコードした映像(画像)信号を処理部123に供給する。
デコーダー121は、音声データ及び映像データを音声信号及び映像信号にデコード(復号化)する。デコーダー121には、LCDドライバ125、スピーカーアンプ162、オーディオコネクター26、及びビデオコネクター27が接続されている。すなわち、デコーダー121は、音声データを音声信号にデコード(復号化)し、デコードした音声信号をスピーカーアンプ162又はオーディオコネクター26に供給する。また、デコーダー121は、映像(画像)データを映像(画像)信号にデコード(復号化)し、デコードした映像信号をLCDドライバ125又はビデオコネクター27に供給する。
LCDドライバ125は、例えば、液晶パネル用の駆動信号を生成する回路であり、表示パネル36及び表示パネル63に接続されている。すなわち、LCDドライバ125は、処理部123からデコーダー121を介して供給された映像(画像)信号に基づいて液晶パネル用の駆動信号を生成し、生成した液晶パネル用の駆動信号を表示パネル36又は表示パネル63に供給する。
表示パネル63(表示部)は、例えば、液晶表示パネルであり、LCDドライバ125から供給される駆動信号に基づいて、映像(画像)を表示する。表示パネル63は、例えば、カメラ64によって撮像された画像、及びメニュー画面などを表示する。
表示パネル63(表示部)は、例えば、液晶表示パネルであり、LCDドライバ125から供給される駆動信号に基づいて、映像(画像)を表示する。表示パネル63は、例えば、カメラ64によって撮像された画像、及びメニュー画面などを表示する。
BLドライバ126は、例えば、バックライト用の駆動信号を生成する回路であり、バックライト35及びバックライト62に接続されている。すなわち、BLドライバ126は、処理部123から供給された制御信号に基づいて、バックライト用の駆動信号を生成し、生成したバックライト用の駆動信号をバックライト35及びバックライト62に供給する。
バッテリー33は、電源回路120を介してヘッドマウントディスプレイ1の各部に電力を供給する。
電源回路120は、処理部123から供給される制御信号に基づいて、バッテリー33から供給された電力の制御(例えば、電圧の変換、供給オンオフ)を行う。
電源回路120は、処理部123から供給される制御信号に基づいて、バッテリー33から供給された電力の制御(例えば、電圧の変換、供給オンオフ)を行う。
スピーカーアンプ162は、例えば、音声信号を増幅してスピーカーに出力する回路であり、耳元スピーカー23及び前方スピーカー70に接続されている。スピーカーアンプ162は、処理部123からデコーダー121を介して供給された音声信号を増幅し、増幅した音声信号を耳元スピーカー23又は前方スピーカー70に供給する。
本実施形態の場合、耳元スピーカー23及び前方スピーカー70は、モノラル音声の使用を想定しており、耳元スピーカー23及び前方スピーカー70は、左右の音声信号が合成された音を出力する。
メモリー127は、処理部123によって実行される制御プログラムを記憶している。
メモリー127は、処理部123によって実行される制御プログラムを記憶している。
メインスイッチ28は、全体の電源のオンオフを行うスイッチであり、ユーザーが操作することにより、操作に基づく制御信号を処理部123に供給する。
操作スイッチ30は、画面内でのポインティング操作を行うためのスイッチであり、ユーザーが操作することにより、操作に基づく制御信号を処理部123に供給する。
タッチスイッチ34は、タッチ操作により各種操作を行うスイッチであり、ユーザーが操作することにより、操作に基づく制御信号を処理部123に供給する。
なお、ディスプレイ本体20は、メインスイッチ28、操作スイッチ30、及びタッチスイッチ34を備えており、ディスプレイ本体20は、ユーザーの身体における右側及び左側のいずれかの位置に装着可能である。そのため、ディスプレイ本体20は、メインスイッチ28、操作スイッチ30、及びタッチスイッチ34は、ユーザーの身体における右側及び左側のいずれかの位置に装着可能であって、情報入出力装置を操作する。
操作スイッチ30は、画面内でのポインティング操作を行うためのスイッチであり、ユーザーが操作することにより、操作に基づく制御信号を処理部123に供給する。
タッチスイッチ34は、タッチ操作により各種操作を行うスイッチであり、ユーザーが操作することにより、操作に基づく制御信号を処理部123に供給する。
なお、ディスプレイ本体20は、メインスイッチ28、操作スイッチ30、及びタッチスイッチ34を備えており、ディスプレイ本体20は、ユーザーの身体における右側及び左側のいずれかの位置に装着可能である。そのため、ディスプレイ本体20は、メインスイッチ28、操作スイッチ30、及びタッチスイッチ34は、ユーザーの身体における右側及び左側のいずれかの位置に装着可能であって、情報入出力装置を操作する。
BT通信回路130は、他の機器とのBluetooth(登録商標)通信を行うための通信回路である。
WiFi通信回路131(通信部)は、他の機器との無線LAN通信(IEEE 802.11)を行うための通信回路である。
3G/LTE通信回路138は、他の機器との移動通信を行うための通信回路である。
BT通信回路130、WiFi通信回路131、及び3G/LTE通信回路138は、他の機器との間で、音声データや映像(画像)データなどの情報の送信/受信を行う。
WiFi通信回路131(通信部)は、他の機器との無線LAN通信(IEEE 802.11)を行うための通信回路である。
3G/LTE通信回路138は、他の機器との移動通信を行うための通信回路である。
BT通信回路130、WiFi通信回路131、及び3G/LTE通信回路138は、他の機器との間で、音声データや映像(画像)データなどの情報の送信/受信を行う。
加速度センサー132(Gセンサー)は、加速度情報(例えば、加速度及び重力)を検出し、ヘッドマウントディスプレイ1の傾き検出に用いられる。加速度センサー132は、検出した加速度情報を処理部123に供給する。
地磁気センサー133は、地磁気に基づいて方位情報を検出し、ヘッドマウントディスプレイ1の方角検出に用いられる。地磁気センサー133は、検出した方位情報を処理部123に供給する。
地磁気センサー133は、地磁気に基づいて方位情報を検出し、ヘッドマウントディスプレイ1の方角検出に用いられる。地磁気センサー133は、検出した方位情報を処理部123に供給する。
角速度センサー134(ジャイロセンサー)は、角速度を検出し、ヘッドマウントディスプレイ1の回転検出に用いられる。角速度センサー134は、検出した角速度を処理部123に供給する。
GPSセンサー135は、GPS(Global Positioning System)を利用した測位検出に用いられ、ヘッドマウントディスプレイ1の緯度経度を測定する。GPSセンサー135は、測定したヘッドマウントディスプレイ1の緯度経度を処理部123に供給する。
GPSセンサー135は、GPS(Global Positioning System)を利用した測位検出に用いられ、ヘッドマウントディスプレイ1の緯度経度を測定する。GPSセンサー135は、測定したヘッドマウントディスプレイ1の緯度経度を処理部123に供給する。
温湿度センサー136は、環境の温度、及び湿度を検出する。温湿度センサー136は、検出した環境の温度、及び湿度を処理部123に供給する。
心拍数センサー137は、ユーザーの頬に接触し、ユーザーの心拍数を検出する。すなわち、心拍数センサー137は、ヘッドマウントディスプレイ1がユーザーに装着されているか否かを検出する。心拍数センサー137は、検出したユーザーの心拍数を処理部123に供給する。
レーザー発振器73は、上述したように表示パネル63に表示された画像内の所定の位置に対応するターゲット(対象物)にレーザー光(スポット光)を照射する。
心拍数センサー137は、ユーザーの頬に接触し、ユーザーの心拍数を検出する。すなわち、心拍数センサー137は、ヘッドマウントディスプレイ1がユーザーに装着されているか否かを検出する。心拍数センサー137は、検出したユーザーの心拍数を処理部123に供給する。
レーザー発振器73は、上述したように表示パネル63に表示された画像内の所定の位置に対応するターゲット(対象物)にレーザー光(スポット光)を照射する。
処理部123は、上述したようにヘッドマウントディスプレイ1を総合的に制御する。処理部123は、例えば、集音マイク24、通話マイク37、又はオーディオコネクター26からエンコーダー129を介して供給された音声データをフラッシュメモリー122に記憶させる。処理部123は、例えば、集音マイク24、通話マイク37、又はオーディオコネクター26からエンコーダー129を介して供給された音声データを通信部13のBT通信回路130、WiFi通信回路131、又は3G/LTE通信回路138を介して他の機器に送信する。
また、処理部123は、例えば、カメラ64、撮像素子72、又はビデオコネクター27からエンコーダー129を介して供給された映像(画像)データをフラッシュメモリー122に記憶させる。処理部123は、例えば、カメラ64、撮像素子72、又はビデオコネクター27からエンコーダー129を介して供給された映像(画像)データを、LCDドライバ125を介して表示パネル63に表示させる。処理部123は、例えば、カメラ64、撮像素子72、又はビデオコネクター27からエンコーダー129を介して供給された映像(画像)データを通信部13のBT通信回路130、WiFi通信回路131、又は3G/LTE通信回路138を介して他の機器に送信する。
また、処理部123は、例えば、カメラ64、撮像素子72、又はビデオコネクター27からエンコーダー129を介して供給された映像(画像)データをフラッシュメモリー122に記憶させる。処理部123は、例えば、カメラ64、撮像素子72、又はビデオコネクター27からエンコーダー129を介して供給された映像(画像)データを、LCDドライバ125を介して表示パネル63に表示させる。処理部123は、例えば、カメラ64、撮像素子72、又はビデオコネクター27からエンコーダー129を介して供給された映像(画像)データを通信部13のBT通信回路130、WiFi通信回路131、又は3G/LTE通信回路138を介して他の機器に送信する。
また、映像データを再生する場合、処理部123は、フラッシュメモリー122に記録された映像(画像)データ、あるいはエンコーダー129から入力される映像(画像)データを、デコーダー121及びLCDドライバ125を介して表示パネル36、63に供給する。これにより、映像信号が入力された表示パネル36又は表示パネル63に映像データに基づく映像が表示される。また、処理部123は、デコーダー121からビデオコネクター27に出力される映像信号を、ビデオコネクター27を介して外部機器に出力させる。
また、映像の表示に際して、処理部123は、必要に応じて表示パネル36用のバックライト35、及び表示パネル63用のバックライト62を点灯させる。すなわち、処理部123は、BLドライバ126に制御信号を供給し、BLドライバ126はバックライト(35,62)を個々に点灯させる。
また、処理部123は、例えば、制御信号により操作を検出し、上記の制御プログラムに規定された動作を実行する。
また、処理部123は、例えば、制御信号により操作を検出し、上記の制御プログラムに規定された動作を実行する。
また、処理部123は、例えば、カメラ64が撮像した撮像画像を、通信部13を介して他の機器に送信する際に、撮像画像に相手に画像を送信することが好ましくない対象物が含まれている場合に、この対象物をマスクする制御を行う。なお、本実施形態では、カメラ64が撮像した画像(映像)を撮像画像(撮像映像)として以下説明する。
以下、撮像画像に含まれるマスクすべき対象物をマスクする制御を実行するための処理部123の構成について説明する。
以下、撮像画像に含まれるマスクすべき対象物をマスクする制御を実行するための処理部123の構成について説明する。
図8は、第1実施形態における処理部123の機能ブロック図である。
この図において、処理部123は、遅延部201、切替部210、マスク処理部220、入力処理部206、及びマスク制御部207を備えている。
この図において、処理部123は、遅延部201、切替部210、マスク処理部220、入力処理部206、及びマスク制御部207を備えている。
遅延部201は、カメラ64が撮像した撮像画像を所定の期間遅延させた遅延画像を出力する。ここで、所定の期間とは、例えば、3秒〜5秒の期間であり、表示パネル63による撮像画像の表示から、後述するマスク制御部207がマスクさせる領域を取得し、マスク処理部220が指定された領域をマスクするまでの期間よりも長い期間である。すなわち、所定の期間は、人間がマスクの要否、マスク箇所の特定ないし選択を行うことに要する時間から設定される。
なお、本実施形態では、遅延部201によって、撮像画像は遅延されるが、ユーザーの会話などの音声は、良好なコミュニケーションを行うために遅延されない。
なお、本実施形態では、遅延部201によって、撮像画像は遅延されるが、ユーザーの会話などの音声は、良好なコミュニケーションを行うために遅延されない。
切替部210は、後述するマスク制御部207の制御(指示)に基づいて、カメラ64が撮像した撮像画像と、フラッシュメモリー122、メモリー127、又は通信部13などから出力された画像(例えば、メモリー画像)とを切り替えて、マスク処理部220に出力する。切替部210は、2つの画像切替部(202,203)を備えている。
画像切替部202は、表示パネル63に画像を表示させるために、カメラ64が撮像した撮像画像と、上述したメモリー画像とを切り替えて、後述するマスク処理部220の画像処理部204に出力する。
画像切替部203は、通信部13により画像を送信させるために、遅延部201によって所定の期間遅延された撮像画像と、上述したメモリー画像とを切り替えて、後述するマスク処理部220の画像処理部205に出力する。
画像切替部203は、通信部13により画像を送信させるために、遅延部201によって所定の期間遅延された撮像画像と、上述したメモリー画像とを切り替えて、後述するマスク処理部220の画像処理部205に出力する。
マスク処理部220は、後述するマスク制御部207の制御(指示)に基づいて、例えば、遅延部201から出力された遅延画像のうちの指定された領域をマスクする処理などの各種画像処理を実行する。マスク処理部220は、2つの画像処理部(204,205)を備えている。ここで、遅延画像とは、遅延部201によって所定の期間遅延された撮像画像のことである。
画像処理部204は、画像切替部202から出力された画像に対して、各種画像処理を実行し、画像処理した画像をデコーダー121に出力する。画像処理部204は、例えば、画像の一部領域を切り出して拡大・縮小する処理や、アバター画像などの合成処理や、上述したマスク処理などの画像処理を実行する。なお、画像処理部204からデコーダー121に出力された画像は、例えば、LCDドライバ124を介して表示パネル63に表示される。なお、画像処理部204は、後述するマスク制御部207の指示により、画像処理を実行せずに、画像切替部202から出力された画像をそのままデコーダー121に出力してもよい。
画像処理部205は、画像切替部203から出力された画像に対して、各種画像処理を実行し、画像処理した画像を通信部13に出力する。画像処理部205は、例えば、画像の一部領域を切り出して拡大・縮小する処理や、アバター画像などの合成処理や、上述したマスク処理などの画像処理を実行する。なお、画像処理部205から通信部13に出力された画像は、例えば、ネットワークを解して他の機器(他装置)に送信される。なお、画像処理部205は、後述するマスク制御部207の指示により、画像処理を実行せずに、画像切替部203から出力された画像をそのまま通信部13に出力してもよい。このように、通信部13は、少なくともマスク処理部220によってマスクされた遅延画像を送信する。
入力処理部206は、例えば、表示パネル63が表示する表示画像に基づいて、情報の入力を処理する。入力処理部206は、例えば、タッチスイッチ34又は操作スイッチ30からの入力信号と表示画像とに基づいて、表示画像のうちのマスクすべき対象物の領域情報を取得し、取得した領域情報をマスク制御部207に出力する。なお、入力処理部206は、操作スイッチ30からの入力信号だけでなく、撮像画像に含まれる手などの指示部による入力や、撮像素子72によって撮像された目元の画像に基づく視線入力に基づいて、マスクすべき対象物の領域情報を取得してもよい。
マスク制御部207(制御部)は、カメラ64が撮像した撮像画像を表示パネル63に表示させるとともに、遅延画像における指定された領域をマスク処理部220にマスクさせる。なお、マスク制御部207は、マスク処理部220の画像処理部205にマスクさせる領域を上述の指定された領域として取得し、遅延画像における指定された領域をマスク処理部220の画像処理部205にマスクさせる。マスク制御部207は、入力処理部206によって入力された領域情報に基づいて、マスクさせる領域を取得する。
次に、本実施形態におけるヘッドマウントディスプレイ1が通信を行う場合のシステム構成の一例について説明する。
図9は、ヘッドマウントディスプレイ1のネットワーク接続の一例を示す図である。
この図においてヘッドマウントディスプレイをHMDと表記する。なお、HMD1は、ユーザー(本人)が使用するヘッドマウントディスプレイであり、HMD500は、他人が使用するヘッドマウントディスプレイである。この図において、接続に関して必要な要素のみを記載し、他は省略している。
図9は、ヘッドマウントディスプレイ1のネットワーク接続の一例を示す図である。
この図においてヘッドマウントディスプレイをHMDと表記する。なお、HMD1は、ユーザー(本人)が使用するヘッドマウントディスプレイであり、HMD500は、他人が使用するヘッドマウントディスプレイである。この図において、接続に関して必要な要素のみを記載し、他は省略している。
図9において、ヘッドマウントディスプレイ1(HMD1)は、ネットワーク230を介して、HMD500と、PC(パーソナルコンピュータ)250とに接続されている。ここで、HMD1は、タッチスイッチ34、表示パネル63、カメラ64、処理部123、フラッシュメモリー122、及び通信部13(131,138)を備えている。ここで、通信部13は、例えば、WiFi通信回路131及び3G/LTE通信回路138である。
また、HMD500は、HMD1と同様の通信手段を有するヘッドマウントディスプレイである。HMD500は、HMD1と同様に、タッチスイッチ534、表示パネル563(表示部)、カメラ564、処理部523、フラッシュメモリー522、及び通信部513(531,538)を備えている。HMD500の各機能部は、HMD1の各機能部と同等である。
PC250は、処理部251、記憶部252、通信部253、入力部254、表示部255、及びカメラ256を備えている。
処理部251は、CPU(中央演算装置)及びGPU(Graphics Processing Unit)等である。処理部251は、通信部253、入力部254、表示部255、及びカメラ256を制御する。処理部251は、例えば、記憶部252に記憶されている画像データと、通信部253を介して取得した画像データと、カメラ256で撮像された画像データとを切り替えて、表示部255に表示させる。また、処理部251は、例えば、記憶部252に記憶されている画像データ(例えば、アバター画像)と、カメラ256で撮像された画像データとを切り替えて、通信部253から送信させる。処理部251は、例えば、画像の一部領域を切り出して拡大・縮小する処理や、アバター画像などの合成処理や、上述したマスク処理などの画像処理を実行する。
処理部251は、CPU(中央演算装置)及びGPU(Graphics Processing Unit)等である。処理部251は、通信部253、入力部254、表示部255、及びカメラ256を制御する。処理部251は、例えば、記憶部252に記憶されている画像データと、通信部253を介して取得した画像データと、カメラ256で撮像された画像データとを切り替えて、表示部255に表示させる。また、処理部251は、例えば、記憶部252に記憶されている画像データ(例えば、アバター画像)と、カメラ256で撮像された画像データとを切り替えて、通信部253から送信させる。処理部251は、例えば、画像の一部領域を切り出して拡大・縮小する処理や、アバター画像などの合成処理や、上述したマスク処理などの画像処理を実行する。
記憶部252は、例えば、メモリー、HDD(ハードディスク)である。記憶部252には、PC250のOS(オペレーション・システム)、HMD1、及びHMD500と通話を行うためのアプリケーション、PC250のユーザーに対して予め設定されているアバター画像データ等が記憶されている。
通信部253は、例えば、無線LAN、または有線LAN、3G回線、LTE回線等の通信を行うインタフェースである。通信部253は、ネットワーク230を介して受信した情報を処理部251に出力する。通信部253は、処理部251が出力した情報を、ネットワーク230を介して、HMD1、及びHMD500に送信する。
入力部254は、例えば、キーボード、マウス、タブレットと操作ペン等である。入力部254は、入力された情報を、処理部251に出力する。なお、表示部255がタッチパネル機能を有する場合、表示部255は入力部254の機能を兼ねるようにしてもよい。
表示部255は、処理部251が出力した画像データに基づく画像を表示する。
一例として、表示部255には、HMD1が撮像した撮像画像であって、マスクすべき対象物がマスクされた撮像画像が表示される。
カメラ256は、カメラ64と同様の、例えば、500万画素〜1000万画素の撮像素子を有する撮像部である。
一例として、表示部255には、HMD1が撮像した撮像画像であって、マスクすべき対象物がマスクされた撮像画像が表示される。
カメラ256は、カメラ64と同様の、例えば、500万画素〜1000万画素の撮像素子を有する撮像部である。
次に、本実施形態におけるヘッドマウントディスプレイ1の動作について説明する。
図10は、本実施形態におけるヘッドマウントディスプレイ1の動作の一例を示す状態遷移図である。
図10は、本実施形態におけるヘッドマウントディスプレイ1の動作の一例を示す状態遷移図である。
この図において、まず、ヘッドマウントディスプレイ1は、待ち受け状態ST10において、タッチスイッチ34又は操作スイッチ30によって、通信相手が選択、又は通信相手の識別番号(例えば、電話番号など)が入力された場合に、呼び出し状態ST20に遷移する。
次に、呼び出し状態ST20において、ヘッドマウントディスプレイ1は、通信相手が応答した場合に、通信相手(例えば、HMD500やPC250など)と接続し、相手と接続した状態ST41に遷移する。
次に、呼び出し状態ST20において、ヘッドマウントディスプレイ1は、通信相手が応答した場合に、通信相手(例えば、HMD500やPC250など)と接続し、相手と接続した状態ST41に遷移する。
また、待ち受け状態ST10において、他の端末からの着信があった場合に、ヘッドマウントディスプレイ1は、音と光、振動などを出力して、相手を確認する状態ST30に遷移し、相手の識別番号(例えば、電話番号など)や相手のアイコンを表示する。
次に、相手を確認する状態ST30において、タッチスイッチ34又は操作スイッチ30によって、着信に応じる入力がされた場合に、ヘッドマウントディスプレイ1は、相手と接続した状態ST41に遷移する。
次に、相手を確認する状態ST30において、タッチスイッチ34又は操作スイッチ30によって、着信に応じる入力がされた場合に、ヘッドマウントディスプレイ1は、相手と接続した状態ST41に遷移する。
相手と接続した状態ST41において、ヘッドマウントディスプレイ1は、通信相手との対話を行うとともに、上述したメモリー画像を表示パネル63に表示する。また、ヘッドマウントディスプレイ1は、例えば、メモリー127に記憶されているアバター画像を表示パネル63に表示するとともに、通信相手(例えば、図9のHMD500やPC250など)に通信部13を介してアバター画像を送信する。
また、相手と接続した状態ST41において、タッチスイッチ34又は操作スイッチ30によって、カメラ64の撮像動作を開始する操作がされた場合に、ヘッドマウントディスプレイ1は、カメラ64の撮像動作を開始(ON(オン))し、カメラ映像表示状態ST42に遷移する。
また、相手と接続した状態ST41において、タッチスイッチ34又は操作スイッチ30によって、カメラ64の撮像動作を開始する操作がされた場合に、ヘッドマウントディスプレイ1は、カメラ64の撮像動作を開始(ON(オン))し、カメラ映像表示状態ST42に遷移する。
カメラ映像表示状態ST42において、ヘッドマウントディスプレイ1は、例えば、カメラ64により撮像した撮像画像を上述したマスク処理部220及びマスク制御部207によってマスクされた撮像画像を、通信部13を介して通信相手(例えば、図9のHMD500やPC250など)に送信する。ここで処理部123によって実行されるマスク指定、及びマスク処理の動作の詳細については、後述する。
また、カメラ映像表示状態ST42において、タッチスイッチ34又は操作スイッチ30によって、カメラ64の撮像動作を停止する操作がされた場合に、ヘッドマウントディスプレイ1は、カメラ64の撮像動作を停止(OFF(オフ))し、上述した相手と接続した状態ST41に遷移する。
また、カメラ映像表示状態ST42において、タッチスイッチ34又は操作スイッチ30によって、カメラ64の撮像動作を停止する操作がされた場合に、ヘッドマウントディスプレイ1は、カメラ64の撮像動作を停止(OFF(オフ))し、上述した相手と接続した状態ST41に遷移する。
なお、上述した相手と接続した状態ST41、及びカメラ映像表示状態ST42は、図9のHMD500やPC250など他の端末と通信するコミュニケーション動作状態ST40を示している。
また、コミュニケーション動作状態ST40において、タッチスイッチ34又は操作スイッチ30によって、通信の接続を切断する操作がされた場合に、ヘッドマウントディスプレイ1は、通信の接続を切断し、上述した待ち受け状態ST10に遷移する。
次に、本実施形態における処理部123によるマスク指定、及びマスク処理の動作について説明する。
<第1のマスク処理方法>
図11は、本実施形態におけるマスク指定、及びマスク処理の一例を示す図である。
図11(a)において、画像G1は、撮像画像にマスクする対象物を指定した場合の一例を示している。ここで、マークMP1〜MP4は、マスクする対象物を指定するマークを示している。
<第1のマスク処理方法>
図11は、本実施形態におけるマスク指定、及びマスク処理の一例を示す図である。
図11(a)において、画像G1は、撮像画像にマスクする対象物を指定した場合の一例を示している。ここで、マークMP1〜MP4は、マスクする対象物を指定するマークを示している。
例えば、上述した相手と接続した状態ST41からカメラ映像表示状態ST42に遷移する際に、ヘッドマウントディスプレイ1のユーザーは、通信部13を介して、撮像画像を他の端末に送信する前に、表示パネル63に表示されている撮像画像に含まれるマスクする対象物を指定(マーキング)する。すなわち、マスク制御部207は、入力処理部206によって取得したマークMP1〜MP4が示すマスクさせる領域を、指定された領域として取得する。マスクする対象物は、例えば、人間、顔、その他の背景に存在する固有名詞などの受信者に見せたくないものである。
また、図11(b)において、画像G2は、上述の画像G1において指定された領域をマスクした撮像画像の一例を示している。マスク制御部207は、上述した画像G1のような指定された領域を取得し、取得した領域をマスクする処理を、マスク処理部220の画像処理部205に実行させる。ここで画像G2において、領域M1〜M4は、それぞれマークMP1〜MP4に対応するマスクされた領域を示している。画像処理部205は、マスク領域M1〜M4に示すように、マスク制御部207が取得したマークMP1〜MP4に対応する領域をマスクする。なお、この例では、画像処理部205は、マスク領域M1〜M4におけるマスクを無地(白色のパターン領域)としているが、周囲画像の平均色、平均階調としてもよいし、マスク範囲の隣接部からマスクサイズと同一サイズの領域を切り出して置き換えるなどによりマスクしてもよい。
また、画像処理部205は、人物の顔をマスクする場合には、アバターで置き換えることによりマスクしてもよい。この場合、アバターで置き換えることで、ヘッドマウントディスプレイ1は、画像全体の状況を変化させずに受信者に撮像画像(遅延画像)を送信することができるので、無地によるマスクに比べて受信者がマスクを不自然に感じない自然なコミュニケーションが可能になる。
なお、画像処理部204は、表示パネル63に表示させる撮像画像において、画像処理部205と同様のマスクをする処理を実行してもよいし、撮像画像をマスクせずにそのままデコーダー121に出力してもよい。また、画像処理部204は、マスクされた撮像画像(画像G2)を通信部13が送信している間においても、撮像画像に上述したマークMP1〜MP4を合成した画像G1を生成し、デコーダー121を介して表示パネル63に表示させてもよい。この場合、ユーザーは、送信先においてマスクされている領域を常に認識することができるので、ヘッドマウントディスプレイ1は、マスクの領域を共有した上で良好なコミュニケーションが可能になる。
<第2のマスク処理方法>
また、図12は、本実施形態におけるマスク指定の別の一例を示す図である。
この図において、画像G3は、撮像画像を示しており、範囲R1〜R3は、予め定められた表示の切り取り範囲を示している。この図12における一例では、マスク処理部220は、撮像画像のうちのマスクさせる領域を含まない範囲の領域を切り出して、マスクされた撮像画像(遅延画像)を生成する。
この場合、例えば、入力処理部206は、ユーザーによって範囲R1〜R3のうちのいずれの範囲を切り出して表示させるかを指定する情報を取得し、マスク制御部207に出力する。マスク制御部207は、入力処理部206を介して取得した範囲R1〜R3のうちのいずれかを示す情報に基づいて、画像処理部205に範囲R1〜R3のうちのいずれかの範囲を切り出して拡大した撮像画像を生成させて、生成した撮像画像を通信部13に送信させる。
また、図12は、本実施形態におけるマスク指定の別の一例を示す図である。
この図において、画像G3は、撮像画像を示しており、範囲R1〜R3は、予め定められた表示の切り取り範囲を示している。この図12における一例では、マスク処理部220は、撮像画像のうちのマスクさせる領域を含まない範囲の領域を切り出して、マスクされた撮像画像(遅延画像)を生成する。
この場合、例えば、入力処理部206は、ユーザーによって範囲R1〜R3のうちのいずれの範囲を切り出して表示させるかを指定する情報を取得し、マスク制御部207に出力する。マスク制御部207は、入力処理部206を介して取得した範囲R1〜R3のうちのいずれかを示す情報に基づいて、画像処理部205に範囲R1〜R3のうちのいずれかの範囲を切り出して拡大した撮像画像を生成させて、生成した撮像画像を通信部13に送信させる。
図13は、上述した図12の範囲R1〜R3を切り出してマスク処理した場合の画像例を示している。図13(a)の画像G31は、上述した画像G3の範囲R1が指定された場合に、画像処理部205によって生成される画像を示している。また、図13(b)の画像G32は、上述した画像G3の範囲R2が指定された場合に、画像処理部205によって生成される画像を示している。また、図13(c)の画像G33は、上述した画像G3の範囲R3が指定された場合に、画像処理部205によって生成される画像を示している。
図12の画像G3では、マスクする対象物を含まない表示可能な範囲は、例えば、範囲R2であり、範囲R2の外にマスクすべき対象が存在している。この場合、ユーザーは、タッチスイッチ34又は操作スイッチ30により範囲R2を指定する。これにより、マスク制御部207は、入力処理部206を介して、範囲R2を示す情報を取得し、画像処理部205に範囲R2を切り出して拡大した撮像画像(図13(b)の画像G32)を生成させる。画像処理部205は、生成した画像G32をマスクした画像として、通信部13を介して他の端末(図9のHMD500やPC250など)に送信する。
これにより、ヘッドマウントディスプレイ1は、マスクしているという印象を感じさせない状態で、受信側の他の端末とコミュニケーションすることができる。
これにより、ヘッドマウントディスプレイ1は、マスクしているという印象を感じさせない状態で、受信側の他の端末とコミュニケーションすることができる。
なお、上述の例では、範囲R2が選択される場合を説明したが、マスクする対象物の領域を含まない範囲であれば、範囲R1又は範囲R3が選択されてもよい。また、マスク制御部207は、最初に中央部分の範囲R1が自動で指定し、ユーザーによって指定されたマスクする対象物を含まない範囲まで、徐々に表示範囲を広げていく処理を行ってもよい。
<第3のマスク処理方法>
また、図14は、本実施形態におけるマスク指定、及びマスク処理の別の一例を示す図である。
図14(a)において、画像G4は、表示パネル63に表示しているマスクする前の撮像画像の一例を示している。この例では、画像処理部204は、撮像画像を分割領域SG1〜SG12に分割するグリッド線を合成した画像G4を生成し、表示パネル63は、この画像G4を表示する。この場合、ユーザーは、タッチスイッチ34又は操作スイッチ30により分割領域SG1〜SG12のうちのマスクすべき領域を指定する。これにより、マスク制御部207は、入力処理部206を介して、分割領域SG1〜SG12のうちのマスクすべき領域を指定された領域として取得し、画像処理部205に指定された領域をマスクさせる。画像処理部205は、マスクした撮像画像(遅延画像)を、通信部13を介して他の端末(図9のHMD500やPC250など)に送信する。
また、図14は、本実施形態におけるマスク指定、及びマスク処理の別の一例を示す図である。
図14(a)において、画像G4は、表示パネル63に表示しているマスクする前の撮像画像の一例を示している。この例では、画像処理部204は、撮像画像を分割領域SG1〜SG12に分割するグリッド線を合成した画像G4を生成し、表示パネル63は、この画像G4を表示する。この場合、ユーザーは、タッチスイッチ34又は操作スイッチ30により分割領域SG1〜SG12のうちのマスクすべき領域を指定する。これにより、マスク制御部207は、入力処理部206を介して、分割領域SG1〜SG12のうちのマスクすべき領域を指定された領域として取得し、画像処理部205に指定された領域をマスクさせる。画像処理部205は、マスクした撮像画像(遅延画像)を、通信部13を介して他の端末(図9のHMD500やPC250など)に送信する。
例えば、図14(b)は、上述の画像G4において、分割領域SG1及び分割領域SG1がマスクする領域として指定された場合に、画像処理部205によってマスクされた画像G5を示している。この場合、画像処理部205は、分割領域SG1及び分割領域SG1に対応する領域(マスク領域M5及びマスク領域M6)をマスクする。
このように、本実施形態における処理部123は、上述した第1〜第3のマスク処理方法のいずれか、又は、組み合わせによりマスクすべき対象物をマスクする。
次に、本実施形態におけるヘッドマウントディスプレイ1が、撮像画像を送信する動作について説明する。
図15は、本実施形態における撮像画像を送信する処理の一例を示すフローチャートである。
この図において、まず、ヘッドマウントディスプレイ1は、メモリー画像を表示し、メモリー画像の送信を開始する(ステップS101)。例えば、マスク制御部207は、画像切替部202及び画像切替部203に対して、メモリー画像(例えば、アバター画像)に切り替えて出力させる。また、マスク制御部207は、マスク処理部220の画像処理部204に、メモリー画像をマスクせずにそのままデコーダー121に出力させる。これにより、表示パネル63は、メモリー画像を表示する。また、マスク制御部207は、マスク処理部220の画像処理部205に、メモリー画像をマスクせずにそのまま通信部13に出力させる。これにより、通信部13は、メモリー画像を他の端末に送信する。なお、この状態は、図10の相手と接続した状態ST41に対応する。
図15は、本実施形態における撮像画像を送信する処理の一例を示すフローチャートである。
この図において、まず、ヘッドマウントディスプレイ1は、メモリー画像を表示し、メモリー画像の送信を開始する(ステップS101)。例えば、マスク制御部207は、画像切替部202及び画像切替部203に対して、メモリー画像(例えば、アバター画像)に切り替えて出力させる。また、マスク制御部207は、マスク処理部220の画像処理部204に、メモリー画像をマスクせずにそのままデコーダー121に出力させる。これにより、表示パネル63は、メモリー画像を表示する。また、マスク制御部207は、マスク処理部220の画像処理部205に、メモリー画像をマスクせずにそのまま通信部13に出力させる。これにより、通信部13は、メモリー画像を他の端末に送信する。なお、この状態は、図10の相手と接続した状態ST41に対応する。
次に、ヘッドマウントディスプレイ1は、撮像画像の表示を開始する(ステップS102)。処理部123は、タッチスイッチ34又は操作スイッチ30によって、カメラ64の撮像動作を開始する操作がされた場合に、ヘッドマウントディスプレイ1は、カメラ64の撮像動作を開始(ON(オン))する。マスク制御部207は、画像切替部202を撮像画像に切り替えて出力させて、表示パネル63に撮像画像を表示させる。なお、この状態において、画像切替部203は、メモリー画像を出力したままであるので、通信部13は、メモリー画像を他の端末に送信している。
次に、ヘッドマウントディスプレイ1は、マスク指定の処理をする(ステップS103)。ここで、マスク制御部207は、例えば、上述した第1〜第3のマスク処理方法のいずれか、又は、組み合わせによるマスク指定の処理を行う。すなわち、マスク制御部207は、上述した第1〜第3のマスク処理方法のいずれか、又は、組み合わせにより、マスクする領域を取得する。
次に、ヘッドマウントディスプレイ1は、撮像画像のマスク処理を開始する(ステップS104)。マスク制御部207は、画像切替部203に、遅延部201により所定の期間遅延された撮像画像に切り替えて出力させる。そして、マスク制御部207は、画像処理部205に、取得したマスクする領域をマスクする処理を実行させて、マスクされた遅延画像(撮像画像)を通信部13に出力させる。
次に、ヘッドマウントディスプレイ1は、マスクされた撮像画像の送信を開始する(ステップS105)。マスク制御部207は、通信部13にマスクされた遅延画像(撮像画像)を他の端末に送信させる。なお、この状態は、図10のカメラ映像表示状態ST42に対応する。
次に、ヘッドマウントディスプレイ1は、ユーザーからマスク指定要求があるか否かを判定する(ステップS106)。例えば、ユーザーが表示パネル63に表示されている撮像画像に新たにマスクすべき対象物を発見した場合に、ヘッドマウントディスプレイ1は、タッチスイッチ34又は操作スイッチ30によりマスク指定を要求する指示が入力される。マスク制御部207は、入力処理部206を介して、ユーザーからのマスク指定の要求があるか否かを判定する。マスク制御部207は、ユーザーからのマスク指定の要求がある場合(ステップS106:Yes)に、処理をステップS107に進める。また、マスク制御部207は、ユーザーからのマスク指定の要求がない場合(ステップS106:No)に、処理をステップS108に進める。
次に、ステップS107において、ヘッドマウントディスプレイ1は、マスク指定を追加する。すなわち、マスク制御部207は、上述のステップS103の処理と同様の処理を行い、マスクする領域(新たにマスクすべき対象物に対応する領域)を取得する。マスク制御部207は、画像処理部205に、取得した領域をマスクする処理を実行させて、マスクされた遅延画像(撮像画像)を通信部13に出力させる。
なお、表示パネル63に表示されている撮像画像は、遅延部201により遅延される前の撮像画像であり、ステップS106において、ユーザーが新たにマスクすべき対象物を発見した時刻では、ユーザーが新たにマスクすべき対象物を含んだ撮像画像は、通信部13から送信されない。そこで、遅延部201により遅延される所定の期間の間に、ステップS107の処理を実行することにより、画像処理部205は、新たに発見されたマスクすべき対象物をマスクして、通信部13に出力する。
なお、表示パネル63に表示されている撮像画像は、遅延部201により遅延される前の撮像画像であり、ステップS106において、ユーザーが新たにマスクすべき対象物を発見した時刻では、ユーザーが新たにマスクすべき対象物を含んだ撮像画像は、通信部13から送信されない。そこで、遅延部201により遅延される所定の期間の間に、ステップS107の処理を実行することにより、画像処理部205は、新たに発見されたマスクすべき対象物をマスクして、通信部13に出力する。
次に、ステップS108において、ヘッドマウントディスプレイ1は、送信終了か否かを判定する。すなわち、処理部123は、タッチスイッチ34又は操作スイッチ30によりユーザーから撮像画像の送信を終了(停止)する指示が入力されたか否かを判定する。処理部123は、送信終了である場合(ステップS108:Yes)に処理を終了させる。また、処理部123は、送信終了でない場合(ステップS108:No)に処理をステップS106に戻す。
以上説明したように、本実施形態における通信装置200は、カメラ64と、遅延部201と、マスク処理部220と、通信部13と、マスク制御部207とを備えている。
カメラ64が、画像を撮像し、遅延部201が、カメラ64が撮像した撮像画像を所定の期間遅延させた遅延画像を出力する。マスク処理部220は、遅延部201から出力された遅延画像のうちの指定された領域をマスクする。通信部13は、少なくともマスク処理部220によってマスクされた遅延画像を送信する。そして、マスク制御部207は、カメラ64が撮像した撮像画像を表示パネル63に表示させるとともに、マスク処理部220にマスクさせる領域を指定された領域として取得し、遅延画像における指定された領域をマスク処理部220にマスクさせる。
これにより、例えば、ユーザーが撮像画像に新たにマスクすべき対象物を発見した場合に、遅延部201による遅延される所定の期間の間に、マスクする領域を追加することができる。そのため、本実施形態における通信装置200は、撮像画像に含まれるマスクすべき対象物を適切にマスクすることができる。また、このことにより、本実施形態における通信装置200は、マスクすべき対象物が撮像画像に写り込むことによる心理的な負担を低減することができる。
カメラ64が、画像を撮像し、遅延部201が、カメラ64が撮像した撮像画像を所定の期間遅延させた遅延画像を出力する。マスク処理部220は、遅延部201から出力された遅延画像のうちの指定された領域をマスクする。通信部13は、少なくともマスク処理部220によってマスクされた遅延画像を送信する。そして、マスク制御部207は、カメラ64が撮像した撮像画像を表示パネル63に表示させるとともに、マスク処理部220にマスクさせる領域を指定された領域として取得し、遅延画像における指定された領域をマスク処理部220にマスクさせる。
これにより、例えば、ユーザーが撮像画像に新たにマスクすべき対象物を発見した場合に、遅延部201による遅延される所定の期間の間に、マスクする領域を追加することができる。そのため、本実施形態における通信装置200は、撮像画像に含まれるマスクすべき対象物を適切にマスクすることができる。また、このことにより、本実施形態における通信装置200は、マスクすべき対象物が撮像画像に写り込むことによる心理的な負担を低減することができる。
また、本実施形態では、上述の所定の期間は、例えば、表示パネル63による撮像画像の表示から、マスク制御部207がマスクさせる領域を取得し、マスク処理部220が指定された領域をマスクするまでの期間よりも長い期間である。これにより、遅延部201による撮像画像が遅延している間に、確実にマスクする領域を追加指定することができるので、本実施形態における通信装置200は、撮像画像に含まれるマスクすべき対象物を確実にマスクすることができる。
また、本実施形態における通信装置200は、表示パネル63が表示する表示画像に基づいて、情報の入力を処理する入力処理部206を備えている。マスク制御部207は、入力処理部206によって入力された情報に基づいて、マスクさせる領域を取得する。これにより、表示画像を確認しながら簡易な手段によりマスクする領域を指定することができるので、本実施形態における通信装置200は、利便性を向上させつつ、撮像画像に含まれるマスクすべき対象物を適切にマスクすることができる。
また、本実施形態では、マスク処理部220は、撮像画像のうちの指定された領域(マスクする領域)を含まない範囲の領域を切り出して、マスクされた遅延画像を生成してもよい。すなわち、本実施形態における通信装置200は、カメラ64と、マスク処理部220と、通信部13と、マスク制御部207とを備え、マスク処理部220は、カメラ64が撮像した撮像画像のうちのマスクする対象物を含まない範囲の領域を切り出した画像を生成することにより、対象物をマスクする。また、マスク制御部207は、対象物を含まない範囲の領域を取得し、取得した対象物を含まない範囲の領域に基づいて、マスク処理部220に撮像画像をマスクさせる。
これにより、本実施形態における通信装置200は、マスクしているという印象を感じさせない状態で、受信側の他の端末とコミュニケーションすることができる。
これにより、本実施形態における通信装置200は、マスクしているという印象を感じさせない状態で、受信側の他の端末とコミュニケーションすることができる。
また、本実施形態におけるヘッドマウントディスプレイ1は、上述した通信装置200と、少なくともカメラ64及び表示パネル63をユーザーの頭部、又は頭部の近傍に装着するヘッドバンド40とを備えている。
これにより、本実施形態におけるヘッドマウントディスプレイ1は、上述した通信装置200と同様の効果を奏する。例えば、本実施形態におけるヘッドマウントディスプレイ1は、撮像画像に含まれるマスクすべき対象物を適切にマスクすることができる。
これにより、本実施形態におけるヘッドマウントディスプレイ1は、上述した通信装置200と同様の効果を奏する。例えば、本実施形態におけるヘッドマウントディスプレイ1は、撮像画像に含まれるマスクすべき対象物を適切にマスクすることができる。
次に、第2実施形態について、図面を参照して説明する。
[第2実施形態]
図16は、第2実施形態における処理部123aの機能ブロック図である。
なお、第2実施形態では、第1実施形態における処理部123が、処理部123aに置き換わる点を除いて、第1実施形態における図1〜図7、及び図9の構成と同様である。
[第2実施形態]
図16は、第2実施形態における処理部123aの機能ブロック図である。
なお、第2実施形態では、第1実施形態における処理部123が、処理部123aに置き換わる点を除いて、第1実施形態における図1〜図7、及び図9の構成と同様である。
図16において、処理部123aは、遅延部201、切替部210、マスク処理部220a、入力処理部206、マスク制御部207a、及びマスク情報生成部208を備えている。なお、本実施形態では、受信側の装置において、マスクを解除する処理が追加されるため、処理部123aを備えているヘッドマウントディスプレイ1と同様の構成を備えるヘッドマウントディスプレイ500(HMD500)がネットワーク230を介して接続されている構成により説明する。
ヘッドマウントディスプレイ500は、処理部123aと同一の構成である処理部523を備えている。
なお、この図において、図8と同一の構成については同一の符号を付し、その説明を省略する。
ヘッドマウントディスプレイ500は、処理部123aと同一の構成である処理部523を備えている。
なお、この図において、図8と同一の構成については同一の符号を付し、その説明を省略する。
マスク情報生成部208は、マスクが必要か否かを示すマスク要否情報と、マスクさせる領域に対応するマスクに関する情報とを関連付けたマスク情報を生成する。ここで、マスク要否情報とは、受信側がマスクする必要のあるユーザーか否かに対応する情報であり、複数のレベルに分類されたレベル情報を含んでいてもよい。例えば、ヘッドマウントディスプレイ1がネットワーク230を介して他の端末(例えば、HMD500など)に接続されている場合に、ヘッドマウントディスプレイ1のユーザーとHMD500のユーザーが同一の会社の人間であれば、撮像画像をマスクする必要はない場合が考えられる。また、HMD500のユーザーが、例えば、他の会社の人間などであれば、秘密保持やセキュリティ上、撮像画像をマスクする必要が生じる場合がある。このような場合に対応するため、本実施形態では、マスク情報生成部208が、マスクが必要か否かを示すマスク要否情報をマスクに関する情報に付加してマスク情報を生成する。
なお、このレベル情報は、例えば、「社内」、「グループ会社内」、「他社」などのように、3つ以上のレベルに分類されてもよい。このレベル情報は、例えば、レベル情報の値が高いほど、秘密性又はセキュリティが高く、レベル情報の値が低いほど、秘密性又はセキュリティが低く設定されてもよい。また、他の端末におけるマスク要否情報のレベルは、予め設定されていてもよいし、受信側の他の端末と通信を行う際に、撮像画像の送信側であるヘッドマウントディスプレイ1が設定し、設定したレベル情報を他の端末に通信部13を介して送信してもよい。
また、マスクに関する情報とは、マスクを解除するための情報であり、例えば、マスクの位置、サイズ、形状、マスク処理方法などの情報である。
また、マスクに関する情報とは、マスクを解除するための情報であり、例えば、マスクの位置、サイズ、形状、マスク処理方法などの情報である。
マスク処理部220aは、上述したマスク処理部220と同様の処理の他に、上述したマスク情報に基づいて、マスクされている画像のマスクを解除する処理を実行する。なお、本実施形態におけるマスク処理方法は、マスクを解除することができる必要がある。マスク処理部220aは、例えば、所定のアルゴリズムや関数により、指定された領域の画像を置換又は変換し、可逆変換可能なモザイク模様のようなマスク処理を行ってもよい。また、例えば、マスク情報にマスクした領域のマスク前の部分画像が含まれており、マスク処理部220aは、マスク前の部分画像に基づいて、マスクされている画像のマスクを解除する処理を実行してもよい。
また、マスク処理部220aは、2つの画像処理部(204a,205)を備えている。
また、マスク処理部220aは、2つの画像処理部(204a,205)を備えている。
画像処理部204aは、画像切替部202から出力された画像に対して、各種画像処理を実行し、画像処理した画像をデコーダー121に出力する。画像処理部204aは、例えば、画像の一部領域を切り出して拡大・縮小する処理や、アバター画像などの合成処理や、上述したマスク処理などの画像処理を実行する。また、画像処理部204aは、後述するマスク制御部207aの指示により、マスク情報に基づいて、マスクされた画像のマスクを解除する処理を実行する。また、画像処理部204aは、後述するマスク制御部207aの指示により、画像処理を実行せずに、画像切替部202から出力された画像をそのままデコーダー121に出力する。
マスク制御部207a(制御部)は、撮像画像を送信する場合に、上述したマスク制御部207と同様の処理を実行するとともに、マスク情報生成部208にマスク情報を生成させる。なお、マスク制御部207aは、マスクする領域の取得の際に、入力処理部206を介して、マスク要否情報に含まれるレベル情報を取得し、取得したマスクする領域、及びレベル情報に基づいて、マスク情報生成部208にマスク情報を生成させる。また、マスク制御部207aは、画像処理部204aがマスクした遅延画像(撮像画像)とともにマスク情報を、通信部13を介して他の端末(例えば、HMD500)に送信させる。
また、マスク制御部207aは、通信部13(通信部513)を介して他の端末から受信したマスク情報に基づいて、マスクを解除して表示パネル63に表示させるか否かを判定する。マスク制御部207aは、例えば、受信側で設定されているレベルの値が、受信したレベル情報の値以上である場合に、マスクを解除すると判定する。マスク制御部207aは、マスクを解除すると判定した場合に、マスク処理部220aに、受信したマスクされた画像に含まれるマスクを、受信したマスク情報に基づいてマスク解除する処理を実行させる。また、マスク制御部207aは、マスクを解除しないと判定した場合に、マスク処理部220aに、受信したマスクされた画像をそのままデコーダー121に出力させる。
次に、第2実施形態におけるヘッドマウントディスプレイ1の動作について説明する。
本実施形態におけるヘッドマウントディスプレイ1の動作における状態遷は、図10と同様であるので、ここでは説明を省略する。また、本実施形態におけるマスク処理方法(マスク指定、及びマスク処理)は、第1実施形態における第1〜第3のマスク処理方法と同様であり、ここでは説明を省略する。
本実施形態におけるヘッドマウントディスプレイ1の動作における状態遷は、図10と同様であるので、ここでは説明を省略する。また、本実施形態におけるマスク処理方法(マスク指定、及びマスク処理)は、第1実施形態における第1〜第3のマスク処理方法と同様であり、ここでは説明を省略する。
次に、本実施形態におけるヘッドマウントディスプレイ1が、撮像画像を送信、及び受信する動作について説明する。
図17は、本実施形態における撮像画像を送信、及び受信する処理の一例を示すフローチャートである。
図17において、ステップS201〜ステップS209の処理は、ヘッドマウントディスプレイ1(HMD1)による送信側の処理を示している。また、ステップS501〜ステップS507の処理は、ヘッドマウントディスプレイ500(HMD500)による受信側の処理を示している。
図17は、本実施形態における撮像画像を送信、及び受信する処理の一例を示すフローチャートである。
図17において、ステップS201〜ステップS209の処理は、ヘッドマウントディスプレイ1(HMD1)による送信側の処理を示している。また、ステップS501〜ステップS507の処理は、ヘッドマウントディスプレイ500(HMD500)による受信側の処理を示している。
まず、ヘッドマウントディスプレイ1の送信側の処理について説明する。
ステップS201〜ステップS204の処理は、図15に示される第1実施形態におけるステップS101〜ステップS104の処理と同様であるので、ここでは説明を省略する。
ステップS201〜ステップS204の処理は、図15に示される第1実施形態におけるステップS101〜ステップS104の処理と同様であるので、ここでは説明を省略する。
次に、ステップS205において、ヘッドマウントディスプレイ1は、マスク情報の生成を開始する。マスク制御部207aは、取得したマスクする領域、及びレベル情報に基づいて、マスク情報生成部208にマスク情報を生成させる。マスク情報生成部208は、レベル情報を含むマスク要否情報と、マスクさせる領域に対応するマスクに関する情報とを関連付けたマスク情報を生成する。
次に、ヘッドマウントディスプレイ1は、マスクされた撮像画像、及びマスク情報の送信を開始する(ステップS206)。マスク制御部207aは、通信部13にマスクされた遅延画像(撮像画像)とともにマスク情報を他の端末(例えば、HMD500)に送信させる。
続くステップS207〜ステップS209の処理は、図15に示される第1実施形態におけるステップS106〜ステップS108の処理と同様であるので、ここでは説明を省略する。
次に、ヘッドマウントディスプレイ500(HMD500)の受信側の処理について説明する。
まず、ヘッドマウントディスプレイ1において、ステップS201の処理が実行された場合に、ヘッドマウントディスプレイ500は、メモリー画像の受信を開始する(ステップS501)。すなわち、ヘッドマウントディスプレイ500の通信部513は、ヘッドマウントディスプレイ1から送信されたメモリー画像を受信し、処理部123a(処理部523)に供給する。
まず、ヘッドマウントディスプレイ1において、ステップS201の処理が実行された場合に、ヘッドマウントディスプレイ500は、メモリー画像の受信を開始する(ステップS501)。すなわち、ヘッドマウントディスプレイ500の通信部513は、ヘッドマウントディスプレイ1から送信されたメモリー画像を受信し、処理部123a(処理部523)に供給する。
次に、ヘッドマウントディスプレイ500は、受信したメモリー画像の表示を開始する(ステップS502)。ヘッドマウントディスプレイ500のマスク制御部207aは、画像切替部202に通信部513が受信したメモリー画像を画像処理部204aに出力させる。また、マスク制御部207aは、画像処理部204aにそのままメモリー画像をデコーダー121に出力させて、表示パネル563に表示させる。
次に、ヘッドマウントディスプレイ1において、ステップS206の処理が実行された場合に、ヘッドマウントディスプレイ500は、マスクされた撮像画像、及びマスク情報の受信を開始する(ステップS503)。すなわち、ヘッドマウントディスプレイ500の通信部513は、ヘッドマウントディスプレイ1から送信された、マスクされた撮像画像、及びマスク情報を受信し、受信したマスクされた撮像画像、及びマスク情報を処理部123aに供給する。
次に、ヘッドマウントディスプレイ500は、受信したレベル情報がマスク解除のレベルに対応するか否かを判定する(ステップS504)。マスク制御部207aは、例えば、予め設定されているヘッドマウントディスプレイ500のレベルの値が、受信したマスク情報に含まれるレベル情報の値以上である場合にマスク解除に対応すると判定し、レベル情報の値未満である場合にマスク解除に対応しないと判定する。
マスク制御部207aは、受信したレベル情報がマスク解除に対応する場合(ステップS504:Yes)に、処理をステップS505に進める。また、マスク制御部207aは、受信したレベル情報がマスク解除に対応しない場合(ステップS504:No)に、処理をステップS506に進める。
マスク制御部207aは、受信したレベル情報がマスク解除に対応する場合(ステップS504:Yes)に、処理をステップS505に進める。また、マスク制御部207aは、受信したレベル情報がマスク解除に対応しない場合(ステップS504:No)に、処理をステップS506に進める。
次に、ステップS505において、ヘッドマウントディスプレイ500は、マスクされた撮像画像のマスク解除を開始する。マスク制御部207aは、マスク処理部220aの画像処理部204aに、受信したマスクされた画像に含まれるマスクを、受信したマスク情報に基づいてマスク解除する処理を実行させる。なお、このマスクを解除する際に、画像処理部204aは、後述する図18に示すように、マスクを解除した撮像画像にマスクを解除したことを示す情報(例、図18のマスク範囲情報MI1〜MI4)を合成(重畳)してもよい。
次に、ステップS506において、ヘッドマウントディスプレイ500は、撮像画像の表示を開始する。すなわち、画像処理部204aがデコーダー121に撮像画像を出力し、表示パネル63が、撮像画像を表示する。
次に、ステップS507において、ヘッドマウントディスプレイ500は、送信終了か否かを判定する。すなわち、処理部123aは、撮像画像の送信を終了(停止)か否かを判定する。処理部123aは、送信終了である場合(ステップS507:Yes)に処理を終了させる。また、処理部123aは、送信終了でない場合(ステップS507:No)に処理をステップS507に戻して、送信が終了するまで繰り返す。
なお、上述の例では、受信側の端末をヘッドマウントディスプレイ500としたが、PC250としてもよい。また、ヘッドマウントディスプレイ1が、他の端末(例えば、HMD500、PC250など)が撮像した撮像画像を受信する場合の処理は、上述したヘッドマウントディスプレイ500の処理と同様である。
なお、上述の例では、受信側の端末をヘッドマウントディスプレイ500としたが、PC250としてもよい。また、ヘッドマウントディスプレイ1が、他の端末(例えば、HMD500、PC250など)が撮像した撮像画像を受信する場合の処理は、上述したヘッドマウントディスプレイ500の処理と同様である。
以上説明したように、本実施形態における通信装置200は、マスクが必要か否かを示すマスク要否情報と、マスクさせる領域に対応するマスクに関する情報とを関連付けたマスク情報を生成するマスク情報生成部208を備えている。そして、通信部13は、マスクされた遅延画像(撮像画像)とともに、マスク情報を送信する。
これにより、受信側の他の端末(他装置)において、マスクを解除することができるので、本実施形態における通信装置200は、受信側に応じて、撮像画像に含まれるマスクすべき対象物を適切にマスクすることができる。また、このことにより、本実施形態における通信装置200は、マスクすべき対象物が撮像画像に写り込むことによる心理的な負担を低減することができる。
これにより、受信側の他の端末(他装置)において、マスクを解除することができるので、本実施形態における通信装置200は、受信側に応じて、撮像画像に含まれるマスクすべき対象物を適切にマスクすることができる。また、このことにより、本実施形態における通信装置200は、マスクすべき対象物が撮像画像に写り込むことによる心理的な負担を低減することができる。
例えば、本実施形態におけるヘッドマウントディスプレイ1(通信装置200)を用いて、社内と社外とでテレビ電話による打合せをする場合に、社内向けにはマスクをせずにすべての状況を確認させ、社外向けには「社外秘」をマスクした画像を提供することが可能である。すなわち、本実施形態における通信装置200は、複数の送信先に、撮像画像を送信する場合に、送信先に応じて適切にマスクを行うことができる。
このように、本実施形態における通信装置200は、マスクをしない共有範囲を受信先の相手に応じて、切り替えることにより、同時にコミュニケーションを行いながらも、社内の人間相手には、社外より情報量を多く発信することができる。
このように、本実施形態における通信装置200は、マスクをしない共有範囲を受信先の相手に応じて、切り替えることにより、同時にコミュニケーションを行いながらも、社内の人間相手には、社外より情報量を多く発信することができる。
また、本実施形態では、通信部13(通信部513)は、他装置によってマスクされた画像及びマスク情報を受信し、マスク処理部220aは、マスク制御部207aの指示により、マスクされた画像に含まれるマスクをマスク情報に基づいて解除する。マスク制御部207aは、通信部13が他装置からマスクされた画像を受信した場合に、マスク要否情報に基づいて、マスクされた画像のマスクを解除するか否かを判定する。マスク制御部207aは、マスクされた画像のマスクを解除すると判定した場合に、マスクされた画像に含まれるマスクをマスク処理部220aに解除させるとともに、マスクを解除させた画像を表示パネル63(表示パネル563)に表示させる。
これにより、本実施形態における通信装置200は、撮像画像を受信する際に、適切にマスクを解除することができる。
これにより、本実施形態における通信装置200は、撮像画像を受信する際に、適切にマスクを解除することができる。
また、本実施形態では、マスク制御部207aは、マスクを解除したことを示す情報(例、図18のマスク範囲情報MI1〜MI4)を、マスクを解除させた画像とともに表示パネル63に表示させてもよい。
ここで、図18は、本実施形態におけるマスクを解除した撮像画像の表示例を示す図である。この図において、画像G6は、表示パネル63(表示パネル563)に表示されるマスクを解除した撮像画像を示している。また、マスク範囲情報MI1〜MI4は、上述したマスクを解除したことを示す情報である。
これにより、マスクを解除された撮像画像を見ているユーザーが、マスクされている撮像画像においてマスクされている領域を知ることができる。そのため、本実施形態における通信装置200は、ユーザーがどこまでが共有されている情報であるかを認識しながらコミュニケーションを図ることができる。
ここで、図18は、本実施形態におけるマスクを解除した撮像画像の表示例を示す図である。この図において、画像G6は、表示パネル63(表示パネル563)に表示されるマスクを解除した撮像画像を示している。また、マスク範囲情報MI1〜MI4は、上述したマスクを解除したことを示す情報である。
これにより、マスクを解除された撮像画像を見ているユーザーが、マスクされている撮像画像においてマスクされている領域を知ることができる。そのため、本実施形態における通信装置200は、ユーザーがどこまでが共有されている情報であるかを認識しながらコミュニケーションを図ることができる。
また、上述したマスク要否情報は、複数のレベルに分類されたレベル情報を含んでもよい。
これにより、複数段階に分けてマスクをかける(又は解除する)ことが可能になるので、本実施形態における通信装置200は、複数の他装置と接続する場合に、撮像画像を受信する相手先に応じて、撮像画像に含まれるマスクすべき対象物を適切にマスクすることができる。
これにより、複数段階に分けてマスクをかける(又は解除する)ことが可能になるので、本実施形態における通信装置200は、複数の他装置と接続する場合に、撮像画像を受信する相手先に応じて、撮像画像に含まれるマスクすべき対象物を適切にマスクすることができる。
なお、本実施形態における通信装置200は、遅延部201を備えない形態であってもよい。すなわち、本実施形態における通信装置200は、カメラ64と、マスク処理部220aと、マスク情報生成部208と、通信部13と、マスク制御部207aとを備え、マスク情報生成部208は、マスクが必要か否かを示すマスク要否情報と、指定された領域に対応するマスクに関する情報とを関連付けたマスク情報を生成する。通信部13は、少なくともマスク処理部220aによってマスクされた撮像画像とともに、マスク情報を送信する。そして、マスク制御部207aは、マスク処理部220aにマスクさせる領域を指定された領域として取得し、撮像画像における指定された領域をマスク処理部220aにマスクさせる。
これにより、本実施形態における通信装置200は、受信側に応じて、撮像画像に含まれるマスクすべき対象物を適切にマスクすることができる。
これにより、本実施形態における通信装置200は、受信側に応じて、撮像画像に含まれるマスクすべき対象物を適切にマスクすることができる。
なお、本実施形態におけるヘッドマウントディスプレイ1は、本実施形態における通信装置200を備えているので、本実施形態におけるヘッドマウントディスプレイ1においても、本実施形態における通信装置200と同様の効果を奏する。
次に、第3実施形態について、図面を参照して説明する。
[第3実施形態]
図19は、第3実施形態における処理部123bの機能ブロック図である。
なお、第3実施形態では、第2実施形態における処理部123aが、処理部123bに置き換わる点を除いて、第2実施形態の構成と同様である。
[第3実施形態]
図19は、第3実施形態における処理部123bの機能ブロック図である。
なお、第3実施形態では、第2実施形態における処理部123aが、処理部123bに置き換わる点を除いて、第2実施形態の構成と同様である。
図19において、処理部123bは、遅延部201、切替部210、マスク処理部220b、入力処理部206、マスク制御部207b、及びマスク情報生成部208を備えている。なお、上述した第2実施形態では、マスク処理部220aが送信側でマスク処理を行う形態であったが、第3実施形態では、マスク処理部220bが受信側でマスク処理を行う。また、本実施形態において、マスクに関する情報とは、マスク処理を行うための情報であり、例えば、マスクの位置、サイズ、形状、マスク処理方法などの情報である。
また、この図において、図16と同一の構成については同一の符号を付し、その説明を省略する。
また、この図において、図16と同一の構成については同一の符号を付し、その説明を省略する。
マスク処理部220bは、上述したマスク処理部220bと同様の処理の他に、上述したマスク情報に基づいて、マスクされている画像のマスクを解除する処理を実行する。マスク処理部220bは、2つの画像処理部(204b,205)を備えている。
画像処理部204bは、画像切替部202から出力された画像に対して、各種画像処理を実行し、画像処理した画像をデコーダー121に出力する。画像処理部204bは、例えば、画像の一部領域を切り出して拡大・縮小する処理や、アバター画像などの合成処理や、上述したマスク処理などの画像処理を実行する。また、画像処理部204bは、後述するマスク制御部207bの指示により、マスク情報に基づいて、受信した画像をマスクする処理を実行する。また、画像処理部204bは、後述するマスク制御部207bの指示により、画像処理を実行せずに、画像切替部202から出力された画像をそのままデコーダー121に出力する。
マスク制御部207b(制御部)は、撮像画像を送信する場合に、上述した画像処理部204bに画像処理を実行せずに、画像切替部202から出力された画像をそのままデコーダー121に出力させるとともに、マスク情報生成部208にマスク情報を生成させる。なお、マスク制御部207bは、マスクする領域の取得の際に、入力処理部206を介して、マスク要否情報に含まれるレベル情報を取得し、取得したマスクする領域、及びレベル情報に基づいて、マスク情報生成部208にマスク情報を生成させる。また、マスク制御部207bは、画像処理部205にマスク処理を実行させずにそのまま遅延画像(撮像画像)を、通信部13を介して他の端末(例えば、HMD500)に送信させるとともに、マスク情報を、通信部13を介して他の端末(例えば、HMD500)に送信させる。
また、マスク制御部207bは、通信部13(通信部513)を介して他の端末から受信したマスク情報に基づいて、マスク処理を実行して表示パネル63に表示させるか否かを判定する。マスク制御部207bは、例えば、受信側で設定されているレベルの値が、受信したレベル情報の値以上である場合に、マスク処理を実行しないと判定し、例えば、受信側で設定されているレベルの値が、受信したレベル情報の値未満である場合に、マスク処理を実行すると判定する。マスク制御部207bは、マスク処理を実行すると判定した場合に、マスク処理部220bに、受信したマスク情報に基づいて、受信した撮像画像をマスクする処理を実行させる。また、マスク制御部207bは、マスク処理をしないと判定した場合に、マスク処理部220bに、受信した撮像画像をそのままデコーダー121に出力させる。
次に、第3実施形態におけるヘッドマウントディスプレイ1の動作について説明する。
本実施形態におけるヘッドマウントディスプレイ1の動作における状態遷は、図10と同様であるので、ここでは説明を省略する。また、本実施形態におけるマスク処理方法(マスク指定、及びマスク処理)は、第1実施形態における第1〜第3のマスク処理方法と同様であり、ここでは説明を省略する。
本実施形態におけるヘッドマウントディスプレイ1の動作における状態遷は、図10と同様であるので、ここでは説明を省略する。また、本実施形態におけるマスク処理方法(マスク指定、及びマスク処理)は、第1実施形態における第1〜第3のマスク処理方法と同様であり、ここでは説明を省略する。
次に、本実施形態におけるヘッドマウントディスプレイ1が、撮像画像を送信、及び受信する動作について説明する。
図20は、本実施形態における撮像画像を送信、及び受信する処理の一例を示すフローチャートである。
図20において、ステップS301〜ステップS308の処理は、ヘッドマウントディスプレイ1(HMD1)による送信側の処理を示している。また、ステップS601〜ステップS607の処理は、ヘッドマウントディスプレイ500(HMD500)による受信側の処理を示している。
図20は、本実施形態における撮像画像を送信、及び受信する処理の一例を示すフローチャートである。
図20において、ステップS301〜ステップS308の処理は、ヘッドマウントディスプレイ1(HMD1)による送信側の処理を示している。また、ステップS601〜ステップS607の処理は、ヘッドマウントディスプレイ500(HMD500)による受信側の処理を示している。
まず、ヘッドマウントディスプレイ1の送信側の処理について説明する。
ステップS301〜ステップS303の処理は、図17に示される第2実施形態におけるステップS201〜ステップS203の処理と同様であるので、ここでは説明を省略する。
ステップS301〜ステップS303の処理は、図17に示される第2実施形態におけるステップS201〜ステップS203の処理と同様であるので、ここでは説明を省略する。
また、本実施形態では、送信側において、マスク処理が実行されないため、ステップS305において、ヘッドマウントディスプレイ1は、撮像画像、及びマスク情報の送信を開始する。すなわち、マスク制御部207bは、通信部13に遅延画像(撮像画像)とともにマスク情報を他の端末(例えば、HMD500)に送信させる。
続くステップS306〜ステップS308の処理は、図17に示される第2実施形態におけるステップS207〜ステップS209の処理と同様であるので、ここでは説明を省略する。但し、ステップS308において、マスク制御部207bは、画像処理部205にマスク処理を実行させずに、撮像画像をそのまま、通信部13に送信させる。
次に、ヘッドマウントディスプレイ500(HMD500)の受信側の処理について説明する。
まず、ヘッドマウントディスプレイ1において、ステップS301の処理が実行された場合に、ヘッドマウントディスプレイ500は、メモリー画像の受信を開始する(ステップS601)。なお、ステップS601〜ステップS602の処理は、図17に示される第2実施形態におけるステップS501〜ステップS503の処理と同様であるので、ここでは説明を省略する。
まず、ヘッドマウントディスプレイ1において、ステップS301の処理が実行された場合に、ヘッドマウントディスプレイ500は、メモリー画像の受信を開始する(ステップS601)。なお、ステップS601〜ステップS602の処理は、図17に示される第2実施形態におけるステップS501〜ステップS503の処理と同様であるので、ここでは説明を省略する。
次に、ヘッドマウントディスプレイ1において、ステップS305の処理が実行された場合に、ヘッドマウントディスプレイ500は、撮像画像、及びマスク情報の受信を開始する(ステップS603)。すなわち、ヘッドマウントディスプレイ500の通信部513は、ヘッドマウントディスプレイ1から送信された、撮像画像、及びマスク情報を受信し、受信した撮像画像、及びマスク情報を処理部123bに供給する。
次に、ヘッドマウントディスプレイ500は、受信したレベル情報がマスク処理を実行するレベルに対応するか否かを判定する(ステップS604)。マスク制御部207bは、例えば、予め設定されているヘッドマウントディスプレイ500のレベルの値が、受信したマスク情報に含まれるレベル情報の値以上である場合にマスク処理を実行しないレベルに対応すると判定し、レベル情報の値未満である場合にマスク処理を実行するレベルに対応しないと判定する。
マスク制御部207bは、受信したレベル情報がマスク処理を実行するレベルに対応する場合(ステップS604:Yes)に、処理をステップS605に進める。また、マスク制御部207bは、受信したレベル情報がマスク処理を実行しないレベル対応しない場合(ステップS604:No)に、処理をステップS606に進める。
なお、このマスク処理をしない場合(ステップS604:No)に、画像処理部204bは、図18に示すマスク範囲情報MI1〜MI4と同様に、撮像画像の指定された領域にマスク処理を行わないことを示す情報を合成(重畳)してもよい。
マスク制御部207bは、受信したレベル情報がマスク処理を実行するレベルに対応する場合(ステップS604:Yes)に、処理をステップS605に進める。また、マスク制御部207bは、受信したレベル情報がマスク処理を実行しないレベル対応しない場合(ステップS604:No)に、処理をステップS606に進める。
なお、このマスク処理をしない場合(ステップS604:No)に、画像処理部204bは、図18に示すマスク範囲情報MI1〜MI4と同様に、撮像画像の指定された領域にマスク処理を行わないことを示す情報を合成(重畳)してもよい。
次に、ステップS605において、ヘッドマウントディスプレイ500は、受信したマスク情報に基づいて、撮像画像のマスク処理を開始する。マスク制御部207bは、マスク処理部220bの画像処理部204bに、受信したマスク情報に基づいて、受信した撮像画像をマスクする処理を実行させる。
続くステップS606〜ステップS607の処理は、図17に示される第2実施形態におけるステップS506〜ステップS507の処理と同様であるので、ここでは説明を省略する。
以上説明したように、本実施形態における通信装置200は、カメラ64と、マスク情報生成部208と、通信部13とを備えている。カメラ64は、画像を撮像し、マスク情報生成部208は、マスクが必要か否かを示すマスク要否情報と、カメラ64が撮像した撮像画像のうちのマスクする領域として指定された領域に対応するマスクに関する情報とを関連付けたマスク情報を生成する。通信部13は、少なくとも撮像画像とともに、マスク情報を送信する。
これにより、受信側の他の端末(他装置)において、マスクが必要か否かを示すマスク要否情報に基づいてマスク処理をすることができるので、本実施形態における通信装置200は、第2実施形態と同様に、受信側に応じて、撮像画像に含まれるマスクすべき対象物を適切にマスクすることができる。
これにより、受信側の他の端末(他装置)において、マスクが必要か否かを示すマスク要否情報に基づいてマスク処理をすることができるので、本実施形態における通信装置200は、第2実施形態と同様に、受信側に応じて、撮像画像に含まれるマスクすべき対象物を適切にマスクすることができる。
また、本実施形態における通信装置200は、マスク処理部220bと、マスク制御部207bとを備えている。マスク制御部207bは、通信部13を介して受信した撮像画像をマスク要否情報に基づいて指定された領域をマスクするか否かを判定する。マスク制御部207bは、指定された領域をマスクする場合に、マスク処理部220bに、受信した撮像画像をマスク情報に基づいて指定された領域をマスクさせるとともに、マスクした画像を表示パネル63に表示させる。
これにより、本実施形態における通信装置200は、撮像画像を受信する場合に、適切にマスクした画像を表示パネル63に表示させることができる。
これにより、本実施形態における通信装置200は、撮像画像を受信する場合に、適切にマスクした画像を表示パネル63に表示させることができる。
なお、本実施形態におけるヘッドマウントディスプレイ1は、本実施形態における通信装置200を備えているので、本実施形態におけるヘッドマウントディスプレイ1においても、本実施形態における通信装置200と同様の効果を奏する。
次に、第4実施形態について、図面を参照して説明する。
[第4実施形態]
図21は、第4実施形態における処理部123cの機能ブロック図である。
なお、第4実施形態では、第1実施形態における処理部123が、処理部123cに置き換わる点を除いて、第1実施形態の構成と同様である。
[第4実施形態]
図21は、第4実施形態における処理部123cの機能ブロック図である。
なお、第4実施形態では、第1実施形態における処理部123が、処理部123cに置き換わる点を除いて、第1実施形態の構成と同様である。
図21において、処理部123cは、遅延部201、切替部210、マスク処理部220、入力処理部206、マスク制御部207c、及びコード検出部209を備えている。
なお、この図において、図8と同一の構成については同一の符号を付し、その説明を省略する。
なお、この図において、図8と同一の構成については同一の符号を付し、その説明を省略する。
本実施形態では、処理部123cがコード検出部209を備えている点が、第1実施形態と異なる。
コード検出部209は、カメラ64が撮像した撮像画像に含まれる2次元コードを検出する。ここで、2次元コードは、例えば、QRコード(登録商標)などであり、バーコードであってもよい。また、2次元コードは、予めマスクすべき対象物に印刷又は貼り付けられている。2次元コードに含まれる情報には、例えば、マスクする対象物の形状、サイズなどが含まれている。
コード検出部209は、カメラ64が撮像した撮像画像に含まれる2次元コードを検出する。ここで、2次元コードは、例えば、QRコード(登録商標)などであり、バーコードであってもよい。また、2次元コードは、予めマスクすべき対象物に印刷又は貼り付けられている。2次元コードに含まれる情報には、例えば、マスクする対象物の形状、サイズなどが含まれている。
マスク制御部207c(制御部)は、撮像画像を送信する場合に、上述したマスク制御部207と同様の処理を実行するとともに、コード検出部209によって検出された2次元コードに基づいて、マスクさせる領域を取得する。マスク制御部207cは、例えば、コード検出部209が検出した2次元コードに含まれる対象物の形状、及びサイズと、撮像画像内における2次元コードの大きさとに基づいて、マスクさせる領域を取得する。なお、マスク制御部207cは、例えば、コード検出部209が検出した2次元コードに含まれる対象物の形状、及びサイズと、カメラ64が測距した2次元コードまでの距離とに基づいて、マスクさせる領域を取得してもよい。
マスク制御部207cは、取得したマスクさせる領域を指定された領域として、マスク処理部220の画像処理部205に、遅延画像における指定された領域をマスクさせる。
マスク制御部207cは、取得したマスクさせる領域を指定された領域として、マスク処理部220の画像処理部205に、遅延画像における指定された領域をマスクさせる。
図22は、本実施形態における2次元コードに基づくマスク指定、及びマスク処理の一例を示す図である。
図22(a)において、画像G7は、マスクする対象物に貼り付けられた2次元コードC1を含んでいる撮像画像を示している。また、図22(b)において、画像G8は、2次元コードC1が貼り付けられた対象物をマスクした撮像画像を示している。画像G8において、領域M7は、2次元コードC1に基づいてマスクされた領域を示している。
図22の場合、コード検出部209は、画像G7から2次元コードC1を検出し、2次元コードC1に含まれる情報をマスク制御部207cに出力する。マスク制御部207cは、2次元コードC1に含まれる情報(マスクする対象物の形状及びサイズ)に基づいて、マスクする領域を取得する。マスク制御部207cは、図22(b)の領域M7に示すように、取得したマスクする領域をマスク処理部220の画像処理部205にマスクさせる。
図22(a)において、画像G7は、マスクする対象物に貼り付けられた2次元コードC1を含んでいる撮像画像を示している。また、図22(b)において、画像G8は、2次元コードC1が貼り付けられた対象物をマスクした撮像画像を示している。画像G8において、領域M7は、2次元コードC1に基づいてマスクされた領域を示している。
図22の場合、コード検出部209は、画像G7から2次元コードC1を検出し、2次元コードC1に含まれる情報をマスク制御部207cに出力する。マスク制御部207cは、2次元コードC1に含まれる情報(マスクする対象物の形状及びサイズ)に基づいて、マスクする領域を取得する。マスク制御部207cは、図22(b)の領域M7に示すように、取得したマスクする領域をマスク処理部220の画像処理部205にマスクさせる。
なお、マスク制御部207cは、図23に示すように、複数の2次元コードによって囲まれた領域をマスクする領域として取得してもよい。
図23は、本実施形態における2次元コードに基づくマスク指定、及びマスク処理の別の一例を示す図である。
図23(a)において、画像G9は、マスクする対象物に貼り付けられた2次元コードC2〜C5を含んでいる撮像画像を示している。また、図23(b)において、画像G10は、2次元コードC2〜C5によって囲まれた領域をマスクした撮像画像を示している。画像G10において、領域M8は、2次元コードC1に基づいてマスクされた領域を示している。
この図23の場合、コード検出部209は、画像G9から2次元コードC2〜C5を検出し、例えば、2次元コードC2〜C5の位置情報をマスク制御部207cに出力する。マスク制御部207cは、2次元コードC2〜C5の位置情報に基づいて、マスクする領域(2次元コードC2〜C5によって囲まれた領域)を取得する。マスク制御部207cは、図23(b)の領域M8に示すように、取得したマスクする領域をマスク処理部220の画像処理部205にマスクさせる。
図23は、本実施形態における2次元コードに基づくマスク指定、及びマスク処理の別の一例を示す図である。
図23(a)において、画像G9は、マスクする対象物に貼り付けられた2次元コードC2〜C5を含んでいる撮像画像を示している。また、図23(b)において、画像G10は、2次元コードC2〜C5によって囲まれた領域をマスクした撮像画像を示している。画像G10において、領域M8は、2次元コードC1に基づいてマスクされた領域を示している。
この図23の場合、コード検出部209は、画像G9から2次元コードC2〜C5を検出し、例えば、2次元コードC2〜C5の位置情報をマスク制御部207cに出力する。マスク制御部207cは、2次元コードC2〜C5の位置情報に基づいて、マスクする領域(2次元コードC2〜C5によって囲まれた領域)を取得する。マスク制御部207cは、図23(b)の領域M8に示すように、取得したマスクする領域をマスク処理部220の画像処理部205にマスクさせる。
次に、第4実施形態におけるヘッドマウントディスプレイ1の動作について説明する。
本実施形態におけるヘッドマウントディスプレイ1の動作における状態遷は、図10と同様であるので、ここでは説明を省略する。また、本実施形態におけるマスク処理方法(マスク指定、及びマスク処理)は、第1実施形態における第1〜第3のマスク処理方法と同様であり、ここでは説明を省略する。
本実施形態におけるヘッドマウントディスプレイ1の動作における状態遷は、図10と同様であるので、ここでは説明を省略する。また、本実施形態におけるマスク処理方法(マスク指定、及びマスク処理)は、第1実施形態における第1〜第3のマスク処理方法と同様であり、ここでは説明を省略する。
次に、本実施形態におけるヘッドマウントディスプレイ1が、撮像画像を送信、及び受信する動作について説明する。
図24は、本実施形態における撮像画像を送信する処理の一例を示すフローチャートである。
この図において、ステップS401〜ステップS405の処理は、図15に示される第1実施形態におけるステップS101〜ステップS105の処理と同様であるので、ここでは説明を省略する。
なお、ステップS403の処理には、上述した2次元コードに基づいて、マスクする領域を指定する処理も含まれる。
図24は、本実施形態における撮像画像を送信する処理の一例を示すフローチャートである。
この図において、ステップS401〜ステップS405の処理は、図15に示される第1実施形態におけるステップS101〜ステップS105の処理と同様であるので、ここでは説明を省略する。
なお、ステップS403の処理には、上述した2次元コードに基づいて、マスクする領域を指定する処理も含まれる。
次に、ヘッドマウントディスプレイ1は、ユーザーからマスク指定要求があるか否か、又は、撮像画像に2次元コードがあるか否かを判定する(ステップS406)。例えば、ユーザーが表示パネル63に表示されている撮像画像に新たにマスクすべき対象物を発見した場合に、ヘッドマウントディスプレイ1は、タッチスイッチ34又は操作スイッチ30によりマスク指定を要求する指示が入力される。マスク制御部207cは、入力処理部206を介して、ユーザーからのマスク指定の要求があるか否かを判定する。また、マスク制御部207cは、撮像画像に2次元コードが写り込んだことにより、コード検出部209が2次元コードを検出したか否かを判定する。マスク制御部207cは、ユーザーからのマスク指定の要求がある場合、又はコード検出部209が2次元コードを検出した場合(ステップS406:Yes)に、処理をステップS407に進める。また、マスク制御部207cは、ユーザーからのマスク指定の要求がない場合、且つ、コード検出部209が2次元コードを検出していない場合(ステップS406:No)に、処理をステップS408に進める。
次に、ステップS407において、ヘッドマウントディスプレイ1は、マスク指定を追加する。すなわち、マスク制御部207cは、上述のステップS403の処理と同様の処理を行い、マスクする領域(新たにマスクすべき対象物に対応する領域)を取得する。また、コード検出部209が2次元コードを検出した場合には、マスク制御部207cは、2次元コードに基づいて、マスクする領域を取得する。マスク制御部207cは、画像処理部205に、取得した領域をマスクする処理を実行させて、マスクされた遅延画像(撮像画像)を通信部13に出力させる。
次に、ステップS408において、ヘッドマウントディスプレイ1は、送信終了か否かを判定する。すなわち、処理部123cは、タッチスイッチ34又は操作スイッチ30によりユーザーから撮像画像の送信を終了(停止)する指示が入力されたか否かを判定する。処理部123cは、送信終了である場合(ステップS408:Yes)に処理を終了させる。また、処理部123cは、送信終了でない場合(ステップS408:No)に処理をステップS406に戻す。
以上説明したように、本実施形態における通信装置200は、カメラ64が撮像した撮像画像に含まれる2次元コードを検出するコード検出部209を備えている。マスク制御部207cは、コード検出部209によって検出された2次元コードに基づいて、マスクさせる領域を取得する。ここで、2次元コードは、マスクすべき対象物に予め印刷又は貼り付けられている。
これにより、本実施形態における通信装置200は、例えば、突然にマスクすべき対象物が撮像画像に写りこんだ場合であっても、マスクすべき対象物を適切にマスクすることができる。また、このことにより、本実施形態における通信装置200は、マスクすべき対象物が撮像画像に写り込むことによる心理的な負担を低減することができる。
これにより、本実施形態における通信装置200は、例えば、突然にマスクすべき対象物が撮像画像に写りこんだ場合であっても、マスクすべき対象物を適切にマスクすることができる。また、このことにより、本実施形態における通信装置200は、マスクすべき対象物が撮像画像に写り込むことによる心理的な負担を低減することができる。
また、本実施形態では、2次元コードは、マスクする対象物の形状及び大きさを示す情報を含んでいる。そして、マスク制御部207cは、2次元コードに含まれる対象物の形状及び大きさを示す情報に基づいて、マスクさせる領域を取得する。
これにより、本実施形態における通信装置200は、マスクする対象物が複雑な形状や様々な大きさであっても、撮像画像に含まれるマスクすべき対象物を適切にマスクすることができる。
これにより、本実施形態における通信装置200は、マスクする対象物が複雑な形状や様々な大きさであっても、撮像画像に含まれるマスクすべき対象物を適切にマスクすることができる。
また、本実施形態では、マスク制御部207cは、2次元コードによって囲まれた領域をマスクさせる領域として検出してもよい。
これにより、本実施形態における通信装置200は、簡易な手段により、撮像画像に含まれるマスクすべき対象物を適切にマスクすることができる。
これにより、本実施形態における通信装置200は、簡易な手段により、撮像画像に含まれるマスクすべき対象物を適切にマスクすることができる。
なお、本実施形態における通信装置200は、遅延部201を備えない形態であってもよい。すなわち、本実施形態における通信装置200は、カメラ64と、マスク処理部220と、通信部13と、マスク制御部207cと、コード検出部209とを備え、コード検出部209は、カメラ64が撮像した撮像画像に含まれる2次元コードを検出する。マスク制御部207cは、コード検出部209によって検出された2次元コードに基づいて、マスク処理部220にマスクさせる領域を指定された領域として取得し、撮像画像における指定された領域をマスク処理部220にマスクさせる。
これにより、本実施形態における通信装置200は、遅延部201を備える場合と同様に、突然にマスクすべき対象物が撮像画像に写りこんだ場合であっても、マスクすべき対象物を適切にマスクすることができる。
これにより、本実施形態における通信装置200は、遅延部201を備える場合と同様に、突然にマスクすべき対象物が撮像画像に写りこんだ場合であっても、マスクすべき対象物を適切にマスクすることができる。
また、本実施形態におけるヘッドマウントディスプレイ1は、本実施形態における通信装置200を備えているので、本実施形態におけるヘッドマウントディスプレイ1においても、本実施形態における通信装置200と同様の効果を奏する。
次に、第5実施形態について、図面を参照して説明する。
[第5実施形態]
図25は、第5実施形態における処理部123dの機能ブロック図である。
なお、第5実施形態では、第1実施形態における処理部123が、処理部123dに置き換わる点を除いて、第1実施形態の構成と同様である。
[第5実施形態]
図25は、第5実施形態における処理部123dの機能ブロック図である。
なお、第5実施形態では、第1実施形態における処理部123が、処理部123dに置き換わる点を除いて、第1実施形態の構成と同様である。
図25において、処理部123dは、遅延部201、切替部210a、マスク処理部220、入力処理部206、マスク制御部207d、音声遅延部211、及び音声合成部(213,214)を備えている。
なお、この図において、図8と同一の構成については同一の符号を付し、その説明を省略する。
なお、この図において、図8と同一の構成については同一の符号を付し、その説明を省略する。
本実施形態では、通信装置200が、処理部123dが音声遅延部211、及び音声合成部(213,214)を備え、撮像画像とともに、音の遅延処理を行う点が、第1実施形態と異なる。
音声遅延部211(音遅延部)は、集音マイク24が取得した音(例えば、環境音)を所定の期間遅延させた遅延音を出力する。ここで、所定の期間とは、例えば、3秒〜5秒の期間であり、遅延部201と同様の期間である。
音声遅延部211(音遅延部)は、集音マイク24が取得した音(例えば、環境音)を所定の期間遅延させた遅延音を出力する。ここで、所定の期間とは、例えば、3秒〜5秒の期間であり、遅延部201と同様の期間である。
切替部210aは、マスク制御部207dの制御(指示)に基づいて、カメラ64が撮像した撮像画像と、フラッシュメモリー122、メモリー127、又は通信部13などから出力された画像(例えば、メモリー画像)とを切り替えて、マスク処理部220に出力する。また、切替部210aは、集音マイク24が取得した音と、音声遅延部211が遅延した遅延音とを切り替えて、音声合成部214に出力する。
また、切替部210aは、2つの画像切替部(202,203)及び音声切替部212を備えている。
音声切替部212は、集音マイク24が取得した音と、音声遅延部211が遅延した遅延音とを切り替えて、音声合成部214に出力する。
また、切替部210aは、2つの画像切替部(202,203)及び音声切替部212を備えている。
音声切替部212は、集音マイク24が取得した音と、音声遅延部211が遅延した遅延音とを切り替えて、音声合成部214に出力する。
音声合成部213は、通話マイク37が取得したユーザーの音声(例えば、ユーザーの会話音声など)と、集音マイク24が取得した音とを合成し、合成した音データをデコーダー121に出力する。音声合成部213が出力する音は、例えば、スピーカーアンプを介して、耳元スピーカー23に出力される。
音声合成部214は、通話マイク37が取得したユーザーの音声(例えば、ユーザーの会話音声など)と、切替部210aの音声切替部212が出力する音(環境音など)とを合成し、合成した音データを通信部13に出力する。
音声合成部214は、通話マイク37が取得したユーザーの音声(例えば、ユーザーの会話音声など)と、切替部210aの音声切替部212が出力する音(環境音など)とを合成し、合成した音データを通信部13に出力する。
マスク制御部207d(制御部)は、撮像画像を送信する場合に、上述したマスク制御部207と同様の処理を実行するとともに、ヘッドマウントディスプレイ1の周囲の音である環境音などを遅延させて通信部13に出力するか否かの切り替え制御を行う。すなわち、マスク制御部207dは、音声切替部212に対して、集音マイク24が取得した音と、音声遅延部211が遅延した遅延音とを切り替えて出力させる。例えば、マスク制御部207dは、遅延画像を通信部13に出力する場合に、音声切替部212に対して遅延音に切り替えて音声合成部214に出力させる。また、例えば、マスク制御部207dは、メモリー画像を通信部13に出力する場合に、音声切替部212に対して集音マイク24が取得した遅延なしの音に切り替えて音声合成部214に出力させる。
次に、第5実施形態におけるヘッドマウントディスプレイ1の動作について説明する。
本実施形態におけるヘッドマウントディスプレイ1の動作における状態遷は、図10と同様であるので、ここでは説明を省略する。また、本実施形態におけるマスク処理方法(マスク指定、及びマスク処理)は、第1実施形態における第1〜第3のマスク処理方法と同様であり、ここでは説明を省略する。
本実施形態におけるヘッドマウントディスプレイ1の動作における状態遷は、図10と同様であるので、ここでは説明を省略する。また、本実施形態におけるマスク処理方法(マスク指定、及びマスク処理)は、第1実施形態における第1〜第3のマスク処理方法と同様であり、ここでは説明を省略する。
次に、本実施形態におけるヘッドマウントディスプレイ1が、撮像画像及び音声を送信、する動作について説明する。
図26は、本実施形態における撮像画像及び音声を送信する処理の一例を示すフローチャートである。
図26は、本実施形態における撮像画像及び音声を送信する処理の一例を示すフローチャートである。
この図において、まず、ヘッドマウントディスプレイ1は、メモリー画像を表示し、メモリー画像の送信を開始する(ステップS701)。例えば、マスク制御部207dは、画像切替部202及び画像切替部203に対して、メモリー画像(例えば、アバター画像)に切り替えて出力させる。また、マスク制御部207は、マスク処理部220の画像処理部204に、メモリー画像をマスクせずにそのままデコーダー121に出力させる。これにより、表示パネル63は、メモリー画像を表示する。また、マスク制御部207は、マスク処理部220の画像処理部205に、メモリー画像をマスクせずにそのまま通信部13に出力させる。また、マスク制御部207dは、音声切替部212に、集音マイク24が取得した遅延なしの音(音声)を、音声合成部214に出力させる。
これにより、通信部13は、メモリー画像及び遅延していない音声を他の端末に送信する。
これにより、通信部13は、メモリー画像及び遅延していない音声を他の端末に送信する。
続く、ステップS702〜ステップS703の処理は、図15に示される第1実施形態におけるステップS102〜ステップS103の処理と同様であるので、ここでは説明を省略する。
次に、ステップS704において、ヘッドマウントディスプレイ1は、撮像画像のマスク処理及び音声遅延を開始する(ステップS704)。マスク制御部207dは、画像切替部203に、遅延部201により所定の期間遅延された撮像画像に切り替えて出力させる。そして、マスク制御部207dは、画像処理部205に、取得したマスクする領域をマスクする処理を実行させて、マスクされた遅延画像(撮像画像)を通信部13に出力させる。また、マスク制御部207dは、音声切替部212に、遅延音(遅延音声)を、音声合成部214に出力させる。
続く、ステップS705〜ステップS708の処理は、図15に示される第1実施形態におけるステップS105〜ステップS108の処理と同様であるので、ここでは説明を省略する。
なお、本実施形態では、通信装置200が、ユーザー側に面している通話マイク37と、ユーザー側でない外側に面している集音マイク24を備えており、集音マイク24から取得した音(環境音)のみ遅延させる場合について説明したが、以下のようにしてもよい。
例えば、通信装置200は、撮像画像とともに取得した音を、バンドパスフィルタなどを用いて、環境音と通話などの会話音声とに分離し、分離した環境音を遅延させて、通信部13に送信させてもよい。この場合、ヘッドマウントディスプレイ1は、会話音声と環境音とを個別の音データとして、送信してもよいし、図24に示すように、音声合成部214により、遅延した環境音と会話音声とを合成した音データを送信してもよい。
例えば、通信装置200は、撮像画像とともに取得した音を、バンドパスフィルタなどを用いて、環境音と通話などの会話音声とに分離し、分離した環境音を遅延させて、通信部13に送信させてもよい。この場合、ヘッドマウントディスプレイ1は、会話音声と環境音とを個別の音データとして、送信してもよいし、図24に示すように、音声合成部214により、遅延した環境音と会話音声とを合成した音データを送信してもよい。
以上説明したように、本実施形態における通信装置200は、撮像画像とともに取得された音のうちの、少なくともユーザーの会話音声を除く環境音を所定の期間遅延させた遅延音を出力する音声遅延部211を備えている。そして、通信部13は、遅延画像とともに、会話音声、及び音声遅延部211が遅延させた遅延音(遅延した環境音)を送信する。
これにより、本実施形態における通信装置200は、撮像画像に関連する環境音を撮像画像とともに遅延して送信し、通話に関する会話音声の遅延を行わないので、受信者が音声を不自然に感じない自然なコミュニケーションが可能になる。
これにより、本実施形態における通信装置200は、撮像画像に関連する環境音を撮像画像とともに遅延して送信し、通話に関する会話音声の遅延を行わないので、受信者が音声を不自然に感じない自然なコミュニケーションが可能になる。
また、本実施形態におけるヘッドマウントディスプレイ1は、本実施形態における通信装置200を備えているので、本実施形態におけるヘッドマウントディスプレイ1においても、本実施形態における通信装置200と同様の効果を奏する。
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の各実施形態は、組み合わせて実施してもよい。また、上記の第2実施形態〜第4実施形態は、遅延部201を備える第1実施形態を基に実施する形態を説明したが、それぞれが遅延部201を備えない独立した形態であってもよい。
また、上記の第5実施形態は、第2実施形態〜第4実施形態と組み合わせて実施してもよい。
例えば、上記の各実施形態は、組み合わせて実施してもよい。また、上記の第2実施形態〜第4実施形態は、遅延部201を備える第1実施形態を基に実施する形態を説明したが、それぞれが遅延部201を備えない独立した形態であってもよい。
また、上記の第5実施形態は、第2実施形態〜第4実施形態と組み合わせて実施してもよい。
また、上記の第4実施形態において、2次元コードの一例としてQRコード(登録商標)を用いる例を説明したが、バーコードなどの他の2次元コードを用いる形態でもよい。また、上記の第4実施形態では、コード検出部209は、カメラ64により撮像した撮像画像に基づいて、2次元コードを検出する形態を説明したが、レーザースキャナーなどにより、バーコードなどの2次元コードを検出する形態であってもよい。
また、上記の各実施形態において、マスク指定、及びマスク処理として、第1〜第3のマスク処理方法を用いる例を説明したが、これに限定されるものではない。例えば、撮像画像を指によりペイントブラシのように、塗りつぶすことにより、マスクする領域を指定してもよい。また、マスクする領域は、指定した対象物のエッジを検出し、収縮して膨張するオープニング処理や膨張して収縮するクロージング処理などを用いて、検出されてもよい。
また、上記の各実施形態において、通信装置200をヘッドマウントディスプレイ1に適用する例を説明したが、これに限定されるものではなく、例えば、携帯電話、スマートフォン、PC(パーソナルコンピュータ)、タブレット端末などの電子機器に適用してもよい。
上述のヘッドマウントディスプレイ1及び通信装置200は内部に、コンピュータシステムを有している。そして、上述した通信装置200の処理過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリー等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
1,500…ヘッドマウントディスプレイ、13…通信部、40…ヘッドバンド、63…表示パネル、64…カメラ、123…処理部、127…メモリー、131…WiFi通信回路、200…通信装置、201…遅延部、206…入力処理部、207,207a,207b,207c,207d…マスク制御部、208…マスク情報生成部、209…コード検出部、211…音声遅延部、220,220a,220b…マスク処理部
Claims (17)
- 画像を撮像する撮像部と、
前記撮像部が撮像した撮像画像を所定の期間遅延させた遅延画像を出力する遅延部と、
前記遅延部から出力された前記遅延画像のうちの指定された領域をマスクするマスク処理部と、
少なくとも前記マスク処理部によってマスクされた前記遅延画像を送信する通信部と、
前記撮像部が撮像した前記撮像画像を表示部に表示させるとともに、前記マスク処理部にマスクさせる領域を前記指定された領域として取得し、前記遅延画像における前記指定された領域を前記マスク処理部にマスクさせる制御部と
を備えることを特徴とする通信装置。 - 前記所定の期間は、前記表示部による前記撮像画像の表示から、前記制御部が前記マスクさせる領域を取得し、前記マスク処理部が前記指定された領域をマスクするまでの期間よりも長い
ことを特徴とする請求項1に記載の通信装置。 - 前記表示部が表示する表示画像に基づいて、情報の入力を処理する入力処理部を備え、
前記制御部は、
前記入力処理部によって入力された情報に基づいて、前記マスクさせる領域を取得する
ことを特徴とする請求項1又は請求項2に記載の通信装置。 - マスクが必要か否かを示すマスク要否情報と、前記マスクさせる領域に対応する前記マスクに関する情報とを関連付けたマスク情報を生成するマスク情報生成部を備え、
前記通信部は、
マスクされた前記遅延画像とともに、前記マスク情報を送信する
ことを特徴とする請求項1から請求項3のいずれか一項に記載の通信装置。 - 前記通信部は、
他装置によってマスクされた画像及び前記マスク情報を受信し、
前記マスク処理部は、
前記制御部の指示により、前記マスクされた画像に含まれるマスクを前記マスク情報に基づいて解除し、
前記制御部は、
前記通信部が前記他装置から前記マスクされた画像を受信した場合に、前記マスク要否情報に基づいて、前記マスクされた画像のマスクを解除するか否かを判定し、
前記マスクされた画像のマスクを解除すると判定した場合に、前記マスクされた画像に含まれるマスクを前記マスク処理部に解除させるとともに、前記マスクを解除させた画像を前記表示部に表示させる
ことを特徴とする請求項4に記載の通信装置。 - 前記制御部は、マスクを解除したことを示す情報を、前記マスクを解除させた画像とともに前記表示部に表示させる
ことを特徴とする請求項5に記載の通信装置。 - 前記マスク要否情報は、複数のレベルに分類されたレベル情報を含む
ことを特徴とする請求項4から請求項6のいずれか一項に記載の通信装置。 - 前記撮像部が撮像した前記撮像画像に含まれる2次元コードを検出するコード検出部を備え、
前記制御部は、
前記コード検出部によって検出された前記2次元コードに基づいて、前記マスクさせる領域を取得する
ことを特徴とする請求項1から請求項7のいずれか一項に記載の通信装置。 - 前記2次元コードは、マスクする対象物の形状及び大きさを示す情報を含み、
前記制御部は、
前記2次元コードに含まれる前記対象物の形状及び大きさを示す情報に基づいて、前記マスクさせる領域を取得する
ことを特徴とする請求項8に記載の通信装置。 - 前記制御部は、前記2次元コードによって囲まれた領域を前記マスクさせる領域として検出する
ことを特徴とする請求項9に記載の通信装置。 - 前記マスク処理部は、前記撮像画像のうちの前記マスクさせる領域を含まない範囲の領域を切り出して、マスクされた前記遅延画像を生成する
ことを特徴とする請求項1から請求項10のいずれか一項に記載の通信装置。 - 前記撮像画像とともに取得された音のうちの、少なくとも使用者の会話音声を除く環境音を前記所定の期間遅延させた遅延音を出力する音遅延部を備え、
前記通信部は、
前記遅延画像とともに、前記会話音声、及び前記音遅延部が遅延させた前記遅延音を送信する
ことを特徴とする請求項1から請求項11のいずれか一項に記載の通信装置。 - 画像を撮像する撮像部と、
前記撮像部が撮像した撮像画像のうちの指定された領域をマスクするマスク処理部と、
マスクが必要か否かを示すマスク要否情報と、前記指定された領域に対応する前記マスクに関する情報とを関連付けたマスク情報を生成するマスク情報生成部と、
少なくとも前記マスク処理部によってマスクされた前記撮像画像とともに、前記マスク情報を送信する通信部と、
前記マスク処理部にマスクさせる領域を前記指定された領域として取得し、前記撮像画像における前記指定された領域を前記マスク処理部にマスクさせる制御部と
を備えることを特徴とする通信装置。 - 画像を撮像する撮像部と、
マスクが必要か否かを示すマスク要否情報と、前記撮像部が撮像した撮像画像のうちのマスクする領域として指定された領域に対応するマスクに関する情報とを関連付けたマスク情報を生成するマスク情報生成部と、
少なくとも前記撮像画像とともに、前記マスク情報を送信する通信部と
を備えることを特徴とする通信装置。 - 画像を撮像する撮像部と、
前記撮像部が撮像した撮像画像のうちの指定された領域をマスクするマスク処理部と、
少なくとも前記マスク処理部によってマスクされた前記撮像画像を送信する通信部と、
前記撮像部が撮像した前記撮像画像に含まれる2次元コードを検出するコード検出部と、
前記コード検出部によって検出された前記2次元コードに基づいて、前記マスク処理部にマスクさせる領域を前記指定された領域として取得し、前記撮像画像における前記指定された領域を前記マスク処理部にマスクさせる制御部と
を備えることを特徴とする通信装置。 - 画像を撮像する撮像部と、
前記撮像部が撮像した撮像画像のうちのマスクする対象物を含まない範囲の領域を切り出した画像を生成することにより、前記対象物をマスクするマスク処理部と、
少なくとも前記マスク処理部によってマスクされた前記撮像画像を送信する通信部と、
前記対象物を含まない範囲の領域を取得し、取得した前記対象物を含まない範囲の領域に基づいて、前記マスク処理部に前記撮像画像をマスクさせる制御部と
を備えることを特徴とする通信装置。 - 請求項1から請求項16のいずれか一項に記載の通信装置と、
少なくとも前記撮像部が撮像した前記撮像画像を表示する表示部と、
少なくとも前記撮像部及び前記表示部を使用者の頭部に装着する装着部と
を備えることを特徴とする頭部装着表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013088229A JP2014212473A (ja) | 2013-04-19 | 2013-04-19 | 通信装置、及び頭部装着表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013088229A JP2014212473A (ja) | 2013-04-19 | 2013-04-19 | 通信装置、及び頭部装着表示装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014212473A true JP2014212473A (ja) | 2014-11-13 |
Family
ID=51931916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013088229A Pending JP2014212473A (ja) | 2013-04-19 | 2013-04-19 | 通信装置、及び頭部装着表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014212473A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017111723A (ja) * | 2015-12-18 | 2017-06-22 | 株式会社ブリリアントサービス | バイク用ヘッドマウントディスプレイ、バイク用ヘッドマウントディスプレイの制御方法およびバイク用ヘッドマウントディスプレイの制御プログラム。 |
JP2017184015A (ja) * | 2016-03-30 | 2017-10-05 | 沖電気工業株式会社 | 撮影装置、撮影システム、及び撮影プログラム |
JPWO2016088368A1 (ja) * | 2014-12-03 | 2017-11-02 | 日本電気株式会社 | 方向制御装置、方向制御方法および方向制御プログラム |
JP2019124849A (ja) * | 2018-01-18 | 2019-07-25 | セイコーエプソン株式会社 | 頭部装着型表示装置、表示システム、及び、頭部装着型表示装置の制御方法 |
WO2020230322A1 (ja) * | 2019-05-16 | 2020-11-19 | マクセル株式会社 | 画像処理装置および画像処理方法 |
JP2021016032A (ja) * | 2019-07-10 | 2021-02-12 | 株式会社 インターコム | 映像送信装置、プログラム及び映像送信方法 |
WO2023042515A1 (ja) * | 2021-09-15 | 2023-03-23 | キヤノン株式会社 | 表示装置、制御装置、制御方法、及び、プログラム |
US11983959B2 (en) | 2019-04-18 | 2024-05-14 | Beckman Coulter, Inc. | Securing data of objects in a laboratory environment |
US12001600B2 (en) | 2018-11-09 | 2024-06-04 | Beckman Coulter, Inc. | Service glasses with selective data provision |
-
2013
- 2013-04-19 JP JP2013088229A patent/JP2014212473A/ja active Pending
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2016088368A1 (ja) * | 2014-12-03 | 2017-11-02 | 日本電気株式会社 | 方向制御装置、方向制御方法および方向制御プログラム |
US11102382B2 (en) | 2014-12-03 | 2021-08-24 | Nec Corporation | Direction control device, direction control method and recording medium |
JP2017111723A (ja) * | 2015-12-18 | 2017-06-22 | 株式会社ブリリアントサービス | バイク用ヘッドマウントディスプレイ、バイク用ヘッドマウントディスプレイの制御方法およびバイク用ヘッドマウントディスプレイの制御プログラム。 |
JP2017184015A (ja) * | 2016-03-30 | 2017-10-05 | 沖電気工業株式会社 | 撮影装置、撮影システム、及び撮影プログラム |
CN110060614A (zh) * | 2018-01-18 | 2019-07-26 | 精工爱普生株式会社 | 头部佩戴型显示装置及其控制方法、显示*** |
JP2019124849A (ja) * | 2018-01-18 | 2019-07-25 | セイコーエプソン株式会社 | 頭部装着型表示装置、表示システム、及び、頭部装着型表示装置の制御方法 |
JP7047394B2 (ja) | 2018-01-18 | 2022-04-05 | セイコーエプソン株式会社 | 頭部装着型表示装置、表示システム、及び、頭部装着型表示装置の制御方法 |
CN110060614B (zh) * | 2018-01-18 | 2022-08-09 | 精工爱普生株式会社 | 头部佩戴型显示装置及其控制方法、显示*** |
US12001600B2 (en) | 2018-11-09 | 2024-06-04 | Beckman Coulter, Inc. | Service glasses with selective data provision |
US11983959B2 (en) | 2019-04-18 | 2024-05-14 | Beckman Coulter, Inc. | Securing data of objects in a laboratory environment |
WO2020230322A1 (ja) * | 2019-05-16 | 2020-11-19 | マクセル株式会社 | 画像処理装置および画像処理方法 |
JPWO2020230322A1 (ja) * | 2019-05-16 | 2020-11-19 | ||
JP7297882B2 (ja) | 2019-05-16 | 2023-06-26 | マクセル株式会社 | 画像処理装置および画像処理方法 |
US11972591B2 (en) | 2019-05-16 | 2024-04-30 | Maxell, Ltd. | Image processing apparatus and image processing method |
JP2021016032A (ja) * | 2019-07-10 | 2021-02-12 | 株式会社 インターコム | 映像送信装置、プログラム及び映像送信方法 |
JP7403115B2 (ja) | 2019-07-10 | 2023-12-22 | 株式会社 インターコム | 映像送信装置、アプリケーションプログラム及び映像送信方法 |
WO2023042515A1 (ja) * | 2021-09-15 | 2023-03-23 | キヤノン株式会社 | 表示装置、制御装置、制御方法、及び、プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014212473A (ja) | 通信装置、及び頭部装着表示装置 | |
CN110463165B (zh) | 信息处理装置、信息处理方法和记录介质 | |
JP6011072B2 (ja) | 制御装置、及びプログラム | |
CN110060614B (zh) | 头部佩戴型显示装置及其控制方法、显示*** | |
US10838205B2 (en) | Head mounted display, control method thereof, and computer program | |
JP6318462B2 (ja) | 表示装置 | |
US20140160129A1 (en) | Information processing apparatus and recording medium | |
JP6123180B2 (ja) | 表示装置 | |
JP2014021707A (ja) | 情報入出力装置、及び情報入出力方法 | |
JP2013190941A (ja) | 情報入出力装置、及び頭部装着表示装置 | |
KR20160001178A (ko) | 글래스 타입 단말기 및 이의 제어방법 | |
JP6719418B2 (ja) | 電子機器 | |
JP2013175929A (ja) | 情報出力装置、及び情報出力方法 | |
JP2014123883A (ja) | 頭部装着型情報入出力装置、及び頭部装着型情報入出力方法 | |
JP2018097160A (ja) | 表示システム、表示装置、及び、表示装置の制御方法 | |
JP6136090B2 (ja) | 電子機器、及び表示装置 | |
JP2013239767A (ja) | 頭部装着型情報入出力装置 | |
JP2018207151A (ja) | 表示装置、受信装置、プログラム、及び受信装置の制御方法。 | |
JP2014021272A (ja) | 情報入出力装置、及び情報入出力方法 | |
JP2022108194A (ja) | 画像投影方法、画像投影装置、無人航空機および画像投影プログラム。 | |
JP2014022937A (ja) | 頭部装着型情報入出力装置、及び頭部装着型情報入出力方法 | |
JP2013175048A (ja) | 情報表示装置、及び情報表示方法 | |
KR20160070529A (ko) | 웨어러블 디바이스 | |
JP2013174730A (ja) | 情報表示装置 | |
JP2013250846A (ja) | 情報入出力装置、及び情報入出力プログラム |