JP2020005150A - 録画再生装置及びプログラム - Google Patents
録画再生装置及びプログラム Download PDFInfo
- Publication number
- JP2020005150A JP2020005150A JP2018123840A JP2018123840A JP2020005150A JP 2020005150 A JP2020005150 A JP 2020005150A JP 2018123840 A JP2018123840 A JP 2018123840A JP 2018123840 A JP2018123840 A JP 2018123840A JP 2020005150 A JP2020005150 A JP 2020005150A
- Authority
- JP
- Japan
- Prior art keywords
- person
- data
- unit
- surrounding
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
まず、実施例1について説明する。前述のとおり、実施例1は、番組映像音声に加え、第一者から見た周囲の人物の2D映像及び音声を記録する例である。実施例1では、例えばARグラスを用いることにより、番組映像音声及び周囲の人物の映像音声を2次元CGにて重ね合わせて再生することができる。
“Google(登録商標)、CNNを用いて人物などの前景と背景を分離するモバイルベースのリアルタイムビデオセグメント技術を発表。YouTube(登録商標)に統合”、[online]、[平成30年5月11日検索]、インターネット<http://shiropen.com/2018/03/02/32805>
“携帯端末のカメラによるTV画面の位置と姿勢の推定方法”、情報処理学会論文誌(CDS:コンシューマ・デバイス&システム)、vol.5、no.4、2015、p.61-69
“家庭内リビングにおけるテレビ位置検出手法に関する一検討”、2016年映像情報メディア学会冬季大会講演予稿集、22B-6、2016
“Evixar ACR(自動コンテンツ認識)、音センシング”、[online]、[平成30年5月11日検索]、インターネット<https://www.evixar.com/evixaracr>
次に、実施例2について説明する。前述のとおり、実施例2は、番組映像音声に加え、第一者から見た周囲の人物の3D映像及び音声等を記録する例である。実施例2では、例えばARグラスを用いることにより、番組映像音声及び周囲の人物の映像音声を重ね合わせて再生することができる。また、例えばVRのHMDを用いることにより、周囲の人物等を3次元CGにて重ね合わせて再生することができる。
“SMPLify: 3D Human Pose and Shape from a Single Image (ECCV 2016)”、[online]、[平成30年5月11日検索]、インターネット<https://www.youtube.com/watch?v=eUnZ2rjxGaE>
“SMPLify: 3D Human Pose and Shape from a Single Image (ECCV 2016)”、[online]、[平成30年5月11日検索]、インターネット<https://www.youtube.com/watch?v=eUnZ2rjxGaE>
“単眼カメラで撮影した映像を入力に、人の姿勢推定から着用する衣服まで再構築するマーカレスパフォーマンスキャプチャ技術を発表” 、[online]、[平成30年6月15日検索]、インターネット<https://shiropen.com/seamless/vr-monoperfcap>
““フォトグラメトリー”を駆使して現実を3Dで再現「長崎の教会群」VRコンテンツ公開”、[online]、[平成30年5月11日検索]、インターネット<http://www.moguravr.com/hacosco-nagasaki-vr/>
“3DF Zephyr”、[online]、[平成30年5月11日検索]、インターネット<https://www.3dflow.net/3df-zephyr-pro-3d-models-from-photos/>
次に、実施例2の第1変形例について説明する。実施例2の第1変形例は、実施例2において人物3Dデータを生成する際に、事前の撮影により得られた人物の3Dデータ(事前人物3Dデータ)を用いる例である。
“クイックリグ(Quick Rig)ツール”、[online]、[平成30年6月15日検索]、インターネット<https://knowledge.autodesk.com/ja/support/maya/learn-explore/caas/CloudHelp/cloudhelp/2018/JPN/Maya-CharacterAnimation/files/GUID-DC29C982-D04F-4C20-9DBA-4BBB33E027EF-htm.html>
“SHUN’X 全身高速3Dスキャナーシステム”、[online]、[平成30年5月11日検索]、インターネット<https:// http://www.vrcjp.com/home.jsf>
“ブラウンシュヴァイク工科大学ら、1台の単眼カメラから人体3Dアバターを4.5mm精度で生成する機械学習を用いた手法を発表”、[online]、[平成30年5月11日検索]、インターネット<https://shiropen.com/seamless/ai-3d-people-models>
“プロジェクター”、[online]、[平成30年5月11日検索]、インターネット<https://docs.unity3d.com/ja/current/Manual/class-Projector.html>
“Easy Decal 大きな凹凸がある表面でもデカールが貼れる!Terrainでも大丈夫!動的に変化可能なデカールシステム”、[online]、[平成30年5月11日検索]、インターネット<http://www.asset-sale.net/entry/Easy_Decal>
次に、実施例2の第2変形例について説明する。実施例2の第2変形例は、実施例2において周囲3Dデータを生成する際に、事前の撮影により得られた第一者の周囲の3Dデータ(事前周囲3Dデータ)を用いる例である。
次に、実施例3について説明する。前述のとおり、実施例3は、実施例2において、周囲の人物について精度の高い3D映像を記録する例である。実施例3では、周囲の人物についてリアリティ感の高い3次元CGにて再生することができる。
“OpenPose:Real-time multi-person keypoint detection library for body, face, and hands estimation”、[online]、[平成30年5月11日検索]、インターネット<https://github.com/CMU-Perceptual-Computing-Lab/openpose>
“Tobii Pro グラス2”、[online]、[平成30年5月11日検索]、インターネット<https://www.tobiipro.com/ja/product-listing/tobii-pro-glasses-2/>
“人間の視線や表情をVR空間のアバターへ瞬時に反映--360Channelが「FACE」を開発”、[online]、[平成30年5月11日検索]、インターネット<https://japan.cnet.com/article/35101852/>
“AffectiveWear:装着者の日常的な表情を認識する眼鏡型装置”、[online]、[平成30年5月11日検索]、インターネット<https://www.jstage.jst.go.jp/article/tvrsj/21/2/21_385/_pdf>
2 ウェアラブル360度カメラ
3 再生機器
4 俯瞰カメラ
10,11,30 受信部
12 人物抽出部
13 テレビ位置検出部
14 人物音声抽出部
15 記録部
16 送信部
20,20’,32 人物3D生成部
21,21’ 周囲3D生成部
22,27 姿勢推定部
23 生成部
24 事前人物3D生成部
25,26 生成部
31 視線検出部
33 補正部
40 番組特定部
41 減算部
Claims (7)
- テレビに再生した番組の映像及び音声を含む番組映像音声信号を記録部に記録し、前記番組を再生機器にて視聴するユーザの操作に従い、前記記録部から前記番組映像音声信号を読み出して前記再生機器へ送信する録画再生装置において、
前記番組映像音声信号を受信し、当該番組映像音声信号をメインコンテンツとして前記記録部に記録する第1の受信部と、
前記ユーザの周囲に存在する人物の映像、及び前記番組が再生されている前記テレビの映像を含む周囲映像信号を受信すると共に、前記ユーザの周囲から収音した周囲音声信号を受信する第2の受信部と、
前記第2の受信部により受信された前記周囲映像信号から前記人物を抽出し、人物毎の人物映像信号を生成し、人物毎の前記人物映像信号をサブコンテンツとして前記記録部に記録する人物抽出部と、
前記第2の受信部により受信された前記周囲映像信号から前記テレビの位置を検出し、前記番組映像音声信号における番組映像信号が前記再生機器により再生される位置を示すテレビ位置データを生成し、当該テレビ位置データを前記サブコンテンツとして前記記録部に記録するテレビ位置検出部と、
前記記録部に記録された前記番組映像音声信号、及び前記第2の受信部により受信された前記周囲音声信号に基づいて、前記周囲音声信号に含まれる番組音声信号に対応する前記番組を特定し、前記周囲音声信号と、前記番組の前記番組映像音声信号における番組音声信号との間の差分を求め、前記ユーザの周囲に存在する前記人物の人物音声信号を生成し、当該人物音声信号を前記サブコンテンツとして前記記録部に記録する人物音声抽出部と、
前記記録部から前記メインコンテンツ及び前記サブコンテンツを読み出し、当該メインコンテンツ及び当該サブコンテンツを前記再生機器へ送信する送信部と、
を備えたことを特徴とする録画再生装置。 - 請求項1に記載の録画再生装置において、
前記人物抽出部の代わりに人物3D(3次元)生成部を備え、さらに、周囲3D生成部を備え、
前記人物3D生成部は、
前記第2の受信部により受信された前記周囲映像信号から前記人物を抽出し、人物毎の人物映像を生成し、前記周囲映像信号に含まれる前記人物の姿勢を推定し、前記人物の姿勢を示す人物毎のボーンデータを生成し、前記人物映像信号及び前記ボーンデータに基づいて、前記人物の3次元CGアニメーションのデータとして人物3Dデータを生成し、人物毎の前記人物3Dデータを前記サブコンテンツとして前記記録部に記録し、
前記周囲3D生成部は、
前記第2の受信部により受信された前記周囲映像信号からオブジェクトを抽出し、当該オブジェクトの3次元CGのデータを含む周囲3Dデータを生成し、当該周囲3Dデータを前記サブコンテンツとして前記記録部に記録し、
前記記録部には、
前記番組映像音声信号が前記メインコンテンツとして記録され、人物毎の前記人物3Dデータ、前記周囲3Dデータ、前記テレビ位置データ及び前記人物音声信号が前記サブコンテンツとして記録される、ことを特徴とする録画再生装置。 - 請求項2に記載の録画再生装置において、
さらに、第3の受信部、視線検出部及び補正部を備え、
前記第3の受信部は、
前記第2の受信部により受信された前記周囲映像信号とは異なる映像信号であって、前記ユーザの周囲に存在する前記人物を含む俯瞰映像信号を受信し、
前記人物3D生成部は、
前記周囲映像信号から前記人物を抽出し、人物毎の前記人物映像を生成し、前記周囲映像信号に含まれる前記人物の姿勢を推定すると共に、前記第3の受信部により受信された前記俯瞰映像信号に含まれる前記人物の姿勢を推定し、前記周囲映像信号及び前記俯瞰映像信号からそれぞれ推定した前記人物の姿勢に基づいて、前記人物の姿勢を示す人物毎の前記ボーンデータを生成し、前記人物映像信号及び前記ボーンデータに基づいて、前記人物3Dデータを生成し、
前記視線検出部は、
前記人物の視線を検出し、人物毎の視線方向データを生成し、
前記補正部は、
前記人物3D生成部により生成された前記人物3Dデータの視線方向が、前記視線検出部により生成された前記視線方向データの示す視線方向と一致するように、前記人物3Dデータを補正し、人物毎の補正後の前記人物3Dデータを前記サブコンテンツとして前記記録部に記録する、ことを特徴とする録画再生装置。 - 請求項2に記載の録画再生装置において、
前記人物3D生成部は、
予め設定された人物毎の前記人物の3Dデータを入力し、前記周囲映像信号に含まれる前記人物の姿勢を推定し、前記人物の姿勢を示す人物毎の前記ボーンデータを生成し、前記3Dデータ及び前記ボーンデータに基づいて、前記人物の3次元CGアニメーションのデータとして事前人物3Dデータを生成し、当該事前人物3Dデータに、前記周囲映像信号に含まれる前記人物の映像を投影して上書きし、前記人物3Dデータを生成し、人物毎の前記人物3Dデータを前記サブコンテンツとして前記記録部に記録する、ことを特徴とする録画再生装置。 - 請求項3に記載の録画再生装置において、
前記人物3D生成部は、
予め設定された人物毎の前記人物の3Dデータを入力し、前記周囲映像信号に含まれる前記人物の姿勢を推定すると共に、前記俯瞰映像信号に含まれる前記人物の姿勢を推定し、前記周囲映像信号及び前記俯瞰映像信号からそれぞれ推定した前記人物の姿勢に基づいて、前記人物の姿勢を示す人物毎の前記ボーンデータを生成し、前記3Dデータ及び前記ボーンデータに基づいて、前記人物の3次元CGアニメーションのデータとして事前人物3Dデータを生成し、当該事前人物3Dデータに、前記周囲映像信号に含まれる前記人物の映像を投影して上書きし、前記人物3Dデータを生成し、人物毎の前記人物3Dデータを前記サブコンテンツとして前記記録部に記録する、ことを特徴とする録画再生装置。 - 請求項2から5までのいずれか一項に記載の録画再生装置において、
前記周囲3D生成部は、
予め設定された、前記ユーザの周囲の3Dデータを事前周囲3Dデータとして入力し、前記周囲映像信号から前記オブジェクトを抽出してオブジェクト映像を生成し、前記事前周囲3Dデータに含まれるオブジェクトに、対応する前記オブジェクト映像を投影して上書きし、前記周囲3Dデータを生成し、当該周囲3Dデータを前記サブコンテンツとして前記記録部に記録する、ことを特徴とする録画再生装置。 - コンピュータを、請求項1から6までのいずれか一項に記載の録画再生装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018123840A JP7065708B2 (ja) | 2018-06-29 | 2018-06-29 | 録画再生装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018123840A JP7065708B2 (ja) | 2018-06-29 | 2018-06-29 | 録画再生装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020005150A true JP2020005150A (ja) | 2020-01-09 |
JP7065708B2 JP7065708B2 (ja) | 2022-05-12 |
Family
ID=69100823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018123840A Active JP7065708B2 (ja) | 2018-06-29 | 2018-06-29 | 録画再生装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7065708B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024014197A1 (ja) * | 2022-07-14 | 2024-01-18 | ソニーグループ株式会社 | 映像処理装置、映像処理方法およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004139305A (ja) * | 2002-10-17 | 2004-05-13 | Nippon Telegr & Teleph Corp <Ntt> | 仮想空間における複数メディア表示方法、仮想空間における複数メディア表示端末装置、仮想空間管理サーバ装置、仮想空間における複数メディア表示プログラム及びこのプログラムを記録した記録媒体 |
JP2005236428A (ja) * | 2004-02-17 | 2005-09-02 | Fuji Xerox Co Ltd | コミュニケーション装置、システムおよび表示方法 |
JP2012089186A (ja) * | 2010-10-18 | 2012-05-10 | Sharp Corp | コンテンツ管理装置及びコンテンツ再生装置 |
JP2014038523A (ja) * | 2012-08-17 | 2014-02-27 | Institute Of Physical & Chemical Research | 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体 |
-
2018
- 2018-06-29 JP JP2018123840A patent/JP7065708B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004139305A (ja) * | 2002-10-17 | 2004-05-13 | Nippon Telegr & Teleph Corp <Ntt> | 仮想空間における複数メディア表示方法、仮想空間における複数メディア表示端末装置、仮想空間管理サーバ装置、仮想空間における複数メディア表示プログラム及びこのプログラムを記録した記録媒体 |
JP2005236428A (ja) * | 2004-02-17 | 2005-09-02 | Fuji Xerox Co Ltd | コミュニケーション装置、システムおよび表示方法 |
JP2012089186A (ja) * | 2010-10-18 | 2012-05-10 | Sharp Corp | コンテンツ管理装置及びコンテンツ再生装置 |
JP2014038523A (ja) * | 2012-08-17 | 2014-02-27 | Institute Of Physical & Chemical Research | 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024014197A1 (ja) * | 2022-07-14 | 2024-01-18 | ソニーグループ株式会社 | 映像処理装置、映像処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7065708B2 (ja) | 2022-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7396341B2 (ja) | 映像音響処理装置および方法、並びにプログラム | |
CN109891189B (zh) | 策划的摄影测量 | |
US20230402067A1 (en) | Integration of audio into a multi-view interactive digital media representation | |
US20130215229A1 (en) | Real-time compositing of live recording-based and computer graphics-based media streams | |
US20220385721A1 (en) | 3d mesh generation on a server | |
CN109997175B (zh) | 确定虚拟对象的大小 | |
JP2019101795A (ja) | 生成装置、生成方法及びプログラム | |
JP2008140271A (ja) | 対話装置及びその方法 | |
JP2018113616A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7441926B2 (ja) | 映像コーディングを行うコンピュータプログラム | |
JP5833526B2 (ja) | 映像コミュニケーションシステム及び映像コミュニケーション方法 | |
JP2020520576A5 (ja) | ||
US20230179756A1 (en) | Information processing device, information processing method, and program | |
JPWO2017141584A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
JP5731462B2 (ja) | 映像コミュニケーションシステム及び映像コミュニケーション方法 | |
KR101773891B1 (ko) | 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법 | |
JP7065708B2 (ja) | 録画再生装置及びプログラム | |
WO2017022296A1 (ja) | 情報管理装置及び情報管理方法、並びに映像再生装置及び映像再生方法 | |
US12026823B2 (en) | Volumetric imaging | |
JP5894505B2 (ja) | 画像コミュニケーションシステム、画像生成装置及びプログラム | |
US11287658B2 (en) | Picture processing device, picture distribution system, and picture processing method | |
JP5833525B2 (ja) | 映像コミュニケーションシステム及び映像コミュニケーション方法 | |
JP4379594B2 (ja) | 追体験空間生成装置 | |
KR20190112407A (ko) | 홀로포테이션 컨텐츠 운용 방법 | |
JP2019096926A (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210430 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220311 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220401 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220426 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7065708 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |