JP5044582B2 - 撮影カメラ学習装置及びそのプログラム - Google Patents
撮影カメラ学習装置及びそのプログラム Download PDFInfo
- Publication number
- JP5044582B2 JP5044582B2 JP2009025531A JP2009025531A JP5044582B2 JP 5044582 B2 JP5044582 B2 JP 5044582B2 JP 2009025531 A JP2009025531 A JP 2009025531A JP 2009025531 A JP2009025531 A JP 2009025531A JP 5044582 B2 JP5044582 B2 JP 5044582B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- subject
- photographing
- video
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010801 machine learning Methods 0.000 claims description 83
- 239000002131 composite material Substances 0.000 claims description 41
- 239000000203 mixture Substances 0.000 claims description 14
- 230000002194 synthesizing effect Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 description 19
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 101150000595 CLMP gene Proteins 0.000 description 2
- 101100382322 Drosophila melanogaster Acam gene Proteins 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- VLARUOGDXDTHEH-UHFFFAOYSA-L disodium cromoglycate Chemical compound [Na+].[Na+].O1C(C([O-])=O)=CC(=O)C2=C1C=CC=C2OCC(O)COC1=CC=CC2=C1C(=O)C=C(C([O-])=O)O2 VLARUOGDXDTHEH-UHFFFAOYSA-L 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
また、例えば、非特許文献1に記載のカメラワーク分析手法は、カメラマンが実在する被写体を撮影カメラで撮影し、このカメラマンの撮影技法を機械学習するものである。
また、予測カメラパラメータは、撮影カメラのパン角、チルト角、ズーム位置及びフォーカス位置の何れかの予測値を1以上含むものであり、これらの全てを含んでも良い。なお、予測カメラパラメータは、パン角、チルト角、ズーム位置及びフォーカス位置に限定されず、撮影カメラのロール角や3次元位置等のその他パラメータを含んでも良い。
請求項1,6に係る発明によれば、実写背景において、繰り返し精度が高いCG被写体を用いて、CG被写体の位置や動き等の被写体情報に応じた予測カメラパラメータを機械学習できるため、臨場感のある番組を容易に撮影できる。
請求項3に係る発明によれば、機械学習した予測カメラパラメータで実写被写体が含まれる本番の放送番組を自動撮影することができる。
請求項5に係る発明によれば、本番の放送番組の自動撮影が可能であるか否かの検証が行いやすくなる。
[撮影カメラ学習システムの概略]
図1及び図2を参照して、本発明の第1実施形態に係る撮影カメラ学習装置を含む撮影カメラ学習システムの概略について説明する。図1に示すように、撮影カメラ学習システム100は、カメラマン(不図示)の撮影によって撮影カメラ2の機械学習を行うものであり、撮影カメラ学習装置1と、撮影カメラ2と、撮影カメラ操作器3とを備える。
雲台は、例えば、撮影カメラ操作器3からの制御信号に応じて、撮影カメラ2のパン角及びチルト角を制御するACサーボモータと、これらパン角及びチルト角の測定値を出力するロータリエンコーダとを備える。さらに、雲台は、例えば、ズーム位置と垂直画角とを対応づけるズーム位置変換テーブルと、撮影カメラ2と被写体との距離からフォーカス位置を算出するフォーカス位置変換テーブルとを予め記憶する。そして、雲台は、撮影カメラ操作器3からの制御信号に応じてズーム位置及びフォーカス位置を制御でき、これらズーム位置及びフォーカス位置の測定を可能としている。そして、撮影カメラ2は、雲台が測定したパン角、チルト角、ズーム位置及びフォーカス位置をカメラパラメータとして撮影カメラ学習装置1に出力する。
ペデスタルは、例えば、撮影カメラ本体及び雲台を搭載し、撮影スタジオ等を移動可能な4輪方式の移動機構である。
なお、撮影カメラ2の詳細は、例えば、文献「スタジオ番組用移動ロボットカメラの開発、津田他、映像情報メディア学会誌、Vol.62、No.1、pp.84−91」に記載されている。
以下、図1に戻り、撮影カメラ学習装置1の構成について説明する。
図1に示すように、撮影カメラ学習装置1は、TVMLスクリプト記述手段11と、TVMLスクリプト出力手段12と、TVMLプレーヤ(CG映像出力手段)13と、カメラパラメータ制御手段14と、映像合成手段15と、被写体情報出力手段16と、機械学習手段17と、CG合成映像録画手段18とを備える。
camera:movement(name=ACam,x=0.0,y=0.782,z=2.0,pan=0.0)
この第1例は、ACamという仮想カメラについて、3次元座標を(0.0,0.782,2.0)、及び、パン角を0°に設定することを示す。
character:walk(name=CharacterA,x=0.3,pitch=1.5)
この第2例は、CharacterAというCG被写体について、x座標0.3まで速度1.5で移動させることを示す。
TVMLプレーヤ13は、TVMLスクリプト記述手段11からのTVMLスクリプトに従って、CGスタジオにおいて、仮想カメラでCG被写体ob1を撮影したようなCG映像(CG番組)を出力するものである。なお、TVMLプレーや13の詳細は、例えば、文献「TVMLによるコンテンツ制作、道家他、映像情報メディア学会誌、Vol.61、No.11、pp.1593−1598」に記載されている。
以下、図4を参照し、図1の機械学習手段による機械学習について説明する(適宜図1〜図3参照)。なお、図4では、白丸が各層のユニットを示す。ここで、機械学習手段17は、図4に示すように、ニューラルネットワークによって、予測カメラパラメータを機械学習する。具体的には、機械学習手段17は、入力層の各ユニットに、ある時刻tから一定時間過去uまでの時刻t−uについて、CG被写体ob1の位置情報s(t)・・・s(t−u)をそれぞれ入力する。そして、機械学習手段17は、入力層の各ユニットが、CG被写体ob1の位置情報を中間層及び出力層の各ユニットに出力する
以下、図5を参照し、図1の撮影カメラ学習装置の動作について説明する(適宜図1参照)。なお、図5では、記述されたTVMLスクリプトがTVMLプレーヤ13に出力されたこととして説明する。
[撮影カメラ学習装置の構成]
図6を参照して、本発明の第2実施形態に係る撮影カメラ学習装置について、第1実施形態と異なる点を主に説明する。図6に示すように、撮影カメラ学習装置1Bは、TVMLスクリプト記述手段11と、TVMLスクリプト出力手段12と、TVMLプレーヤ(CG映像出力手段)13と、カメラパラメータ制御手段14と、映像合成手段15と、被写体情報出力手段16Bと、機械学習手段17Bと、CG合成映像録画手段18と、撮影カメラ制御手段19とを備える。
さらに、本発明の撮影カメラ学習装置は、撮影カメラ2の予測カメラパラメータを学習した後、この予測カメラパラメータを用いて、アナウンサ等の実在する被写体、つまり、実際に放送する番組を撮影することもできる。以下、第2実施形態の変形例として、実在する被写体を撮影する撮影カメラ学習装置1Cについて説明する。
機械学習手段17Cは、図6の機械学習手段17Bと同様のものである。
11 TVMLスクリプト記述手段
12 TVMLスクリプト出力手段
13 TVMLプレーヤ(CG映像出力手段)
14 カメラパラメータ制御手段
15 映像合成手段
16,16B,16C 被写体情報出力手段
17,17B,17C 機械学習手段
18 CG合成映像録画手段
19 撮影カメラ制御手段
20 センサカメラ(被写***置検出手段)
2 撮影カメラ
3 撮影カメラ操作器
bg 実写背景
ob1 CG被写体
ob2 実写被写体
Claims (6)
- 予め設定された動きを行うCG被写体と、撮影カメラで撮影した実写背景とを含むCG合成映像を用いて、当該撮影カメラの学習を行う撮影カメラ学習装置であって、
カメラパラメータを任意に変更できる仮想カメラで前記CG被写体を撮影したCG映像を出力するCG映像出力手段と、
前記撮影カメラのカメラパラメータが入力されると共に、前記仮想カメラのカメラパラメータの値を前記撮影カメラのカメラパラメータの値に変更するカメラパラメータ制御手段と、
前記撮影カメラが撮影する実写背景の映像と、前記CG映像出力手段が出力するCG映像とを合成した前記CG合成映像を出力する映像合成手段と、
前記CG映像出力手段が出力する前記CG映像における前記CG被写体の位置を示す位置情報を含む被写体情報を出力する被写体情報出力手段と、
前記CG被写体をカメラマンが撮影する操作に応じた前記撮影カメラのカメラパラメータと、前記被写体情報とが入力され、当該撮影カメラのカメラパラメータと当該被写体情報に基づいて、前記撮影カメラのカメラパラメータの予測値である予測カメラパラメータを機械学習する機械学習手段と、
を備えることを特徴とする撮影カメラ学習装置。 - 前記被写体情報出力手段から被写体情報が入力されると共に、当該被写体情報が示す前記CG被写体の位置情報と前記機械学習手段が機械学習した予測カメラパラメータとで前記撮影カメラを制御する撮影カメラ制御手段をさらに備えることを特徴とする請求項1に記載の撮影カメラ学習装置。
- 実在する実写被写体の位置を検出する被写***置検出手段をさらに備え、
前記被写体情報出力手段は、前記被写体情報として、前記被写***置検出手段が検出した実写被写体の位置情報を出力し、
前記撮影カメラ制御手段は、前記実写被写体の位置情報と前記機械学習手段が機械学習した予測カメラパラメータとで前記撮影カメラを制御して、当該撮影カメラに、前記実写被写体を撮影させることを特徴とする請求項2に記載の撮影カメラ学習装置。 - 前記映像合成手段が出力したCG合成映像を表示するCG合成映像表示手段をさらに備えることを特徴とする請求項1から請求項3の何れか一項に記載の撮影カメラ学習装置。
- 前記映像合成手段が出力したCG合成映像を録画するCG合成映像録画手段(18)をさらに備えることを特徴とする請求項1から請求項4の何れか一項に記載の撮影カメラ学習装置。
- 予め設定された動きを行うCG被写体と、撮影カメラで撮影した実写背景とを含むCG合成映像を用いて、当該撮影カメラの学習を行うために、コンピュータを、
カメラパラメータを任意に変更できる仮想カメラで前記CG被写体を撮影したCG映像を出力するCG映像出力手段、
前記撮影カメラのカメラパラメータが入力されると共に、前記仮想カメラのカメラパラメータの値を前記撮影カメラのカメラパラメータの値に変更するカメラパラメータ制御手段、
前記撮影カメラが撮影する実写背景の映像と、前記CG映像出力手段が出力するCG映像とを合成した前記CG合成映像を出力する映像合成手段、
前記CG映像出力手段が出力する前記CG映像における前記CG被写体の位置を示す位置情報を含む被写体情報を出力する被写体情報出力手段、
前記CG被写体をカメラマンが撮影する操作に応じた前記撮影カメラのカメラパラメータと、前記被写体情報とが入力され、当該撮影カメラのカメラパラメータと当該被写体情報に基づいて、前記撮影カメラのカメラパラメータの予測値である予測カメラパラメータを機械学習する機械学習手段、
として機能させることを特徴とする撮影カメラ学習プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009025531A JP5044582B2 (ja) | 2009-02-06 | 2009-02-06 | 撮影カメラ学習装置及びそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009025531A JP5044582B2 (ja) | 2009-02-06 | 2009-02-06 | 撮影カメラ学習装置及びそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010183384A JP2010183384A (ja) | 2010-08-19 |
JP5044582B2 true JP5044582B2 (ja) | 2012-10-10 |
Family
ID=42764555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009025531A Active JP5044582B2 (ja) | 2009-02-06 | 2009-02-06 | 撮影カメラ学習装置及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5044582B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DK3139239T3 (en) | 2014-04-30 | 2019-04-15 | Sz Dji Osmo Technology Co Ltd | Control unit, cradle head for use and cradle control method |
JP6912890B2 (ja) * | 2017-01-13 | 2021-08-04 | キヤノン株式会社 | 情報処理装置、情報処理方法、システム |
JP6546618B2 (ja) * | 2017-05-31 | 2019-07-17 | 株式会社Preferred Networks | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
JP6822929B2 (ja) | 2017-09-19 | 2021-01-27 | 株式会社東芝 | 情報処理装置、画像認識方法および画像認識プログラム |
US11436470B2 (en) * | 2019-09-13 | 2022-09-06 | Kyndryl, Inc. | Generating simulated image training data |
WO2023238646A1 (ja) * | 2022-06-07 | 2023-12-14 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム、情報処理システム |
-
2009
- 2009-02-06 JP JP2009025531A patent/JP5044582B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010183384A (ja) | 2010-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9729765B2 (en) | Mobile virtual cinematography system | |
KR101566543B1 (ko) | 공간 정보 증강을 이용하는 상호 인터랙션을 위한 방법 및 시스템 | |
EP2583449B1 (en) | Mobile and server-side computational photography | |
JP4760892B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
JP5044582B2 (ja) | 撮影カメラ学習装置及びそのプログラム | |
JP4115117B2 (ja) | 情報処理装置および方法 | |
US20130215229A1 (en) | Real-time compositing of live recording-based and computer graphics-based media streams | |
JP2019160318A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US11232626B2 (en) | System, method and apparatus for media pre-visualization | |
US20130162628A1 (en) | System, method and apparatus for rapid film pre-visualization | |
WO2010038693A1 (ja) | 情報処理装置、情報処理方法、プログラム及び情報記憶媒体 | |
JP2015506030A (ja) | ビデオムービーを撮影するためのシステム | |
JP2019045991A (ja) | 生成装置、生成方法、及びプログラム | |
JP2021532649A (ja) | 画像の合成のための方法及びデータ処理システム | |
CN103139479A (zh) | 一种结束全景预览扫描方法及装置 | |
WO2002033660A1 (fr) | Dispositif de production d'informations video | |
JPH10320590A (ja) | 合成映像作成装置及び合成映像作成方法 | |
KR102474451B1 (ko) | 버추얼 프로덕션의 데이터 기록 방법, 장치, 시스템 및 프로그램 | |
CA3199128A1 (en) | Systems and methods for augmented reality video generation | |
JP4781981B2 (ja) | 動画像生成方法及びシステム | |
WO2018195892A1 (zh) | 三维立体水印添加方法、装置及终端 | |
JP4899733B2 (ja) | 画像生成方法及び画像生成システム | |
JP2022102923A (ja) | バーチャルスタジオシステム | |
AU2018203096B2 (en) | System, method and apparatus for rapid film pre-visualization | |
WO2024042893A1 (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120619 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120713 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5044582 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150720 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |