JP6700539B2 - 映像処理装置、映像処理方法、及び映像処理プログラム - Google Patents
映像処理装置、映像処理方法、及び映像処理プログラム Download PDFInfo
- Publication number
- JP6700539B2 JP6700539B2 JP2018194427A JP2018194427A JP6700539B2 JP 6700539 B2 JP6700539 B2 JP 6700539B2 JP 2018194427 A JP2018194427 A JP 2018194427A JP 2018194427 A JP2018194427 A JP 2018194427A JP 6700539 B2 JP6700539 B2 JP 6700539B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- video
- distortion
- target object
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 146
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000001514 detection method Methods 0.000 claims description 42
- 238000012937 correction Methods 0.000 claims description 34
- 238000003702 image correction Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 description 24
- 238000006243 chemical reaction Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 208000008918 voyeurism Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
Description
図1は、本実施形態に係るVR映像処理システム100の全体構成を示す図である。VR映像処理システム100は、図1に示すように、映像処理装置1と、オブジェクト検出装置2と、VRカメラ3と、VR映像編集端末4と、VRゴーグル5と、を備えて構成される。映像処理装置1は、オブジェクト検出装置2とともにインターネットのクラウド内に配置されており、オブジェクト検出装置2と、VRカメラ3と、VR映像編集端末4と、VRゴーグル5とに、通信ネットワークを介して相互通信可能に物理的及び電気的に接続されている。
次に、映像処理装置1の機能について説明する。映像処理装置1は、図1に示したように、映像入力部11と、原映像記憶部12と、映像編集要求受付部13と、画像分割部14、画像補正部15と、画像処理部16と、画像処理映像記憶部17と、映像補正部18と、映像出力部19と、を備えて構成される。
次に、オブジェクト検出装置2について説明する。オブジェクト検出装置2は、オブジェクト検出要求元である映像処理装置1からのオブジェクト検出要求に応じ、そのオブジェクト検出要求に含まれるオブジェクト検出条件に合致するオブジェクト検出結果データを返信する機械学習装置、深層学習装置、又はAI(Artificial Intelligence)装置である。このオブジェクト検出装置2は、インターネット上に既に存在し、既存のAI装置等を流用可能である。
次に、VRカメラ3について説明する。VRカメラ3は、360°カメラとも称されるカメラであり、撮影者や車体等の移動体に固定された状態で移動体の移動とともに移動しながら、VRカメラ3の本体を中心に360°方向の3次元実空間を撮影し、撮影者による送信指示に応じて撮影した360°映像を映像処理装置1へ送信(アップロード)する機能を備える。このとき、映像処理装置1は、1つ以上のVRカメラ3から送信される1つ以上の360°映像を受信する。VRカメラ3は、既存のVRカメラを流用可能である。
次に、VR映像編集端末4について説明する。VR映像編集端末4は、OS(Operating System)上でウェブブラウザや映像編集要求用アプリを実行可能なコンピュータであり、映像処理装置1の映像編集要求受付部13が提供する映像編集要求受付画面をウェブブラウザ内に表示し、又は映像編集要求用アプリを実行して映像編集要求受付画面をアプリ内に表示して、VR映像編集端末4の操作者により入力されたモザイク処理を行うためのオブジェクト検出条件を含む映像編集要求を映像処理装置1に送信する機能を備える。VR映像編集端末4は、汎用のコンピュータ(いわゆるパソコン)を流用可能である。
次に、VRゴーグル5について説明する。VRゴーグル5は、視聴者により指定された映像IDに係るVR映像を要求するための映像要求を映像処理装置1に送信し、その映像要求に応じて映像処理装置1から返信されたVR映像を受信し、VRゴーグル5の向き及び傾きに対応する部分の映像を画面に表示する機能を備える。映像処理装置1の映像補正部18により画像処理(モザイク処理)後の360°映像に対して歪み補正が施されているので、VRゴーグル5には歪みのない映像が表示される。VRゴーグル5は、例えば、画面(モニタ)が一体化された専用VRゴーグル、スマートフォン端末をゴーグル筐体内に挿入して用いるVRゴーグル等、既存のVRゴーグルを流用可能である。VRゴーグル5に代えて、コンピュータのウェブブラウザを用いてもよい。
次に、VR映像処理システム100で行う映像処理方法の映像処理動作について説明する。図2は、映像処理動作の処理フローを示す図である。
まず、映像処理装置1の映像入力部11は、VRカメラ3からアップロードされた360°映像を入力し、その360°映像を当該360°映像の映像IDに関連付けて原映像記憶部12に記憶する。360°映像とは、VRカメラ3の本体を中心に360°方向の3次元実空間を撮影した映像である。
次に、映像編集要求受付部13は、VR映像編集端末4からのアクセスに応じて映像編集要求受付画面を提供し、その映像編集要求受付画面で入力された映像編集要求を受け付ける。
次に、画像分割部14は、映像編集要求受付部13から送信された360°映像の画像(原画像)をn×m(n,m;自然数)に分割する。本例では、図4に示すように、横方向に4分割し、縦方向に5分割する。これにより、原画像よりも小さいサイズの分割画像が形成される。ステップS103では、球体状の360°映像の画像をそのまま丸ごと後段の画像補正部15で一度に歪み補正(極座標から直交座標へ変換)することは困難であるため、大サイズの原画像を局所的な領域に分割している。
次に、画像補正部15は、複数の分割画像について、それぞれ、極座標変換fの逆変換f’を行う既存の数式を用いて、分割画像の画像座標系を極座標から直交座標へ変換する処理を行う。これにより、分割画像内の画像形状の歪みが解消され、画像形状に歪みのない分割画像が形成される。
次に、画像補正部15は、歪み補正後の複数の分割画像をオブジェクト検出装置2へ送信するとともに、対象オブジェクトの種別(「顔」)と形状点の指定数(「6」)とをオブジェクト検出条件として含むオブジェクト検出要求をオブジェクト検出装置2へ送信する。
次に、オブジェクト検出装置2は、映像処理装置1からオブジェクト検出要求を受信すると、歪み補正後の複数の分割画像からオブジェクト検出条件である対象オブジェクトの「顔」を検出し、検出した「顔」の輪郭形状を表す形状点の位置座標を指定数分(「6」つ)検出し、「顔」の領域に対応する大きさを算出して、映像処理装置1へ返信する。複数の分割画像は歪み補正されているので、オブジェクト検出装置2は、対象オブジェクト等を検出可能である。
次に、画像処理部16は、オブジェクト検出条件の指定数に応じた形状点の位置座標をオブジェクト検出装置2から受け取り、全ての形状点の位置座標について、極座標変換fを行う既存の数式を用いて、直交座標から極座標へ変換する処理を行う。この変換処理は、ステップS104の逆変換処理に相当するので、図7に示すように、歪み補正前の分割画像又は原画像の画像座標系で対応する位置座標{P1’(0,6),P2’(0,22),P3’(13,26),P4’(14,21),P5’(20,11),P6’(9,7)}が算出される。
次に、画像処理部16は、標準的な矩形状のモザイク処理用オブジェクトの画像を生成し、極座標変換fを行う既存の数式を用いて、その画像の画像座標系を直交座標から極座標に変換する処理を行うことで歪みを生じさせ、ステップS108で極座標変換fを行っていた「6」つの形状点の位置座標の上に付与する。その後、画像処理部16は、モザイク処理が終了したことを映像編集要求受付部13に伝え、映像編集要求受付部13は、映像編集終了応答をVR映像編集端末4へ返信する。
その後、VRゴーグル5から映像要求を受けた場合、映像出力部19は、その映像要求に対応するモザイク処理後の360°映像を画像処理映像記憶部17から読み出して、映像補正部18に映像補正要求を送信する。
次に、前述した映像処理動作の処理フローの変形例について説明する。
最後に、本実施形態の効果について説明する。
11…映像入力部
12…原映像記憶部
13…映像編集要求受付部
14…画像分割部
15…画像補正部
16…画像処理部
17…画像処理映像記憶部
18…映像補正部
19…映像出力部
2…オブジェクト検出装置
3…VRカメラ
4…VR映像編集端末
5…VRゴーグル
Claims (8)
- 360°映像である原画像を複数の画像に分割する画像分割部と、
分割した複数の分割画像内の画像形状の歪みを歪みのない形状に補正する画像補正部と、
歪み補正後の前記複数の分割画像を用いて検出された対象オブジェクトの位置に対応する前記原画像内での対応位置を算出し、前記対応位置に形成される前記原画像内の歪みのある前記対象オブジェクトを画像処理する画像処理部と、
を備えることを特徴とする映像処理装置。 - 前記画像処理部は、
モザイク処理用オブジェクトを歪ませて前記歪みのある対象オブジェクトに付与することを特徴とする請求項1に記載の映像処理装置。 - 前記画像処理部は、
前記対象オブジェクトの形状を表す点の位置を歪み補正前の画像座標系での位置に変換することにより、前記原画像内での対応位置を算出することを特徴とする請求項1又は2に記載の映像処理装置。 - 前記画像補正部は、前記対象オブジェクトの種類と前記対象オブジェクトの形状を表す点の数とをオブジェクト検出装置に対して指定し、
前記画像処理部は、
指定した数に応じた数の点の位置情報を受け取ることを特徴とする請求項1乃至3のいずれかに記載の映像処理装置。 - 前記画像分割部は、
隣り合う分割画像で画像の一部が重なるように前記原画像を分割することを特徴とする請求項1乃至4のいずれかに記載の映像処理装置。 - 前記画像処理を行った360°映像をVR(Virtual Reality)映像として出力する映像出力部を更に備えることを特徴とする請求項1乃至5のいずれかに記載の映像処理装置。
- 映像処理装置で行う映像処理方法において、
360°映像である原画像を複数の画像に分割するステップと、
分割した複数の分割画像内の画像形状の歪みを歪みのない形状に補正するステップと、
歪み補正後の前記複数の分割画像を用いて検出された対象オブジェクトの位置に対応する前記原画像内での対応位置を算出し、前記対応位置に形成される前記原画像内の歪みのある前記対象オブジェクトを画像処理するステップと、
を行うことを特徴とする映像処理方法。 - 請求項1乃至6のいずれかに記載の映像処理装置としてコンピュータを機能させることを特徴とする映像処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018194427A JP6700539B2 (ja) | 2018-10-15 | 2018-10-15 | 映像処理装置、映像処理方法、及び映像処理プログラム |
PCT/JP2019/038873 WO2020080101A1 (ja) | 2018-10-15 | 2019-10-02 | 映像処理装置、映像処理方法、及び映像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018194427A JP6700539B2 (ja) | 2018-10-15 | 2018-10-15 | 映像処理装置、映像処理方法、及び映像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020065114A JP2020065114A (ja) | 2020-04-23 |
JP6700539B2 true JP6700539B2 (ja) | 2020-05-27 |
Family
ID=70284555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018194427A Active JP6700539B2 (ja) | 2018-10-15 | 2018-10-15 | 映像処理装置、映像処理方法、及び映像処理プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6700539B2 (ja) |
WO (1) | WO2020080101A1 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4402998B2 (ja) * | 2004-03-29 | 2010-01-20 | 三菱電機株式会社 | マスキング機能付き監視システムおよびカメラ、並びに該カメラとともに用いられるマスク解除装置 |
JP2008102620A (ja) * | 2006-10-17 | 2008-05-01 | Toyota Motor Corp | 画像処理装置 |
WO2013114848A1 (ja) * | 2012-01-31 | 2013-08-08 | パナソニック株式会社 | 画像処理装置及び画像処理方法 |
WO2016185522A1 (ja) * | 2015-05-15 | 2016-11-24 | 三菱電機株式会社 | 画像処理装置及び画像処理方法及び画像処理プログラム |
JP5841287B1 (ja) * | 2015-07-13 | 2016-01-13 | グリー株式会社 | プログラム、ゲームの制御方法、および情報処理装置 |
JP2018085571A (ja) * | 2016-11-21 | 2018-05-31 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
-
2018
- 2018-10-15 JP JP2018194427A patent/JP6700539B2/ja active Active
-
2019
- 2019-10-02 WO PCT/JP2019/038873 patent/WO2020080101A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2020065114A (ja) | 2020-04-23 |
WO2020080101A1 (ja) | 2020-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101761751B1 (ko) | 직접적인 기하학적 모델링이 행해지는 hmd 보정 | |
KR101694969B1 (ko) | 카메라 캘리브레이션 방법 및 장치 | |
JP5067476B2 (ja) | 三次元モデル作成システム | |
JPWO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
EP2328125A1 (en) | Image splicing method and device | |
JP2012253444A (ja) | 撮像装置、画像処理装置およびその方法 | |
JP7024812B2 (ja) | 画像処理方法、装置及びコンピュータ読み取り可能な記憶媒体 | |
JP2006072903A (ja) | 画像合成方法及び装置 | |
JP5886242B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP5067477B2 (ja) | 撮像パラメータ取得装置、撮像パラメータ取得方法、及び、プログラム | |
JP6594170B2 (ja) | 画像処理装置、画像処理方法、画像投影システムおよびプログラム | |
JP2018026064A (ja) | 画像処理装置、画像処理方法、システム | |
JPWO2021076757A5 (ja) | ||
JP2006513509A (ja) | 合成情報の投影 | |
CN117218320B (zh) | 基于混合现实的空间标注方法 | |
JP2010217984A (ja) | 像検出装置及び像検出方法 | |
JP6700539B2 (ja) | 映像処理装置、映像処理方法、及び映像処理プログラム | |
JP2015156540A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP7040511B2 (ja) | 情報処理装置および方法 | |
KR101788005B1 (ko) | 복수의 모바일 단말들을 이용한 다시점 영상 생성 방법 | |
JP2015201734A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
JP2017215706A (ja) | 映像合成方法、映像取得装置、映像合成装置、映像合成システム及びコンピュータプログラム。 | |
JP2012173858A (ja) | 全方位画像生成方法、画像生成装置およびプログラム | |
JP2023527679A (ja) | モバイルカメラを用いたパノラマ生成 | |
JP6937722B2 (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200402 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6700539 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |