JP6482580B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP6482580B2 JP6482580B2 JP2017022717A JP2017022717A JP6482580B2 JP 6482580 B2 JP6482580 B2 JP 6482580B2 JP 2017022717 A JP2017022717 A JP 2017022717A JP 2017022717 A JP2017022717 A JP 2017022717A JP 6482580 B2 JP6482580 B2 JP 6482580B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging device
- shape data
- information processing
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 40
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000003384 imaging method Methods 0.000 claims description 279
- 238000000034 method Methods 0.000 claims description 52
- 230000008569 process Effects 0.000 claims description 31
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 description 64
- 238000000926 separation method Methods 0.000 description 47
- 238000012545 processing Methods 0.000 description 46
- 238000012806 monitoring device Methods 0.000 description 31
- 230000015654 memory Effects 0.000 description 30
- 230000005540 biological transmission Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 21
- 239000000203 mixture Substances 0.000 description 19
- 238000009826 distribution Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000011161 development Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
- H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Closed-Circuit Television Systems (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
複数の視点の画像に基づく仮想視点画像の生成および閲覧は、次のようにして実現することができる。まず、複数の撮像装置が撮像した画像をサーバなどの画像生成装置に集約する。そして、画像生成装置は、複数の撮像装置が撮像した画像を用いて、仮想視点に基づくレンダリングなどの処理を施して仮想視点画像を生成し、ユーザの視聴端末に仮想視点画像を表示する。
本発明は、かかる課題に鑑みてなされたものであり、その目的は、複数の撮像画像の監視負担を低減しつつも高い精度で撮像画像の監視を行うことができるようにすることを目的とする。
(第1の実施形態)
まず、第1の実施形態を説明する。本実施形態では、各撮像装置から前景画像データのみを画像監視装置へ伝送し、画像監視装置で、撮像装置毎に、前景画像データを表示する場合を例に挙げて示す。
図1は、本実施形態の画像監視システムの構成の一例を示す図である。本実施形態の画像監視システムは、複数の撮像装置100−1、100−2、・・・100−nを有する撮像装置群100と、画像生成装置200と、ユーザ端末300と、画像監視装置400と、分配装置500とを有する。各々の装置は、画像や制御情報を伝送する為の伝送ケーブルを介して相互に通信可能に接続される。伝送ケーブルの具体例としては、Ethernet(登録商標)であるIEEE標準準拠のGbE(ギガビットイーサーネット)や10GbEが挙げられる。ただし、伝送ケーブルは、これらに限定されず、他の種別のケーブルであってもよい。また、各々の装置は、無線通信を行ってもよい。
複数の撮像装置100−xは、例えばデジタルカメラであり、外部の不図示の同期装置からの同期信号に基づき、同じタイミングで撮像を行う。撮像装置100−xにより撮像された画像は、伝送ケーブルを介して、分配装置500を通り、画像生成装置200および画像監視装置400に伝送される。撮像装置100−xは、静止画像を撮像するカメラであっても、動画像を撮像するカメラであっても、静止画像および動画像の双方を撮像するカメラであってもよい。
ユーザ端末300は、操作用のコントローラを有する。ユーザ端末300は、ユーザのコントローラの操作に基づいて、例えば、表示位置の移動、表示方向の変更、および視点の切り替えの指示を受け付け、その内容を示す伝送信号を画像生成装置200へ伝送する。また、ユーザ端末300は、画像生成装置200から受信した仮想視点画像をユーザ端末300に備えた表示画面に表示する。仮想視点画像は、静止画像であっても動画像であってもよい。ここで、ユーザ端末300は、例えば、PC(Personal Computer)やタブレットであり、コントローラは、例えば、マウス、キーボード、6軸コントローラ、およびタッチパネルの少なくとも1つを有する。ユーザは、これらのコントローラを操作する。
分配装置500は、撮像装置100−xからの同一の撮像画像を、画像生成装置200および画像監視装置400に分配する。
図3は、撮像装置100−xのハードウェアの構成の一例を示す図である。
被写体からの光を撮像光学系301(光学レンズ系)で撮像素子302に結像する。結像された光は撮像素子302で電気信号に変換され、その電気信号がA/Dコンバータ303でデジタル信号に変換され、画像処理回路304に入力される。尚、撮像素子302は、受光面上に結像された像による光信号を、対応する位置の受光画素毎に電気信号に変換する光電変換素子である。
画像処理回路304は、A/Dコンバータ303から入力したデジタル信号(画像信号)に対して各種の画像処理を行う。画像処理としては、例えば、例えば、ホワイトバランス調整、色補正、およびガンマ補正などが含まれる。画像処理回路304により画像処理された画像信号は記録媒体307に保存されたり、表示装置305により表示されたりする。また、画像処理回路304は、撮像部102から入力された撮像画像(RAW画像)のうち、競技場210で競技中に撮像された画像から選手などの被写体を抽出する処理を実行する。
撮像光学系制御回路306は、システムコントローラ308からの制御信号に基づいて、撮像光学系301に含まれるレンズなどを駆動する。なお、表示装置305は撮像装置100−xに必須の構成ではない。
撮像部102は、レンズ部101により結像された入射光の露出動作を行い電気信号に変換する。また、撮像部102は、変換後の信号に対して、センサの欠陥やレンズ光学バラつきの補正などの信号処理を施し、RAW画像に変換する。RAW画像は、前景背景分離部103へ出力される。本実施形態では、以上のようにして撮像画像(RAW画像)が取得される(S501)。
本実施形態では、以上のようにして「前景画像データ」および「背景画像データ」が取得される(S502)。
・前景画像データの座標情報
・前景画像データのサイズ
・前景画像データの識別情報
・撮像装置100−xの識別情報
「前景画像データのサイズ」とは、「前景背景分離前画像データ」に対する「前景画像データ」の大きさである。図6(a)および図6(b)を例に挙げて説明すると、画素数で「前景画像データ」の大きさを表す。図6(a)のように、「前景背景分離前画像データ」が、4096×2160ピクセルの画像の場合、図6(b)に示したサッカーボールの「前景画像データ」のサイズは、300×300ピクセルである。
「撮像装置の識別情報」とは、撮像装置100−x自体を識別するための情報である。前述の通り、「撮像装置100−1」、「撮像装置100−2」、および「撮像装置100−n」等の各撮像装置100−xを一意に識別するための情報が、当該撮像装置の識別情報として付加される。
制御部106は、不図示のユーザI/F部からの制御情報に基づき、撮像装置100−xの各部に制御指示を出す。例えば、制御部106は、ユーザI/F部から、アイリスやISOなどの露出調整のための調整パラメータを受信すると、撮像部102に対して、当該露出制御を行う。
図7は、画像生成装置200のハードウェアの構成の一例を示す図である。
画像生成装置200は、コントローラユニット700、操作ユニット709、および表示装置710を含む。
前述したようにユーザ端末300は、ユーザ端末300に接続されたコントローラのユーザによる操作に基づいて、表示位置の移動、表示方向の変更、および視点の切り替えの指示を受け付ける。そして、ユーザ端末300は、その内容を示す伝送信号を画像生成装置200へ伝送する。ユーザ入力部206は、このようにしてユーザ端末300を通して入力された伝送信号を所定の操作情報に変換する。そして、ユーザ入力部206は、その操作情報を制御部205に出力する。
制御部205は、ユーザ入力部206からの操作情報に基づき、画像生成装置200の各部に制御指示を出す。例えば、ユーザ入力部206から、仮想視点の操作情報を受信すると、その操作情報を仮想視点情報に変換し、仮想視点画像生成部203に制御情報として送信する。前述したように、仮想視点画像生成部203は、仮想視点情報を入力すると、仮想視点画像を生成して出力する。
画像生成部402は、画像入力部401から出力された各撮像装置100−xの全ての「前景画像データ」とそれに付加されるメタ情報とに基づき、画像入力部401と同等のフレームレートで、表示部403に表示する表示イメージを生成する(S1102)。この表示イメージの生成は、制御部404からの表示イメージ種別を指定する指示に従って行われる。表示イメージを生成する際のフローの一例については後述する。
本実施形態では、以下の表示イメージ種別があるものとする。
・撮像装置別前景表示イメージ
表示イメージの具体的な内容の一例については後述する。
画像生成部402は、少なくとも撮像装置100−xの数だけワークメモリを確保する(S1301)。例えば、撮像装置100−xが全部で計16台ある場合、画像生成部402は、ワークメモリを少なくとも16個確保する。このワークメモリは、各撮像装置100−xの撮像画像を再現するためのフレームバッファである。また、このワークメモリは、撮像装置100−xの撮像画像と同等の解像度/色深度を再現できるサイズを有する。
次に、画像生成部402は、取得した「前景画像データ」のメタ情報(「前景画像データの座標情報」および「前景画像データのサイズ」)から、当該「前景画像データ」をワークメモリ上のどの場所に貼りつければよいのかを特定する(S1304)。
本実施形態の「前景画像データ」はRAW画像である。そのため、画像生成部402は、「前景画像データ」に現像処理を施す。そして、画像生成部402は、現像処理を施した「前景画像データ」を、S1304で特定された撮像装置100−xのワークメモリに貼りつける(S1305)。
S1302〜S1308の処理は、少なくとも画像入力部401が入力する「前景画像データ」のフレームレートの期間内に終えるようにする。そして、画像生成部402は、制御部404からの終了指示があったか否かを判定する(S1309)。この判定の結果、制御部404からの終了指示があった場合、図13のフローチャートによる処理が終了する。一方、制御部404からの終了指示がない場合、「前景画像データ」のフレームレートの期間が終了すると、処理は再度S1302に戻り、前述したS1302〜S1309の処理が繰り返される。
また、本実施形態では、各撮像装置100−xを数珠つなぎで接続する形態である。このような形態は、サッカー場などの競技場210では、伝送ケーブルの敷設作業やコストを軽減できるメリットがある一方で、撮像画像の伝送帯域に限りがある。このような場合でも本実施形態では、「前景画像データ」に限定した伝送・監視を行うことで、伝送帯域の負荷の軽減を図ることができる。
次に、第2の実施形態を説明する。第1の実施形態では、各撮像装置100−xは、「前景背景分離前画像データ」から分離した「前景画像データ」を無条件で画像生成装置200および画像監視装置400に伝送する場合を例に挙げて説明した。これに対し、本実施形態では、各撮像装置から伝送する「前景画像データ」を所定のサイズ範囲内に限定することで、第1の実施形態と同程度の効果を得つつも、より一層の伝送帯域の負荷の軽減を図る。このように本実施形態と第1の実施形態とは、撮像装置から「前景画像データ」を伝送する際の処理が主として異なる。従って、本実施形態の説明において、第1の実施形態と同一の部分については、図1〜図13に付した符号と同一の符号を付すなどして詳細な説明を省略する。
図14は、本実施形態の撮像装置1400−xの機能的な構成の一例を示す図であり、図4に示した第1の実施形態の撮像装置100−xと対比されるものである。尚、本実施形態の撮像装置1400−xのハードウェアは、第1の実施形態の撮像装置100−xのハードウェアと同様である。
図15は、撮像装置1400−xのサイズ判定部1401の処理の一例を説明するフローチャートである。図15のフローチャートは、例えば、図5のS502とS503の間で行われる。
本実施形態では、「前景画像データ」のサイズの判定を撮像装置1400−xで行う場合を例に挙げて説明した。しかしながら、伝送帯域に十分な余裕がある場合、「前景画像データ」のサイズの判定を画像監視装置400側で行ってもよい。
尚、本実施形態においても第1の実施形態で説明した変形例を採用することができる。
次に、第3の実施形態を説明する。第1の実施形態では、各撮像装置100−xは、「前景背景分離前画像データ」から分離した「前景画像データ」を無条件で画像生成装置200および画像監視装置400に伝送する場合を例に挙げて説明した。これに対し、本実施形態では、各撮像装置は、注視点エリアを撮像している場合にのみ「前景画像データ」を画像生成装置200および画像監視装置400に伝送することで、第1の実施形態と同程度の効果を得つつも、より一層の伝送帯域の負荷の軽減を図る。このように本実施形態と第1の実施形態とは、撮像装置から「前景画像データ」を伝送する際の処理が主として異なる。従って、本実施形態の説明において、第1の実施形態と同一の部分については、図1〜図13に付した符号と同一の符号を付すなどして詳細な説明を省略する。
図16は、本実施形態の撮像装置1600−xの機能的な構成の一例を示す図であり、図4に示した第1の実施形態の撮像装置100−xと対比されるものである。尚、本実施形態の撮像装置1600−xのハードウェアは、第1の実施形態の撮像装置100−xのハードウェアと同様である。
撮像装置1600−xの、エリア情報入力部1601以外の部分は、撮像装置100−xと同様である。エリア情報入力部1601は、外部から入力された注視点エリア情報を、制御部106へ出力する。
図17は、注視点エリアの一例を示すイメージ図である。図17において、競技場210(サッカー場)に円形で示したところが注視点エリア1701、1702になる。注視点エリア1701、1702は、予め設定されている領域の一例である。撮像装置1600−xは、少なくとも1つ以上ある注視点エリア1701、1702のうち、何れか1つの注視点エリアの中心を、撮像画像の中心とし、そこに焦点を合わせて撮像する。
図18は、本実施形態の撮像装置1600−xの動作の一例を説明するフローチャートである。尚、図18のフローチャートは、例えば、撮像装置100−xで撮像画像が得られる度に実行される。
次に、制御部106は、出力部105に対して、「前景画像データ」の出力を指示する。出力部105は、この指示に基づき、メタ情報合成部104から出力された「前景画像データ」を、画像生成装置200および画像監視装置400へ所定のフレームレートで出力する(S1807)。
以上のようにして「前景画像データ」の出力の有無が決定された後、制御部106は、S1801で取得された「前景背景分離前画像データ」から全ての「前景画像データ」が取得されたか否かを判定する(S1808)。この判定の結果、「前景背景分離前画像データ」から全ての「前景画像データ」が取得されていない場合、処理は、S1803に戻る。そして、「前景背景分離前画像データ」から全ての「前景画像データ」が取得されるまで、ステップS1803〜S1808の処理が繰り返し実行される。そして、「前景背景分離前画像データ」から全ての「前景画像データ」が取得されると、図18のフローチャートによる処理が終了する。
尚、本実施形態においても第1〜第2の実施形態で説明した変形例を採用することができる。
次に、第4の実施形態を説明する。第1の実施形態では、各撮像装置100−xは、「前景背景分離前画像データ」から分離した「前景画像データ」を無条件で画像生成装置200および画像監視装置400に伝送する場合を例に挙げて説明した。これに対し、本実施形態では、各撮像装置は、サッカーボールなどユーザが着目する特定のオブジェクトとの距離が所定値以下である「前景画像データ」のみを画像生成装置200および画像監視装置400に伝送する。本実施形態では、このようにすることで、第1の実施形態と同程度の効果を得つつも、より一層の伝送帯域の負荷の軽減を図る。このように本実施形態と第1の実施形態とは、撮像装置から「前景画像データ」を伝送する際の処理が主として異なる。従って、本実施形態の説明において、第1の実施形態と同一の部分については、図1〜図13に付した符号と同一の符号を付すなどして詳細な説明を省略する。
図19は、本実施形態の撮像装置1900−xの機能的な構成の一例を示す図であり、図4に示した第1の実施形態の撮像装置100−xと対比されるものである。尚、本実施形態の撮像装置1900−xのハードウェアは、第1の実施形態の撮像装置100−xのハードウェアと同様である。
撮像装置1900−xの前景距離判定部1901および2次元配置情報入力部1902以外の部分は、撮像装置100−xと同様である。
2次元配置情報入力部1902は、後述する画像生成装置2000の2次元配置情報出力部2001から伝送された「2次元配置情報」を入力し、制御部106へ出力する。「2次元配置情報の一例については後述する。
図21は、2次元配置情報の書式例を示す図である。また、図22は、サッカー場を例に挙げて、図21に示す2次元配置情報を説明する図である。2次元配置情報には少なくとも、「前景画像データ」毎に以下の情報が含まれる。
・前景種別
・前景画像データの識別情報
・前景画像データの座標情報
まず、制御部106は、2次元配置情報入力部1902を介して画像生成装置2000から2次元配置情報を入力する(S2301)。2次元配置情報は、画像生成装置2000から所定のフレームレートで入力される。
次に、制御部106は、出力部105に対して、「前景画像データ」の出力を指示する。出力部105は、この指示に基づき、メタ情報合成部104から出力された「前景画像データ」を、画像生成装置2000および画像監視装置400へ所定のフレームレートで出力する(S1807)。
尚、本実施形態においても第1〜第3の実施形態で説明した変形例を採用することができる。
次に、第5の実施形態について説明する。第1〜第4の実施形態では、画像監視装置400は、撮像装置毎に、同一のタイミングで撮像された前景のみを分類して一覧で表示する場合を例に挙げて説明した。これに対し、本実施形態では、各撮像装置から前景画像データのみを画像監視装置へ伝送し、画像監視装置が、同一の前景を1つのグループとして一覧で表示する場合を例に挙げて説明する。このように本実施形態と、第1〜第4の実施形態は、前景を表示する方法が異なることによる処理が主として異なる。従って、本実施形態の説明において、第1〜第4の実施形態と同一の部分については、図1〜図23に付した符号と同一の符号を付すなどして詳細な説明を省略する。
「2次元配置情報」は、第4の実施形態で説明した図21と同様であり、「前景画像データ」毎に、少なくとも「前景種別」、「前景画像データの識別情報」、および「前景画像データの座標情報」を含む。ただし、「2次元配置情報」の「前景画像データの識別情報」には、各撮像装置100−xが付加した「前景画像データの識別情報」が全て含まれる。例えば、「2次元配置情報」の「前景画像データ」の一つにサッカーボールがある場合、「2次元配置情報」の「前景画像データの識別情報」には、以下の情報が全て含まれる。即ち、「2次元配置情報」の「前景画像データの識別情報」には、各撮像装置100−xがサッカーボールの「前景画像データ」に付加した「前景画像データの識別情報」が全て含まれる。また、本実施形態の制御部404は、2次元配置情報入力部2401により入力された「2次元配置情報」をそのまま後述の前景特定部2402に出力するものとする。
・前景グループ表示イメージ
前景特定部2402は、制御部404を介して、「2次元配置情報」を入力する(S2601)。
次に、画像生成部402は、撮像装置100−xのうち、未選択の撮像装置100−xを1つ選択する(S2602)。次に、画像生成部402は、画像入力部401から、S2602で選択した撮像装置100−xの「前景画像データ」のうち、未選択の「前景画像データ」と、そのメタ情報を1つ取得する(S2603)。
次に、画像生成部402は、「前景画像データ」毎にワークメモリを確保し(S2606)、そのワークメモリにS2603で取得した「前景画像データ」を貼りつける(S2607)。このワークメモリは、撮像装置100−xの撮像画像と同等の解像度/色深度を再現できるサイズを有する。また、本実施形態の「前景画像データ」はRAW画像である。そのため、画像生成部402は、「前景画像データ」に対して現像処理を施し、現像処理を施した「前景画像データ」をワークメモリに貼りつける。
S2601〜S2610の処理は、少なくとも画像入力部401が入力する「前景画像データ」のフレームレートの期間内に終えるようにする。そして、画像生成部402は、制御部404からの終了指示があったか否かを判定する(S2611)。この判定の結果、制御部404からの終了指示があった場合、図26のフローチャートによる処理が終了する。一方、制御部404からの終了指示がない場合、「前景画像データ」のフレームレートの期間が終了すると、処理は再度S2601に戻り、前述したS2601〜S2611の処理が繰り返される。
本実施形態では、第1の実施形態の撮像装置100−xを用いる場合を例に挙げて説明した。しかしながら、第2〜第4の実施形態の撮像装置1400−x、1600−x、1900−xを用いてもよい。
尚、本実施形態においても第1〜第4の実施形態で説明した変形例を採用することができる。
本発明は、前述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (27)
- 複数の撮像装置により取得された複数の撮像画像に基づいて生成されるオブジェクトの三次元形状データを用いて仮想視点の位置及び方向に応じた仮想視点画像を生成するシステムにおける、三次元形状データの生成対象であるオブジェクトの撮像状態を表す画像を表示させる情報処理装置であって、
前記複数の撮像装置により取得された複数の撮像画像から抽出される、三次元形状データの生成対象であるオブジェクトの画像を取得する取得手段と、
前記取得手段により取得されたオブジェクトの画像を、三次元形状データの生成対象であるオブジェクトの撮像状態を表す画像として表示画面上に表示させる表示制御手段と、を有することを特徴とする情報処理装置。 - 前記表示制御手段は、前記複数の撮像装置のそれぞれに対応する前記表示画面上の複数の表示領域のうちの特定の表示領域に、前記特定の表示領域に対応する撮像装置により取得された撮像画像から抽出される、三次元形状データの生成対象であるオブジェクトの画像を表示させることを特徴とする請求項1に記載の情報処理装置。
- 前記表示制御手段は、前記特定の表示領域に対応する撮像装置により取得された撮像画像から抽出される、三次元形状データの生成対象であるオブジェクトの画像を、前記特定の表示領域における当該オブジェクトの画像の位置が、前記特定の表示領域に対応する撮像装置により取得された撮像画像における、三次元形状データの生成対象であるオブジェクトの位置に応じた位置となるように表示させることを特徴とする請求項2に記載の情報処理装置。
- 前記表示制御手段は、撮像画像における大きさが所定範囲内の三次元形状データの生成対象であるオブジェクトの画像を表示させ、前記所定範囲外の三次元形状データの生成対象ではないオブジェクトの画像を表示させないことを特徴とする請求項1乃至3のうち、何れか1項に記載の情報処理装置。
- 前記取得手段は、撮像画像における大きさが前記所定範囲内の三次元形状データの生成対象であるオブジェクトの画像を取得し、前記所定範囲外の三次元形状データの生成対象ではないオブジェクトの画像を取得しないことを特徴とする請求項4に記載の情報処理装置。
- 前記複数の撮像装置は、複数の撮像装置群に分類され、
前記表示制御手段は、前記複数の撮像装置群のうち、第1撮像装置群に属する撮像装置により取得された複数の撮像画像から抽出される、三次元形状データの生成対象であるオブジェクトの画像を表示させ、前記第1撮像装置群とは異なる第2撮像装置群に属する撮像装置により取得された複数の撮像画像から抽出される、三次元形状データの生成対象ではないオブジェクトの画像を表示させないことを特徴とする請求項1乃至3のうち、何れか1項に記載の情報処理装置。 - 前記取得手段は、前記第1撮像装置群に属する撮像装置により取得された複数の撮像画像から抽出される、三次元形状データの生成対象であるオブジェクトの画像を取得し、前記第1撮像装置群とは異なる第2撮像装置群に属する撮像装置により取得された複数の撮像画像から抽出される、三次元形状データの生成対象ではないオブジェクトの画像を取得しないことを特徴とする請求項6に記載の情報処理装置。
- 前記複数の撮像装置群の中から前記第1撮像装置群を決定する決定手段を有し、
前記表示制御手段は、前記決定手段により決定された前記第1撮像装置群に属する撮像装置により取得された撮像画像から抽出される、三次元形状データの生成対象であるオブジェクトの画像を表示させることを特徴とする請求項6又は7に記載の情報処理装置。 - 前記決定手段は、操作者の指定に基づいて前記複数の撮像装置群の中から前記第1撮像装置群を決定することを特徴とする請求項8に記載の情報処理装置。
- 前記決定手段は、各撮像装置群により撮像される領域に含まれるオブジェクトの数に基づいて前記複数の撮像装置群の中から前記第1撮像装置群を決定することを特徴とする請求項8に記載の情報処理装置。
- 前記決定手段は、各撮像装置群により撮像される領域に特定オブジェクトが含まれることに基づいて前記複数の撮像装置群の中から前記第1撮像装置群を決定することを特徴とする請求項8に記載の情報処理装置。
- 前記第1撮像装置群に属する撮像装置は、第1位置を撮像するように撮像方向及び焦点距離が設定された撮像装置であり、第2撮像装置群に属する撮像装置は、前記第1位置とは異なる第2位置を撮像するように撮像方向及び焦点距離が設定された撮像装置であることを特徴とする請求項6乃至11のうち、何れか1項に記載の情報処理装置。
- 前記表示制御手段は、特定オブジェクトから所定距離内に位置する、三次元形状データの生成対象であるオブジェクトの画像を前記表示画面上に表示させ、前記特定オブジェクトから前記所定距離内に位置しない、三次元形状データの生成対象ではないオブジェクトの画像を前記表示画面上に表示させないことを特徴とする請求項1乃至3のうち、何れか1項に記載の情報処理装置。
- 前記取得手段は、前記特定オブジェクトから前記所定距離内に位置する、三次元形状データの生成対象であるオブジェクトの画像を取得し、前記特定オブジェクトから前記所定距離内に位置しない、三次元形状データの生成対象ではないオブジェクトの画像を取得しないことを特徴とする請求項13に記載の情報処理装置。
- 前記表示制御手段は、三次元形状データの生成対象であるオブジェクトの画像を、オブジェクトの種別ごとに配置して表示させることを特徴とする請求項1乃至14のうち、何れか1項に記載の情報処理装置。
- 前記取得手段は、三次元形状データの生成対象であるオブジェクトの画像に対応するオブジェクトを識別するためのオブジェクト識別子を取得し、
前記表示制御手段は、三次元形状データの生成対象であるオブジェクトの画像を、前記オブジェクト識別子に応じた配置で表示させることを特徴とする請求項1乃至15のうち、何れか1項に記載の情報処理装置。 - 前記取得手段は、三次元形状データの生成対象であるオブジェクトの画像を撮像した撮像装置を識別するための撮像装置識別子を取得し、
前記表示制御手段は、三次元形状データの生成対象であるオブジェクトの画像を、前記撮像装置識別子に応じた配置で表示させることを特徴とする請求項1乃至16のうち、何れか1項に記載の情報処理装置。 - 三次元形状データの生成対象であるオブジェクトの画像は、動体を含む画像であることを特徴とする請求項1乃至17のうち、何れか1項に記載の情報処理装置。
- 三次元形状データの生成対象であるオブジェクトの画像は、人物とボールのうち少なくとも一方を含む画像であることを特徴とする請求項1乃至18のうち、何れか1項に記載の情報処理装置。
- 複数の撮像装置により取得された複数の撮像画像に基づいて生成されるオブジェクトの三次元形状データを用いて仮想視点の位置及び方向に応じた仮想視点画像を生成するシステムにおける、三次元形状データの生成対象であるオブジェクトの撮像状態を表す画像を表示させる情報処理装置が行う情報処理方法であって、
前記複数の撮像装置により取得された複数の撮像画像から抽出される、三次元形状データの生成対象であるオブジェクトの画像を取得する取得工程と、
前記取得工程において取得されたオブジェクトの画像を、三次元形状データの生成対象である前記オブジェクトの撮像状態を示す画像として表示画面上に表示させる表示制御工程と、
を有することを特徴とする情報処理方法。 - 前記表示制御工程において、前記複数の撮像装置のそれぞれに対応する前記表示画面上の複数の表示領域のうちの特定の表示領域に、前記特定の表示領域に対応する撮像装置により取得された撮像画像から抽出される、三次元形状データの生成対象であるオブジェクトの画像を表示させることを特徴とする請求項20に記載の情報処理方法。
- 前記表示制御工程において、前記特定の表示領域に対応する撮像装置により取得された撮像画像から抽出される、三次元形状データの生成対象であるオブジェクトの画像を、前記特定の表示領域における当該オブジェクトの画像の位置が、前記特定の表示領域に対応する撮像装置により取得された撮像画像における、三次元形状データの生成対象であるオブジェクトの位置に応じた位置となるように表示させることを特徴とする請求項21に記載の情報処理方法。
- 前記表示制御工程において、撮像画像における大きさが所定範囲内の三次元形状データの生成対象であるオブジェクトの画像を表示させ、前記所定範囲外の三次元形状データの生成対象ではないオブジェクトの画像を表示させないことを特徴とする請求項20乃至22のうち、何れか1項に記載の情報処理方法。
- 前記複数の撮像装置は、複数の撮像装置群に分類され、
前記表示制御工程において、前記複数の撮像装置群のうち、第1撮像装置群に属する撮像装置により取得された複数の撮像画像から抽出される、三次元形状データの生成対象であるオブジェクトの画像を表示させ、前記第1撮像装置群とは異なる第2撮像装置群に属する撮像装置により取得された複数の撮像画像から抽出される、三次元形状データの生成対象ではないオブジェクトの画像を表示させないことを特徴とする請求項20乃至22のうち、何れか1項に記載の情報処理方法。 - 前記表示制御工程において、特定オブジェクトから所定距離内に位置する、三次元形状データの生成対象であるオブジェクトの画像を前記表示画面上に表示させ、前記特定オブジェクトから前記所定距離内に位置しない、三次元形状データの生成対象ではないオブジェクトの画像を前記表示画面上に表示させないことを特徴とする請求項20乃至22のうち、何れか1項に記載の情報処理方法。
- 前記表示制御工程において、三次元形状データの生成対象であるオブジェクトの画像を、オブジェクトの種別ごとに配置して表示させることを特徴とする請求項20乃至25のうち、何れか1項に記載の情報処理方法。
- コンピュータを請求項1乃至19のうち、何れか1項に記載の情報処理装置の各手段として動作させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017022717A JP6482580B2 (ja) | 2017-02-10 | 2017-02-10 | 情報処理装置、情報処理方法、およびプログラム |
US15/892,209 US10699473B2 (en) | 2017-02-10 | 2018-02-08 | System and method for generating a virtual viewpoint apparatus |
EP18155825.5A EP3361724B1 (en) | 2017-02-10 | 2018-02-08 | System and method for generating a virtual viewpoint |
CN201810131775.0A CN108418998B (zh) | 2017-02-10 | 2018-02-09 | 用于生成虚拟视点图像的***和方法以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017022717A JP6482580B2 (ja) | 2017-02-10 | 2017-02-10 | 情報処理装置、情報処理方法、およびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019024421A Division JP6870014B2 (ja) | 2019-02-14 | 2019-02-14 | 情報処理装置、情報処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018129736A JP2018129736A (ja) | 2018-08-16 |
JP6482580B2 true JP6482580B2 (ja) | 2019-03-13 |
Family
ID=61189242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017022717A Active JP6482580B2 (ja) | 2017-02-10 | 2017-02-10 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10699473B2 (ja) |
EP (1) | EP3361724B1 (ja) |
JP (1) | JP6482580B2 (ja) |
CN (1) | CN108418998B (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11025921B1 (en) | 2016-09-22 | 2021-06-01 | Apple Inc. | Providing a virtual view by streaming serialized data |
US10692262B2 (en) * | 2017-01-12 | 2020-06-23 | Electronics And Telecommunications Research Institute | Apparatus and method for processing information of multiple cameras |
US11113887B2 (en) * | 2018-01-08 | 2021-09-07 | Verizon Patent And Licensing Inc | Generating three-dimensional content from two-dimensional images |
JP7249755B2 (ja) * | 2018-10-26 | 2023-03-31 | キヤノン株式会社 | 画像処理システムおよびその制御方法、プログラム |
JP7237538B2 (ja) | 2018-11-14 | 2023-03-13 | キヤノン株式会社 | 情報処理装置、それを含むシステム、情報処理方法、およびプログラム |
JP2020101845A (ja) * | 2018-12-19 | 2020-07-02 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、およびプログラム |
JP2020134973A (ja) * | 2019-02-12 | 2020-08-31 | キヤノン株式会社 | 素材生成装置、画像生成装置および画像処理装置 |
JP7250588B2 (ja) * | 2019-03-28 | 2023-04-03 | キヤノン株式会社 | 画像処理装置、送信方法、及びプログラム |
US20220189056A1 (en) * | 2019-04-12 | 2022-06-16 | Intel Corporation | Technology to automatically identify the frontal body orientation of individuals in real-time multi-camera video feeds |
JP2020191598A (ja) * | 2019-05-23 | 2020-11-26 | キヤノン株式会社 | 画像処理システム |
JP7467074B2 (ja) * | 2019-11-05 | 2024-04-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
WO2021117482A1 (ja) * | 2019-12-09 | 2021-06-17 | ソニーグループ株式会社 | 情報処理装置および方法、プログラム、並びに、情報処理システム |
JP2023013538A (ja) * | 2021-07-16 | 2023-01-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Family Cites Families (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020113865A1 (en) * | 1997-09-02 | 2002-08-22 | Kotaro Yano | Image processing method and apparatus |
US6144375A (en) * | 1998-08-14 | 2000-11-07 | Praja Inc. | Multi-perspective viewer for content-based interactivity |
JP2001094969A (ja) * | 1999-09-21 | 2001-04-06 | Toshiba Corp | 映像処理装置 |
JP4395689B2 (ja) * | 2001-02-09 | 2010-01-13 | コニカミノルタホールディングス株式会社 | 画像データ処理方法およびモデリング装置 |
JP2004234549A (ja) * | 2003-01-31 | 2004-08-19 | Canon Inc | 現実物体モデル作成方法 |
GB2400513B (en) * | 2003-03-14 | 2005-10-05 | British Broadcasting Corp | Video processing |
JP4710081B2 (ja) * | 2004-11-24 | 2011-06-29 | 株式会社国際電気通信基礎技術研究所 | 画像作成システム及び画像作成方法 |
ES2790885T3 (es) * | 2005-03-29 | 2020-10-29 | Sportvu Ltd | Seguimiento de objetos en tiempo real y captura de movimiento en eventos deportivos |
JP4764231B2 (ja) | 2006-03-31 | 2011-08-31 | キヤノン株式会社 | 画像処理装置、制御方法、コンピュータプログラム |
EP1862969A1 (en) * | 2006-06-02 | 2007-12-05 | Eidgenössische Technische Hochschule Zürich | Method and system for generating a representation of a dynamically changing 3D scene |
JP2008167127A (ja) * | 2006-12-28 | 2008-07-17 | Mitsubishi Electric Corp | 映像配信方法及び映像配信装置 |
JP4947593B2 (ja) * | 2007-07-31 | 2012-06-06 | Kddi株式会社 | 局所領域分割による自由視点画像の生成装置およびプログラム |
US8466913B2 (en) | 2007-11-16 | 2013-06-18 | Sportvision, Inc. | User interface for accessing virtual viewpoint animations |
JP5198151B2 (ja) * | 2008-05-30 | 2013-05-15 | 株式会社日立製作所 | 映像検索装置及び映像検索方法 |
JP2010154052A (ja) * | 2008-12-24 | 2010-07-08 | Hitachi Ltd | 複数カメラ制御システム |
JP5627253B2 (ja) | 2009-05-29 | 2014-11-19 | 富士通テン株式会社 | 画像処理装置、電子装置、および、画像処理方法 |
WO2011121117A1 (en) | 2010-04-02 | 2011-10-06 | Imec | Virtual camera system |
KR101669820B1 (ko) * | 2010-07-02 | 2016-10-27 | 삼성전자주식회사 | 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법 |
KR101729924B1 (ko) * | 2010-08-03 | 2017-04-26 | 삼성전자주식회사 | 영상 크기 조절에 기반한 외삽 뷰 생성 장치 및 방법 |
CN103069814B (zh) | 2010-08-10 | 2016-05-11 | 株式会社尼康 | 图像处理装置、图像处理方法、显示装置、显示方法及程序 |
WO2012155279A2 (en) * | 2011-05-13 | 2012-11-22 | Liberovision Ag | Silhouette-based pose estimation |
JP2012257021A (ja) * | 2011-06-08 | 2012-12-27 | Sony Corp | 表示制御装置および方法、プログラム、並びに記録媒体 |
US9363488B2 (en) | 2012-01-06 | 2016-06-07 | Nokia Technologies Oy | Methods, apparatuses and computer program products for analyzing crowd source sensed data to determine information related to media content of media capturing devices |
US9412180B2 (en) * | 2012-01-17 | 2016-08-09 | Sony Corporation | Information processing apparatus, information processing method, and program |
WO2013174671A1 (en) * | 2012-05-22 | 2013-11-28 | Telefonica, S.A. | A method and a system for generating a realistic 3d reconstruction model for an object or being |
US20130321564A1 (en) * | 2012-05-31 | 2013-12-05 | Microsoft Corporation | Perspective-correct communication window with motion parallax |
US8976224B2 (en) * | 2012-10-10 | 2015-03-10 | Microsoft Technology Licensing, Llc | Controlled three-dimensional communication endpoint |
JP5874626B2 (ja) | 2012-12-25 | 2016-03-02 | カシオ計算機株式会社 | 表示制御装置、表示制御システム、表示制御方法及びプログラム |
US9877011B2 (en) * | 2013-03-19 | 2018-01-23 | Hitachi Kokusai Electric Inc. | Image display apparatus and image display method |
JP6115335B2 (ja) | 2013-06-10 | 2017-04-19 | ノーリツプレシジョン株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
EP2824913A1 (en) * | 2013-07-09 | 2015-01-14 | Alcatel Lucent | A method for generating an immersive video of a plurality of persons |
US20160205341A1 (en) * | 2013-08-20 | 2016-07-14 | Smarter Tv Ltd. | System and method for real-time processing of ultra-high resolution digital video |
JP6497321B2 (ja) * | 2013-09-11 | 2019-04-10 | ソニー株式会社 | 画像処理装置および方法 |
JP6347934B2 (ja) | 2013-10-11 | 2018-06-27 | 株式会社デンソーテン | 画像表示装置、画像表示システム、画像表示方法、及び、プログラム |
JP6403687B2 (ja) * | 2013-12-10 | 2018-10-10 | 株式会社日立国際電気 | 監視システム |
US10089740B2 (en) * | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
CN103985114B (zh) | 2014-03-21 | 2016-08-24 | 南京大学 | 一种监控视频人物前景分割与分类的方法 |
JP2015187797A (ja) * | 2014-03-27 | 2015-10-29 | シャープ株式会社 | 画像データ生成装置および画像データ再生装置 |
JP2015191538A (ja) * | 2014-03-28 | 2015-11-02 | Kddi株式会社 | 自由視点映像生成方法、装置およびプログラム |
US10719939B2 (en) * | 2014-10-31 | 2020-07-21 | Fyusion, Inc. | Real-time mobile device capture and generation of AR/VR content |
US10726560B2 (en) * | 2014-10-31 | 2020-07-28 | Fyusion, Inc. | Real-time mobile device capture and generation of art-styled AR/VR content |
JP6573361B2 (ja) * | 2015-03-16 | 2019-09-11 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム |
KR101781942B1 (ko) * | 2016-03-08 | 2017-10-23 | 숭실대학교산학협력단 | 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치 |
-
2017
- 2017-02-10 JP JP2017022717A patent/JP6482580B2/ja active Active
-
2018
- 2018-02-08 US US15/892,209 patent/US10699473B2/en active Active
- 2018-02-08 EP EP18155825.5A patent/EP3361724B1/en active Active
- 2018-02-09 CN CN201810131775.0A patent/CN108418998B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108418998B (zh) | 2020-10-09 |
US20180232943A1 (en) | 2018-08-16 |
US10699473B2 (en) | 2020-06-30 |
EP3361724A3 (en) | 2019-01-09 |
CN108418998A (zh) | 2018-08-17 |
EP3361724B1 (en) | 2023-12-20 |
JP2018129736A (ja) | 2018-08-16 |
EP3361724A2 (en) | 2018-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6482580B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US10440407B2 (en) | Adaptive control for immersive experience delivery | |
JP7146662B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US10762653B2 (en) | Generation apparatus of virtual viewpoint image, generation method, and storage medium | |
CN105264876B (zh) | 低成本电视制作的方法及*** | |
US10951873B2 (en) | Information processing apparatus, information processing method, and storage medium | |
KR20190039774A (ko) | 가상 시점 화상의 생성에 관한 정보 처리 장치, 방법 및 프로그램 | |
US10771761B2 (en) | Information processing apparatus, information processing method and storing unit | |
CN109218630B (zh) | 一种多媒体信息处理方法及装置、终端、存储介质 | |
JP2018036955A (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR20120033246A (ko) | 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램 | |
CN106104632A (zh) | 信息处理方法、信息处理设备和程序 | |
CN113348489A (zh) | 图像处理方法和装置 | |
GB2541073A (en) | Information processing apparatus, method for controlling information processing apparatus, image processing system and storage medium | |
CN113066189B (zh) | 一种增强现实设备及虚实物体遮挡显示方法 | |
CN106713890A (zh) | 一种图像处理方法及其装置 | |
EP3742402B1 (en) | Generation of a virtual viewpoint image | |
WO2019030427A1 (en) | THREE-DIMENSIONAL VIDEO PROCESSING | |
JP6870014B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20220353484A1 (en) | Information processing apparatus, information processing method, and program | |
CN111078085B (zh) | 信息处理设备、信息处理设备的控制方法及存储介质 | |
JP2021144522A (ja) | 画像処理装置、画像処理方法、プログラム、及び画像処理システム | |
JP2013255171A (ja) | 画像配信装置及び画像表示装置 | |
WO2018235762A1 (ja) | 表示制御装置、表示制御方法、およびプログラム | |
JP2023042257A (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180626 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190212 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6482580 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |