JP7240258B2 - IMAGE PROCESSING DEVICE, CONTROL METHOD AND PROGRAM OF IMAGE PROCESSING DEVICE - Google Patents
IMAGE PROCESSING DEVICE, CONTROL METHOD AND PROGRAM OF IMAGE PROCESSING DEVICE Download PDFInfo
- Publication number
- JP7240258B2 JP7240258B2 JP2019101486A JP2019101486A JP7240258B2 JP 7240258 B2 JP7240258 B2 JP 7240258B2 JP 2019101486 A JP2019101486 A JP 2019101486A JP 2019101486 A JP2019101486 A JP 2019101486A JP 7240258 B2 JP7240258 B2 JP 7240258B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- calibration
- image processing
- images
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、画像処理装置、画像処理装置の制御方法及びプログラムに関するものである。 The present invention relates to an image processing device, a control method for an image processing device, and a program.
複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた多視点画像を用いて仮想視点画像を生成する技術が注目されている。多視点画像から仮想視点画像を生成する技術によれば、例えば、サッカーやラグビーのハイライトシーンを様々な角度から閲覧することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。 Attention has been paid to a technique of installing a plurality of cameras at different positions, performing synchronous multi-view photography, and generating a virtual viewpoint image using the multi-view images obtained by the photography. According to the technology for generating virtual viewpoint images from multi-view images, for example, highlight scenes of soccer or rugby can be viewed from various angles, giving the user a high sense of presence compared to normal images. be able to.
複数のカメラの撮影画像を用いて仮想視点画像の生成を行う場合には、カメラ設置時に各カメラの位置姿勢推定を行うキャリブレーション（以降、設置時キャリブレーション）を行う必要がある。設置時キャリブレーションでは、特別なマーカを撮影した各カメラのキャリブレーション用の撮影画像を用いて、各カメラのカメラパラメータを求める処理を行う。カメラパラメータとは、カメラ固有の内部パラメータ（焦点距離、画像中心、レンズ歪みパラメータ等）や、カメラの位置姿勢を表す外部パラメータ（回転行列、位置ベクトル等）などである。 When generating a virtual viewpoint image using images captured by a plurality of cameras, it is necessary to perform calibration for estimating the position and orientation of each camera when the cameras are installed (hereinafter referred to as calibration during installation). In the calibration at the time of installation, a process of obtaining the camera parameters of each camera is performed using the captured image for calibration of each camera that captures the special marker. The camera parameters are camera-specific internal parameters (focal length, image center, lens distortion parameter, etc.), external parameters representing the position and orientation of the camera (rotation matrix, position vector, etc.), and the like.
ここで、設置時キャリブレーションによるカメラ位置姿勢推定後、画像生成用の撮影までの間や撮影中に、経時的にカメラ位置姿勢が変化してしまうことがある。特に、スポーツの試合等を撮影する際には、試合当日にフィールド上にマーカ配置が必要な設置時キャリブレーション用の撮影を行うことができず、試合前日以前に設置時キャリブレーション用の撮影を行うことがある。この場合、カメラ位置姿勢が変化してしまう可能性がある。すると、設置時キャリブレーションで算出したカメラ位置姿勢と、映像生成用の撮影画像のカメラ位置姿勢とがずれてしまうため、生成される仮想視点画像の画質が劣化する可能性がある。 Here, after estimating the camera position and orientation by the installation calibration, the camera position and orientation may change over time until shooting for image generation or during shooting. In particular, when shooting sports games, it is not possible to shoot for installation calibration, which requires markers to be placed on the field on the day of the match. I have something to do. In this case, the camera position and orientation may change. As a result, the camera position and orientation calculated in the calibration at the time of installation and the camera position and orientation of the photographed image for video generation are deviated, and thus the image quality of the generated virtual viewpoint image may deteriorate.
特許文献１では、ステレオ画像を撮影する車載カメラにおいて、保持している前回キャリブレーションデータに対して、新たに撮影したステレオ画像のみから抽出した特徴点を用いてキャリブレーションずれを補正することが開示されている。 Patent Literature 1 discloses that in an in-vehicle camera that captures a stereo image, calibration deviation is corrected using feature points extracted only from a newly captured stereo image with respect to the held previous calibration data. It is
しかしながら、新たに撮影したマーカなしの画像を用いた特徴点マッチングでは精度の高いキャリブレーションを行うことが難しいため、特許文献１に記載の技術では、マーカなしで再度キャリブレーションを精度よく行うことが難しいという課題がある。 However, since it is difficult to perform high-accuracy calibration by feature point matching using a newly captured image without markers, the technique described in Patent Document 1 can perform calibration again with high accuracy without markers. There is a difficult issue.
本発明は、上記の課題に鑑みてなされたものであり、カメラの設置時におけるマーカを用いたキャリブレーション後、マーカなしで再度キャリブレーションを精度よく行うための技術を提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique for accurately performing calibration again without using markers after calibration using markers at the time of camera installation. .
上記の目的を達成する本発明に係る画像処理装置は、
複数の撮影装置のそれぞれの位置姿勢を表すパラメータと、当該パラメータを算出する第１のキャリブレーションを行う際に用いた前記複数の撮影装置により撮影されて取得されたマーカを含む第１の画像群と、を取得する取得手段と、
前記第１のキャリブレーションの後に前記複数の撮影装置により撮影されて取得された前記マーカを含まない第２の画像群の画像、及び前記取得手段により取得された第１の画像群の画像からそれぞれ抽出された画像特徴点と、前記取得手段により取得されたパラメータと、に基づいて第２のキャリブレーションを行うことにより、各撮影装置の位置姿勢を表すパラメータを算出する算出手段と、
を備えることを特徴とする。
An image processing apparatus according to the present invention for achieving the above object comprises:
A first image group including parameters representing the position and orientation of each of a plurality of photographing devices, and markers acquired by being photographed by the plurality of photographing devices used when performing a first calibration for calculating the parameters and an acquisition means for acquiring
from images of a second image group that do not include the marker acquired by being photographed by the plurality of photographing devices after the first calibration and images of the first image group acquired by the acquiring means, respectively calculating means for calculating parameters representing the position and orientation of each photographing device by performing a second calibration based on the extracted image feature points and the parameters obtained by the obtaining means;
characterized by comprising
本発明によれば、カメラの設置時におけるマーカを用いたキャリブレーション後、マーカなしで再度キャリブレーションを精度よく行うことができる。 According to the present invention, after calibration using markers at the time of camera installation, it is possible to accurately perform calibration again without markers.
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. It should be noted that the following embodiments do not limit the invention according to the scope of claims. Although multiple features are described in the embodiments, not all of these multiple features are essential to the invention, and multiple features may be combined arbitrarily. Furthermore, in the accompanying drawings, the same or similar configurations are denoted by the same reference numerals, and redundant description is omitted.
（実施形態１）
実施形態１では、映像生成用の撮影を完了した後に、映像生成を行うシーンの画像を用いてキャリブレーションを行う処理について説明する。以降、設置時キャリブレーション後に、キャリブレーション用マーカなしの画像を用いて行うキャリブレーションを再キャリブレーションと呼ぶ。
(Embodiment 1)
In the first embodiment, processing for performing calibration using an image of a scene for which video generation is to be performed after completion of shooting for video generation will be described. Hereinafter, calibration performed using an image without calibration markers after installation calibration is referred to as recalibration.
＜画像処理システムの配置構成＞
図１は、本実施形態に係る画像処理システム１０１の一例を示した模式図である。
<Arrangement Configuration of Image Processing System>
FIG. 1 is a schematic diagram showing an example of an
画像処理システム１０１は、複数のカメラ（撮影装置）１０２と画像処理装置画像処理装置１０３とを含んで構成されている。複数のカメラ１０２は、撮影対象であるフィールド１０４を囲むように配置され、複数のカメラ１０２が撮影した画像を画像処理装置１０３が取得し、画像処理装置１０３が映像生成を行う。
An
なお、図１に示す画像処理システム１０１では、複数のカメラ１０２がそれぞれ画像処理装置１０３に接続されるスター型の構成を例示したが、図示の例に限定されるものではない。例えば、カメラ１０２同士がデイジーチェーンにより接続され、そこから画像処理装置１０３に接続される構成としてもよい。また、カメラ１０２を１０台としたが、カメラ台数は何台でもよく、台数を限定するものではない。
Although the
＜画像処理システムの構成＞
図２は、実施形態１における画像処理システム１０１の構成を示すブロック図である。
<Configuration of image processing system>
FIG. 2 is a block diagram showing the configuration of the
カメラ１０２は、撮像部２０１を備える。図１に示すように本実施形態の画像処理システム１０１は、複数のカメラ１０２を含んで構成されるが、各カメラ１０２は同等の構成であるため図示しない。また、カメラ１０２と記載した場合には複数のカメラ１０２を指すものとする。
The
撮像部２０１は、画像の撮影を行い、撮影した画像を画像処理装置１０３へ送信する。次に、画像処理装置１０３は、画像取り込み部２０２、設置時キャリブレーション処理部２０３、再キャリブレーション処理部２０４、データ管理部２０５、画像補正部２０６、映像生成部２０７、及びシーン選択部２０８を備える。
The
画像取り込み部２０２は、カメラ１０２の撮像部２０１から送信された撮影画像群（複数のカメラ１０２により複数の時刻に複数の視点で撮影された画像群）を受信して保存し、処理に応じて、設置時キャリブレーション処理部２０３、再キャリブレーション処理部２０４、画像補正部２０６へ画像を送信する。画像取り込み部２０２には、全てのカメラ１０２の撮影画像群が集約される。
The
設置時キャリブレーション処理部２０３は、画像取り込み部２０２から、カメラ１０２がマーカを撮影した設置時キャリブレーション用画像を受信し、設置時キャリブレーション処理を行う。設置時キャリブレーション処理では、設置時キャリブレーション用画像から、画像特徴点として、設置時キャリブレーション用のマーカと、人物や構造物などの自然特徴点とを検出する。そして、カメラ間での画像特徴点のマッチングを行い、世界座標と画像座標との対応付けを行い、カメラ１０２のカメラパラメータを算出する。
The installation
カメラパラメータの算出手法としては、カメラ固有のパラメータである内部パラメータについては予め算出した値を使用し、画像からはカメラ位置姿勢を表す外部パラメータのみを算出するようにしてもよい。もしくは、予め算出した内部パラメータを初期値として用いて外部パラメータを算出した後に、内部パラメータを補正するようにしてもよい。また、設計値あるいは設置時に計測した外部パラメータを初期値として用いてもよく、算出手法を限定するものではない。また、設置時キャリブレーション結果の評価として特徴点の再投影誤差を算出し、誤差がある閾値以下になるまで誤検出や誤マッチングの削除を行って最適化計算を行い、パラメータを算出するようにしてもよい。また、算出されるカメラパラメータの形式についても特に限定されるものではない。 As a camera parameter calculation method, pre-calculated values may be used for intrinsic parameters, which are parameters unique to the camera, and only extrinsic parameters representing the camera position and orientation may be calculated from the image. Alternatively, the internal parameter may be corrected after calculating the external parameter using the internal parameter calculated in advance as the initial value. Also, design values or external parameters measured at the time of installation may be used as initial values, and the calculation method is not limited. In addition, as an evaluation of the calibration results at the time of installation, the reprojection error of the feature points is calculated, and optimization calculations are performed by deleting false detections and false matching until the error is below a certain threshold, and the parameters are calculated. may Also, the format of the camera parameters to be calculated is not particularly limited.
そして、設置時キャリブレーション処理部２０３は、算出したカメラ１０２のカメラパラメータ、及び、設置時キャリブレーション処理に使用した設置時キャリブレーション用画像を、データ管理部２０５に送信する。
The installation
再キャリブレーション処理部２０４は、画像取り込み部２０２から、カメラ１０２が撮影した映像生成シーン（例えば、得点シーンや好プレーのシーンなど）の画像群のうち１フレームを再キャリブレーション用画像として受信する。そして、映像生成用の撮影時のカメラ位置姿勢を算出する再キャリブレーション処理を行う。再キャリブレーション処理では、再キャリブレーション用画像と、データ管理部２０５から取得した設置時キャリブレーション時のカメラパラメータと、設置時キャリブレーション用画像とを用いて、カメラ１０２のカメラパラメータを算出する。
The
データ管理部２０５は、設置時キャリブレーション処理部２０３から受信した設置時キャリブレーション結果のカメラパラメータ及び設置時キャリブレーション用画像を保持する。また、映像生成シーンに対応した、再キャリブレーション処理部２０４から受信した再キャリブレーション結果のカメラパラメータと、画像補正部２０６で行う位置補正処理のリファレンス画像とを管理する。リファレンス画像の詳細は後述する。
The
画像補正部２０６は、画像取り込み部２０２から、カメラ１０２が撮影した映像生成用画像を受信する。そして、データ管理部２０５から取得した映像生成シーンに応じたカメラ毎のリファレンス画像を用いて、カメラの振動やブレに対して画像の位置を安定させるための位置合わせを行う位置補正処理を実施し、映像生成部２０７に送信する。画像補正部２０６で実施する補正処理として更に、カメラ毎の色のばらつきを抑えるための色補正処理等を行うようにしてもよい。また、更にブレに対する補正処理として、カメラに内蔵された加速度センサあるいはジャイロセンサなどのセンサからの出力データに基づいた画像のブレ量の推定を行ってもよい。また、時間的に連続した複数のフレーム画像を比較することで画像の移動量を推定することでブレ量を推定してもよい。そして、推定されたブレを補正する処理を行ってもよい。
The
映像生成部２０７は、画像補正部２０６から受信した映像生成用画像から、データ管理部２０５から取得した映像生成シーンに応じたカメラ１０２のカメラパラメータを用いて仮想視点の映像生成処理を行う。映像生成部２０７で行う複数のカメラの撮影画像を用いた仮想視点の映像生成処理としては、三次元モデル生成、レンダリングなどの処理を行い、生成された映像は不図示のモニタやメモリに出力される。
The
シーン選択部２０８は、画像取り込み部２０２に蓄積された撮影画像の中から、映像生成を行うシーンを選択する。映像生成シーンは、例えば得点シーンや好プレーのシーンである。シーン選択部２０８は、不図示の操作入力部を用いたユーザ選択に基づいてシーン選択を行ってもよいし、シーン内容を判別することにより自動でシーン選択を行うようにしてもよい。
A
＜画像処理装置のハードウェア構成＞
画像処理装置１０３のハードウェア構成について、図２を用いて説明する。なお、画像処理装置３００のハードウェア構成も、以下で説明する画像処理装置１０３の構成と同様である。画像処理装置１０３は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信Ｉ／Ｆ２１７、及びバス２１８を有する。
<Hardware Configuration of Image Processing Apparatus>
A hardware configuration of the
ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いて画像処理装置１０３の全体を制御することで、図１に示す画像処理装置１０３の各機能を実現する。なお、画像処理装置１０３がＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。
The
表示部２１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが画像処理装置１０３を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部２１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。
The
通信Ｉ／Ｆ２１７は、画像処理装置１０３の外部の装置との通信に用いられる。例えば、画像処理装置１０３が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。画像処理装置１０３が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１７はアンテナを備える。バス２１８は、画像処理装置１０３の各部をつないで情報を伝達する。
A communication I/
本実施形態では表示部２１５と操作部２１６が画像処理装置１０３の内部に存在するものとするが、表示部２１５と操作部２１６との少なくとも一方が画像処理装置１０３の外部に別の装置として存在していてもよい。この場合、ＣＰＵ２１１が、表示部２１５を制御する表示制御部、及び操作部２１６を制御する操作制御部として動作してもよい。?
＜処理＞
次に、図３のフローチャートを参照して、本実施形態に係る画像処理装置１０３が実施する処理の手順を説明する。
In this embodiment, the
<Processing>
Next, the procedure of processing performed by the
Ｓ３０１において、画像取り込み部２０２は、カメラ１０２の設置が完了した状態で、撮像部２０１で撮影された設置時キャリブレーション用の画像を取り込み、設置時キャリブレーション処理部２０３に蓄積する。設置時キャリブレーション用の撮影においてはマーカを撮影するが、マーカをフィールド上に配置するなど撮影画像の被写体が静止物体のみである場合はカメラ間で同期せずに撮影してもよい。あるいは、マーカを持った人物が歩き回るなど被写体が動きのある物体を含む場合はカメラ間で同期して撮影するものとしてもよい。設置時キャリブレーション用画像としては、より多くの画像特徴点が対象空間に散らばって検出できることが求められるため、画像特徴点となるマーカ等をカメラの撮影範囲内で動かして複数回撮影することが想定される。Ｓ３０１の完了時点では、設置時キャリブレーション処理部２０３に、カメラ１０２で撮影された複数枚の設置時キャリブレーション用画像が全て集約された状態となる。
In step S<b>301 , the
Ｓ３０２において、設置時キャリブレーション処理部２０３は、蓄積された画像データを用いて設置時キャリブレーション処理を行い、カメラ１０２のカメラパラメータを算出する。Ｓ３０３において、設置時キャリブレーション処理部２０３は、設置時キャリブレーション用画像と算出したカメラパラメータをデータ管理部２０５に送信する。データ管理部２０５が設置時キャリブレーション用画像及びカメラパラメータを保存する。
In S<b>302 , the installation
Ｓ３０１からＳ３０３までの処理は、カメラ１０２の設置後から試合などの映像生成用の撮影前に行う処理である。
The processing from S301 to S303 is processing that is performed after the
次いで、Ｓ３０４において、画像取り込み部２０２は、撮像部２０１で撮影された映像生成用の画像を取り込んで蓄積する。この際、撮像部２０１で撮影した画像はすぐに画像取り込み部２０２に送信されてもよいし、撮像部２０１に一定量の画像が蓄積されたら都度送信するようにしてもよいし、全ての撮影が完了してから送信するようにしてもよい。なお、映像生成は複数カメラの撮影画像を用いて行うために、カメラ１０２同士は同期して撮影を行うものとする。
Next, in S<b>304 , the
後述するＳ３０５以降の処理は、試合などの映像生成用の撮影よりも後の処理であり、この時点で画像取り込み部２０２には、映像生成用画像が全て蓄積されているものする。映像生成用画像とは、試合中の一定時間のみを撮影して得られた画像であってもよいし、１試合を全て撮影して得られた画像であってもよいし、もしくは連続して行われる複数の試合を続けて撮影して得られた画像であってもよい。
The processing after S305, which will be described later, is processing after shooting for video generation such as a match, and at this point, the
Ｓ３０５において、シーン選択部２０８は、Ｓ３０４で画像取り込み部２０２に蓄積された撮影画像の中から、映像生成を行うシーンを選択する。映像生成シーンとしては、得点シーンや好プレーなどが考えられるが、シーンの長さや内容については限定するものではない。シーン選択部２０８は、ユーザによる選択に基づいてシーン選択を行ってもよいし、シーン内容を判別することにより自動でシーン選択を行うようにしてもよい。
In S305, the
Ｓ３０６において、再キャリブレーション処理部２０４は、Ｓ３０５で選択された映像生成シーンの中から１フレームの再キャリブレーション用画像を画像取り込み部２０２から取得する。そして、再キャリブレーション処理を行って、カメラ１０２のカメラパラメータを算出する。再キャリブレーション処理の詳細については図４を参照して後述する。
In S<b>306 , the
Ｓ３０７において、データ管理部２０５は、再キャリブレーション処理部２０４で算出されたカメラパラメータを受信し、保持するカメラパラメータを更新する。Ｓ３０８において、データ管理部２０５は、再キャリブレーション処理部２０４が再キャリブレーション処理に使用した各カメラ１０２の再キャリブレーション用画像を受信し、画像補正部２０６の位置補正処理で用いるリファレンス画像として保持する。
In S307, the
Ｓ３０９において、画像補正部２０６は、Ｓ３０５で選択された映像生成シーンの撮影画像を画像取り込み部２０２から受信する。そして、Ｓ３０８でデータ管理部２０５に保存された各カメラ１０２のリファレンス画像を用いて、カメラの振動に対して撮影画像の位置合わせを行う補正処理を行う。なお、本実施形態では、画像補正部２０６は画像処理装置１０３が備える例を説明したが、カメラ１０２が画像補正部を備え、それぞれのカメラ１０２において位置補正処理を行うようにしてもよい。
In S<b>309 , the
Ｓ３１０において、映像生成部２０７は、Ｓ３０９で実施した補正処理後の画像と、Ｓ３０７で更新された再キャリブレーション結果のカメラ１０２のカメラパラメータとを用いて、仮想視点の映像生成処理を行う。Ｓ３１１において、シーン選択部２０８は、映像生成シーンの選択が全て完了したか否かを判定する。未選択のシーンが存在する場合、Ｓ３０５に戻って処理を繰り返す。一方、全て選択した場合、処理を終了する。
In S<b>310 , the
なお、複数の映像生成シーンについて、全ての映像生成をできるだけ早く完了するために、Ｓ３０５のシーン選択処理からＳ３１０の映像生成処理までの一連の処理を並列に実行してもよい。その場合は、データ管理部２０５がシーンに応じたカメラパラメータとリファレンス画像とを管理するものとする。
For a plurality of video generation scenes, a series of processes from the scene selection processing of S305 to the video generation processing of S310 may be executed in parallel in order to complete all video generation as quickly as possible. In that case, the
また、映像生成用の撮影後のＳ３０５以降の処理と並列に、次のＳ３０４の映像生成用の撮影を行うようにしてもよい。これにより、例えば、試合の撮影を続けながら、試合中に映像生成処理を行うことで、試合中に（例えばハーフタイム中に前半のハイライト映像として）生成した映像を使用することができる。 In parallel with the processing of S305 and subsequent steps after the shooting for video generation, the next step S304 for video generation may be performed. As a result, for example, by performing video generation processing during the game while continuing to shoot the game, it is possible to use the video generated during the game (for example, as the highlight video of the first half during halftime).
＜再キャリブレーション処理の詳細＞
続いて、図４のフローチャートを参照して、Ｓ３０６における、再キャリブレーション処理部２０４での再キャリブレーション処理の詳細を説明する。
<Details of recalibration processing>
Next, details of the recalibration processing in the
本実施形態では、再キャリブレーション処理として、カメラ固有の内部パラメータについては設置時キャリブレーション結果をそのまま使用し、カメラの位置姿勢を表す外部パラメータのみを算出するものとする。ただし、カメラ１０２の特性や、熱や振動によって内部パラメータが変わってしまうことが想定される場合には、内部パラメータも算出するようにしてもよい。
In the present embodiment, as the recalibration process, the results of the installation calibration are used as they are for the internal parameters specific to the camera, and only the external parameters representing the position and orientation of the camera are calculated. However, if it is assumed that the internal parameters will change due to the characteristics of the
Ｓ４０１において、再キャリブレーション処理部２０４は、Ｓ３０５で選択された映像生成シーン撮影時におけるカメラ１０２の位置姿勢を算出するための再キャリブレーション用画像を、映像生成シーンの中から特定する。本実施形態では、シーンの先頭画像１フレームを再キャリブレーション用画像として使用する例を説明する。
In S401, the
Ｓ４０２において、再キャリブレーション処理部２０４は、再キャリブレーション処理に用いる設置時キャリブレーション用画像を特定する。本実施形態では、複数フレームの設置時キャリブレーション用画像のうち最初の１フレームを使用するものとする。ただし、設置時キャリブレーション用画像の撮影時にカメラ１０２が振動していた場合、画像を撮影した際のカメラ位置姿勢と、それらの画像から算出したカメラパラメータが示すカメラ位置姿勢とにずれが生じる。そのため、複数フレームの設置時キャリブレーション用画像の中から、算出したカメラ位置姿勢に最も近い画像を選択して使用してもよい。もしくは、設置時キャリブレーション用画像のみに映っている人物やマーカを映像処理によって除去した画像を使用するようにしてもよい。
In S402, the
Ｓ４０３において、再キャリブレーション処理部２０４は、Ｓ４０１で特定した再キャリブレーション用画像と、Ｓ４０２で特定された設置時キャリブレーション用画像との両方の画像を用いて、それぞれ画像特徴点の検出を行う。そして、検出された画像特徴点について画像間でのマッチングを行う。設置時キャリブレーション用画像については、データ管理部２０５から既知のカメラパラメータを取得し、再キャリブレーション用画像についても同様のカメラパラメータをカメラの初期値として、画像間での特徴点マッチング処理を行う。図１に示すように、カメラ１０２が１０台であった場合、２０枚の画像を用いた画像間の特徴点マッチング処理となる。再キャリブレーション処理における画像特徴点は、再キャリブレーション用画像として映像生成用画像であるマーカなしの画像を使用するため、人物や構造物などの自然特徴点のみとなる。
In S403, the
Ｓ４０４において、再キャリブレーション処理部２０４は、Ｓ４０３における画像特徴点のマッチング結果を用いて、カメラ１０２のカメラ位置姿勢推定を行う。Ｓ４０３では、再キャリブレーション用画像と設置時キャリブレーション用画像との合計２０枚の画像について特徴点マッチングを行った。これに対し、Ｓ４０４では、設置時キャリブレーション用画像は設置時キャリブレーション結果のカメラパラメータで固定したまま、再キャリブレーション用画像と対応する１０台のカメラ１０２についてカメラ位置姿勢推定を行い、カメラパラメータを算出する。
In S404, the
Ｓ４０５において、再キャリブレーション処理部２０４は、全カメラについて位置姿勢推定が成功したか否かを判定する。全カメラについて成功した場合、処理を終了する。一方、推定できていないカメラがある場合は、Ｓ４０６へ進む。
In step S<b>405 , the
Ｓ４０６において、再キャリブレーション処理部２０４は、Ｓ４０３での検出及びマッチングに成功した画像特徴点が少ないために推定できないと判定し、再キャリブレーション用画像上に対応点の追加を行う。対応点の追加は、画像上での指定操作によりユーザが手動で追加することにより行う。推定できていないカメラの画像及びそのカメラに隣接した推定できているカメラの画像上に対応点の追加を行うことで特徴点を増やし、全カメラについて推定ができるまで、Ｓ４０３からＳ４０５の処理を繰り返す。
In S406, the
以上の処理により、再キャリブレーション処理部２０４において、映像生成を行うシーンの１フレームの画像と、設置時キャリブレーション用画像と、設置時キャリブレーション結果のカメラパラメータとを用いて、再キャリブレーションを行うことができる。これにより、設置時キャリブレーションの実施後、試合中やフィールドに侵入できない状況であっても、キャリブレーション用の特別なマーカなしで再度キャリブレーションを高精度に実施することができる。
With the above processing, the
＜再キャリブレーション用画像及び設置時キャリブレーション用画像の一例＞
ここで、図５は、本実施形態における再キャリブレーション用画像及び設置時キャリブレーション用画像の例を示す。ここでは、２台のカメラ１０２の画像について説明する。ここでは明示的に別のカメラであることを示すために、２台のカメラ１０２をカメラＡ１０２、カメラＢ１０２と呼ぶ。
<Example of recalibration image and installation calibration image>
Here, FIG. 5 shows an example of a recalibration image and an installation calibration image in this embodiment. Here, images from the two
図５（Ａ）は、Ｓ４０１で特定された、カメラＡ１０２の再キャリブレーション用画像を示す。図５（Ｂ）は、Ｓ４０１で特定された、カメラＢ１０２の再キャリブレーション用画像を示す。なお、カメラＡ１０２とカメラＢ１０２は隣接して配置されているものとする。図５（Ｃ）は、Ｓ４０２で特定された、カメラＢ１０２の設置時キャリブレーション用画像を示す。
FIG. 5A shows an image for recalibration of the camera A102 identified in S401. FIG. 5B shows the recalibration image of the camera B102 identified in S401. It is assumed that
図５（Ａ）及び図５（Ｂ）に示すように、隣接するカメラＡ１０２及びカメラＢ１０２の再キャリブレーション用画像は、映像生成用画像であるため、マーカ５０５は撮影されていない。しかし、同期画像であるため、ライン５０１や看板５０２の他に、人物５０３やボール５０４について多くの画像特徴点の検出及びマッチングが可能である。ただし、シーンの内容やカメラ毎の撮影範囲の違いによって、人物５０３の有無や数にばらつきがある。また、三次元において複雑な形状である人物５０３は撮影する方向によって見え方が異なるため、精度の高い特徴点マッチングが難しい。
As shown in FIGS. 5A and 5B, the recalibration images of the
これに対して、図５（Ｂ）及び図５（Ｃ）に示すように、カメラＢ１０２の設置時キャリブレーション用画像と再キャリブレーション用画像との間は、多少のカメラ位置姿勢の変化はあるものの、概ね同じ範囲を撮影した画像となる。ただし、撮影されたタイミングが異なるため、人物５０３やボール５０４、マーカ５０５については画像特徴点のマッチングは難しい。しかし、上述したように特徴点マッチングの際、カメラの初期値として同じカメラ位置姿勢を示すカメラパラメータを使用するため、ライン５０１や看板５０２など時間不変の特徴点は画像内のほぼ同位置に検出されるので精度の高いマッチングができる。また、上述したように図５（Ｃ）に示す設置時キャリブレーション用画像のカメラ位置姿勢は固定したまま、図５（Ｂ）に示す再キャリブレーション用画像のカメラ位置姿勢推定を行うことで、精度の高い推定を行うことができる。
On the other hand, as shown in FIGS. 5B and 5C, there is a slight change in camera position and orientation between the installation calibration image and the recalibration image of the camera B102. However, it is an image of approximately the same range. However, it is difficult to match the image feature points of the
なお、本実施形態では、再キャリブレーション用画像として、映像生成シーンの先頭画像を用いるものとしたが、シーンの真ん中の画像や後尾画像でもよい。または、再キャリブレーション処理の推定はマーカ５０５なしの自然特徴点のみで行うため、例えばカメラ１０２の注視点周辺に人物５０３が多くいる画像など、特徴点が多い画像（例えば所定数以上の特徴点が含まれる画像）を選択してもよい。または、再キャリブレーション用画像は、位置補正処理のリファレンス画像として使用するため、位置補正処理の位置合わせ方法に応じて最適な画像を選択してもよい。例えば、位置補正処理にライン５０１を用いる場合は、ライン５０１上に人物が重なっていない画像を選択するようにしてもよい。
In this embodiment, the leading image of the video generation scene is used as the recalibration image, but the image in the middle of the scene or the trailing image may also be used. Alternatively, since the recalibration process is estimated using only natural feature points without the
なお、本実施形態では、画像処理装置１０３が一連の処理を実行する例を説明したが、必ずしも全ての処理を実行する必要はない。例えば、画像処理装置１０３が行った設置時キャリブレーション処理の結果と、その際に使用された画像とを、画像処理装置１０３とは異なる別の装置が取得し、当該別の装置が再キャリブレーション処理を行うようにしてもよい。
In this embodiment, an example in which the
（実施形態２）
実施形態２では、映像生成用の撮影を行いながらリアルタイムで映像生成を行う画像処理システムにおいて、撮影中に再キャリブレーションを行い、再キャリブレーション結果をリアルタイム映像生成処理に反映する処理について説明する。
(Embodiment 2)
In the second embodiment, in an image processing system that performs image generation in real time while performing image capturing for image generation, recalibration is performed during image capturing, and processing for reflecting the recalibration result in real time image generation processing will be described.
＜画像処理システムの構成＞
図６は、本実施形態に係る画像処理システムの構成例を示す図である。画像処理システム６０１は、複数のカメラ１０２と、画像処理装置６０３とを含んで構成される。画像処理装置６０３は、画像処理装置１０３のシーン選択部２０８以外の構成要素に加えて、実施判定部６０４と、反映判定部６０５とを備えている。
<Configuration of image processing system>
FIG. 6 is a diagram showing a configuration example of an image processing system according to this embodiment. The
なお、図６において、図２の画像処理システム１０１と同一の処理を行うものについては、同一の符号を付与して表すものとし、実施形態１との相違点を主に説明する。なお、画像処理装置６０３のハードウェア構成は実施形態１で図８を参照して説明した構成と同様であるため、説明を省略する。
In FIG. 6, components that perform the same processes as those of the
実施判定部６０４は、画像取り込み部２０２から映像生成用画像を受信し、その画像を用いた再キャリブレーションを実施するか否かを判定する。判定基準については後述する。
The
反映判定部６０５は、再キャリブレーション処理部２０４から受信した再キャリブレーション結果のカメラパラメータと、画像補正部２０６で行う位置補正処理のリファレンス画像とを反映するタイミングを判定し、キャリブレーション管理部２０５に送信する。その際、画像補正部２０６の位置補正処理に用いるリファレンス画像の更新を反映するフレームと、映像生成部２０７の映像生成に用いるカメラパラメータの更新を反映するフレームとを、それぞれの処理間のフレーム遅延を考慮して一致させるようにキャリブレーション管理部２０５に指示する。もし反映するフレームがずれると、カメラパラメータのカメラ位置姿勢が映像生成処理の際に使用する画像とずれてしまうため、生成された画像の画質が劣化してしまうことになる。判定基準については後述する。
The
＜処理＞
続いて、図７のフローチャートを参照して、本実施形態に係る画像処理装置６０３が実施する処理の手順を説明する。本実施形態では、映像生成用の撮影中に再キャリブレーションを行い、再キャリブレーション結果をリアルタイム映像生成処理に反映する処理を行う。なお、図７において、図３のフローチャートと同一の処理を行うものについては、同一の符号を付与して表すものとし、実施形態１との相違点を主に説明する。
<Processing>
Next, the procedure of processing performed by the
Ｓ７０１において、データ管理部２０５は、Ｓ３０３での設置時キャリブレーションデータの保存後、保存した設置時キャリブレーション用画像の中から各カメラについて１フレームを画像補正部２０６の位置補正処理で用いるリファレンス画像として特定する。設置時キャリブレーション用画像の中から１フレームをリファレンス画像として選択する方法としては、図４のＳ４０２における設置時キャリブレーション用画像を特定する方法と同様である。
In S701, after the installation calibration data is saved in S303, the
Ｓ７０２において、実施判定部６０４は、Ｓ３０４で映像生成用の撮影が開始されると、映像生成用画像を用いた再キャリブレーション処理を実施するフレームを判定する。本実施形態では、映像生成用画像におけるカメラ１０２の振動が、画像補正部２０６における位置補正処理により位置合わせ可能な範囲あるいはそれより狭い範囲を閾値とした場合に、当該閾値を超えた場合に再キャリブレーションを行うと判定する。また、閾値を超えたフレームが数フレーム続いた場合や、数フレームの振動の平均値が閾値を超えた場合に再キャリブレーションを行うと判定してもよい。実施判定部６０５におけるカメラ１０２の振動の検出方法は、リファレンス画像との画像比較によって振動を検出する方法であってもよいし、カメラ１０２に取り付けられたセンサで振動を検出する方法であってもよい。または、カメラ位置姿勢が継時的に変化するような場合や、Ｓ３０６の再キャリブレーション処理時間を考慮して、一定時間撮影する毎に再キャリブレーション処理を実施してもよい。
In S702, the
Ｓ７０３において、反映判定部６０５は、Ｓ３０６の再キャリブレーション処理結果のカメラパラメータの更新及びリファレンス画像の更新を反映するフレームを判定する。本実施形態では、撮影画像のシーン内容判別により、プレーの区切りなど連続性の低いタイミングを判定して自動で更新を反映するフレームを判定する。または、ユーザが試合の状況を見ながら判定するように構成してもよい。一連のプレーの最中に更新を反映した場合は、反映前後のカメラ位置姿勢の変化によっては視聴者に違和感を与えてしまうことになるかもしれない。そのため、プレーの中断時を見計らって更新を反映するとよい。また、突風の影響や、カメラ１０２にボールが当たったなどの影響でカメラ位置姿勢が大きくずれた場合などは、カメラ位置姿勢の変化量や既に生成された画像の画質劣化を検出して、即時に反映するようにしてもよい。あるいは、映像生成部２０７において生成される仮想視点映像の視点情報が予め与えられる場合は、仮想視点の切り替えなどの視聴者に認識されにくいタイミングを判定して更新を反映してもよい。
In S<b>703 , the
Ｓ７０４において、データ管理部２０５は、再キャリブレーション処理部２０４で算出されたカメラパラメータを、Ｓ７０３で判定された更新を反映するタイミングで更新する。
In S704, the
Ｓ７０５において、データ管理部２０５は、リファレンス画像を、再キャリブレーション処理部２０４が再キャリブレーション処理に使用した各カメラ１０２の再キャリブレーション用画像を用いて、Ｓ７０３で判定された更新を反映するタイミングで更新する。
In S705, the
Ｓ７０６において、画像取り込み部２０２は、撮像部２０１による映像生成用画像の撮影が終了したか否かを判定する。撮影が終了した場合、一連の処理を終了する。一方、撮影が終了していない場合、Ｓ３０４に戻って処理を繰り返す。
In S706, the
これより、映像生成用画像の撮影中に、カメラの振動が補正できなくなることを判定して再キャリブレーションを行い、視聴者に違和感を与えないタイミングで再キャリブレーション結果をリアルタイム映像生成処理に反映することができる。 As a result, during the shooting of images for video generation, it is determined that the camera vibration cannot be corrected, and recalibration is performed, and the recalibration results are reflected in the real-time video generation process at a timing that does not cause discomfort to the viewer. can do.
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。 The invention is not limited to the embodiments described above, and various modifications and variations are possible without departing from the spirit and scope of the invention.
１０１：画像処理システム、１０２：カメラ、１０３：画像処理装置、２０１：撮像部、２０２：画像取り込み部、２０３：設置時キャリブレーション処理部、２０４：再キャリブレーション処理部、２０５：データ管理部、２０６：画像補正部、２０７：映像生成部、６０４：実施判定部、６０５：反映判定部 101: image processing system, 102: camera, 103: image processing device, 201: imaging unit, 202: image capture unit, 203: installation calibration processing unit, 204: recalibration processing unit, 205: data management unit, 206: Image correction unit, 207: Video generation unit, 604: Implementation determination unit, 605: Reflection determination unit
Claims (13)
前記第１のキャリブレーションの後に前記複数の撮影装置により撮影されて取得された前記マーカを含まない第２の画像群の画像、及び前記取得手段により取得された第１の画像群の画像からそれぞれ抽出された画像特徴点と、前記取得手段により取得されたパラメータと、に基づいて第２のキャリブレーションを行うことにより、各撮影装置の位置姿勢を表すパラメータを算出する算出手段と、
を備えることを特徴とする画像処理装置。 A first image group including parameters representing the position and orientation of each of a plurality of photographing devices, and markers acquired by being photographed by the plurality of photographing devices used when performing a first calibration for calculating the parameters and an acquisition means for acquiring
from images of a second image group that do not include the marker acquired by being photographed by the plurality of photographing devices after the first calibration and images of the first image group acquired by the acquiring means, respectively calculating means for calculating parameters representing the position and orientation of each photographing device by performing a second calibration based on the extracted image feature points and the parameters obtained by the obtaining means;
An image processing device comprising:
前記画像補正手段は、前記第２の画像群の画像を前記リファレンス画像として使用することを特徴とする請求項１に記載の画像処理装置。 further comprising image correction means for aligning a series of images captured for each imaging device based on a reference image held for each imaging device;
2. The image processing apparatus according to claim 1, wherein said image correction means uses an image of said second image group as said reference image.
前記判定手段は、撮影装置の振動が前記位置合わせ可能な範囲を超えた場合に、前記第２のキャリブレーションを行うと判定することを特徴とする請求項２又は３に記載の画像処理装置。 Further comprising determination means for determining whether or not to perform the second calibration,
4. The image processing apparatus according to claim 2, wherein said determination means determines that said second calibration is to be performed when the vibration of said photographing device exceeds said positionable range.
前記第２のキャリブレーションの実行に応じて、前記映像生成手段により使用されるパラメータの更新及び前記リファレンス画像の更新を反映するタイミングを、画像のシーン内容に基づいて判定する反映判定手段と、
をさらに備えることを特徴とする請求項２乃至５の何れか１項に記載の画像処理装置。 an image generating means for generating an image of a virtual viewpoint from the images captured by the plurality of imaging devices using the parameters calculated by the first calibration or the second calibration;
Reflection determination means for determining, based on the scene content of an image, the timing of reflecting the update of the parameters used by the video generation means and the update of the reference image in response to the execution of the second calibration;
6. The image processing apparatus according to any one of claims 2 to 5, further comprising:
複数の撮影装置のそれぞれの位置姿勢を表すパラメータと、当該パラメータを算出する第１のキャリブレーションを行う際に用いた前記複数の撮影装置により撮影されて取得されたマーカを含む第１の画像群と、を取得する取得工程と、
前記第１のキャリブレーションの後に前記複数の撮影装置により撮影されて取得された前記マーカを含まない第２の画像群の画像、及び前記取得工程により取得された第１の画像群の画像からそれぞれ抽出された画像特徴点と、前記取得工程により取得されたパラメータと、に基づいて第２のキャリブレーションを行うことにより、各撮影装置の位置姿勢を表すパラメータを算出する算出工程と、
を有することを特徴とする画像処理装置の制御方法。 A control method for an image processing device,
A first image group including parameters representing the position and orientation of each of a plurality of photographing devices, and markers acquired by being photographed by the plurality of photographing devices used when performing a first calibration for calculating the parameters and an obtaining step of obtaining
from images of a second image group that do not include the marker, acquired by being photographed by the plurality of imaging devices after the first calibration, and from images of the first image group acquired by the acquisition step, respectively a calculating step of calculating a parameter representing the position and orientation of each imaging device by performing a second calibration based on the extracted image feature points and the parameters obtained in the obtaining step;
A control method for an image processing device, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019101486A JP7240258B2 (en) | 2019-05-30 | 2019-05-30 | IMAGE PROCESSING DEVICE, CONTROL METHOD AND PROGRAM OF IMAGE PROCESSING DEVICE |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019101486A JP7240258B2 (en) | 2019-05-30 | 2019-05-30 | IMAGE PROCESSING DEVICE, CONTROL METHOD AND PROGRAM OF IMAGE PROCESSING DEVICE |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020193950A JP2020193950A (en) | 2020-12-03 |
| JP7240258B2 true JP7240258B2 (en) | 2023-03-15 |
Family
ID=73546292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019101486A Active JP7240258B2 (en) | 2019-05-30 | 2019-05-30 | IMAGE PROCESSING DEVICE, CONTROL METHOD AND PROGRAM OF IMAGE PROCESSING DEVICE |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7240258B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230093863A (en) * | 2021-12-20 | 2023-06-27 | 삼성전자주식회사 | Electronic apparatus and control method thereof |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009276233A (en) | 2008-05-15 | 2009-11-26 | Toyota Central R&D Labs Inc | Parameter calculating apparatus, parameter calculating system and program |
| JP2013113600A (en) | 2011-11-25 | 2013-06-10 | Sharp Corp | Stereo three-dimensional measuring apparatus |
| JP2017090420A (en) | 2015-11-17 | 2017-05-25 | パナソニックＩｐマネジメント株式会社 | Three-dimensional information restoration device and three-dimensional information restoration method |
| JP2018179990A (en) | 2017-04-20 | 2018-11-15 | パナソニックＩｐマネジメント株式会社 | Camera parameter set calculation method, camera parameter set calculation program and camera parameter set calculation device |
| JP2018207252A (en) | 2017-06-01 | 2018-12-27 | キヤノン株式会社 | Image processing system, control method for image processing system, and program |
| JP2019087791A (en) | 2017-11-01 | 2019-06-06 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
-
2019
- 2019-05-30 JP JP2019101486A patent/JP7240258B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009276233A (en) | 2008-05-15 | 2009-11-26 | Toyota Central R&D Labs Inc | Parameter calculating apparatus, parameter calculating system and program |
| JP2013113600A (en) | 2011-11-25 | 2013-06-10 | Sharp Corp | Stereo three-dimensional measuring apparatus |
| JP2017090420A (en) | 2015-11-17 | 2017-05-25 | パナソニックＩｐマネジメント株式会社 | Three-dimensional information restoration device and three-dimensional information restoration method |
| JP2018179990A (en) | 2017-04-20 | 2018-11-15 | パナソニックＩｐマネジメント株式会社 | Camera parameter set calculation method, camera parameter set calculation program and camera parameter set calculation device |
| JP2018207252A (en) | 2017-06-01 | 2018-12-27 | キヤノン株式会社 | Image processing system, control method for image processing system, and program |
| JP2019087791A (en) | 2017-11-01 | 2019-06-06 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020193950A (en) | 2020-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10757397B2 (en) | Information processing apparatus, information processing system, information processing method, and storage medium | |
| JP6735592B2 (en) | Image processing apparatus, control method thereof, and image processing system | |
| US8928736B2 (en) | Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program | |
| JP7179515B2 (en) | Apparatus, control method and program | |
| US11086395B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP7023696B2 (en) | Information processing equipment, information processing methods and programs | |
| KR20150050172A (en) | Apparatus and Method for Selecting Multi-Camera Dynamically to Track Interested Object | |
| US20190132529A1 (en) | Image processing apparatus and image processing method | |
| CN109453517B (en) | Virtual character control method and device, storage medium and mobile terminal | |
| US20120069018A1 (en) | Ar process apparatus, ar process method and storage medium | |
| JP5383366B2 (en) | Image processing apparatus, image processing method, and program thereof | |
| JP2006109172A (en) | Method and device for processing image | |
| US11798233B2 (en) | Generation device, generation method and storage medium for three-dimensional model that remove a portion of the three-dimensional model | |
| US20200099854A1 (en) | Image capturing apparatus and image recording method | |
| JP2018207252A (en) | Image processing system, control method for image processing system, and program | |
| JP2014222825A (en) | Video processing apparatus and video processing method | |
| JP7240258B2 (en) | IMAGE PROCESSING DEVICE, CONTROL METHOD AND PROGRAM OF IMAGE PROCESSING DEVICE | |
| JP7458713B2 (en) | Image processing device, image processing system, control method, and program | |
| JP2022016929A (en) | Information processing device, information processing method, and program | |
| CN111279352B (en) | Three-dimensional information acquisition system through pitching exercise and camera parameter calculation method | |
| JP2022182119A (en) | Image processing apparatus, control method thereof, and program | |
| JP7289746B2 (en) | Information processing device, information processing method, and program | |
| JP2002077941A (en) | Apparatus and method for generating depth image as well as computer readable recording medium recording program to execute the method in computer | |
| JP2021144522A (en) | Image processing apparatus, image processing method, program, and image processing system | |
| US20230410417A1 (en) | Information processing apparatus, information processing method, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220524 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230131 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230203 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230303 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7240258 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |