JP4674725B2 - Moving object measuring apparatus, moving object measuring system, and moving object measuring method - Google Patents
Moving object measuring apparatus, moving object measuring system, and moving object measuring method Download PDFInfo
- Publication number
- JP4674725B2 JP4674725B2 JP2006248363A JP2006248363A JP4674725B2 JP 4674725 B2 JP4674725 B2 JP 4674725B2 JP 2006248363 A JP2006248363 A JP 2006248363A JP 2006248363 A JP2006248363 A JP 2006248363A JP 4674725 B2 JP4674725 B2 JP 4674725B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- moving object
- video
- trajectory information
- movement trajectory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、複数のカメラを用いて撮影した映像から、球技スポーツにおけるボールのように高速で移動する物体の運動軌跡を３次元で取得する移動物体計測装置等に関するものである。 The present invention relates to a moving object measuring device and the like that three-dimensionally obtains a motion trajectory of an object that moves at high speed, such as a ball in ball sports, from images taken using a plurality of cameras.
従来の第一の技術は、一方向のカメラで撮影した撮影画像を画像処理手段で処理する構成である。この画像処理手段は、画像入力，選手とボールの検出処理，ボール識別処理，選手とボール追跡処理，座標変換処理，ボール接地検出処理，ボール座標修正処理，ボール高さ計測処理，選手とボールの軌跡抽出処理を１サイクルで行うように構成した運動物体計測装置である（特許文献１参照）。本運動物体計測装置は、選手とボールの検出処理とボール識別処理を実行することにより、選手とボールを区別して検出し、選手とボールの追跡処理によってカメラ座標上での選手座標とボール座標を求める。時々刻々と計測される選手とボールの座標列は、それぞれのカメラ軌跡となる。そして、本運動物体計測装置は、座標変換処理により、選手軌跡とボール軌跡をそれぞれワールド座標軌跡に変換する。選手は略グランド面に接しているので、前記ワールド座標軌跡はそのまま所望の選手の軌跡とする。一方、ボールは必ずしもグランドに接していないので、ボール軌跡は所望のボールの軌跡ではない。そこで、本運動物体計測装置は、ボール接地検出処理によって、前記ボールの接地位置のワールド座標を求め、前記ボールの２以上の接地位置を直線あるいはモデル曲線で結び、これをボールのグランド面上での軌跡として前記ボールのワールド座標軌跡を置き換える。そして、本運動物体計測装置は、修正前のワールド座標と修正後のワールド座標を使って、ボール高さ計測処理でボールの高さを算出する。本運動物体計測装置は、この修正済みのボールのワールド座標軌跡に前記ボールの高さを加えて、３次元のワールド座標軌跡を得る装置である。 The first conventional technique is a configuration in which a photographed image photographed by a one-way camera is processed by an image processing means. This image processing means includes image input, player and ball detection processing, ball identification processing, player and ball tracking processing, coordinate conversion processing, ball contact detection processing, ball coordinate correction processing, ball height measurement processing, player and ball detection processing, This is a moving object measuring apparatus configured to perform trajectory extraction processing in one cycle (see Patent Document 1). This moving object measuring device performs a player and ball detection process and a ball identification process to distinguish and detect the player and the ball, and the player coordinate and the ball coordinate on the camera coordinates are detected by the player and ball tracking process. Ask. The coordinate sequence of the player and the ball, which is measured every moment, becomes the camera trajectory of each. Then, the moving object measuring apparatus converts the player trajectory and the ball trajectory into world coordinate trajectories by coordinate conversion processing. Since the player is substantially in contact with the ground surface, the world coordinate trajectory is directly used as the trajectory of the desired player. On the other hand, since the ball is not necessarily in contact with the ground, the ball trajectory is not a desired ball trajectory. Therefore, the moving object measuring apparatus obtains the world coordinates of the ball contact position by ball contact detection processing, and connects the two or more contact positions of the ball with a straight line or a model curve. The world coordinate trajectory of the ball is replaced as the trajectory of. The moving object measuring apparatus calculates the height of the ball by the ball height measurement process using the world coordinates before correction and the world coordinates after correction. This moving object measuring device is a device that obtains a three-dimensional world coordinate locus by adding the height of the ball to the corrected world coordinate locus of the ball.
また、従来の第二の技術は、カメラ間のシャッタータイミングのずれを利用した、移動物体の高速な３次元位置推定の技術である（非特許文献１参照）。かかる技術は、複数の通常レートのカメラで見かけの計測レートを向上させるための技術である。 The second conventional technique is a technique for high-speed three-dimensional position estimation of a moving object using a shift in shutter timing between cameras (see Non-Patent Document 1). Such a technique is a technique for improving an apparent measurement rate with a plurality of cameras having a normal rate.
さらに、関連する従来技術として、物体の撮影画像から物体領域を抽出した複数のシルエット画像を、もとの３次元空間に投影し、それぞれの視体積の交差部分を求めることにより、物体の３次元形状データ（ボクセルデータの集合）を得る、視体積交差法という技術（例えば、非特許文献２参照）がある。
しかしながら、従来の第一の技術においては、一のカメラを用いて、ボール接地検出処理によって前記ボールの接地位置のワールド座標を求め、次に、ボール高さ計測処理を行うことにより３次元のボールの軌跡を取得する、という方法であり、ボール接地検出処理を行うので、ボールが接地しない場合は軌跡を取得できない、と言う課題があった。 However, in the first conventional technique, a single camera is used to determine the world coordinates of the ground contact position of the ball by ball ground contact detection processing, and then the ball height measurement processing is performed to obtain a three-dimensional ball. Since the ball contact detection process is performed, there is a problem that the track cannot be acquired when the ball does not touch the ground.
また、従来の第二の技術においては、複数のカメラからの情報を統合する前に、まず単一のカメラ映像の連続するコマ（フレーム）において、補完技術などにより対象物体像を繋いだ軌跡を予め求めておく必要がある。したがって、移動物体が不連続に動いている場合などは、正しく軌跡が求められない可能性がある。たとえば、従来の第二の技術においては、蹴られた瞬間やバウンドした瞬間がとらえられていないボールの軌跡を正確に求めるのは困難であった。 In the second conventional technique, before integrating information from a plurality of cameras, first, in a continuous frame (frame) of a single camera image, a trajectory connecting the target object images by a complementary technique or the like is used. It is necessary to obtain in advance. Accordingly, when the moving object is moving discontinuously, the trajectory may not be obtained correctly. For example, in the second conventional technique, it is difficult to accurately obtain a trajectory of a ball in which the moment of kicking or bouncing is not captured.
本第一の発明の移動物体計測装置は、空間上の異なる位置に設置された２以上のカメラであり、空間上を移動する物体である移動物体を撮影する２以上のカメラであり、前記移動物体を捉えている時間が重なる２以上のカメラが撮影した２以上の映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する２以上の映像画像を格納している映像情報格納部と、前記２以上のカメラに関する情報である２以上のカメラパラメータを格納しているカメラパラメータ格納部と、前記映像情報格納部が格納している２以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、前記２以上の映像画像ごとに取得する移動軌跡情報取得部と、前記移動軌跡情報取得部が取得した前記２以上の映像画像ごとの移動軌跡情報と、前記カメラパラメータ格納部に格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する三次元軌跡情報取得部と、前記三次元軌跡情報を出力する三次元軌跡情報出力部を具備する移動物体計測装置である。
また、本第二の発明の移動物体計測装置は、第一の発明に対して、前記映像情報格納部の２以上の映像画像は、同期をとらない２以上のカメラで撮影された映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する２以上の映像画像であることが好適である。
The moving object measuring device according to the first aspect of the present invention is two or more cameras installed at different positions in space, and is two or more cameras for photographing a moving object that is an object moving in space. Video information storage that stores two or more video images taken by two or more cameras that overlap the time when an object is captured and that has a plurality of images in which the movement trajectory of the moving object remains. A camera parameter storage unit that stores two or more camera parameters that are information related to the two or more cameras, and each image included in the two or more video images stored in the video information storage unit. A movement trajectory information acquisition unit that acquires movement trajectory information indicating the movement trajectory of an object for each of the two or more video images, and movement trajectory information for each of the two or more video images acquired by the movement trajectory information acquisition unit. 3D trajectory information acquisition that acquires 3D trajectory information that is information of a 3D trajectory of a moving object based on two or more camera parameters stored in the camera parameter storage unit using a visual volume intersection method And a three-dimensional trajectory information output unit that outputs the three-dimensional trajectory information.
In the moving object measuring apparatus according to the second aspect of the present invention, in contrast to the first aspect of the invention, the two or more video images in the video information storage unit are video information taken by two or more cameras that do not synchronize. Preferably, it is two or more video images having a plurality of images in which the movement trajectory of the moving object is left.
また、本第三の発明の移動物体計測装置は、第一の発明に対して、前記移動軌跡情報取得部は、前記映像情報格納部が格納している２以上の各映像画像が有する２以上の各画像から、移動物体の移動軌跡を示す移動軌跡情報を２以上抽出し、当該２以上の移動軌跡情報を合成し、各映像画像に対応する移動軌跡情報を取得する移動物体計測装置である。 Further, in the moving object measuring apparatus according to the third aspect of the present invention, in contrast to the first aspect, the moving trajectory information acquisition unit includes two or more video images stored in the two or more video images stored in the video information storage unit. Is a moving object measurement device that extracts two or more pieces of movement locus information indicating the movement locus of a moving object from each image, synthesizes the two or more pieces of movement locus information, and obtains movement locus information corresponding to each video image. .
また、本第四の発明の移動物体計測装置は、第一の発明に対して、前記移動軌跡情報取得部は、前記映像情報格納部が格納している２以上の各映像画像が有する一の各画像から、移動物体の移動軌跡を示す移動軌跡情報を、映像画像ごとに取得する移動物体計測装置である。
かかる構成により、シャッター速度の速くないカメラを用いて、一の画像中の移動物体軌跡を利用して、移動物体の３次元軌跡が、容易に取得できる。
また、本第五の発明の移動物体計測装置は、第一から第四いずれかの発明に対して、前記映像情報は、３０フレーム／秒のカメラで撮影された映像の情報である移動物体計測装置である。
かかる構成により、市販のビデオカメラを利用して、移動物体の３次元軌跡が、容易に取得できる。
また、本第六の発明の移動物体計測装置は、第一から第五いずれかの発明に対して、前記移動物体は、球面体である移動物体計測装置である。
かかる構成により、本移動物体計測装置は、ボールスポーツの放送で利用するオーサリングシステム、ゲームなどのコンテンツを作成するオーサリングシステム等で利用できる。
Further, in the moving object measuring apparatus according to the fourth aspect of the present invention, in contrast to the first aspect of the invention, the moving trajectory information acquisition unit includes one or more video images stored in the video information storage unit. This is a moving object measurement device that acquires, for each video image, movement trajectory information indicating the movement trajectory of a moving object from each image.
With this configuration, it is possible to easily obtain a three-dimensional trajectory of a moving object using a moving object trajectory in one image using a camera with a low shutter speed.
The moving object measuring apparatus according to the fifth aspect of the present invention is the moving object measuring apparatus according to any one of the first to fourth aspects, wherein the video information is information of a video taken by a camera at 30 frames / second. Device.
With this configuration, a three-dimensional trajectory of a moving object can be easily obtained using a commercially available video camera.
The moving object measuring apparatus according to the sixth aspect of the present invention is a moving object measuring apparatus in which the moving object is a spherical body with respect to any one of the first to fifth aspects.
With this configuration, the moving object measuring apparatus can be used in an authoring system used for ball sports broadcasting, an authoring system for creating content such as games, and the like.
また、本第七の発明の移動物体計測装置は、空間上の異なる位置に設置された２以上のカメラであり、空間上を移動する物体である移動物体を撮影する２以上のカメラであり、前記移動物体を捉えている時間が重なる２以上のカメラが撮影した２以上の映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する２以上の映像画像が有する各画像中の移動物体の移動軌跡を示す情報である移動軌跡情報に基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得し、出力する移動物体計測装置である。 Further, the moving object measuring device of the seventh invention is two or more cameras installed at different positions in space, and two or more cameras for photographing a moving object that is an object moving in space, Two or more pieces of video information captured by two or more cameras that overlap the time during which the moving object is captured, and each of two or more video images having a plurality of images in which the movement locus of the moving object is left. A moving object measuring device that acquires and outputs three-dimensional trajectory information that is information of a three-dimensional trajectory of a moving object based on the moving trajectory information that is information indicating the moving trajectory of the moving object, using the visual volume intersection method. is there.
また、本第八の発明の移動物体計測システムは、空間上の異なる位置に設置された２以上のカメラであり、空間上を移動する物体である移動物体を撮影する２以上のカメラと、上記発明の移動物体計測装置を具備する移動物体計測システムである。 The moving object measurement system of the eighth invention is two or more cameras installed at different positions in space, two or more cameras for photographing a moving object that is an object moving in space, It is a moving object measuring system which comprises the moving object measuring device of the invention.
また、本第九の発明の移動物体計測装置は、第八の発明に対して、前記２以上のカメラは、撮影した映像情報を送信する映像情報送信手段を具備し、前記移動物体計測装置は、前記２以上のカメラから２以上の映像情報を受信する映像情報受信部をさらに具備し、前記映像情報格納部の２以上の映像画像は、前記映像情報受信部が受信した前記２以上の映像情報である移動物体計測システムである。
かかる構成により、例えば、ボールスポーツの放送を行いながら、ボールの３次元軌跡を、視聴者にすぐに提供できる。
The moving object measuring apparatus according to the ninth aspect of the present invention is the moving object measuring apparatus according to the eighth aspect, wherein the two or more cameras comprise video information transmitting means for transmitting captured video information. A video information receiving unit that receives two or more video information from the two or more cameras, and the two or more video images of the video information storage unit are the two or more videos received by the video information receiving unit. It is a moving object measurement system that is information.
With this configuration, for example, a three-dimensional trajectory of the ball can be immediately provided to the viewer while broadcasting a ball sport.
本発明による移動物体計測装置によれば、移動物体の３次元軌跡が、容易に取得できる。 According to the moving object measuring apparatus of the present invention, the three-dimensional trajectory of the moving object can be easily acquired.
以下、移動物体計測装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
（実施の形態１）
Hereinafter, embodiments of a moving object measuring apparatus and the like will be described with reference to the drawings. In addition, since the component which attached | subjected the same code | symbol in embodiment performs the same operation | movement, description may be abbreviate | omitted again.
(Embodiment 1)
図１は、本実施の形態における移動物体計測システムの概念図である。移動物体計測システムは、２台以上のカメラ１１（本例では、２台のカメラ、カメラ１１（１）、カメラ１１（２）を有する）、移動物体計測装置１２を具備する。 FIG. 1 is a conceptual diagram of a moving object measurement system in the present embodiment. The moving object measurement system includes two or more cameras 11 (in this example, including two cameras, a camera 11 (1) and a camera 11 (2)), and a moving object measurement device 12.
カメラ１１は、撮影した映像情報を移動物体計測装置１２に送信する映像情報送信手段１１１を具備している。映像情報送信手段１１１は、無線または有線の通信手段で実現され得る。ただし、映像情報送信手段１１１は、放送手段で実現されても良い。 The camera 11 includes a video information transmitting unit 111 that transmits captured video information to the moving object measuring device 12. The video information transmitting unit 111 can be realized by a wireless or wired communication unit. However, the video information transmitting unit 111 may be realized by a broadcasting unit.
また、移動物体計測システムにおいて、２台以上のカメラ１１は、空間上の異なる位置に設置された２以上のカメラであり、空間上を移動する物体である移動物体を撮影するカメラである。さらに、カメラ１１は、シャッタースピードが遅いカメラであることは好適である。例えば、カメラ１１が撮影し、取得する映像情報は、静止画の集合であり、３０フレーム／秒で撮影された映像の情報である。また、２以上のカメラは、同期をとる必要がない。
図２は、本実施の形態における移動物体計測システムのブロック図である。
カメラ１１は、映像情報送信手段１１１を具備する。
In the moving object measurement system, the two or more cameras 11 are two or more cameras installed at different positions in the space, and are cameras that photograph moving objects that are objects moving in the space. Furthermore, the camera 11 is preferably a camera with a slow shutter speed. For example, the video information captured and acquired by the camera 11 is a set of still images, and is information on video captured at 30 frames / second. Two or more cameras do not need to be synchronized.
FIG. 2 is a block diagram of the moving object measurement system in the present embodiment.
The camera 11 includes a video information transmission unit 111.
移動物体計測装置１２は、映像情報受信部１２０１、映像情報格納部１２０２、カメラパラメータ格納部１２０３、移動軌跡情報取得部１２０４、三次元軌跡情報取得部１２０５、三次元軌跡情報出力部１２０６を具備する。 The moving object measuring device 12 includes a video information receiving unit 1201, a video information storage unit 1202, a camera parameter storage unit 1203, a moving trajectory information acquisition unit 1204, a 3D trajectory information acquisition unit 1205, and a 3D trajectory information output unit 1206. .
映像情報受信部１２０１は、２以上のカメラ１１から、映像情報を受信する。映像情報受信部１２０１は、無線または有線の通信手段で実現され得る。ただし、映像情報受信部１２０１は、放送を受信する手段（チューナー等）で実現されても良い。 The video information receiving unit 1201 receives video information from two or more cameras 11. The video information receiving unit 1201 can be realized by wireless or wired communication means. However, the video information receiving unit 1201 may be realized by means for receiving a broadcast (such as a tuner).
映像情報格納部１２０２は、２以上の映像画像を格納している。２以上の映像画像は、２台以上のカメラ１１で撮影された映像情報であり、例えば、映像情報受信部１２０１が受信した映像情報である。２以上のカメラ１１は、それぞれ空間上の異なる位置に設置されたカメラであり、空間上を移動する物体である移動物体を撮影するカメラである。また、２以上の映像画像は、移動物体を捉えている時間が重なる２以上のカメラが撮影した２以上の映像情報であり、移動物体の移動軌跡が残された画像（静止画）を複数有する２以上の映像画像である。２以上のカメラ１１は、フレーム同期をとっていない。映像情報格納部１２０２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。なお、移動物体は、卓球や野球やサッカーやゴルフ等のスポーツで使用するボールや、他の移動する物体である。また、移動物体は、通常、背景とは異なる色を有している。また、映像情報格納部１２０２は、物理的に２以上の記録媒体で構成されていても良い。また、映像情報格納部１２０２に格納されている以上の映像画像は、記録媒体等を経由してカメラ１１から取得されたものでも良く、映像情報受信部１２０１が受信した映像画像に限られない。 The video information storage unit 1202 stores two or more video images. Two or more video images are video information captured by two or more cameras 11, for example, video information received by the video information receiving unit 1201. The two or more cameras 11 are cameras installed at different positions in space, and are cameras that capture moving objects that are objects that move in space. Also, the two or more video images are two or more pieces of video information captured by two or more cameras in which the time when the moving object is captured overlaps, and has a plurality of images (still images) in which the moving locus of the moving object remains. Two or more video images. Two or more cameras 11 are not in frame synchronization. The video information storage unit 1202 is preferably a nonvolatile recording medium, but can also be realized by a volatile recording medium. The moving object is a ball used in sports such as table tennis, baseball, soccer or golf, or other moving objects. The moving object usually has a color different from the background. Also, the video information storage unit 1202 may be physically configured with two or more recording media. Further, the above video images stored in the video information storage unit 1202 may be obtained from the camera 11 via a recording medium or the like, and are not limited to the video images received by the video information receiving unit 1201.
カメラパラメータ格納部１２０３は、２以上のカメラに関する情報である２以上のカメラパラメータを格納している。カメラパラメータは、カメラに関する幾何情報である。カメラに関する幾何情報とは、カメラの位置、方向、焦点距離、画像中心、レンズによる像の歪などの情報が含まれる。カメラ位置の情報は、通常、空間上の座標を示す情報（ｘ，ｙ，ｚ）や、（経度，緯度）等である。また、カメラパラメータ格納部１２０３が格納しているカメラパラメータは、図示しない受信部が、カメラ１１等から受信しても良い。カメラパラメータ格納部１２０３は、不揮発性の記録媒体でも、揮発性の記録媒体でも良い。 The camera parameter storage unit 1203 stores two or more camera parameters that are information on two or more cameras. The camera parameter is geometric information about the camera. The geometric information about the camera includes information such as the camera position, direction, focal length, image center, and image distortion caused by the lens. The camera position information is usually information (x, y, z) indicating coordinates in space, (longitude, latitude), or the like. The camera parameters stored in the camera parameter storage unit 1203 may be received from the camera 11 or the like by a receiving unit (not shown). The camera parameter storage unit 1203 may be a non-volatile recording medium or a volatile recording medium.
移動軌跡情報取得部１２０４は、映像情報格納部１２０２が格納している２以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、２以上の映像画像ごとに取得する。画像から移動軌跡情報を取得するアルゴリズムとして、例えば、背景差分法がある。なお、背景差分法は、公知技術であるので説明を省略する。また、画像から移動軌跡情報を取得するアルゴリズムとして、例えば、移動物体の色および類似する色のドットのみを画像から抽出する処理がある。かかる場合、移動物体の色と、その他の背景の色が十分異なることが必要である。また、移動軌跡情報取得部１２０４は、例えば、映像情報格納部１２０２が格納している２以上の各映像画像（静止画の集合）が有する２以上の各画像から、移動物体の移動軌跡を示す移動軌跡情報（短い移動軌跡の情報）を２以上抽出し、当該２以上の移動軌跡情報を合成し、各映像画像に対応する移動軌跡情報（短い移動軌跡の情報を連結した長い移動軌跡の情報）を取得しても良い。かかる場合、移動軌跡情報取得部１２０４は、カメラ１１の台数分の移動軌跡情報を得る。また、移動軌跡情報取得部１２０４が得た移動軌跡情報は、移動物体の軌跡を示す情報である。なお、移動軌跡情報は、カメラがシャッターを有する場合、カメラのシャッターが閉じている際の移動は、描写されていない軌跡の情報である。移動軌跡情報は、通常、（ｘ，ｙ）または、（ｘ，ｙ，ｃｏｌ）の情報の集合である。なお、「ｃｏｌ」は、色情報である。移動軌跡情報取得部１２０４は、通常、ＭＰＵやメモリ等から実現され得る。移動軌跡情報取得部１２０４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。 The movement trajectory information acquisition unit 1204 acquires the movement trajectory information indicating the movement trajectory of the moving object for each of the two or more video images from each image included in the two or more video images stored in the video information storage unit 1202. . As an algorithm for acquiring movement trajectory information from an image, for example, there is a background subtraction method. Note that the background subtraction method is a known technique, and therefore description thereof is omitted. Further, as an algorithm for acquiring movement trajectory information from an image, for example, there is a process of extracting only the color of a moving object and similar color dots from the image. In such a case, it is necessary that the color of the moving object is sufficiently different from the color of the other background. Also, the movement trajectory information acquisition unit 1204 indicates the movement trajectory of the moving object from two or more images included in the two or more video images (a set of still images) stored in the video information storage unit 1202, for example. Two or more pieces of movement locus information (short movement locus information) are extracted, the two or more pieces of movement locus information are combined, and movement locus information corresponding to each video image (long movement locus information obtained by connecting short movement locus information). ) May be obtained. In such a case, the movement trajectory information acquisition unit 1204 obtains movement trajectory information for the number of cameras 11. Further, the movement trajectory information obtained by the movement trajectory information acquisition unit 1204 is information indicating the trajectory of the moving object. The movement trajectory information is information on a trajectory that is not depicted when the camera has a shutter and the movement when the shutter of the camera is closed. The movement trajectory information is usually a set of (x, y) or (x, y, col) information. “Col” is color information. The movement trajectory information acquisition unit 1204 can be usually realized by an MPU, a memory, or the like. The processing procedure of the movement trajectory information acquisition unit 1204 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
三次元軌跡情報取得部１２０５は、移動軌跡情報取得部１２０４が取得した２以上の映像画像ごとの移動軌跡情報と、カメラパラメータ格納部１２０３に格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。視体積交差法は、公知技術であるので、説明を省略する。また、三次元軌跡情報取得部１２０５は、いくつか存在する視体積交差法のうち、いかなるアルゴリズムの視体積交差法により三次元軌跡情報を取得するかは問わない。また、三次元軌跡情報は、通常、ボクセル情報（ｘ，ｙ，ｚ，ｃｏｌ）である。つまり、三次元軌跡情報は、通常、空間内の位置情報と色情報を有する。ただし、三次元軌跡情報は、空間内の位置情報（ｘ，ｙ，ｚ）のみでも良い。三次元軌跡情報取得部１２０５は、通常、ＭＰＵやメモリ等から実現され得る。三次元軌跡情報取得部１２０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。 The three-dimensional trajectory information acquisition unit 1205 is based on the movement trajectory information for each of two or more video images acquired by the movement trajectory information acquisition unit 1204 and the two or more camera parameters stored in the camera parameter storage unit 1203. Three-dimensional trajectory information, which is information about the three-dimensional trajectory of the moving object, is acquired using the volume intersection method. Since the visual volume intersection method is a known technique, description thereof is omitted. In addition, the three-dimensional trajectory information acquisition unit 1205 does not ask what algorithm the three-dimensional trajectory information is acquired by using the visual volume intersection method among several existing visual volume intersection methods. The three-dimensional trajectory information is usually voxel information (x, y, z, col). That is, the three-dimensional trajectory information usually has position information and color information in space. However, the three-dimensional trajectory information may be only position information (x, y, z) in the space. The three-dimensional trajectory information acquisition unit 1205 can usually be realized by an MPU, a memory, or the like. The processing procedure of the three-dimensional trajectory information acquisition unit 1205 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
三次元軌跡情報出力部１２０６は、三次元軌跡情報取得部１２０５が取得した三次元軌跡情報を出力する。ここで、出力とは、ディスプレイへの表示、プリンタへの印字、外部の装置への送信、記録媒体への蓄積等を含む概念である。三次元軌跡情報出力部１２０６は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。三次元軌跡情報出力部１２０６は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。 The 3D trajectory information output unit 1206 outputs the 3D trajectory information acquired by the 3D trajectory information acquisition unit 1205. Here, the output is a concept including display on a display, printing on a printer, transmission to an external device, storage on a recording medium, and the like. The three-dimensional trajectory information output unit 1206 may be considered as including or not including an output device such as a display. The three-dimensional trajectory information output unit 1206 can be implemented by output device driver software, or output device driver software and an output device.
次に、移動物体計測装置の動作について図３のフローチャートを用いて説明する。なお、図３のフローチャートにおいて、映像情報受信部１２０１は、２台以上の各カメラ１１から、２以上の映像情報を受信し、映像情報格納部１２０２に、受信した２以上の映像情報が格納されている、とする。
（ステップＳ３０１）移動軌跡情報取得部１２０４は、カウンタｉに１を代入する。
Next, the operation of the moving object measuring apparatus will be described with reference to the flowchart of FIG. In the flowchart of FIG. 3, the video information receiving unit 1201 receives two or more pieces of video information from two or more cameras 11, and the received two or more pieces of video information are stored in the video information storage unit 1202. Suppose that
(Step S301) The movement trajectory information acquisition unit 1204 substitutes 1 for a counter i.
（ステップＳ３０２）移動軌跡情報取得部１２０４は、ｉ番目の映像情報が映像情報格納部１２０２に格納されているか否かを判断する。ｉ番目の映像情報は、ｉ番目のカメラ１１で撮影された映像情報である。ｉ番目の映像情報が格納されていればステップＳ３０３に行き、ｉ番目の映像情報が格納されていなければステップＳ３１１に行く。
（ステップＳ３０３）移動軌跡情報取得部１２０４は、カウンタｊに１を代入する。
(Step S302) The movement trajectory information acquisition unit 1204 determines whether or not the i-th video information is stored in the video information storage unit 1202. The i-th video information is video information captured by the i-th camera 11. If the i-th video information is stored, the process goes to step S303, and if the i-th video information is not stored, the process goes to step S311.
(Step S303) The movement trajectory information acquisition unit 1204 substitutes 1 for a counter j.
（ステップＳ３０４）移動軌跡情報取得部１２０４は、ｊ番目の画像（静止画）が、ｉ番目の映像情報中に存在するか否かを判断する。ｊ番目の画像が存在すればステップＳ３０５に行き、ｊ番目の画像が存在しなければステップＳ３０８に行く。 (Step S304) The movement trajectory information acquisition unit 1204 determines whether or not the j-th image (still image) is present in the i-th video information. If the j-th image exists, the process goes to step S305, and if the j-th image does not exist, the process goes to step S308.
（ステップＳ３０５）移動軌跡情報取得部１２０４は、ｊ番目の画像中から、移動軌跡情報を抽出する。移動軌跡情報取得部１２０４は、例えば、移動物体が有する色に基づいて、ｊ番目の画像（ビットマップ情報）中から、当該色のドット「（ｘ，ｙ）または（ｘ，ｙ，ｃｏｌ）」の集合を取得する。移動軌跡情報取得部１２０４は、例えば、背景差分法を用いて、移動軌跡情報を抽出する。なお、ここで、カメラ１１は、十分、シャッター速度が遅いカメラであり、通常、移動物体の移動速度は速いので、ｊ番目の画像には、移動物体の軌跡が描写されている。移動物体の軌跡とは、通常、ドットの集合である。
（ステップＳ３０６）移動軌跡情報取得部１２０４は、ステップＳ３０５で取得した移動軌跡情報を、メモリ等に一時格納する。
（ステップＳ３０７）移動軌跡情報取得部１２０４は、カウンタｊを１、インクリメントする。ステップＳ３０４に戻る。
(Step S305) The movement trajectory information acquisition unit 1204 extracts movement trajectory information from the jth image. For example, based on the color of the moving object, the movement trajectory information acquisition unit 1204 selects the dot “(x, y) or (x, y, col)” of the color from the j-th image (bitmap information). Get a set of The movement trajectory information acquisition unit 1204 extracts the movement trajectory information using, for example, a background difference method. Here, the camera 11 is a camera that has a sufficiently slow shutter speed, and normally the moving speed of the moving object is high, and therefore the locus of the moving object is depicted in the j-th image. The trajectory of the moving object is usually a set of dots.
(Step S306) The movement trajectory information acquisition unit 1204 temporarily stores the movement trajectory information acquired in step S305 in a memory or the like.
(Step S307) The movement trajectory information acquisition unit 1204 increments the counter j by 1. The process returns to step S304.
（ステップＳ３０８）移動軌跡情報取得部１２０４は、ステップＳ３０６でメモリ等に一時格納された２以上の移動軌跡情報を読み出し、合成する。合成する処理は、単に移動軌跡情報を結合するだけでも良い。なお、ステップＳ３０８で合成して得た情報は、カメラごとの移動軌跡情報である。
（ステップＳ３０９）移動軌跡情報取得部１２０４は、ステップＳ３０８で得たカメラごとの移動軌跡情報を、メモリ等に一時格納する。
（ステップＳ３１０）移動軌跡情報取得部１２０４は、カウンタｉを１、インクリメントする。ステップＳ３０２に戻る。
（ステップＳ３１１）三次元軌跡情報取得部１２０５は、カメラパラメータ格納部１２０３に格納されている２以上のカメラパラメータを読み出す。
（ステップＳ３１２）三次元軌跡情報取得部１２０５は、ステップＳ３０９でメモリ等に一時格納された２以上の移動軌跡情報を読み出す。
(Step S308) The movement trajectory information acquisition unit 1204 reads and synthesizes two or more pieces of movement trajectory information temporarily stored in a memory or the like in step S306. The combining process may be simply combining the movement trajectory information. Note that the information obtained by combining in step S308 is movement trajectory information for each camera.
(Step S309) The movement trajectory information acquisition unit 1204 temporarily stores the movement trajectory information for each camera obtained in step S308 in a memory or the like.
(Step S310) The movement trajectory information acquisition unit 1204 increments the counter i by one. The process returns to step S302.
(Step S311) The three-dimensional trajectory information acquisition unit 1205 reads two or more camera parameters stored in the camera parameter storage unit 1203.
(Step S312) The three-dimensional trajectory information acquisition unit 1205 reads two or more pieces of movement trajectory information temporarily stored in a memory or the like in step S309.
（ステップＳ３１３）三次元軌跡情報取得部１２０５は、ステップＳ３１１で読み出した２以上のカメラパラメータ、ステップＳ３１２で読み出した移動軌跡情報に基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。三次元軌跡情報を構成するドットの情報は、色情報を有しても良いし、有さなくても良い。 (Step S313) The three-dimensional trajectory information acquisition unit 1205 uses the visual volume intersection method based on the two or more camera parameters read out in step S311 and the movement trajectory information read out in step S312. The three-dimensional trajectory information that is the information is acquired. The dot information constituting the three-dimensional trajectory information may or may not have color information.
（ステップＳ３１４）三次元軌跡情報出力部１２０６は、ステップＳ３１３で取得した三次元軌跡情報を出力する。なお、三次元軌跡情報出力部１２０６は、移動物体以外の映像と、三次元軌跡情報を合成して、出力しても良い。移動物体以外の映像は、通常、予め格納されている。
以下、本実施の形態における移動物体計測装置の具体的な動作について説明する。移動物体計測システムの概念図は図１である。
今、図４に示すように、移動物体計測システムを用いて、卓球のボールの移動体の軌跡を出力する。つまり、移動物体計測システムを用いて、卓球のボールが高速移動する様子を計測する。
(Step S314) The three-dimensional trajectory information output unit 1206 outputs the three-dimensional trajectory information acquired in step S313. Note that the three-dimensional trajectory information output unit 1206 may synthesize and output the video other than the moving object and the three-dimensional trajectory information. Videos other than moving objects are usually stored in advance.
Hereinafter, a specific operation of the moving object measuring apparatus according to the present embodiment will be described. A conceptual diagram of the moving object measurement system is shown in FIG.
Now, as shown in FIG. 4, the trajectory of the moving table tennis ball is output using the moving object measurement system. That is, using the moving object measurement system, the state of the table tennis ball moving at high speed is measured.
そして、本移動物体計測システムは、３台のカメラ１１と、移動物体計測装置１２を有する。３台のカメラ１１は、図４において、円錐の図形で示される。３台のカメラ１１は、（１）（０，−５８２，−１５４）、（２）（−３７８，２５７，−７９）、（３）（−３７８，−９，−２６３）の位置に設置されている。なお、Ｘ軸、Ｙ軸、Ｚ軸の座標系は、図４に示した通りであり、卓球台の中心が原点（０，０，０）である。また、（１）のカメラは卓球台の真横、（２）のカメラは卓球台の斜め横、（３）のカメラは卓球台の上部の天井に設置されている。また、３台のカメラ１１は、市販の家庭用ビデオカメラであり、シャッタースピードを撮影レートと同じ１／３０ｓに設定されている。また、３台のカメラ１１が取得する画像サイズは、「７２０×４８０（ｐｉｘｅｌ）」である。 The moving object measuring system includes three cameras 11 and a moving object measuring device 12. The three cameras 11 are shown in a cone shape in FIG. The three cameras 11 are installed at the positions (1) (0, -582, -154), (2) (-378, 257, -79), (3) (-378, -9, -263). Has been. The coordinate system of the X axis, Y axis, and Z axis is as shown in FIG. 4, and the center of the table tennis table is the origin (0, 0, 0). The camera (1) is installed directly beside the table tennis table, the camera (2) is installed obliquely beside the table tennis table, and the camera (3) is installed on the ceiling above the table tennis table. The three cameras 11 are commercially available home video cameras, and the shutter speed is set to 1/30 s, which is the same as the shooting rate. The image size acquired by the three cameras 11 is “720 × 480 (pixel)”.
次に、卓球の競技者が卓球を行う際のボールの移動を、３台のカメラ１１が撮影した、とする。そして、ここでは、撮影した画像を記録媒体（例えば、ハードディスクや磁気テープなど）に蓄積した、とする。なお、カメラ１１が撮影する範囲は、卓球台の範囲（２７４ｃｍ×１５２ｃｍ×６０ｃｍ）である、とする。
次に、ユーザは、３台のカメラが撮影した映像情報が記録されている記録媒体から、映像情報を移動物体計測装置１２の映像情報格納部１２０２にコピーする、とする。
Next, it is assumed that the movement of the ball when the table tennis player performs table tennis is taken by the three cameras 11. Here, it is assumed that the photographed image is stored in a recording medium (for example, a hard disk or a magnetic tape). In addition, the range which the camera 11 image | photographs shall be the range of a ping-pong table (274 cm x 152 cm x 60 cm).
Next, it is assumed that the user copies the video information from the recording medium on which the video information captured by the three cameras is recorded to the video information storage unit 1202 of the moving object measuring device 12.
また、ユーザは、カメラパラメータ格納部１２０３に、カメラ位置情報（（１）（０，−５８２，−１５４）、（２）（−３７８，２５７，−７９）、（３）（−３７８，−９，−２６３））や、方向、焦点距離、画像中心、レンズによる像の歪などのカメラパラメータを書き込む、とする。
次に、ユーザは、三次元軌跡情報（卓球のボールの移動体の軌跡）の出力を指示する。この指示は、例えば、移動物体計測装置１２が有する開始ボタンの押下等である。
In addition, the user stores camera position information ((1) (0, -582, -154), (2) (-378, 257, -79), (3) (-378,-) in the camera parameter storage unit 1203. 9, -263)), camera parameters such as direction, focal length, image center, and distortion of the image by the lens.
Next, the user instructs the output of the three-dimensional trajectory information (the trajectory of the table tennis ball moving body). This instruction is, for example, pressing of a start button of the moving object measuring device 12 or the like.
次に、移動軌跡情報取得部１２０４は、映像情報格納部１２０２の１番目の映像情報から画像を取得し、背景差分法により、移動軌跡情報を取得する。つまり、移動軌跡情報取得部１２０４は、図５の（ａ１）の画像から、（ａ２）のボールの移動軌跡情報（ドットの集合）を取得する。そして、同様に、移動軌跡情報取得部１２０４は、図５の（ｂ１）の画像から、（ｂ２）のボールの移動軌跡情報を取得する。また、同様に、移動軌跡情報取得部１２０４は、図５の（ｃ１）の画像から、（ｃ２）のボールの移動軌跡情報を取得する。 Next, the movement trajectory information acquisition unit 1204 acquires an image from the first video information in the video information storage unit 1202, and acquires the movement trajectory information by the background difference method. That is, the movement trajectory information acquisition unit 1204 acquires the movement trajectory information (a set of dots) of the ball of (a2) from the image of (a1) in FIG. Similarly, the movement trajectory information acquisition unit 1204 acquires the movement trajectory information of the ball (b2) from the image (b1) of FIG. Similarly, the movement trajectory information acquisition unit 1204 acquires the movement trajectory information of the ball (c2) from the image (c1) in FIG.
次に、移動軌跡情報取得部１２０４は、ボールの移動軌跡情報（図５の（ａ２）（ｂ２）（ｃ２）・・・）を合成し、図６のボールの移動軌跡情報を得る。図６のボールの移動軌跡情報は、各画像（静止画）から抽出した２以上の移動軌跡情報を合成した移動軌跡情報である。
次に、移動軌跡情報取得部１２０４は、２番目の映像情報、および３番目の映像情報から、同様に（１番目と同様に）、ボールの移動軌跡情報を取得する。
なお、ここで、移動軌跡情報取得部１２０４が取得した３つの移動軌跡情報が、例えば、図７の（ａ）（ｂ）（ｃ）であった、とする。（なお、図６の図と、図７の図は同一のボールの軌跡ではない。）
Next, the movement trajectory information acquisition unit 1204 combines the ball movement trajectory information ((a2), (b2), (c2)... In FIG. 5) to obtain the ball movement trajectory information in FIG. The movement trajectory information of the ball in FIG. 6 is movement trajectory information obtained by combining two or more movement trajectory information extracted from each image (still image).
Next, the movement trajectory information acquisition unit 1204 similarly acquires the movement trajectory information of the ball from the second video information and the third video information (similar to the first).
Here, it is assumed that the three pieces of movement track information acquired by the movement track information acquisition unit 1204 are, for example, (a), (b), and (c) in FIG. (The figure in FIG. 6 and the figure in FIG. 7 are not the same ball trajectory.)
次に、三次元軌跡情報取得部１２０５は、３つの移動軌跡情報（図７の（ａ）（ｂ）（ｃ））と、カメラパラメータ格納部１２０３に格納されている３つのカメラパラメータを読み出す。そして、三次元軌跡情報取得部１２０５は、図８に示す情報（三次元軌跡情報管理表）を得る。
次に、三次元軌跡情報取得部１２０５は、図８に示す情報に対して、視体積交差法を適用し、移動物体の三次元軌跡の情報である三次元軌跡情報を得る。三次元軌跡情報は、通常、ボクセル情報の集合である。
Next, the three-dimensional trajectory information acquisition unit 1205 reads out the three movement trajectory information ((a), (b), and (c) in FIG. 7) and the three camera parameters stored in the camera parameter storage unit 1203. Then, the three-dimensional trajectory information acquisition unit 1205 obtains information (three-dimensional trajectory information management table) shown in FIG.
Next, the three-dimensional trajectory information acquisition unit 1205 applies the visual volume intersection method to the information shown in FIG. 8 to obtain three-dimensional trajectory information that is information on the three-dimensional trajectory of the moving object. The three-dimensional trajectory information is usually a set of voxel information.
次に、三次元軌跡情報出力部１２０６は、三次元軌跡情報取得部１２０５が取得した三次元軌跡情報を出力する。そして、三次元軌跡情報出力部１２０６が出力した三次元軌跡情報の例は、図９である。なお、図９において、三次元軌跡情報出力部１２０６は、得た三次元軌跡情報と、背景となる卓球台を合成し、出力している。また、１つのボクセルの大きさ１ｃｍ３である。 Next, the 3D trajectory information output unit 1206 outputs the 3D trajectory information acquired by the 3D trajectory information acquisition unit 1205. An example of the 3D trajectory information output by the 3D trajectory information output unit 1206 is shown in FIG. In FIG. 9, a three-dimensional trajectory information output unit 1206 combines the obtained three-dimensional trajectory information with a ping-pong table as a background and outputs it. One voxel is 1 cm 3 in size.
以上、本実施の形態によれば、移動物体（ボールなど）の３次元軌跡が、容易に計測できる。また、移動物体のバウンド地点も決定可能である。特に、シャッタースピードが速くない一般的なカメラを数台並べるだけで，ボールの３次元軌跡が計測可能である。また、カメラのシャッターの同期をとる必要がなく、容易に移動物体の３次元軌跡が計測できる。つまり、複数台のカメラは、同期をとらずに、移動物体を撮影する。そして、移動物体の移動軌跡が残された画像を複数有する２以上の映像画像が得られる。本移動物体計測装置は、この２以上の映像画像を用いて、移動物体の３次元軌跡を得る。
なお、本実施の形態によれば、移動体物体は卓球のボールであったが、テニスやゴルフ等のボールや鳥などの生物等でも良い。かかることは、他の実施の形態においても同様である。
As described above, according to the present embodiment, the three-dimensional trajectory of a moving object (such as a ball) can be easily measured. In addition, the bound point of the moving object can be determined. In particular, it is possible to measure the three-dimensional trajectory of a ball simply by arranging a few general cameras that do not have a fast shutter speed. Further, it is not necessary to synchronize the shutter of the camera, and the three-dimensional trajectory of the moving object can be easily measured. That is, a plurality of cameras capture a moving object without synchronizing. Then, two or more video images having a plurality of images in which the moving locus of the moving object is left are obtained. The moving object measuring apparatus obtains a three-dimensional locus of the moving object using the two or more video images.
Although the moving object is a table tennis ball according to the present embodiment, it may be a ball such as tennis or golf, or a living thing such as a bird. The same applies to other embodiments.
また、本実施の形態の具体例によれば、移動物体計測装置１２は、カメラ１１から記録媒体を経由して、映像情報を取得したが、移動物体計測装置１２は、カメラ１１から映像情報を受信しても良い。かかる場合、例えば、卓球の試合を見ながら、少ない時間差で、ボールの３次元の軌跡を視ることができる。かかることも、他の実施の形態においても同様である。 Further, according to the specific example of the present embodiment, the moving object measurement device 12 acquires the video information from the camera 11 via the recording medium, but the moving object measurement device 12 acquires the video information from the camera 11. You may receive it. In such a case, for example, a three-dimensional trajectory of the ball can be viewed with a small time difference while watching a table tennis game. This also applies to other embodiments.
また、本移動物体計測装置は、図１０（ａ）に示す通常の映像を用いるのではなく、図１０（ｂ）に示すようにあえて遅いシャッター速度のカメラで撮影した、軌跡を故意に残した映像を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。なお、野球の投球の際のボールの速度は、約１５０ｋｍ／ｈ、つまり、約４０ｍ／ｓｅｃであるので、３０フレーム／ｓｅｃでサンプリングすると、１フレームで約１．３ｍ移動する。また、ゴルフのドライバーショットでは、約８０ｍ／ｓｅｃであり、３０フレーム／ｓｅｃでサンプリングすると、１フレームで約２．６ｍ移動する。また、テニスのサーブでは、約２００ｋｍ／ｈ、つまり、約５５ｍ／ｓｅｃであるので、３０フレーム／ｓｅｃでサンプリングすると、１フレームで約１．８ｍ移動する。 In addition, the moving object measuring apparatus intentionally left a trajectory, which was taken with a camera having a slow shutter speed as shown in FIG. 10B, instead of using the normal image shown in FIG. 10A. Three-dimensional trajectory information, which is information about the three-dimensional trajectory of the moving object, is acquired using the video. In addition, since the speed of the ball at the time of baseball pitching is about 150 km / h, that is, about 40 m / sec, if it samples at 30 frames / sec, it moves about 1.3 m per frame. Further, in golf driver shots, the speed is about 80 m / sec. When sampling is performed at 30 frames / sec, the movement is about 2.6 m per frame. Also, in the tennis serve, it is about 200 km / h, that is, about 55 m / sec. Therefore, sampling at 30 frames / sec moves about 1.8 m in one frame.
また、本移動物体計測装置は、図１１に示すように、移動物体を捉えている時間が重なる２以上のカメラが撮影した２以上の映像情報を利用し、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。したがって、カメラの同期が不要となる。 In addition, as shown in FIG. 11, the moving object measuring apparatus uses two or more video information captured by two or more cameras with which the time when the moving object is captured overlaps, and moves using the visual volume intersection method. 3D trajectory information, which is information about the 3D trajectory of an object, is acquired. Therefore, camera synchronization is not necessary.
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における移動物体計測装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、予め格納されている２以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、前記２以上の映像画像ごとに取得する移動軌跡情報取得ステップと、前記移動軌跡情報取得ステップで取得した前記２以上の映像画像ごとの移動軌跡情報と、予め格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する三次元軌跡情報取得ステップと、前記三次元軌跡情報を出力する三次元軌跡情報出力ステップを実行させるためのプログラム、である。 Furthermore, the processing in the present embodiment may be realized by software. Then, this software may be distributed by software download or the like. Further, this software may be recorded and distributed on a recording medium such as a CD-ROM. This also applies to other embodiments in this specification. Note that the software that realizes the moving object measuring apparatus according to the present embodiment is the following program. In other words, this program acquires movement trajectory information indicating a movement trajectory of a moving object for each of the two or more video images from each image included in two or more video images stored in the computer. Based on the movement trajectory information for each of the two or more video images acquired in the acquisition step, the movement trajectory information acquisition step, and two or more camera parameters stored in advance, a moving object is obtained using the visual volume intersection method. 3D is a program for executing a 3D trajectory information acquisition step for acquiring 3D trajectory information, which is information of the 3D trajectory, and a 3D trajectory information output step for outputting the 3D trajectory information.
また、前記プログラムにおいて、前記移動軌跡情報取得ステップは、予め格納されている２以上の各映像画像が有する２以上の各画像から、移動物体の移動軌跡を示す移動軌跡情報を２以上抽出し、当該２以上の移動軌跡情報を合成し、各映像画像に対応する移動軌跡情報を取得するプログラムであることは好適である。
（実施の形態２）
図１２は、本実施の形態における移動物体計測システムのブロック図である。
移動物体計測システムは、２台以上のカメラ１１、移動物体計測装置１２２を具備する。
In the program, the movement trajectory information acquisition step extracts two or more movement trajectory information indicating the movement trajectory of the moving object from two or more images included in two or more video images stored in advance. It is preferable that the program is a program that combines the two or more pieces of movement locus information and obtains movement locus information corresponding to each video image.
(Embodiment 2)
FIG. 12 is a block diagram of the moving object measurement system in the present embodiment.
The moving object measurement system includes two or more cameras 11 and a moving object measurement device 122.
移動物体計測装置１２２は、映像情報受信部１２０１、映像情報格納部１２０２、カメラパラメータ格納部１２０３、移動軌跡情報取得部１２２０４、三次元軌跡情報取得部１２２０５、三次元軌跡情報出力部１２０６を具備する。 The moving object measuring device 122 includes a video information receiving unit 1201, a video information storage unit 1202, a camera parameter storage unit 1203, a moving trajectory information acquisition unit 12204, a 3D trajectory information acquisition unit 12205, and a 3D trajectory information output unit 1206. .
移動軌跡情報取得部１２２０４は、映像情報格納部１２０２が格納している２以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、２以上の映像画像ごとに取得する。移動軌跡情報取得部１２２０４は、例えば、ここでは、映像情報格納部１２０２が格納している２以上の各映像画像が有する一の各画像から、移動物体の移動軌跡を示す移動軌跡情報を、映像画像ごとに取得する。かかる場合、図１１に示すように、２以上のカメラが取得した画像（静止画）を得るための開いていたシャッターの時間が重なる必要がある。移動軌跡情報取得部１２２０４は、通常、ＭＰＵやメモリ等から実現され得る。移動軌跡情報取得部１２２０４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。 The movement trajectory information acquisition unit 12204 acquires movement trajectory information indicating the movement trajectory of the moving object for each of the two or more video images from each image included in the two or more video images stored in the video information storage unit 1202. . For example, here, the movement trajectory information acquisition unit 12204 displays the movement trajectory information indicating the movement trajectory of the moving object from one image included in each of the two or more video images stored in the video information storage unit 1202. Acquire for each image. In such a case, as shown in FIG. 11, it is necessary to overlap the time of the open shutter for obtaining an image (still image) acquired by two or more cameras. The movement trajectory information acquisition unit 12204 can be usually realized by an MPU, a memory, or the like. The processing procedure of the movement trajectory information acquisition unit 12204 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
三次元軌跡情報取得部１２２０５は、移動軌跡情報取得部１２２０４が取得した２以上の映像画像ごとの移動軌跡情報と、カメラパラメータ格納部１２０３に格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。そして、三次元軌跡情報取得部１２２０５は、取得した２以上の三次元軌跡情報を合成し、出力する三次元軌跡情報を得る。三次元軌跡情報取得部１２２０５は、通常、ＭＰＵやメモリ等から実現され得る。三次元軌跡情報取得部１２２０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。 The three-dimensional trajectory information acquisition unit 12205 is based on the movement trajectory information for each of the two or more video images acquired by the movement trajectory information acquisition unit 12204 and the two or more camera parameters stored in the camera parameter storage unit 1203. Three-dimensional trajectory information, which is information about the three-dimensional trajectory of the moving object, is acquired using the volume intersection method. Then, the three-dimensional trajectory information acquisition unit 12205 synthesizes two or more acquired three-dimensional trajectory information to obtain output three-dimensional trajectory information. The three-dimensional trajectory information acquisition unit 12205 can be usually realized by an MPU, a memory, or the like. The processing procedure of the three-dimensional trajectory information acquisition unit 12205 is usually realized by software, and the software is recorded on a recording medium such as a ROM.
次に、移動物体計測装置の動作について図１３のフローチャートを用いて説明する。なお、図１３のフローチャートにおいて、映像情報受信部１２０１は、２台以上の各カメラ１１から、２以上の映像情報を受信し、映像情報格納部１２０２に、受信した２以上の映像情報が格納されている、とする。
（ステップＳ１３０１）三次元軌跡情報取得部１２２０５は、カメラパラメータ格納部１２０３に格納されている２以上のカメラパラメータを読み出す。
Next, the operation of the moving object measuring apparatus will be described using the flowchart of FIG. In the flowchart of FIG. 13, the video information receiving unit 1201 receives two or more pieces of video information from two or more cameras 11, and the received two or more pieces of video information are stored in the video information storage unit 1202. Suppose that
(Step S1301) The three-dimensional trajectory information acquisition unit 12205 reads two or more camera parameters stored in the camera parameter storage unit 1203.
（ステップＳ１３０２）移動軌跡情報取得部１２２０４は、映像情報格納部１２０２に格納されているすべての映像画像中に、ｉ番目のフレーム（画像）が存在するか否かを判断する。ｉ番目のフレームが存在すればステップＳ１３０３に行き、ｉ番目のフレームが存在しなければステップＳ１３１２に行く。なお、映像情報格納部１２０２に格納されている２以上の各映像画像は、概ね同じ時刻から撮影が開始され、同じ時間だけ撮影された映像である、とする。
（ステップＳ１３０３）移動軌跡情報取得部１２２０４は、カウンタｊに１を代入する。
(Step S1302) The movement trajectory information acquisition unit 12204 determines whether or not the i-th frame (image) is present in all the video images stored in the video information storage unit 1202. If the i-th frame exists, the process goes to step S1303, and if the i-th frame does not exist, the process goes to step S1312. It is assumed that each of the two or more video images stored in the video information storage unit 1202 is a video that was shot at approximately the same time and was shot for the same time.
(Step S1303) The movement trajectory information acquisition unit 12204 substitutes 1 for a counter j.
（ステップＳ１３０４）移動軌跡情報取得部１２２０４は、ｊ番目の映像画像が存在するか否かを判断する。ｊ番目の映像画像が存在すればステップＳ１３０５に行き、ｊ番目の映像画像が存在しなければステップＳ１３０９に行く。
（ステップＳ１３０５）移動軌跡情報取得部１２２０４は、ｊ番目の映像画像が有するｉ番目のフレーム（画像）を取得する。
（ステップＳ１３０６）移動軌跡情報取得部１２２０４は、ステップＳ１３０４で取得した画像から、移動軌跡情報を取得する。
（ステップＳ１３０７）移動軌跡情報取得部１２２０４は、ステップＳ１３０５で取得した移動軌跡情報を、メモリ等に一時格納する。
（ステップＳ１３０８）移動軌跡情報取得部１２２０４は、カウンタｊを１、インクリメントする。ステップＳ１３０４に戻る。
(Step S1304) The movement trajectory information acquisition unit 12204 determines whether or not the j-th video image exists. If the jth video image exists, the process proceeds to step S1305, and if the jth video image does not exist, the process proceeds to step S1309.
(Step S1305) The movement trajectory information acquisition unit 12204 acquires the i-th frame (image) of the j-th video image.
(Step S1306) The movement trajectory information acquisition unit 12204 acquires movement trajectory information from the image acquired in step S1304.
(Step S1307) The movement trajectory information acquisition unit 12204 temporarily stores the movement trajectory information acquired in step S1305 in a memory or the like.
(Step S1308) The movement trajectory information acquisition unit 12204 increments the counter j by 1. The process returns to step S1304.
（ステップＳ１３０９）三次元軌跡情報取得部１２２０５は、ステップＳ１３０１で読み出された２以上のカメラパラメータ、ステップＳ１３０７で一時格納された２以上の移動軌跡情報に基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。
（ステップＳ１３１０）三次元軌跡情報取得部１２２０５は、ステップＳ１３０９で取得した三次元軌跡情報を、メモリ等に一時格納する。
（ステップＳ１３１１）三次元軌跡情報取得部１２２０５は、カウンタｉを１、インクリメントする。ステップＳ１３０２に戻る。
（ステップＳ１３１２）三次元軌跡情報出力部１２０６は、予め格納されている背景画像を取得し、出力する。背景画像は、例えば、卓球台の画像である。
（ステップＳ１３１３）三次元軌跡情報出力部１２０６は、カウンタｉに１を代入する。
(Step S1309) The three-dimensional trajectory information acquisition unit 12205 uses the visual volume intersection method based on the two or more camera parameters read in step S1301 and the two or more movement trajectory information temporarily stored in step S1307. 3D trajectory information, which is information on the 3D trajectory of the moving object, is acquired.
(Step S1310) The three-dimensional trajectory information acquisition unit 12205 temporarily stores the three-dimensional trajectory information acquired in step S1309 in a memory or the like.
(Step S1311) The three-dimensional trajectory information acquisition unit 12205 increments the counter i by 1. The process returns to step S1302.
(Step S1312) The three-dimensional trajectory information output unit 1206 acquires and outputs a background image stored in advance. The background image is, for example, an image of a table tennis table.
(Step S1313) The three-dimensional trajectory information output unit 1206 substitutes 1 for the counter i.
（ステップＳ１３１４）三次元軌跡情報出力部１２０６は、ｉ番目の三次元軌跡情報が存在するか否かを判断する。ｉ番目の三次元軌跡情報が存在すればステップＳ１３１５に行き、ｉ番目の三次元軌跡情報が存在しなければ処理を終了する。 (Step S1314) The three-dimensional trajectory information output unit 1206 determines whether or not the i-th three-dimensional trajectory information exists. If the i-th three-dimensional trajectory information exists, the process goes to step S1315. If the i-th three-dimensional trajectory information does not exist, the process ends.
（ステップＳ１３１５）三次元軌跡情報出力部１２０６は、ｉ番目の三次元軌跡情報を出力する。三次元軌跡情報出力部１２０６は、ステップＳ１３１２で取得した背景画像上に、ｉ番目の三次元軌跡情報を出力する。
（ステップＳ１３１６）三次元軌跡情報取得部１２２０５は、カウンタｉを１、インクリメントする。ステップＳ１３１４に戻る。
以下、本実施の形態における移動物体計測装置の具体的な動作について説明する。移動物体計測装置の概念図は図１である。
(Step S1315) The three-dimensional trajectory information output unit 1206 outputs the i-th three-dimensional trajectory information. The three-dimensional trajectory information output unit 1206 outputs the i-th three-dimensional trajectory information on the background image acquired in step S1312.
(Step S1316) The three-dimensional trajectory information acquisition unit 12205 increments the counter i by 1. The process returns to step S1314.
Hereinafter, a specific operation of the moving object measuring apparatus according to the present embodiment will be described. A conceptual diagram of the moving object measuring apparatus is shown in FIG.
今、実施の形態１で説明した具体例の状況と同様に、図４に示すように、移動物体計測システムを用いて、卓球のボールの移動体の軌跡を出力する。つまり、移動物体計測システムを用いて、卓球のボールが高速移動する様子を計測する。 Similar to the situation of the specific example described in the first embodiment, as shown in FIG. 4, the trajectory of the table tennis ball moving body is output using the moving object measurement system. That is, using the moving object measurement system, the state of the table tennis ball moving at high speed is measured.
そして、本移動物体計測システムは、３台のカメラ１１と、移動物体計測装置１２を有する。３台のカメラ１１は、（１）（０，−５８２，−１５４）、（２）（−３７８，２５７，−７９）、（３）（−３７８，−９，−２６３）の位置に設置されている。なお、（１）のカメラは卓球台の真横、（２）のカメラは卓球台の斜め横、（３）のカメラは卓球台の上部の天井に設置されている。また、３台のカメラ１１は、市販の家庭用ビデオカメラであり、シャッタースピードを撮影レートと同じ１／３０ｓに設定されている。また、３台のカメラ１１が取得する画像サイズは、「７２０×４８０（ｐｉｘｅｌ）」である。
次に、卓球の競技者が卓球を行う姿を、３台のカメラ１１が撮影した、とする。そして、ここでは、撮影した画像を記録媒体（例えば、ハードディスクや磁気テープなど）に蓄積した、とする。
次に、ユーザは、３台のカメラが撮影した映像情報が記録されている記録媒体から、映像情報を移動物体計測装置１２の映像情報格納部１２０２にコピーする、とする。
また、ユーザは、カメラパラメータ格納部１２０３に、カメラパラメータを設定する、とする。
次に、ユーザは、三次元軌跡情報（卓球のボールの移動体の軌跡）の出力を指示する。
The moving object measuring system includes three cameras 11 and a moving object measuring device 12. The three cameras 11 are installed at the positions (1) (0, -582, -154), (2) (-378, 257, -79), (3) (-378, -9, -263). Has been. The camera (1) is installed directly beside the table tennis table, the camera (2) is installed obliquely beside the table tennis table, and the camera (3) is installed on the ceiling above the table tennis table. The three cameras 11 are commercially available home video cameras, and the shutter speed is set to 1/30 s, which is the same as the shooting rate. The image size acquired by the three cameras 11 is “720 × 480 (pixel)”.
Next, suppose that three cameras 11 photograph a table tennis player performing table tennis. Here, it is assumed that the photographed image is stored in a recording medium (for example, a hard disk or a magnetic tape).
Next, it is assumed that the user copies the video information from the recording medium on which the video information captured by the three cameras is recorded to the video information storage unit 1202 of the moving object measuring device 12.
Further, it is assumed that the user sets camera parameters in the camera parameter storage unit 1203.
Next, the user instructs the output of the three-dimensional trajectory information (the trajectory of the table tennis ball moving body).
次に、三次元軌跡情報取得部１２２０５は、カメラパラメータ格納部１２０３から必要なカメラパラメータを読み出す。ここでは、例えば、三次元軌跡情報取得部１２２０５は、
カメラパラメータ格納部１２０３に格納されている３つのカメラパラメータ（（１）（０，−５８２，−１５４）、（２）（−３７８，２５７，−７９）、（３）（−３７８，−９，−２６３）など）を読み出す。このカメラパラメータは、カメラ位置情報である。
Next, the three-dimensional trajectory information acquisition unit 12205 reads out necessary camera parameters from the camera parameter storage unit 1203. Here, for example, the three-dimensional trajectory information acquisition unit 12205
Three camera parameters ((1) (0, -582, -154), (2) (-378, 257, -79), (3) (-378, -9) stored in the camera parameter storage unit 1203 , -263)). This camera parameter is camera position information.
次に、移動軌跡情報取得部１２２０４は、映像情報格納部１２０２の１番目の映像情報から第１番目の画像を取得し、背景差分法により、移動軌跡情報を取得する。次に、映像情報格納部１２０２の２番目の映像情報から第１番目の画像を取得し、背景差分法により、移動軌跡情報を取得する。次に、映像情報格納部１２０２の３番目の映像情報から第１番目の画像を取得し、背景差分法により、移動軌跡情報を取得する。 Next, the movement trajectory information acquisition unit 12204 acquires the first image from the first video information in the video information storage unit 1202 and acquires the movement trajectory information by the background difference method. Next, the first image is acquired from the second video information in the video information storage unit 1202, and the movement trajectory information is acquired by the background subtraction method. Next, the first image is acquired from the third video information in the video information storage unit 1202, and the movement trajectory information is acquired by the background subtraction method.
次に、三次元軌跡情報取得部１２２０５は、上記の３つの移動軌跡情報と３つのカメラパラメータを用いて、視体積交差法を適用し、移動物体の三次元軌跡の情報である三次元軌跡情報を得る。三次元軌跡情報は、通常、ボクセル情報の集合である。また、この三次元軌跡情報は、非常に短い軌跡の情報である。
そして、移動軌跡情報取得部１２２０４および三次元軌跡情報取得部１２２０５は、かかる上記の処理を、全フレーム（画像）に対して繰り返し行い、多数の三次元軌跡情報（短い軌跡の情報）を得る。
Next, the three-dimensional trajectory information acquisition unit 12205 applies the visual volume intersection method using the three moving trajectory information and the three camera parameters, and the three-dimensional trajectory information that is information on the three-dimensional trajectory of the moving object. Get. The three-dimensional trajectory information is usually a set of voxel information. The three-dimensional trajectory information is very short trajectory information.
Then, the movement trajectory information acquisition unit 12204 and the three-dimensional trajectory information acquisition unit 12205 repeat the above processing for all frames (images) to obtain a large number of three-dimensional trajectory information (short trajectory information).
次に、三次元軌跡情報出力部１２０６は、三次元軌跡情報取得部１２２０５が取得した三次元軌跡情報を順次、出力する。そして、三次元軌跡情報出力部１２０６が、最終的に出力した三次元軌跡情報の例は、図９である。 Next, the 3D trajectory information output unit 1206 sequentially outputs the 3D trajectory information acquired by the 3D trajectory information acquisition unit 12205. An example of the 3D trajectory information finally output by the 3D trajectory information output unit 1206 is shown in FIG.
以上、本実施の形態によれば、連続した移動物体（ボールなど）の３次元軌跡が、容易に計測できる。また、移動物体のバウンド地点も決定可能である。特に、シャッタースピードが速くない一般的なカメラを数台並べるだけで，ボールの３次元軌跡が計測可能である。また、カメラのシャッターの同期をとる必要がなく、容易に移動物体の３次元軌跡が計測できる。 As described above, according to the present embodiment, the three-dimensional trajectory of a continuous moving object (such as a ball) can be easily measured. In addition, the bound point of the moving object can be determined. In particular, it is possible to measure the three-dimensional trajectory of a ball simply by arranging a few general cameras that do not have a fast shutter speed. Further, it is not necessary to synchronize the shutter of the camera, and the three-dimensional trajectory of the moving object can be easily measured.
なお、本実施の形態の具体例によれば、実施の形態１の具体例の説明と比較して、移動軌跡情報の取得、および三次元軌跡情報の取得アルゴリズムの方法（組み合わせ方法）が異なる。つまり、移動物体計測装置の三次元軌跡情報取得部が一度に取得する三次元軌跡情報の量（単位）は問わない。よって、本移動物体計測装置は、空間上の異なる位置に設置された２以上のカメラであり、空間上を移動する物体である移動物体を撮影する２以上のカメラであり、前記移動物体を捉えている時間が重なる２以上のカメラが撮影した２以上の映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する２以上の映像画像が有する各画像中の移動物体の移動軌跡を示す情報である移動軌跡情報に基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得し、出力する移動物体計測装置、であれば良い。 In addition, according to the specific example of the present embodiment, the method (combination method) of the acquisition algorithm of the movement trajectory information and the three-dimensional trajectory information is different from the description of the specific example of the first embodiment. That is, the amount (unit) of the three-dimensional trajectory information that the three-dimensional trajectory information acquisition unit of the moving object measuring device acquires at a time is not limited. Therefore, this moving object measuring apparatus is two or more cameras installed at different positions in space, and two or more cameras that photograph moving objects that are objects moving in space, and captures the moving objects. The moving trajectory of the moving object in each of the two or more video images having a plurality of images, which are two or more video information captured by two or more cameras that are overlapped for a certain period of time. Any moving object measuring apparatus that acquires and outputs three-dimensional trajectory information that is information of a three-dimensional trajectory of a moving object using the visual volume intersection method based on moving trajectory information that indicates information.
さらに、本実施の形態における移動物体計測装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、予め格納されている２以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、前記２以上の映像画像ごとに取得する移動軌跡情報取得ステップと、前記移動軌跡情報取得ステップで取得した前記２以上の映像画像ごとの移動軌跡情報と、予め格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する三次元軌跡情報取得ステップと、前記三次元軌跡情報を出力する三次元軌跡情報出力ステップを実行させるためのプログラム、である。 Furthermore, the software that realizes the moving object measuring apparatus according to the present embodiment is the following program. In other words, this program acquires movement trajectory information indicating a movement trajectory of a moving object for each of the two or more video images from each image included in two or more video images stored in the computer. Based on the movement trajectory information for each of the two or more video images acquired in the acquisition step, the movement trajectory information acquisition step, and two or more camera parameters stored in advance, a moving object is obtained using the visual volume intersection method. 3D is a program for executing a 3D trajectory information acquisition step for acquiring 3D trajectory information, which is information of the 3D trajectory, and a 3D trajectory information output step for outputting the 3D trajectory information.
また、前記プログラムにおいて、前記移動軌跡情報取得ステップは、予め格納されている２以上の各映像画像が有する一の各画像から、移動物体の移動軌跡を示す移動軌跡情報を、映像画像ごとに取得するプログラムであることは好適である。 In the program, the movement trajectory information acquisition step acquires, for each video image, movement trajectory information indicating the movement trajectory of the moving object from one image included in each of two or more video images stored in advance. It is preferable that the program
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
In each of the above embodiments, each process (each function) may be realized by centralized processing by a single device (system), or by distributed processing by a plurality of devices. May be.
Further, the computer that executes the program may be singular or plural. That is, centralized processing may be performed, or distributed processing may be performed.
The present invention is not limited to the above-described embodiments, and various modifications are possible, and it goes without saying that these are also included in the scope of the present invention.
以上のように、本発明にかかる移動物体計測装置は、移動物体の３次元軌跡が、容易に計測できる、という効果を有し、ボールスポーツの放送で利用するオーサリングシステム、ゲームなどのコンテンツを作成するオーサリングシステム等として有用である。 As described above, the moving object measuring apparatus according to the present invention has an effect that the three-dimensional trajectory of the moving object can be easily measured, and creates contents such as an authoring system and a game used in ball sports broadcasting. This is useful as an authoring system.
１２、１２２ 移動物体計測装置
１１１ 映像情報送信手段
１２０１ 映像情報受信部
１２０２ 映像情報格納部
１２０３ カメラパラメータ格納部
１２０４、１２２０４ 移動軌跡情報取得部
１２０５、１２２０５ 三次元軌跡情報取得部
１２０６ 三次元軌跡情報出力部
DESCRIPTION OF SYMBOLS 12, 122 Moving object measuring device 111 Image | video information transmission means 1201 Image | video information receiving part 1202 Image | video information storage part 1203 Camera parameter storage part 1204, 12204 Movement locus information acquisition part 1205, 12205 Three-dimensional locus information acquisition part 1206 Three-dimensional locus information output Part
Claims (9)
前記２以上のカメラに関する情報である２以上のカメラパラメータを格納しているカメラパラメータ格納部と、
前記映像情報格納部が格納している２以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、前記２以上の映像画像ごとに取得する移動軌跡情報取得部と、
前記移動軌跡情報取得部が取得した前記２以上の映像画像ごとの移動軌跡情報と、前記カメラパラメータ格納部に格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する三次元軌跡情報取得部と、
前記三次元軌跡情報を出力する三次元軌跡情報出力部を具備し、
前記映像情報格納部の２以上の映像画像は、
同期をとらない２以上のカメラで撮影された映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する２以上の映像画像である移動物体計測装置。 Two or more pieces of video information taken by two or more cameras that are installed at different positions in space and photographed as moving objects that are moving objects in space, and the time during which the moving objects are captured overlap. A video information storage unit storing two or more video images having a plurality of images in which the movement trajectory of the object is left;
A camera parameter storage unit storing two or more camera parameters which are information on the two or more cameras;
A movement trajectory information acquisition unit that acquires, for each of the two or more video images, movement trajectory information indicating a movement trajectory of a moving object from each image included in the two or more video images stored in the video information storage unit;
Based on the movement trajectory information for each of the two or more video images acquired by the movement trajectory information acquisition unit and the two or more camera parameters stored in the camera parameter storage unit, movement is performed using a visual volume intersection method. A three-dimensional trajectory information acquisition unit for acquiring three-dimensional trajectory information, which is information of a three-dimensional trajectory of an object;
Comprising a 3D trajectory information output unit for outputting the 3D trajectory information ;
Two or more video images in the video information storage unit are:
A moving object measuring apparatus, which is two or more video images that are a plurality of images that are video information captured by two or more cameras that do not synchronize and in which a movement locus of the moving object is left .
前記映像情報格納部が格納している２以上の各映像画像が有する２以上の各画像から、移動物体の移動軌跡を示す移動軌跡情報を２以上抽出し、当該２以上の移動軌跡情報を合成し、各映像画像に対応する移動軌跡情報を取得する請求項１記載の移動物体計測装置。 The movement trajectory information acquisition unit
Two or more movement trajectory information indicating the movement trajectory of the moving object is extracted from two or more images included in the two or more video images stored in the video information storage unit, and the two or more movement trajectory informations are synthesized. and, moving object measuring apparatus according to claim 1, wherein acquiring the movement trajectory information corresponding to the video image.
前記映像情報格納部が格納している２以上の各映像画像が有する一の各画像から、移動物体の移動軌跡を示す移動軌跡情報を、映像画像ごとに取得する請求項１記載の移動物体計測装置。 The movement trajectory information acquisition unit
From one respective image in which two or more respective video image in which the image information storage unit is stored with the moving locus information indicating a movement trajectory of the moving object, the moving object measuring according to claim 1, wherein to retrieve per video image apparatus.
請求項１から請求項４いずれか記載の移動物体計測装置を具備する移動物体計測システム。 Two or more cameras installed at different positions in space and capturing moving objects that are objects moving in space;
A moving object measurement system comprising the moving object measurement device according to claim 1 .
撮影した映像情報を送信する映像情報送信手段を具備し、
前記移動物体計測装置は、
前記２以上のカメラから２以上の映像情報を受信する映像情報受信部をさらに具備し、
前記映像情報格納部の２以上の映像画像は、前記映像情報受信部が受信した前記２以上の映像情報である請求項５記載の移動物体計測システム。 The two or more cameras are
Comprising video information transmitting means for transmitting captured video information;
The moving object measuring device includes:
A video information receiving unit for receiving two or more video information from the two or more cameras;
The moving object measurement system according to claim 5 , wherein the two or more video images in the video information storage unit are the two or more video information received by the video information receiving unit.
前記移動軌跡情報取得ステップで取得した前記２以上の映像画像ごとの移動軌跡情報と、予め格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する三次元軌跡情報取得ステップと、
前記三次元軌跡情報を出力する三次元軌跡情報出力ステップを具備し、
前記２以上の映像画像は、
同期をとらない２以上のカメラで撮影された映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する２以上の映像画像である移動物体計測方法。 A movement trajectory information acquisition step of acquiring, for each of the two or more video images, movement trajectory information indicating the movement trajectory of the moving object from each of the two or more video images stored in advance;
Based on the movement trajectory information for each of the two or more video images acquired in the movement trajectory information acquisition step and two or more camera parameters stored in advance, a three-dimensional trajectory of the moving object is obtained using the visual volume intersection method. A three-dimensional trajectory information acquisition step for acquiring three-dimensional trajectory information which is information of
Comprising a three-dimensional trajectory information output step for outputting the three-dimensional trajectory information ;
The two or more video images are:
A moving object measuring method which is two or more video images having a plurality of images which are video information photographed by two or more cameras which do not synchronize and in which a moving locus of the moving object is left .
予め格納されている２以上の各映像画像が有する２以上の各画像から、移動物体の移動軌跡を示す移動軌跡情報を２以上抽出し、当該２以上の移動軌跡情報を合成し、各映像画像に対応する移動軌跡情報を取得する請求項７記載の移動物体計測方法。 The movement trajectory information acquisition step includes:
Two or more pieces of movement locus information indicating the movement locus of the moving object are extracted from two or more images included in each of the two or more image images stored in advance, and the two or more pieces of movement locus information are synthesized, and each image image is synthesized. The moving object measurement method according to claim 7 , wherein the movement trajectory information corresponding to is acquired.
予め格納されている２以上の各映像画像が有する一の各画像から、移動物体の移動軌跡を示す移動軌跡情報を、映像画像ごとに取得する請求項７記載の移動物体計測方法。 The movement trajectory information acquisition step includes:
The moving object measurement method according to claim 7 , wherein movement trajectory information indicating a movement trajectory of the moving object is acquired for each video image from one image included in each of the two or more video images stored in advance.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006248363A JP4674725B2 (en) | 2005-09-22 | 2006-09-13 | Moving object measuring apparatus, moving object measuring system, and moving object measuring method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005275084 | 2005-09-22 | ||
| JP2006248363A JP4674725B2 (en) | 2005-09-22 | 2006-09-13 | Moving object measuring apparatus, moving object measuring system, and moving object measuring method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007115236A JP2007115236A (en) | 2007-05-10 |
| JP4674725B2 true JP4674725B2 (en) | 2011-04-20 |
Family
ID=38097312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006248363A Expired - Fee Related JP4674725B2 (en) | 2005-09-22 | 2006-09-13 | Moving object measuring apparatus, moving object measuring system, and moving object measuring method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4674725B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7420377B2 (en) | 2020-01-31 | 2024-01-23 | 真一 原 | How to create a tennis technique improvement support database and a tennis technique improvement support system |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010098024A1 (en) * | 2009-02-24 | 2010-09-02 | 三菱電機株式会社 | Human tracking device and human tracking program |
| JP5821625B2 (en) | 2011-08-29 | 2015-11-24 | カシオ計算機株式会社 | Image editing apparatus and program |
| US10143907B2 (en) * | 2015-12-09 | 2018-12-04 | Gregoire Gentil | Planar solutions to object-tracking problems |
| JP6653872B2 (en) * | 2016-02-19 | 2020-02-26 | 株式会社キンキクレスコ | Baseball judgment system |
| WO2020091568A1 (en) * | 2018-11-02 | 2020-05-07 | 서울대학교 산학협력단 | Method for predicting intention of user and apparatus for performing same |
| JP7334527B2 (en) * | 2019-07-31 | 2023-08-29 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
| JP6697150B1 (en) * | 2019-10-30 | 2020-05-20 | 株式会社Ｑｏｎｃｅｐｔ | Orbit calculation device, orbit calculation method, orbit calculation program |
| JP7319013B2 (en) * | 2020-02-17 | 2023-08-01 | Ｎｅｃソリューションイノベータ株式会社 | extractor |
| CN115120950B (en) * | 2021-03-25 | 2023-11-17 | 南方科技大学 | Training assistance system, projection method, projection device and computer readable storage medium |
| CN115835009B (en) * | 2022-11-30 | 2024-04-30 | 马鞍山师范高等专科学校 | Ping-pong ball motion acquisition device with embedded acceleration gyroscope |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002017931A (en) * | 2000-07-07 | 2002-01-22 | Nissho Hanbai Kk | 3d.pitching analyzer |
-
2006
- 2006-09-13 JP JP2006248363A patent/JP4674725B2/en not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002017931A (en) * | 2000-07-07 | 2002-01-22 | Nissho Hanbai Kk | 3d.pitching analyzer |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7420377B2 (en) | 2020-01-31 | 2024-01-23 | 真一 原 | How to create a tennis technique improvement support database and a tennis technique improvement support system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007115236A (en) | 2007-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4674725B2 (en) | Moving object measuring apparatus, moving object measuring system, and moving object measuring method | |
| US20070064975A1 (en) | Moving object measuring apparatus, moving object measuring system, and moving object measurement | |
| US10922879B2 (en) | Method and system for generating an image | |
| US10659685B2 (en) | Control of viewing angles for 360-degree video playback | |
| JP4896131B2 (en) | Image processing in sports recording. | |
| US9325934B2 (en) | Image processing system and method | |
| US10382680B2 (en) | Methods and systems for generating stitched video content from multiple overlapping and concurrently-generated video instances | |
| US9367746B2 (en) | Image processing apparatus for specifying an image relating to a predetermined moment from among a plurality of images | |
| US20130303248A1 (en) | Apparatus and method of video cueing | |
| US20130141521A1 (en) | Image processing system and method | |
| JP2008515264A (en) | System for generating a composite image with a camera to provide overlapping images, and a method for generating a composite image using a camera to provide overlapping images | |
| JP2011120061A5 (en) | ||
| JP2015082817A (en) | Information processing device, recording medium and information processing method | |
| JP2020086983A (en) | Image processing device, image processing method, and program | |
| JPWO2017154953A1 (en) | Information processing apparatus, information processing method, and program | |
| JP2017173252A (en) | Image processing apparatus, image processing method, and image processing program | |
| Pfeil et al. | Throwable panoramic ball camera | |
| JP2016127377A (en) | Image processing apparatus and image processing method, image reproducer and image reproducing method and program | |
| JP6602726B2 (en) | Virtual environment generation apparatus, virtual environment generation method, and program | |
| US20160127617A1 (en) | System for tracking the position of the shooting camera for shooting video films | |
| KR101231147B1 (en) | System and method for analyzing golf swing | |
| WO2020017354A1 (en) | Information processing device, information processing method, and program | |
| CN114092706A (en) | Sports panoramic football video recording method and system, storage medium and terminal equipment | |
| JP6426594B2 (en) | Image processing apparatus, image processing method and image processing program | |
| JP5957838B2 (en) | Image processing apparatus, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090819 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101104 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110114 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110118 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140204 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4674725 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |