JP4762050B2 - Display processing apparatus, display processing method, and computer program - Google Patents
Display processing apparatus, display processing method, and computer program Download PDFInfo
- Publication number
- JP4762050B2 JP4762050B2 JP2006146313A JP2006146313A JP4762050B2 JP 4762050 B2 JP4762050 B2 JP 4762050B2 JP 2006146313 A JP2006146313 A JP 2006146313A JP 2006146313 A JP2006146313 A JP 2006146313A JP 4762050 B2 JP4762050 B2 JP 4762050B2
- Authority
- JP
- Japan
- Prior art keywords
- display processing
- difference
- frame
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、モーションデータを有する動体の動画表示処理を行う際に、動体の次の動きを表す方向情報を自動付加して表示処理を行うようにした表示処理装置、表示処理方法、及びコンピュータプログラムに関する。 The present invention relates to a display processing apparatus, a display processing method, and a computer program that automatically perform direction processing that represents the next motion of a moving object when performing moving image display processing of the moving object having motion data. About.
従来、様々な動画コンテンツ(ビデオ)が存在し、例えば、ダンス及びスポーツ等の動きに関する指導を行うために、ダンスのステップ及びスポーツにおける体の動かし方等を実写、アニメーション画像等で表現した指導用ビデオがある。これらの指導用ビデオでは、次の動き予め示すための矢印を画像中に挿入したものもある(例えば、特許文献1の図7〜13)。 Conventionally, there are various video contents (videos). For example, in order to provide guidance on movements in dance and sports, etc. There is a video. Some of these instructional videos have an arrow inserted in the image to indicate the next movement in advance (for example, FIGS. 7 to 13 of Patent Document 1).
また、上述した動画コンテンツを所謂モーションキャプチャ技術を用いて作成することが行われている(特許文献2参照)。モーションキャプチャとは、人体の所要箇所にデータ取得対象となるマーカを複数取り付けた状態で、その人にダンス及びスポーツの動きを行ってもらうことにより、三次元座標におけるマーカを付した箇所の座標値及び角度を表すモーションデータ(動作情報)を取得するものである。このように取得されたモーションデータを利用して人体を表す画像が動作を行う内容の動画コンテンツを作成でき、モーションデータに基づく動画コンテンツは視点変更(表示する方向の変更)を容易に行うことができる。 In addition, the above-described moving image content is created using a so-called motion capture technique (see Patent Document 2). Motion capture is the coordinate value of the place where the marker is attached in 3D coordinates by having the person perform dance and sports movements with multiple markers to acquire data at the required place of the human body And motion data (motion information) representing an angle. By using the motion data acquired in this way, it is possible to create a moving image content in which an image representing a human body operates, and the moving image content based on the motion data can easily change the viewpoint (change the display direction). it can.
さらに、特許文献3では、実写映像と、コンピュータグラフィックによるキャラクタ画像を三次元情報に基づいて合成した映像を作成することが開示されている。
指導用ビデオでのように、動きを示す矢印を挿入することは、映像編集者が被写体における各部の動きを見ながら矢印画像を手作業で付加する編集作業が必要なため、非常に手間を要すると云う問題がある。また、モーションキャプチャ技術によるモーションデータを利用して作成された動画コンテンツに対しても、動きを示す矢印を挿入する場合は、上記と同様に手作業による編集が必要になっていた。特に複数視点での動画表示を行う場合は、視点ごとに対応した矢印画像が必要となるため、編集作業量が膨大になると云う問題がある。 As in the instructional video, inserting an arrow indicating movement is very laborious because the video editor needs to manually add an arrow image while watching the movement of each part of the subject. There is a problem. In addition, for moving image content created using motion data based on motion capture technology, manual editing is required in the same manner as described above when an arrow indicating motion is inserted. In particular, when displaying a moving image from a plurality of viewpoints, an arrow image corresponding to each viewpoint is required, which causes a problem that the amount of editing work is enormous.
なお、特許文献3は、実写映像と、キャラクタ画像を三次元情報に基づいて単に合成するだけものであるため、被写体であるモデルの動きに応じて、動きを示す矢印画像を合成することまでは行えない。 Since Patent Document 3 merely synthesizes a live-action image and a character image based on three-dimensional information, until an arrow image indicating movement is synthesized in accordance with the movement of a model that is a subject. I can't.
本発明は、斯かる事情に鑑みてなされたものであり、モーションキャプチャ技術により得られたモーションデータ(動作情報)を利用することにより、手作業による編集を行うことなく、動体の次に動く方向を示す方向情報を自動で付加できるようにした表示処理装置、表示処理方法、及びコンピュータプログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and by using the motion data (motion information) obtained by the motion capture technology, the direction of movement next to the moving object without performing manual editing. An object of the present invention is to provide a display processing device, a display processing method, and a computer program that can automatically add direction information indicating the above.
上記課題を解決するために本発明に係る表示処理装置は、動体を示す動画のフレームごとに動体に係る複数の点の動作情報を含む動画の表示処理を行う表示処理装置において、前記動作情報を記憶する手段と、記憶された動作情報の中で、時間的に前後するフレームに対応した複数の点の動作情報の差分を算出する算出手段と、算出した複数の点の動作情報の差分の中で最も大きい差分に基づいて、動体の動く方向を表す方向情報を生成する生成手段と、生成した方向情報を、前記最も大きい差分に応じた点に対してフレームに付加する付加手段と、方向情報を付加したフレームの表示処理を行う手段とを備えることを特徴とする。 In order to solve the above problems, a display processing device according to the present invention is a display processing device that performs display processing of a moving image including motion information of a plurality of points related to a moving object for each frame of the moving image indicating the moving object. Among the stored movement information, a calculation means for calculating a difference between the movement information at a plurality of points corresponding to frames that are temporally forward and backward, and a difference between the calculated movement information at the plurality of points. in based on the largest difference, and generating means for generating direction information representing the direction of movement of the moving body, and adding means for adding a frame the generated direction information, relative to a point corresponding to the largest difference, direction information And a means for performing a display process of the frame to which is added.
また、本発明に係る表示処理装置は、前記算出手段が算出した複数の点の動作情報の差分が、基準値を下回るか否かを検出する手段を備え、前記複数の点の動作情報の差分が基準値を下回ることが検出された場合、前記生成手段は方向情報を生成しないようにしてあることを特徴とする。 The display processing apparatus according to the present invention further includes means for detecting whether or not the difference between the motion information at the plurality of points calculated by the calculation means is below a reference value, and the difference between the motion information at the plurality of points. When it is detected that the value falls below a reference value, the generation means does not generate direction information.
さらに、本発明に係る表示処理装置は、前記生成手段は、方向情報として動体の動く方向を表す画像を生成することを特徴とする。
さらにまた、本発明に係る表示処理装置は、前記算出手段が算出した前記最も大きい差分と比較値との比較を行う比較手段を備え、前記生成手段は、前記比較手段の比較結果に基づいて生成する画像の形態を変更するようにしてあることを特徴とする。
また、本発明に係る表示処理装置は、前記生成手段は、方向情報として動作の動く方向を表す文字を生成することを特徴とする。
Furthermore, the display processing apparatus according to the present invention is characterized in that the generation means generates an image representing a moving direction of the moving object as direction information.
Furthermore, the display processing apparatus according to the present invention further includes a comparison unit that compares the largest difference calculated by the calculation unit with a comparison value, and the generation unit generates based on a comparison result of the comparison unit. It is characterized in that the form of the image to be changed is changed.
The display processing apparatus according to the present invention is characterized in that the generation means generates a character representing a direction in which an action moves as direction information.
本発明に係る表示処理装置は、前記付加手段は、一定の時間間隔ごとのフレームに方向情報を付加することを特徴とする。
また、本発明に係る表示処理装置は、前記方向情報に応じた差分の算出に係るフレーム以前の時間帯に含まれるフレームに対して、複数の点の動作情報の差分が、基準値を下回るかを特定する特定手段を備え、前記付加手段は、前記特定手段が特定した基準値を下回る差分に係るフレームに方向情報を付加することを特徴とする。
さらに、本発明に係る表示処理装置は、動画には楽曲が付帯してあり、動画の表示処理に伴って楽曲の再生処理を行う再生手段を備え、前記付加手段は、前記再生手段で再生処理が行われる楽曲の拍子に応じた表示処理対象のフレームに方向情報を付加することを特徴とする。
The display processing apparatus according to the present invention is characterized in that the adding means adds direction information to a frame at a fixed time interval.
The display processing apparatus according to the present invention is to pair the frames included frame to a previous time slot according to the calculation of the difference corresponding to the direction information, the difference of the operation information of the plurality of points, below the reference value comprising a specifying means for specifying either said adding means is characterized by adding directional information to the frame in accordance with differences less than the reference value the specifying unit has identified.
Furthermore, the display processing apparatus according to the present invention includes a playback means for performing a music playback process in accordance with the video display process, wherein the music is attached to the video, and the additional means performs the playback process with the playback means Direction information is added to a frame to be displayed according to the time signature of the music to be performed.
本発明に係る表示処理装置は、動作情報の差分及び音声を対応付けた音声テーブルと、前記音声テーブルから、前記算出手段が算出した前記最も大きい差分に対応する音声を特定する音声特定手段と、特定した音声の出力処理を行う音声出力手段とを備えることを特徴とする。 The display processing apparatus according to the present invention includes a voice table in which a difference between motion information and a voice is associated, a voice identification unit that identifies a voice corresponding to the largest difference calculated by the calculation unit from the voice table, And an audio output means for performing an output process of the specified audio.
また、本発明に係る表示処理装置は、動体の一時停止状態の検索指示を受け付ける受付手段と、該受付手段が検索指示を受け付けた場合、記憶された動作情報の中で、時間的に前後するフレームに対応した複数の点の動作情報の差分を算出する手段と、算出された前記複数の点の動作情報の差分が、基準値を下回るフレームを特定するフレーム特定手段と、前記フレーム特定手段が特定したフレームに前記付加手段が方向情報を付加した状態で表示処理を行う手段とを備えることを特徴とする。 In addition, the display processing apparatus according to the present invention includes a receiving unit that receives a search instruction for a suspended state of a moving object, and when the receiving unit receives the search instruction, the display processing apparatus moves back and forth in time in the stored operation information. means for calculating a difference between the operation information of the plurality of points corresponding to the frame, the difference of the operation information of the calculated plurality of points, and a frame specifying means for specifying a frame that falls below the reference value, the frame And a means for performing display processing in a state where the adding means adds direction information to the frame specified by the specifying means.
本発明に係る表示処理方法は、動体を示す動画のフレームごとに含まれる動体に係る複数の点の動作情報を記憶する表示処理装置が、動画の表示処理を行う表示処理方法において、前記表示処理装置は、記憶する動作情報の中で、時間的に前後するフレームに対応した複数の点の動作情報の差分を算出し、算出した複数の点の動作情報の差分の中で最も大きい差分に基づいて、動体の動く方向を表す方向情報を生成し、生成した方向情報を、前記最も大きい差分に応じた点に対してフレームに付加し、方向情報を付加したフレームの表示処理を行うことを特徴とする。
また、本発明に係る表示処理方法は、前記表示処理装置が、予め差分を算出して、算出した差分を記憶しておき、記憶した差分に基づいて方向情報を生成することを特徴とする。
The display processing method according to the present invention is the display processing method in which the display processing device that stores motion information of a plurality of points related to a moving object included in each frame of the moving image indicating the moving object performs the display processing of the moving image. The apparatus calculates a difference between the motion information of a plurality of points corresponding to frames that are temporally forward and backward in the stored motion information, and based on the largest difference among the calculated motion information of the points. Generating direction information representing the moving direction of the moving object, adding the generated direction information to the frame with respect to the point corresponding to the largest difference, and performing display processing of the frame to which the direction information is added. And
The display processing method according to the present invention is characterized in that the display processing device calculates a difference in advance, stores the calculated difference, and generates direction information based on the stored difference.
本発明に係るコンピュータプログラムは、動体を示す動画のフレームごとに含まれる動体に係る複数の点の動作情報を記憶するコンピュータに、動画の表示処理を行わせるためのコンピュータプログラムにおいて、コンピュータを、記憶された動作情報の中で、時間的に前後するフレームに対応した複数の点の動作情報の差分を算出する算出手段と、該算出手段が算出した複数の点の動作情報の差分の中で最も大きい差分に基づいて、動体の動く方向を表す方向情報を生成する生成手段と、該生成手段が生成した方向情報を、前記最も大きい差分に応じた点に対してフレームに付加する付加手段と、方向情報を付加したフレームの表示処理を行う手段として機能させることを特徴とする。 A computer program according to the present invention is a computer program for causing a computer storing motion information of a plurality of points related to a moving object included in each frame of a moving image indicating a moving object to perform a moving image display process. Among the calculated motion information, the calculation means for calculating the difference between the motion information of a plurality of points corresponding to the temporally preceding and following frames, and the difference among the motion information of the plurality of points calculated by the calculation means Generating means for generating direction information representing the moving direction of the moving object based on the large difference, and adding means for adding the direction information generated by the generating means to the frame with respect to the point corresponding to the largest difference ; It is made to function as a means to perform the display process of the frame which added direction information.
本発明にあっては、モーションキャプチャ技術により得られる動作情報(モーションデータ)の差分に基づいて方向情報を生成し、表示処理対象となるフレームに付加するので、次の動作を示す方向情報を自動で表示できるようになる。その結果、手作業による編集を行わなくても、動体の次の動作方向を把握できる指導用ビデオ等を従来に比べてより低コスト且つ容易に制作可能となる。また、本発明では、モーションキャプチャ技術により得られる動作情報を利用するので、モーションキャプチャ技術で動作情報を得られる動体の映像であれば、あらゆる種類の動体の映像に対して本発明を適用することが可能であり、動体としては人体以外にも、移動するボール、移動して組み合わせられる物体同士なども該当する。なお、モーションキャプチャ技術により得られる動作情報は一般に、三次元座標系における各座標軸に対する角度(回転角度)、又は各座標軸に対する座標値の少なくともいずれか一方を含む。 In the present invention, the direction information is generated based on the difference of motion information (motion data) obtained by the motion capture technology and added to the frame to be displayed, so the direction information indicating the next motion is automatically Can be displayed. As a result, it is possible to produce a teaching video or the like that can grasp the next moving direction of a moving object at a lower cost and more easily than before without performing manual editing. Also, since the present invention uses motion information obtained by the motion capture technology, the present invention can be applied to all types of motion images as long as the motion image can be obtained by the motion capture technology. In addition to the human body, the moving body also includes a moving ball and objects that can be moved and combined. The motion information obtained by the motion capture technique generally includes at least one of an angle (rotation angle) with respect to each coordinate axis and a coordinate value with respect to each coordinate axis in the three-dimensional coordinate system.
また、本発明は、動画の表示処理を行う際にリアルタイム的に、動作情報の差分、及び差分に基づく方向情報の生成を行う以外に、予め動作情報の差分を算出すると共に、算出した差分を表示処理装置が記憶しておき、動画の表示処理を行う際に記憶する差分に基づき方向情報を生成してもよい。後者の場合、動画表示処理において表示処理装置の処理負担が軽減されるため、表示処理装置のプロセッサ能力が低いとき、又はネットワーク配信により動画表示処理を行った内容を配信する場合などに好適である。さらにまた、表示する動画の視点方向が定まっている場合は、予め差分を算出すると共に、算出した差分に基づいて、視点方向に応じた方向情報も生成し、生成した方向情報を表示処理装置が記憶しておき、動作表示処理を行う際に記憶する方向情報をフレームに付加して動画表示処理を行うことも可能であり、この場合は一段と処理負担の低減を図れる。 In addition, the present invention calculates the difference between the motion information in advance in addition to generating the motion information difference and the direction information based on the difference in real time when performing the moving image display process. The direction information may be generated based on the difference stored in the display processing device and stored when the moving image display processing is performed. In the latter case, the processing load on the display processing device is reduced in the moving image display processing, which is preferable when the processor capacity of the display processing device is low or when the content of the moving image display processing by network distribution is distributed. . Furthermore, when the viewpoint direction of the moving image to be displayed is determined, the difference is calculated in advance, and direction information corresponding to the viewpoint direction is generated based on the calculated difference, and the display processing device displays the generated direction information. It is also possible to store and store the moving direction display process by adding the direction information stored when performing the operation display process to the frame. In this case, the processing load can be further reduced.
本発明にあっては、算出した差分が基準値を下回る場合、方向情報を生成しないので、動体の動作が基準値を下回るレベルであるときは、方向情報が表示されなくなる。そのため、動体の微妙な動きは切り捨てられて方向情報の付加対象にならないので、方向情報が過度に表示されることを防止できる。 In the present invention, since the direction information is not generated when the calculated difference is below the reference value, the direction information is not displayed when the motion of the moving object is at a level below the reference value. For this reason, the subtle movement of the moving object is discarded and is not an object to which the direction information is added, so that it is possible to prevent the direction information from being displayed excessively.
本発明にあっては、動く方向を表す画像を生成するので、動画表示処理により表示画面中に付加された画像により、次に動体が動く方向を一目でユーザは把握できるようになる。なお、画像としては、方向を示す矢印の画像が好適であるが、方向を表すことが可能なクサビ形のような先細の画像等も適用可能である。 In the present invention, an image representing the moving direction is generated, so that the user can grasp at a glance the moving direction of the moving object next from the image added to the display screen by the moving image display process. Note that an image of an arrow indicating a direction is preferable as the image, but a tapered image such as a wedge shape capable of expressing the direction is also applicable.
本発明にあっては、生成する画像の形態を、比較結果に基づいて変更するので、表示される画像の形態を見ることで、ユーザは動体の動く量を予測できるようになり、現在表示されている動体の次の動きを詳細に把握可能となる。なお、形態の変更例としては、動体の動く量が大きいほど画像を大きくすること、画像を長くすること、画像の色を濃くすること等が該当し、特に方向情報に相当する画像が矢印画像の場合には、動体の動く量が大きいほど鏃部分を大きくすることなども適用できる。 In the present invention, since the form of the image to be generated is changed based on the comparison result, by viewing the form of the displayed image, the user can predict the amount of movement of the moving object and is currently displayed. It becomes possible to grasp the next movement of the moving object in detail. Note that examples of changing the form include increasing the image as the moving amount of the moving object increases, making the image longer, and increasing the color of the image. In particular, the image corresponding to the direction information is an arrow image. In this case, it is also possible to apply a larger heel portion as the moving amount of the moving body increases.
本発明にあっては、動く方向を表す文字が生成されるので、表示画面中には動体の次の動作方向を表す文字が示され、ユーザは確実に次の動きを把握できるようになる。具体的には、ダンスの指導用の動画コンテンツの場合で、モデルが次のフレームで右腕を上げるシーンになるとき、表示画面中には「右腕を上げて!」と云う文字が表示されるようになる。なお、文字及び画像の両方を表示して、次の動く方向をより把握しやすくすることも勿論可能である。 In the present invention, since the character representing the moving direction is generated, the character representing the next moving direction of the moving object is shown on the display screen, and the user can surely grasp the next movement. Specifically, in the case of video content for dance instruction, when the model is a scene where the right arm is raised in the next frame, the text “Raise the right arm!” Appears on the display screen. become. Of course, it is possible to display both the character and the image so that the next moving direction can be easily understood.
本発明にあっては、一定の間隔ごとのフレームに方向情報を付加するので、方向情報が同一の間隔で表示されるようになり、方向情報の付加を定型的な処理で行うことができ、方向情報の付加に対してスムーズな処理の流れを作ることができる。 In the present invention, since the direction information is added to the frames at regular intervals, the direction information is displayed at the same interval, and the addition of the direction information can be performed by a routine process. A smooth process flow can be created for the addition of direction information.
本発明にあっては、基準値を下回る差分に係るフレームに方向情報を付加するので、動体の動きが小さいとき、又は動体が一時的に停止しているとき(ポーズ状態のとき)に方向情報が表示されることになり、次の動作が始まる前にタイミング良く方向情報をユーザに提示して、動画を見るユーザが動体の次の動きを把握しやくなる。 In the present invention, the direction information is added to the frame related to the difference below the reference value, so that the direction information is obtained when the motion of the moving object is small or when the moving object is temporarily stopped (in the pause state). Is displayed, the direction information is presented to the user in a timely manner before the next operation starts, and the user watching the moving image can easily grasp the next movement of the moving object.
本発明にあっては、動画に付帯する楽曲の拍子に応じたフレームに方向情報が付加されるので、楽曲のリズムに合わせて方向情報がユーザに提示されるようになる。そのため、ダンスの指導用の動画コンテンツのように、モデルが楽曲に合わせて動く場合、次の動きを示す方向情報も楽曲に合わせて表示されるため、ユーザは楽曲のリズム(拍子)に合わせて次の動きを把握でき、楽曲に応じた適切な動きをスムーズに学べる。 In the present invention, since the direction information is added to the frame according to the time signature of the music accompanying the moving image, the direction information is presented to the user in accordance with the rhythm of the music. Therefore, when the model moves according to the music, such as the video content for teaching dance, the direction information indicating the next movement is also displayed along with the music, so the user can adjust the music to the rhythm of the music. You can grasp the next movement and learn the appropriate movement according to the music smoothly.
本発明にあっては、差分に対応する音声を音声テーブルから特定して出力処理を行うので、視覚に加えて聴覚によっても動体の次の動きをユーザは把握できるようになり、多面的に次の動きをより確実に予測できる。その結果、ダンス及びスポーツ等の動作を指導する動画コンテンツにおける指導内容を、より強くユーザにアピールして指導力を高められる。 In the present invention, since the voice corresponding to the difference is specified from the voice table and the output process is performed, the user can grasp the next movement of the moving object not only visually but also by auditory sense. Can be predicted more reliably. As a result, the instruction content in the moving image content for instructing operations such as dance and sports can be appealed to the user more strongly and the instruction ability can be enhanced.
本発明にあっては、動体の一時停止状態(ポーズ状態)を検索する指示を受け付けると、基準値を下回る差分に係るフレームを特定し、そのフレームに方向情報を付加して画像の表示処理を行うので、ユーザとしては、一連の動作の中でポーズ状態を素早く表示できると共に、そのポーズ状態を起点として次ぎの動作を学ぶことができ、ポーズごとに動きを学びたい場合に有効な機能を提供できる。 In the present invention, when an instruction to search for a paused state (pause state) of a moving object is received, a frame related to a difference below a reference value is specified, and direction information is added to the frame to perform image display processing. As a user, the user can quickly display the pose state in a series of actions, and can learn the next action from the pose state as a starting point, providing an effective function when you want to learn movement for each pose. it can.
本発明にあっては、モーションキャプチャ技術により得られる動作情報を利用して、動作情報の差分を求めると共に、その差分に基づいて方向情報を生成し、動画表示処理の対象となるフレームに付加するので、次の動作を示す方向情報を自動で表示でき、従来必要であった動作方向を表す画像編集作業を不要にできる。
また、本発明にあっては、予め動作情報の差分を求めて記憶すると共に、動画表示処理の際に、記憶する差分に基づき方向情報を生成してフレームに付加することも可能であり、この場合は装置の処理負荷を低減できる。
In the present invention, using the motion information obtained by the motion capture technology, the difference between the motion information is obtained, the direction information is generated based on the difference, and added to the frame that is the target of the video display process. Therefore, the direction information indicating the next operation can be automatically displayed, and the image editing work indicating the operation direction which has been necessary in the past can be eliminated.
Further, in the present invention, it is also possible to obtain and store a difference in motion information in advance and generate direction information based on the stored difference and add it to the frame during the moving image display process. In this case, the processing load on the apparatus can be reduced.
本発明にあっては、算出した差分が基準値を下回る場合、方向情報を生成しないので、動体の微妙な動きに対しては方向情報が表れなくなり、方向情報が過度に表示されることを防止できる。 In the present invention, when the calculated difference is less than the reference value, direction information is not generated, so direction information does not appear for subtle movements of moving objects, and direction information is prevented from being displayed excessively. it can.
また、本発明にあっては、動く方向を表す画像を生成するので、次に動体が動く方向を一目でユーザは把握できる。
さらに、本発明にあっては、生成する画像形態を比較結果に基づいて変更するので、表示される画像の形態により、次の動体の動く量までユーザは予測できる。
さらにまた、本発明にあっては、動く方向を表す文字が生成されるため、表示画面中の文字を読むことで、ユーザは確実に次の動きを把握できる。
In the present invention, since an image showing the moving direction is generated, the user can grasp at a glance the moving direction of the moving object.
Furthermore, in the present invention, since the generated image form is changed based on the comparison result, the user can predict the amount of movement of the next moving object according to the form of the displayed image.
Furthermore, in the present invention, since the character indicating the moving direction is generated, the user can surely grasp the next movement by reading the character on the display screen.
本発明にあっては、一定の間隔ごとのフレームに方向情報を付加するので、方向情報を同一のタイミングでユーザに表示でき、ユーザ側は周期的に動きを把握できる一方、装置側としては、方向情報の付加処理を定型的に効率良く行える。 In the present invention, since direction information is added to frames at regular intervals, the direction information can be displayed to the user at the same timing, and the user side can grasp the movement periodically, Direction information addition processing can be performed efficiently and routinely.
また、本発明にあっては、基準値を下回る差分に係るフレームに方向情報を付加するので、動体の動きが小さいとき、又は動体が一時的に停止しているとき(ポーズ状態のとき)に方向情報を表示でき、次の動作が始まる前にタイミング良く方向情報をユーザに提示できる。 In the present invention, since direction information is added to a frame related to a difference that is less than the reference value, when the motion of the moving object is small or when the moving object is temporarily stopped (in a pause state) Direction information can be displayed, and the direction information can be presented to the user in a timely manner before the next operation starts.
さらに、本発明にあっては、動画に付帯する楽曲の拍子に応じたフレームに方向情報が付加されるので、楽曲のリズムに合わせて方向情報をユーザに提示でき、ユーザは楽曲に合った自然なリズムで方向情報を確認できる。 Furthermore, in the present invention, since the direction information is added to the frame according to the time signature of the music accompanying the moving image, the direction information can be presented to the user in accordance with the rhythm of the music, and the user can select the natural information suitable for the music. The direction information can be confirmed with a simple rhythm.
本発明にあっては、差分に対応する音声を音声テーブルから特定して出力処理を行うので、方向情報及び音声と云う視覚及び聴覚の両方により、動体の次の動きをユーザへ確実に伝えることができる。 In the present invention, since the voice corresponding to the difference is specified from the voice table and the output process is performed, the next movement of the moving object is surely transmitted to the user by both visual and auditory senses such as direction information and voice. Can do.
本発明にあっては、動体の一時停止状態(ポーズ状態)を検索する指示を受け付けると、基準値を下回る差分に係るフレームを特定し、そのフレームに方向情報を付加して画像の表示処理を行うので、一連の動作の中でポーズ状態を素早く見ることができ、ダンス及びスポーツの動き等を学習する場合、ポーズを起点として次ぎの動作を効率的に学習できる。 In the present invention, when an instruction to search for a paused state (pause state) of a moving object is received, a frame related to a difference below a reference value is specified, and direction information is added to the frame to perform image display processing. Therefore, the pose state can be quickly seen in a series of operations, and when learning dance and sports movements, the next operation can be efficiently learned from the pose as a starting point.
図1は、本発明の実施形態に係る表示処理装置1を示している。本実施形態の表示処理装置1は、汎用のパーソナルコンピュータを適用しており、コンピュータ本体1aに、各種映像、画像等を表示するディスプレイ装置10、並びにユーザからの操作指示を受け付けるキーボード11及びマウス12を接続している。表示処理装置1は、モーションキャプチャ技術により得られたモーションデータ(動作情報に相当)をフレームごとに含んだ動画データを予め記憶しており、動画再生の際、そのモーションデータにより時間的に前後する動体の動きの差を把握して、次の動体の動作方向を示す矢印画像(方向情報に相当)を生成して映像中に自動で表示できるようにしたことが特徴である。以下、表示処理装置1について詳説する。
FIG. 1 shows a
表示処理装置1は、コンピュータ本体1aの内部において、各種制御処理を行う制御部2(プロセッサ)に、RAM3、ROM4、表示用インタフェース5、操作部インタフェース6、音声出力処理部7、及びハードディスク装置9を内部バス1bで接続している。RAM3は制御部2の処理に従うデータ及びフォルダ等を一時的に記憶し、ROM4は制御部2が行う基本的な処理内容を規定したプログラム等を予め記憶している。
The
表示用インタフェース5は、本実施形態の表示処理装置1では外部機器になるディスプレイ装置10と接続されており、動画データの表示処理を行って再生した映像をディスプレイ装置10へ順次送って、ディスプレイ装置10の画面10aに映像を表示する処理を行う。また、操作部インタフェース6は、キーボード11及びマウス12が接続され、図7(a)(b)に示すメニュー画面18、19等に対するユーザからの指示を受け付けると共に、受け付けた指示内容を制御部2へ伝える処理を行う。さらに、音声出力処理部7は音声出力手段及び再生手段として機能し、スピーカ8を接続すると共に、楽曲データ及び音声データ等を制御部2の制御指示に基づいて再生及び増幅等の処理を行って、再生音をスピーカ8から出力する処理を行う。
The display interface 5 is connected to a
ハードディスク装置9は、各種プログラム及びデータ等を記憶し、本実施形態ではプログラムとして、コンピュータ本体1aを作動させる上でベースとなる処理を規定したシステムプログラム14、本発明に係る表示処理を規定した表示処理プログラム(本発明のコンピュータプログラムに相当)15、モーションキャプチャ技術に基づく表示処理対象となる動画データD、次の動作を音声で指示するための音声データを格納した音声テーブルT、各種処理判断で基準及び判別用の値を含む閾値データ16、及びメニュー画像データ17等を記憶している。
The
ハードディスク装置9に記憶される本実施形態の動画データDは、ダンス指導用の動画コンテンツであり、ダンサーにマーカを付してモーションキャプチャ技術により、三次元空間におけるマーカの座標等を表すモーションデータを、動画(映像)を構成するフレーム単位で含ませた内容になっている。このような動画データDは、再生時に視点を指定することで、ダンサーに応じた人体画像(動体に相当)の動きを所望の方向から眺めた映像を表示再生できるようになっている。
The moving image data D of the present embodiment stored in the
具体的な動体データDのイメージは、図2に示すように、モーションデータに基づいて三次元コンピュータグラフィクス技術により作成されるダンサーを表す人体画像20がX軸、Y軸、Z軸で構成されるXYZ座標系に位置し、このXYZ座標系とは相違するカメラ22の撮像方向(再生時の視点方向に相当)及び位置を定めるためのUVW座標系を設け、XYZ座標系とUVW座標系との相対関係を規定することで、ユーザが所望する方向及び位置からの映像表示が可能になる。
As shown in FIG. 2, a specific image of the moving body data D includes a
また、三次元コンピュータグラフィックス技術により作成される人体画像20(図3(a)参照)は、図3(b)に示すように、人体の骨に相当するボーンBと云う棒状のリンク部材を連結したものに、人体の皮膚に相当するスキンを被せて作成されている。さらに、図3(b)に示すボーンBの各所に付された点P1〜P17が、オリジナルのダンサーに付されたマーカ位置に相当し、これら各点P1〜P17ごとにモーションデータが存在している。なお、図3(b)に示す各点P1〜P17の位置及び個数は一例であり、ダンサーに付すマーカの位置及び個数に応じて適宜変更できる。 In addition, as shown in FIG. 3B, the human body image 20 (see FIG. 3A) created by the three-dimensional computer graphics technique includes a rod-shaped link member called a bone B corresponding to the bone of the human body. It is created by covering the connected body with a skin corresponding to the skin of the human body. Further, points P1 to P17 attached to the various points of the bone B shown in FIG. 3B correspond to marker positions attached to the original dancer, and motion data exists for each of these points P1 to P17. Yes. Note that the positions and the numbers of the points P1 to P17 shown in FIG. 3B are examples, and can be appropriately changed according to the positions and the numbers of markers attached to the dancers.
図4は、動画データDを構成する各時刻ごとのフレームで作成される人体画像20のイメージを示す図である。動画データDは、時刻t1、t2、t3・・・におけるフレームf1、f2、f3・・・により構成されており、各フレームf1、f2、f3等に応じた画像を順次再生することで、各フレームf1、f2、f3等に含まれるダンサーを表した人体画像20が動く映像(動画)を再生表示できる。なお、本実施形態の動画データDは、1秒当たりのフレーム数を60個(60フレーム/秒)にしているが、この数値はあくまで一例であり、モーションデータを取得する際のフレーム数の範囲であれば、要求される動画品質に応じて適宜増減できる。
FIG. 4 is a diagram showing an image of the
図5は、時刻t1、t2における第1フレームf1、第2フレームf2に含まれる人体画像20に応じたモーションデータM1、M2の中身を概略的に示したものである。モーションデータM1、M2は、図3(b)に示す各点P1〜P17ごとに、図2に示すXYZ座標系におけるX軸、Y軸、Z軸のそれぞれに対する回転角度、及び座標値を有する。このようなフレームごとのモーションデータに基づいて、図4に示す各フレームに含まれる人体画像20(視点が人体画像20の正面から視点の場合)が作成される。なお、回転角度は、図2中、X、Y、Z軸に付した矢印方向がそれぞれプラス(+)、及びマイナス(−)方向になる。
FIG. 5 schematically shows the contents of the motion data M1 and M2 corresponding to the
また、図6は、ハードディスク装置9に記憶される音声テーブルTの中身を示している。音声テーブルTは、後述する表示処理プログラム15が規定する処理により得られるモーションデータの差分と、音声データを対応付けたものであり、具体的には時間的に前後するフレーム間での各点P1〜P17に対するモーションデータに含まれる各要素(回転角度、座標)の差分状況に対して、それぞれ専用の音声データが対応付けられている。
FIG. 6 shows the contents of the voice table T stored in the
例えば、人体画像20の頭部頂点となる点P1に対するX軸の回転角度の差分がプラスになる場合、「頭を前に振って」と云う内容の音声データAが対応付けてあり、点P1に対するX軸の回転角度の差分がマイナスになる場合、「頭を後に振って」と云う内容の音声データBが対応付けてある。また、人体画像20の左腕先端となる点P6に対するY軸における回転角度の差分がプラスになる場合、「左腕を上げて」と云う内容の音声データCが対応付けてあり、点P6に対するY軸の回転角度の差分がマイナスになる場合、「右腕を下げて」と云う内容の音声データDが対応付けてある。このように音声テーブルTは、各点P1〜P17の各軸における回転角度の差分状況がプラス及びマイナスの場合に上述したような内容の音声データを対応付けている。
For example, when the difference in the rotation angle of the X axis with respect to the point P1 that is the head apex of the
なお、各軸における回転角度の0度は、X軸については図2中、X軸に平行で且つX軸の正から負の方向にYZ平面を眺めた場合で、Y軸の負側が0度であり、反時計方向がプラスの回転角度、時計回転方向がマイナスの回転角度になる。また、Y軸においては、Y軸に平行で且つY軸の正から負の方向にXZ平面を眺めた場合で、X軸の正側が0度であり、反時計回転方向が正方向、時計回転方向が負方向になる。さらに、Z軸においては、Z軸に平行で且つZ軸の正から負の方向にXY平面を眺めた場合で、X軸の負側が0度であり、反時計回転方向が正方向、時計回転方向が負方向になる。 Note that the rotation angle of each axis is 0 degrees when the Y axis is viewed from the YZ plane parallel to the X axis and in the positive to negative direction of the X axis in FIG. The counterclockwise direction is a positive rotation angle, and the clockwise rotation direction is a negative rotation angle. In the Y-axis, when viewing the XZ plane parallel to the Y-axis and in the positive to negative direction of the Y-axis, the positive side of the X-axis is 0 degrees, the counterclockwise rotation direction is the positive direction, and the clockwise rotation The direction is negative. Further, with respect to the Z axis, when viewing the XY plane parallel to the Z axis and in the positive to negative direction of the Z axis, the negative side of the X axis is 0 degrees, the counterclockwise rotation direction is the positive direction, and the clockwise rotation The direction is negative.
また、音声テーブルTは、モーションデータ中の座標値の差分状況に応じた音声データも対応付けており、例えば、人体の左腕先端となる点P6に対するX軸に対する座標の差分がプラスになる場合、「左腕を横に伸ばして」と云う内容の音声データEが対応付けてある。 The audio table T also associates audio data according to the difference state of the coordinate values in the motion data. For example, when the coordinate difference with respect to the X axis with respect to the point P6 that is the tip of the left arm of the human body is positive, The audio data E with the content “stretch left arm to the side” is associated.
一方、図7(a)(b)に示すメニュー画面18、19は、ハードディスク装置9に記憶されるメニュー画像データ17に対応する内容の一例である。図7(a)のメニュー画面18は、表示処理プログラム15を起動させた場合、最初に表示されるメニュー内容に相当し、「視点方向設定」と云う第1ボタン18a、「映像再生」と云う第2ボタン18b、「一時停止検索」と云う第3ボタン18c(一時停止状態の検索指示を受け付ける受付手段に相当)、「終了」と云う第4ボタン18dを有している。なお、第1ボタン18aは、キーボード11又はマウス12の操作により選択された場合、図7(b)に示す視点選択用のメニュー画面19が表示されることが、表示処理プログラム15により規定されている。
On the other hand, the menu screens 18 and 19 shown in FIGS. 7A and 7B are examples of contents corresponding to the
図7(b)のメニュー画面19は、視点方向を選択するための矢印形の方向ボタン19a〜19eを有すると共に、決定ボタン19fを有する。人体に対して前後、左右、及び上の5方向のいずれかの視点を特定する方向ボタン19a〜19eの中で一つが指定選択された状態で、決定ボタン19fが選択されると、指定された方向で視点が決定されて、図7(a)のメニュー画面18に表示が戻ることが、表示処理プログラム15により規定されている。なお、図7(b)のメニュー画面19に基づく視点方向の指定の仕方は一例であり、他の指定の仕方を適用することも勿論可能であり、例えば、マウス12の操作により360度のいずれの角度を指定するようにしてもよい。
The
また、図7(a)の第2ボタン18bが選択された場合、表示処理プログラム15が動画データDの再生処理を開始する。なお、再生処理の開始後に、キーボード11の複数のキー(例えば、ALTキーとF4キー)が同時に操作されると、表示処理装置1は再生停止指示を受け付けたことになる。さらに、第3ボタン18cが選択された場合、後述する一時停止状態の検索処理が開始される。さらにまた、第4ボタン18dが選択された場合、表示処理プログラム15の全ての処理が終了する。
When the
次に、表示処理プログラム15が規定する処理内容について説明する。表示処理プログラム15は、制御部2が行う制御処理内容を規定しており、起動すると、先ず、図7(a)のメニュー画面18のメニュー画像データ17を読み出して、表示用インタフェース5から出力して、ディスプレイ装置10の画面10aにメニュー画面18を表示させる処理を制御部2に行わせることを規定している。また、メニュー画面18を表示して、「視点方向設定」の第1ボタン18aが選択されたことが操作部インタフェース6から制御部2に伝えられると、図7(b)のメニュー画面19を表示して視点方向の指定選択の操作に伴い制御部2が映像再生に係る視点方向を決定することを規定している。
Next, processing contents defined by the
さらに、表示処理プログラム15は、第2ボタン18bの選択に基づき動画データDの動画表示処理を行う際に、表示処理対象となるフレームと、その後のフレームのそれぞれに含まれるモーションデータの差分を制御部2が算出手段として算出することを規定する。例えば、図4に示す時刻t1の第1フレームf1の表示処理を行う際、その第1フレーム1と、時刻t2の第2フレームf2のそれぞれに含まれるモーションデータが有する各点P1〜P17ごとの要素(回転角度、座標)の差分を制御部2が算出する。
Furthermore, the
さらにまた、表示処理プログラム15は、算出された差分の結果が、ハードディスク装置9に記憶される閾値データ16に含まれる回転角度用の基準値、及び座標用の基準値を下回るか否かを制御部2が検出手段として検出することを規定する。本実施形態の回転角度用の基準値は「25度」と云う値になっており、座標用の基準値は座標軸における「20目盛り分」と云う値になっている。制御部2は、各点P1〜P17に対して算出した差分結果の中で、回転角度に対する各点ごとの結果が「25度」を下回るか否かを検出すると共に、座標に対する各点ごとの結果が「20目盛り分」を下回るか否かを検出する。なお、上述した各基準値(25度、20目盛り分)は、あくまで一例であり、他の値を適用することも勿論可能である。
Furthermore, the
上述した検出処理で、全ての点における回転角度及び座標に対する結果が、基準値を下回る場合は、時間的に前後するフレーム間における人体画像20の動きは、動作に該当しない程度の体の振れ、又は人体画像20が一連の動作における一時停止状態(ポーズ状態)と判断できるため、動作方向を表す矢印画像を生成しないことを、表示処理プログラム15は規定している。
In the above-described detection processing, when the results for the rotation angles and coordinates at all points are below the reference value, the movement of the
また、上述した検出処理で、各点のいずれか1つでも回転角度及び座標に対する結果が、基準値を下回らない場合、表示処理プログラム15は矢印画像を生成することを規定している。なお、矢印画像の生成は、主に人体画像20の六つの部分(頭部、左腕、右腕、胴体部分、左脚、右脚)に分けて行われ、具体的には図3(b)において頭部に相当する点P1及びP2、左腕に相当する点P5及びP6、右腕に相当する点P8及びP9、胴体部分に相当する点P3、P4、P7、P10、P11、左脚に相当する点P12〜P14、右脚に相当する点P15〜P17のそれぞれに部分ごとに、最も大きい動作量の大きい点(回転角度の差分絶対値及び座標の差分絶対値が最も大きい点)に対して矢印画像が生成される。
Further, in the detection process described above, if the result for the rotation angle and coordinates does not fall below the reference value at any one of the points, the
図8は、時間的に前後するフレーム間での右腕の動きを示しており、点P8、9に係る実線のボーンBは時間的に前側のフレームにおける右腕の状態を示し、点P8′、9′に係る波線は時間的に後ろ側のフレームにおける右腕の状態を示している。なお、図8は、図2に示す視点方向(Y軸方向に平行で且つY軸方向の正から負へ向かう方向)に基づく図である。図8に示す動きの場合では、右腕先端に相当する点P9の方が、右腕の肘部分に相当する点8より動作量が大きいため、点P9が矢印画像の生成対象になる。 FIG. 8 shows the movement of the right arm between frames that move forward and backward in time, and the solid bone B related to the points P8 and P9 shows the state of the right arm in the temporally front frame, and points P8 ′ and 9 The wavy line related to 'shows the state of the right arm in the temporally rear frame. FIG. 8 is a diagram based on the viewpoint direction shown in FIG. 2 (a direction parallel to the Y-axis direction and going from positive to negative in the Y-axis direction). In the case of the movement shown in FIG. 8, the point P9 corresponding to the tip of the right arm has a larger amount of motion than the point 8 corresponding to the elbow portion of the right arm, so that the point P9 is an object for generating an arrow image.
図8の場合、時間的に前側のフレームにおける点P9に対する各座標値が(X、Y、Z)=(20、60、0)、各座標に対する回転角度が(X、Y、Z)=(100度、180度、30度)であり、時間的に後ろ前側のフレームにおける点P9′の各座標値が(X、Y、Z)=(50、60、140)、各座標に対する回転角度が(X、Y、Z)=(100度、140度、30度)であるとすると、座標値に対する差分結果は(30、0、140)、回転角度に対する差分結果は(0度、−40度、0度)になる。 In the case of FIG. 8, the coordinate values for the point P9 in the temporally previous frame are (X, Y, Z) = (20, 60, 0), and the rotation angle for each coordinate is (X, Y, Z) = ( 100 degrees, 180 degrees, 30 degrees), and the coordinate values of the point P9 'in the back-front frame in time are (X, Y, Z) = (50, 60, 140), and the rotation angle with respect to each coordinate is If (X, Y, Z) = (100 degrees, 140 degrees, 30 degrees), the difference results for the coordinate values are (30, 0, 140), and the difference results for the rotation angle are (0 degrees, −40 degrees). , 0 degrees).
上述して得られた座標値の差分結果は、時間的に前側のフレームにおける点P9から、時間的に後ろ側のフレームにおける点P9′へ向かうベクトルデータとなるため、このベクトルデータ及び回転角度に対する差分結果に応じた矢印画像25を制御部2が生成することを、表示処理プログラム15は規定している。なお、生成される矢印画像25は同一寸法であり、矢印画像の後端25aが、差分結果において対象となる点P9に一致させられると共に、矢印画像25の先端25bが、回転角度に対する差分結果による回転方向で且つベクトルデータ(差分結果)の表す向きに合わせられる。
Since the difference result of the coordinate values obtained above becomes vector data from the point P9 in the temporally preceding frame to the point P9 'in the temporally backward frame, the vector data and the rotation angle The
また、生成された矢印画像25は図9(a)(b)に示すように、人体画像20と、視点方向及び視点位置を決定するカメラ22との間に位置するように、差分の算出対象となった前側のフレームに制御部2が付加手段として付加する処理を行うことを、表示処理プログラム15は規定している。図9(b)中、人体画像20のY座標の値をy1、矢印画像25の配置箇所に対するY座標の値をy2、カメラ22のY座標の値をy3とした場合、y1<y2<y3の関係が成立する。なお、フレームの画像中に含まれる人体画像20も、表示処理プログラム15の三次元コンピュータグラフィックス技術に基づいて規定した処理内容に従って制御部2が作成している。このように矢印画像25の配置を、人体画像20及びカメラ22の間にすることで、カメラ22からの視点方向による表示において、矢印画像25が、人体画像20によって隠れてしまう(埋もれてしまう)ことがなくなり、良好に矢印画像25をユーザに見せることができる。
Further, as shown in FIGS. 9A and 9B, the generated
さらに、表示処理プログラム15は、上述したように作成した人体画像20及び矢印画像25を含むフレームに対して、表示処理を行うことを規定しており、制御部2が上記フレームを表示用インタフェース5へ送る制御を行って、表示処理が行われた再生画像がディスプレイ装置10の画面10aに表示される。
Further, the
また、表示処理プログラム15は、矢印画像25に関する処理に加えて、音声データの出力処理も規定している。具体的には、上述したモーションデータの差分算出により、人体画像20の各部分(頭部、左腕、右腕、胴体部分、左脚、右脚)ごとに、何れか点に対する差分絶対値が求まると、その差分絶対値に対応する音声データを図6の音声テーブルTから制御部2が音声特定手段として特定することを、表示処理プログラム15は規定している。また、特定した音声データは制御部2の制御により、矢印画像25含むフレームをディスプレイ装置10に表示する処理に同期させて、音声出力処理部7へ送られてスピーカ8から出力される。
The
制御部2は、上述したような矢印画像25の表示及び音声の出力に係る処理を、動画表示処理に連係してリニアに行い、表示処理プログラム15は、ユーザにより動画再生の停止指示を受けた場合、又は最後フレームの表示処理を行うまで、上述した処理を継続することを規定している。
The
図10の第1フローチャートは、上述した表示処理プログラム15が規定する矢印画像25に係る表示及び音声出力に係る処理手順(表示処理方法の内容)を整理したものである。以下、この第1フローチャートに従って、表示処理プログラム15が起動してからの表示処理装置1における一連の処理内容を説明する。
The first flowchart in FIG. 10 is an arrangement of processing procedures (contents of the display processing method) related to display and audio output related to the
先ず、表示処理装置1は、表示処理プログラム15の起動に伴って表示する図7(a)のメニュー画像18で、ユーザからの映像再生の指示を受け付けたか否かを判断する(S1)。指示を受け付けていない場合(S1:NO)、指示待ちとなり、指示を受け付けた場合(S1:YES)、図4の第1フレームf1と、第2フレームf2とのそれぞれに含まれるモーションデータの差分を算出する(S2)。それから、表示処理装置1は、算出した全ての点P1〜P17に対する差分が、閾値データ16の基準値を下回るか否かを判断する(S3)。
First, the
全ての点P1〜P17に対する差分が、閾値データ16の基準値を下回る場合(S3:YES)、表示処理装置1は、矢印画像25を生成することなく、第1フレームf1の表示処理を行う(S6)。この場合(S3:YES)に表示される画面内容は、従来と同様に人体画像20のみが表されたものになる(図4参照)。
When the differences with respect to all the points P1 to P17 are less than the reference value of the threshold data 16 (S3: YES), the
一方、全ての点P1〜P17に対する差分が、閾値データ16の基準値を下回らない場合(S3:NO)、表示処理装置1は、算出した差分の値に基づいて対象となる点P1〜P17のいずれかに対して矢印画像25を生成する(S4)。また、矢印画像25の生成と共に、表示処理装置1は音声テーブルTの中から、差分の値に対応する音声データの特定も行う。それから、表示処理装置1は、作成した人体画像20の画像を含む第1フレームf1に、生成した矢印画像25を図9(a)(b)に示す位置関係で付加してから(S5)、第1フレームf1の表示処理を行い、ディスプレイ装置10に人体画像20及び矢印画像25を表示する(S6)。なお、この際、表示処理装置1は、特定した音声データの再生処理を行って、第1フレームf1の表示に合わせて音声(例えば、「左腕を上げて」と云う音声)をスピーカ8から出力する。
On the other hand, when the difference with respect to all the points P1 to P17 does not fall below the reference value of the threshold value data 16 (S3: NO), the
そして、表示処理装置1は、最終フレームまで表示処理を終了したか、又はユーザから再生停止指示を受け付けたか否かを判断する(S7)。最後まで表示処理が終了しておらず、且つ再生停止指示も受け付けていない場合(S7:NO)、次の時間的に前後するフレーム(図4の第2フレームf2と、第3フレームf3)のモーションデータの差分を算出し(S2)、以降、最終フレームまで表示処理を終了するか、又は再生停止指示を受け付けるまで、S2〜S7の処理段階を繰り返すことになる。また、最終フレームまで表示処理を終了した場合、又はユーザから再生停止指示を受け付けた場合(S7:YES)、表示処理装置1は一連の処理を終了する。
Then, the
図11は、上述した表示処理装置1の処理により順次表示される動画の各フレーム画像の内容を示したものである。図11に示す各フレーム画像は、図4のフレーム画像に比べて、人体画像20の次の動作方向を示す矢印画像25が適宜付されているため、再生映像を見るユーザは、従来に比べて次の動作方向を予め把握できるため、ダンス又はスポーツ等の動作を学びやすくなっている。
FIG. 11 shows the contents of each frame image of a moving image sequentially displayed by the processing of the
しかも、本実施形態では、例えば、時刻t1では「右腕上げて」、時刻t2では「左腕上げて」、時刻t3では「右腕下げて」及び「左腕下げて」と云う音声が表示される動作に応じて出力されるため、ユーザは視覚に加えて聴覚によっても、次の動作内容を把握でき、次の動作に対する準備、心構えを充分に行える。なお、図11において、時刻t4〜t5の第4、第5フレームf4、f5では、人体画像20が一時停止状態であるため、図10の第1フローチャートにおいて、矢印画像25が生成されない処理ルート(S3:YES)を経た内容になっている。同様に時刻t8、t9間の人体画像20の動作による差(モーションデータの差分)は小さく基準値を下回るため、時刻t8の第8フレームf8においても矢印画像25が付されていない。
In addition, in the present embodiment, for example, voices such as “raise your right arm” at time t1, “raise your left arm” at time t2, and “lower your right arm” and “lower left arm” at time t3 are displayed. Accordingly, the user can grasp the contents of the next operation by hearing as well as by vision, and can sufficiently prepare for and prepare for the next operation. In FIG. 11, since the
また、図1に示すハードディスク装置9に記憶される表示処理プログラム15は、上述した映像再生処理の他にも、動画データDに含まれる人体画像20の一時停止状態(ポーズ状態、又は動きの小さい状態)を検索する処理も規定している。一時停止状態の検索処理は、図7(a)の第3ボタン18cの選択で開始され、最初に制御部2が動画データDに含まれる時間的に前後するフレーム間のモーションデータの差分を算出することを、表示処理プログラム15は規定している。また、算出した差分が閾値データ16に含まれる上述した基準値を下回るか否かを制御部2が判別する。
In addition to the video playback process described above, the
制御部2が、基準値を下回る差分を特定した場合、その差分より後ろの時間帯の差分に基づき上記と同様に矢印画像25を生成すると共に、差分の算出に係る前後のフレーム中に対して前側のフレームを特定し、そのフレームに矢印画像及び選択可能なボタン(図13参照)を付加して、その状態でフレームの表示処理を行う。なお、このときの表示処理は、動画ではなく静止画の表示処理となる。
When the
図12の第2フローチャートは、上述した表示処理プログラム15が規定する一時停止の検索処理手順を整理したものである。整理した内容を順次説明すると、先ず、表示処理装置1は、図7(a)のメニュー画像18で、ユーザからの一時停止検索の指示を受け付けたか否かを判断する(S10)。指示を受け付けていない場合(S10:NO)、指示待ちとなり、指示を受け付けた場合(S10:YES)、動画データDに含まれる最初の第1フレームf1と、第2フレームf2とのそれぞれに含まれるモーションデータの差分を算出し(S11)、算出した全ての点P1〜P17に対する差分が、基準値を下回るか否かを判別する(S12)。
The second flowchart of FIG. 12 is an arrangement of the search processing procedure for pause defined by the
全ての点P1〜P17に対する差分が、基準値を下回らない場合(S12:NO)、次に前後するフレーム(第2フレームf2、第3フレームf3)間のモーションデータの差分を算出し(S11)、以降、算出した全ての点P1〜P17に対する差分が基準値を下回るまで、S11〜S12の処理を繰り返すことになる。 If the differences for all the points P1 to P17 are not less than the reference value (S12: NO), the motion data difference between the next and subsequent frames (second frame f2, third frame f3) is calculated (S11). Henceforth, the process of S11-S12 is repeated until the difference with respect to all the calculated points P1-P17 is less than a reference value.
また、全ての点P1〜P17に対する差分が、基準値を下回る場合(S12:YES)、表示処理装置1は、その基準値を下回る差分より前の差分に基づき矢印画像25を生成し(S13)、基準値を下回る差分に係るフレームに矢印画像等を付加し(S14)、静止画としてフレームの表示処理を行う(S15)。
Moreover, when the difference with respect to all the points P1-P17 is less than a reference value (S12: YES), the
図13は、上述した一時停止検索処理を経て、ディスプレイ装置10の画面10aに表示された静止画30の一例を示しており、人体画像20に矢印画像25が付加されている。また、静止画30には、再生開始ボタン30a、次の一時停止状態の検索指示を受け付ける検索ボタン30b、処理を終わらせる終了ボタン30cが設けられている。再生開始ボタン30aの選択操作が行われると、表示中の静止画30に応じたフレーム以降の動画データDに対して動画表示処理(図10の第1フローチャートに示す内容)が開始される。また、検索ボタン30bの選択操作が行われると、表示中の静止画30に応じたフレーム以降の動画データDに対して一時停止検索処理(図12の第2フローチャートに示す内容)が開始される。
FIG. 13 shows an example of the
上述したような一時停止検索処理を行うことで、ユーザは動作を学ぶ上で起点となる一時停止状態を動画データDの中から素早く見つけることができ、効率良く動作を学ぶことが可能となる。 By performing the pause search processing as described above, the user can quickly find the pause state that is the starting point for learning the operation from the moving image data D, and can learn the operation efficiently.
なお、本発明は、上述した内容に限定されるものではなく、種々の変形例の適用が可能である。例えば、生成した矢印画像25を付加するフレームは、一定の時間間隔(例えば5ミリ秒ごと)のフレームに順次付加するようにしてもよい。この場合、矢印画像25の付加対象のフレームは、時間間隔で特定することができ、付加対象の特定に係る処理を簡略化できると共に、矢印画像25も一定の間隔で表示されるようになり、ユーザとしては矢印画像25が画面10aに表示されるタイミングを把握しやすくなる。
In addition, this invention is not limited to the content mentioned above, A various modification example is applicable. For example, the frame to which the generated
また、生成した矢印画像25は、人体画像20が一時停止状態又は動きが小さいときのフレームに付加してもよい。この場合は、矢印画像25の生成に用いた差分の算出に関連した時間的に前後するフレームの中で前側のフレーム以前の時間帯に含まれるフレームに対して、モーションデータの差分を算出し、算出した差分が図12の第2フローチャートのS12の処理段階と同様に、基準値を下回るか否かを制御部2で判別する。制御部2が基準値を下回る差分を特定した場合、その特定した差分を算出するのに用いた前後の各フレームに矢印画像を付加する。このような処理を行うことで、例えば、図11に示す人体画像20が一時停止状態の第4フレームf4、第5フレームf5にも、第6フレームf6に付した矢印画像25と同様の矢印画像25が付加されることになる。そのため、人体画像20が、一時停止状態又は動きが小さいときに、動作開始フレーム(図11の場合、第6フレームf6)より前のフレーム(図11の場合、第4及び第5フレームf4、f5)から次の動作方向を示す矢印画像25が現れるので、ユーザは前もって動きの向きを知ることが可能となり、動作を学びやすくなる。
Moreover, you may add the produced | generated
さらに、図14(a)に示すように、再生対象の動画データDが、映像と共に再生される楽曲データ23を付帯する場合、動画の表示処理に伴って再生処理が行われる楽曲データ23の拍子(図14(b)のリズムR1、R2、R3、R4)に応じた表示処理対象のフレームに、生成した矢印画像25を付加して、楽曲データ23のリズムに合わせて矢印画像25を表示してもよい。この場合、楽曲リズムに合わせて矢印画像25が表示されるため、ユーザはリズム良く矢印画像25を確認でき、特に、楽曲と共に動作を行うダンスの動きを学ぶ場合に好適な矢印画像表示を行える。
Further, as shown in FIG. 14A, when the moving image data D to be reproduced is accompanied by the
また、生成する矢印画像25の形態は、モーションデータの差分の値に応じて変更させてもよい。この場合は、閾値データ16の中に比較用の比較値(複数も可能)を含ませ、座標値に対する差分結果をスカラー量として制御部2が比較値と比較を行い、比較結果に基づき形態を変更して矢印画像を生成することになる。
The form of the
具体的には、第1比較値として「60」、第2比較値として「100」と云う値を設定し、算出した差分結果(スカラー量)が第1比較値未満のとき、制御部2は、図15(a)に示すように白色の矢印画像40を生成する。以下、算出した差分結果(スカラー量)が第1比較値以上、第2比較値未満のときは、図15(b)に示すように灰色(図中、ハッチングで示す)の矢印画像41を生成し、算出した差分結果(スカラー量)が第2比較値以上のときは、図15(c)に示すように黒色の矢印画像42を生成する。このように生成する矢印画像の形態(色)を変更することで、ユーザは矢印画像の形態に応じて次ぎの動作量までも把握できるため、より次の動作への対応を行いやすくなる。
Specifically, when the value “60” is set as the first comparison value and the value “100” is set as the second comparison value, and the calculated difference result (scalar amount) is less than the first comparison value, the
なお、矢印画像の形態のバリエーションとしては、図15(d)〜(f)に示すように、第1比較値未満のときは図15(d)の短い矢印画像45、第1比較値以上、第2比較値未満のときは図15(e)に示す中間長さの矢印画像46、第2比較値以上のときは図15(f)に示す長い矢印画像47にしてもよく、他にも矢印画像の寸法自体を変更すること、矢印画像の色の濃さを変更することも適用可能である。なお、矢印画像の形態を、より詳細に分ける場合は、3以上の比較値を用いることが好適であり、逆に処理を簡略化するときは1つの比較値のみを用いて比較処理を行ってもよい。
In addition, as a variation of the form of the arrow image, as shown in FIGS. 15D to 15F, when it is less than the first comparison value, the
また、矢印画像生成(差分算出)に用いるフレーム数は2つに限定されるものではなく、時間的に前後する3つ以上のフレーム間の差分により矢印画像を生成してもよい。このように3つ以上のフレームを用いる場合は、対象となる点の軌跡も把握できるため、生成する矢印画像は直線ではなく、軌跡に応じた形状にしてもよい。 Further, the number of frames used for arrow image generation (difference calculation) is not limited to two, and an arrow image may be generated based on a difference between three or more frames that change in time. When three or more frames are used in this way, the trajectory of the target point can also be grasped, and the generated arrow image may be a shape corresponding to the trajectory instead of a straight line.
例えば、図16に示すように矢印画像の生成対象となる右腕先端の点P9が、時間的に連続する計4個のフレームにおいて、円弧状の軌跡で動く場合、点P9の各フレーム間の複数の差分(座標値に応じた差分結果)のベクトルを繋ぎ合わせた円弧状の矢印画像50を制御部2は生成する。この場合、矢印画像50の形態により動作の軌跡を把握できるため、ユーザは細かい動き内容までを学ぶことができる。
For example, as shown in FIG. 16, when the point P9 at the tip of the right arm that is the target of the generation of the arrow image moves along an arc-shaped locus in a total of four frames that are temporally continuous, a plurality of points P9 between the frames of the point P9. The
さらに、動画表示処理時の制御部2の処理負担を低減するためには、予め時間的に前後するフレーム間のモーションデータの差分を算出すると共に、算出に関連するフレームと対応付けて図1のハードディスク装置9に差分結果を記憶しておき、動画表示処理時に記憶する差分の結果に基づき矢印画像25を生成して、作成した人体画像20の画像を含むフレームに付加してもよい。
Furthermore, in order to reduce the processing load of the
図17の第3フローチャートは、予め算出した差分を記憶した場合における変形例の表示処理プログラム15が規定する処理手順(変形例の表示処理方法の内容)を示す。この第3フローチャートによれば、変形例の表示処理装置1は、先ず、図7(a)のメニュー画像18で、ユーザからの映像再生の指示を受け付けたか否かを判断し(S20)、指示を受け付けていない場合(S20:NO)、指示待ちとなり、指示を受け付けた場合(S20:YES)、記憶する差分に基づいて、矢印画像を生成し(S21)、表示処理対象のフレームに、生成した矢印画像を付加し(S22)、そのフレームの表示処理を行う(S23)。
The third flowchart of FIG. 17 shows a processing procedure (contents of the display processing method of the modified example) defined by the
それから、表示処理装置1は、最終フレームまで表示処理を終了したか、又はユーザから再生停止指示を受け付けたか否かを判断し(S24)、最後まで表示処理が終了しておらず、且つ再生停止指示も受け付けていない場合(S24:NO)、次の表示対象となるフレームに対応付けられた差分に基づき矢印画像の生成を行う段階(S21)に戻る。また、最終フレームまで表示処理を終了した場合、又はユーザから再生停止指示を受け付けた場合(S24:YES)、表示処理装置1は処理を終了する。このように図17の第3フローチャートの処理は、動画表示処理時の処理数が図10の第1フローチャートに比べて減少しているため、処理能力の低い制御部2の場合に好適となる。なお、視点方向及び視点位置等が予め決まっている場合は、第3フローチャートにおけるS21の処理段階での矢印画像の生成も予め行い、生成した矢印画像を各フレームに対応付けてハードディスク装置9に記憶しておき、動画表示処理時には、記憶する矢印画像を表示処理対象のフレームに付加するだけにして、更に処理負荷を低減することも可能である。
Then, the
また、次の動作方向を示す方向情報として生成する画像は矢印画像以外にも、方向を表す画像として先細の画像、三角形状の画像等も適用できる。また、図18の表示画像55に示すように、算出した差分結果を表す文字56を生成して、人体画像20を含むフレームに付加して表示するようにしてもよい。このように文字56を表示することで、より直接的にユーザへ指示を与えることができる。なお、文字56は生成する以外に、図6の音声テーブルTのように、動作を表す文字を各種差分内容に対応付けて格納する文字テーブルを設けてハードディスク装置9に記憶しておき、算出した差分内容に基づき文字テーブルから、対応する文字を特定してフレームに付加する処理を行うことも可能である。また、文字をフレームに付加する場合、上述した矢印画像も付加して、矢印画像と文字の両方で次の動作方向を明確にユーザへ示してもよい。
In addition to the arrow image, the image generated as the direction information indicating the next operation direction may be a tapered image, a triangular image, or the like as the image indicating the direction. Further, as shown in a
さらに、表示処理装置1の仕様を簡略化する場合は、図6に示す音声テーブルTに係る処理を省略して、矢印画像のみを付す表示処理を行ってもよい。また、矢印画像25を生成しないようにする基準値の値は、ユーザ側で自由に設定可能にしてもよい。この場合、微妙な動きに対してまで矢印画像25を表示することを望むユーザは、基準値を小さく設定することになり(例えば、回転角度用の基準値として「10度」、座標用の基準値として「10目盛り分」)、また、大まかな動作を把握することを希望するユーザの場合は、基準値を大きく設定することになる(例えば、回転角度用の基準値として「30度」、座標用の基準値として「30目盛り分」)。なお、モーションデータの差分が、基準値を下回るか否かを検出する処理を省略して、少しでも動きがあるときは、常に矢印画像25を表示する仕様にしてもよい。
Furthermore, when the specification of the
また、処理に係る負担を少しでも軽減することを望む場合は、動体(人体)に関連付けられたモーションデータの差分算出処理において、各座標に対する回転角度と、各座標値のいずれか一方のみを用いて矢印画像25を生成することも可能である。
In addition, when it is desired to reduce the processing burden as much as possible, only one of the rotation angle and each coordinate value for each coordinate is used in the difference calculation process of the motion data associated with the moving object (human body). Thus, the
さらに、本発明において、動体の対象となるのは人体に限定されるものではなく、モーションデータが関連付けられた動く物体であれば、全て適用可能である。そのため、例えば、図19(a)に示す表示画像56のように、物を動かして組み立てる際の組み立てマニュアル的な動画ビデオにも本発明を適用でき、この場合、移動して第1物体31へ組み付けられる対象の第2物体20′(動体に相当)の組み付け方向を矢印画像25で表すことができ、しかも、視点方向を自由に変更することで、組み付け方を詳細に確認することが可能になる。さらにまた、図19(b)に示す表示画像57のように、動体としてボール20″の移動方向を矢印画像25で表すことも可能である。
Furthermore, in the present invention, the target of the moving body is not limited to the human body, and any moving object associated with motion data can be applied. Therefore, for example, the present invention can be applied to an assembly manual moving video when moving and assembling an object as in the
また、本発明の表示処理装置1としてはパーソナルコンピュータのコンピュータ本体1aを用いる以外に、表示ディスプレイを具備した携帯型のパーソナルコンピュータ、PD、携帯電話機等も適用可能である。さらに、装置内のみで処理を完結させる以外に、図20に示すネットワークシステム100のように、サーバ装置110で上述した動画表示処理を行い、処理を行った動画をネットワークNW及び中継基地局100A〜100Nを通じて携帯電話機120のような端末装置へ配信し、端末装置で表示処理が行われた図11に示す各画像を順次表示させることも可能である。
Further, as the
1 表示処理装置
2 制御部
5 表示用インタフェース
6 操作部インタフェース
7 音声出力処理部
8 スピーカ
9 ハードディスク装置
10 ディスプレイ装置
11 キーボード
12 マウス
15 表示処理プログラム
16 閾値データ
17 メニュー画像データ
20 人体画像
22 カメラ
25 矢印画像
D 動画データ
M1、M2 モーションデータ
T 音声テーブル
P1〜P17 点
DESCRIPTION OF
Claims (13)
前記動作情報を記憶する手段と、
記憶された動作情報の中で、時間的に前後するフレームに対応した複数の点の動作情報の差分を算出する算出手段と、
算出した複数の点の動作情報の差分の中で最も大きい差分に基づいて、動体の動く方向を表す方向情報を生成する生成手段と、
生成した方向情報を、前記最も大きい差分に応じた点に対してフレームに付加する付加手段と、
方向情報を付加したフレームの表示処理を行う手段と
を備えることを特徴とする表示処理装置。 In a display processing device that performs display processing of a moving image including motion information of a plurality of points related to the moving object for each frame of the moving image indicating the moving object ,
Means for storing the operation information;
Calculating means for calculating the difference between the motion information of a plurality of points corresponding to the frames that move back and forth in time among the stored motion information;
Generating means for generating direction information representing the moving direction of the moving object based on the largest difference among the calculated differences in the movement information of the plurality of points ;
An adding means for adding the generated direction information to the frame with respect to the point corresponding to the largest difference ;
A display processing apparatus comprising: means for performing display processing of a frame to which direction information is added.
前記複数の点の動作情報の差分が基準値を下回ることが検出された場合、前記生成手段は方向情報を生成しないようにしてある請求項1に記載の表示処理装置。 Means for detecting whether or not the difference between the motion information of the plurality of points calculated by the calculation means is below a reference value;
The display processing apparatus according to claim 1, wherein when the difference between the motion information of the plurality of points is detected to be less than a reference value, the generation unit does not generate direction information.
前記生成手段は、前記比較手段の比較結果に基づいて生成する画像の形態を変更するようにしてある請求項3に記載の表示処理装置。 Comparing means for comparing the largest difference calculated by the calculating means with a comparison value;
The display processing apparatus according to claim 3, wherein the generation unit changes a form of an image to be generated based on a comparison result of the comparison unit.
前記付加手段は、前記特定手段が特定した基準値を下回る差分に係るフレームに方向情報を付加する請求項1乃至請求項5のいずれか1つに記載の表示処理装置。 And against the frame included difference frame the previous time slot according to the calculation of in accordance with the direction information comprises a particular means the difference between the operation information of the plurality of points, to identify falls below the reference value,
The display processing apparatus according to claim 1, wherein the adding unit adds direction information to a frame related to a difference that falls below a reference value specified by the specifying unit.
動画の表示処理に伴って楽曲の再生処理を行う再生手段を備え、
前記付加手段は、前記再生手段で再生処理が行われる楽曲の拍子に応じた表示処理対象のフレームに方向情報を付加する請求項1乃至請求項5のいずれか1つに記載の表示処理装置。 The video comes with music,
Provided with playback means for playing back music along with the video display processing,
The display processing apparatus according to claim 1, wherein the adding unit adds direction information to a frame to be displayed according to the time signature of the music to be played back by the playback unit.
前記音声テーブルから、前記算出手段が算出した前記最も大きい差分に対応する音声を特定する音声特定手段と、
特定した音声の出力処理を行う音声出力手段と
を備える請求項1乃至請求項8のいずれか1つに記載の表示処理装置。 A voice table in which the difference between the motion information and the voice is associated;
A voice identification unit that identifies a voice corresponding to the largest difference calculated by the calculation unit from the voice table;
The display processing apparatus according to claim 1, further comprising: an audio output unit that performs an output process of the specified audio.
該受付手段が検索指示を受け付けた場合、記憶された動作情報の中で、時間的に前後するフレームに対応した複数の点の動作情報の差分を算出する手段と、
算出された前記複数の点の動作情報の差分が、基準値を下回るフレームを特定するフレーム特定手段と、
前記フレーム特定手段が特定したフレームに前記付加手段が方向情報を付加した状態で表示処理を行う手段と
を備える請求項1乃至請求項9のいずれか1つに記載の表示処理装置。 Accepting means for accepting a search instruction for a suspended state of a moving object;
Means for calculating a difference between motion information at a plurality of points corresponding to frames that are temporally forward and backward in the stored motion information when the accepting means accepts a search instruction;
Difference of the calculated motion information of the plurality of points, and a frame specifying means for specifying a frame that falls below the reference value,
The display processing apparatus according to any one of claims 1 to 9, further comprising: a display unit configured to perform display processing in a state where the adding unit adds direction information to the frame specified by the frame specifying unit.
前記表示処理装置は、
記憶する動作情報の中で、時間的に前後するフレームに対応した複数の点の動作情報の差分を算出し、
算出した複数の点の動作情報の差分の中で最も大きい差分に基づいて、動体の動く方向を表す方向情報を生成し、
生成した方向情報を、前記最も大きい差分に応じた点に対してフレームに付加し、
方向情報を付加したフレームの表示処理を行うことを特徴とする表示処理方法。 In a display processing method in which a display processing device that stores motion information of a plurality of points related to a moving object included in each frame of a moving image indicating a moving object performs display processing of the moving image,
The display processing device includes:
In the stored motion information, calculate the difference between the motion information of a plurality of points corresponding to frames that are temporally mixed,
Based on the largest difference among the calculated motion information differences of a plurality of points , generate direction information representing the moving direction of the moving object,
The generated direction information is added to the frame for the point corresponding to the largest difference ,
A display processing method characterized by performing display processing of a frame to which direction information is added.
予め差分を算出して、算出した差分を記憶しておき、
記憶した差分に基づいて方向情報を生成する請求項11に記載の表示処理方法。 The display processing device includes:
Calculate the difference in advance, store the calculated difference,
The display processing method according to claim 11, wherein the direction information is generated based on the stored difference.
コンピュータを、
記憶された動作情報の中で、時間的に前後するフレームに対応した複数の点の動作情報の差分を算出する算出手段と、
該算出手段が算出した複数の点の動作情報の差分の中で最も大きい差分に基づいて、動体の動く方向を表す方向情報を生成する生成手段と、
該生成手段が生成した方向情報を、前記最も大きい差分に応じた点に対してフレームに付加する付加手段と、
方向情報を付加したフレームの表示処理を行う手段として機能させることを特徴とするコンピュータプログラム。 In a computer program for causing a computer that stores motion information of a plurality of points related to a moving object included in each frame of a moving image indicating a moving object to perform a moving image display process,
Computer
Calculating means for calculating the difference between the motion information of a plurality of points corresponding to the frames that move back and forth in time among the stored motion information;
Generating means for generating direction information indicating the moving direction of the moving object based on the largest difference among the differences in the motion information of the plurality of points calculated by the calculating means;
Adding means for adding the direction information generated by the generating means to the frame at a point corresponding to the largest difference ;
A computer program that functions as means for performing display processing of a frame to which direction information is added.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006146313A JP4762050B2 (en) | 2006-05-26 | 2006-05-26 | Display processing apparatus, display processing method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006146313A JP4762050B2 (en) | 2006-05-26 | 2006-05-26 | Display processing apparatus, display processing method, and computer program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007316971A JP2007316971A (en) | 2007-12-06 |
JP4762050B2 true JP4762050B2 (en) | 2011-08-31 |
Family
ID=38850768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006146313A Expired - Fee Related JP4762050B2 (en) | 2006-05-26 | 2006-05-26 | Display processing apparatus, display processing method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4762050B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009145805A (en) * | 2007-12-18 | 2009-07-02 | Xing Inc | Moving image display system, moving image display method, and computer program |
JP4504452B1 (en) | 2009-01-15 | 2010-07-14 | 株式会社東芝 | Video viewing apparatus, video playback control method, and recording / playback program |
JP2011081479A (en) * | 2009-10-05 | 2011-04-21 | Nippon Telegr & Teleph Corp <Ntt> | Moving image photographic subject motion display device and moving image photographic subject motion display program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000022585A (en) * | 1998-06-26 | 2000-01-21 | Advantest Corp | Long code synchronization method for cdma mobile equipment test |
JP2004294550A (en) * | 2003-03-25 | 2004-10-21 | Yamaha Music Foundation | Recording medium for learning, program for learning, and learning apparatus |
-
2006
- 2006-05-26 JP JP2006146313A patent/JP4762050B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000022585A (en) * | 1998-06-26 | 2000-01-21 | Advantest Corp | Long code synchronization method for cdma mobile equipment test |
JP2004294550A (en) * | 2003-03-25 | 2004-10-21 | Yamaha Music Foundation | Recording medium for learning, program for learning, and learning apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2007316971A (en) | 2007-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11450352B2 (en) | Image processing apparatus and image processing method | |
US9509907B2 (en) | Information processing device, storage medium having moving image data stored thereon, information processing system, storage medium having moving image reproduction program stored thereon, and moving image reproduction method | |
JP5274187B2 (en) | Image processing program, information processing apparatus, image processing method, and image processing system | |
JP2005295004A (en) | Stereoscopic image processing method and apparatus thereof | |
US20210120224A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP6126271B1 (en) | Method, program, and recording medium for providing virtual space | |
JP4981370B2 (en) | Movie generation system and movie generation method | |
US9044632B2 (en) | Information processing apparatus, information processing method and recording medium storing program | |
CN111530086B (en) | Method and device for generating expression of game role | |
JP2019121224A (en) | Program, information processing device, and information processing method | |
US7002584B2 (en) | Video information producing device | |
JP4762050B2 (en) | Display processing apparatus, display processing method, and computer program | |
JP6126272B1 (en) | Method, program, and recording medium for providing virtual space | |
CN113792646B (en) | Dance motion auxiliary generation method and device and dance equipment | |
JP2008033840A (en) | Moving image display device, moving image display method, and computer program | |
JP2006318385A (en) | Image generation system, program, and information storage medium | |
JP2021197082A (en) | Information processing apparatus, method for controlling information processing apparatus, and program | |
JP2017123589A (en) | Information processing apparatus, information processing method, and video projection system | |
JP2011215709A (en) | Apparatus, method and program for assisting cartoon creation | |
JP5359950B2 (en) | Exercise support device, exercise support method and program | |
JP2022060816A (en) | Information processing system, information processing method and program | |
JP2007167323A (en) | Game device, and controlling method and program for game device | |
JP4142427B2 (en) | Image synthesizer | |
WO2017199848A1 (en) | Method for providing virtual space, program, and recording medium | |
JP2017208809A (en) | Method, program and recording medium for providing virtual space |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090331 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110218 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110411 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110519 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110607 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |