JP4953137B2 - Display technology for all-round video - Google Patents

Display technology for all-round video Download PDF

Info

Publication number
JP4953137B2
JP4953137B2 JP2008194305A JP2008194305A JP4953137B2 JP 4953137 B2 JP4953137 B2 JP 4953137B2 JP 2008194305 A JP2008194305 A JP 2008194305A JP 2008194305 A JP2008194305 A JP 2008194305A JP 4953137 B2 JP4953137 B2 JP 4953137B2
Authority
JP
Japan
Prior art keywords
video data
video
interest
forming apparatus
behind
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008194305A
Other languages
Japanese (ja)
Other versions
JP2010034812A (en
Inventor
要佐 松坂
太 浅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2008194305A priority Critical patent/JP4953137B2/en
Publication of JP2010034812A publication Critical patent/JP2010034812A/en
Application granted granted Critical
Publication of JP4953137B2 publication Critical patent/JP4953137B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To display a whole circumferential video which is better than the conventional one. <P>SOLUTION: Video display technique for displaying a specified range in the whole circumference video is combined with video display technique for extracting the video of only a part with a specified person and displaying the video, thereby attaining whole circumferential video displaying for easily obtaining the situation as to who talks to where or what three-dimensional position relation is, etc. The person is displayed by keeping the three-dimensional position relation, so that the flow of a conversation is easily obtained. According to an embodiment, processing such as position adjustment and flip horizontal is performed in displaying the extracted video, so that the situation as to who talks to whom is more easily obtained. <P>COPYRIGHT: (C)2010,JPO&amp;INPIT

Description

本発明は、全方位カメラを用いて収録された会議映像の容易な閲覧を可能にする技術に関する。   The present invention relates to a technology that enables easy browsing of conference video recorded using an omnidirectional camera.

会議映像を記録する手段として全方位カメラを用いることが盛んに行われている。全方位カメラを用いる場合、会議参加者全員の行動が記録できる利点があるが、全方位カメラによって収録された全周映像は閲覧者にとって見やすいものではなく、誰がどこへ向かって話しているかがわからないなどの不便がある。そのため、その映像を閲覧者によって見やすい形に変換して表示する装置が必要となる。   An omnidirectional camera is actively used as a means for recording a conference video. Using an omnidirectional camera has the advantage of recording the actions of all the participants in the conference, but the omnidirectional video recorded by the omnidirectional camera is not easy for viewers to see, and who is speaking to where. There is inconvenience. Therefore, a device for converting the video into a form that can be easily viewed by the viewer and displaying it is required.

従来の技術としては、全周画像を半円筒状に表示するものがあった（米アップル社のQuickTime VR）。 また発話者を自動で拡大表示するもの（ソニー株式会社製PCSA-CTG70）や、各参加者の映像を３次元状に並べるもの（米アップル社のiChat）があった。QuickTime VRの技術においては、注目角度の話者を見ることができるが、注目角度背後の話者を見ることができない。PCSA-CTG70は、発話者を見ることができるが、発話者以外は見ることができない。iChatの技術は、 自然な３次元的な位置関係の再現を実現するが、閲覧者の背後の人物を見ることができない。
「QuickTime VR」，技術資料， Apple Inc., 2005年6月4日 「PCSA-CTG70 Video Communication System - Technical Documentation」（英語版）Sony Corporation，2006年6月，ver 1.0 As a conventional technique, there has been a technique for displaying a full-circle image in a semi-cylindrical shape (QuickTime VR of Apple Inc.). In addition, there was one that automatically expanded the speaker (PCSA-CTG70 manufactured by Sony Corporation), and one that arranged each participant's video in three dimensions (iChat, Apple Inc.). With QuickTime VR technology, you can see the speaker at the attention angle, but you can't see the speaker behind the attention angle. PCSA-CTG70 can see the speaker, but only the speaker can see it. iChat's technology reproduces the natural 3D positional relationship but cannot see the person behind the viewer.
"QuickTime VR", technical data, Apple Inc., June 4, 2005 “PCSA-CTG70 Video Communication System-Technical Documentation” Sony Corporation, June 2006, ver 1.0

これらの従来技術に鑑み、本発明は、これまでよりも優れた全周映像の表示を実現すべくなされたものである。   In view of these prior arts, the present invention has been made in order to realize a better display of all-round video than before.

本発明は、全周映像のうち特定の範囲の表示を行う映像表示技術と、特定の人物の箇所のみの映像を抜き出して表示する映像表示技術を組み合わせることにより、誰がどこへ向かって話しているか、３次元的な位置関係はどういうものであるかなどを容易に把握しうる全周映像表示を可能とする。人物が３次元的な位置関係を保って表示されることから、会話の流れを容易に把握することができる。抜き出した映像を表示するにおいて、位置調整や左右反転などの処理を入れることもでき、これによって、誰が誰に話しているかをさらに容易に把握することが可能となる。   The present invention combines who is talking to where by combining video display technology that displays a specific range of all-round video with video display technology that extracts and displays only a specific person's location. It is possible to display an all-around video that can easily grasp what the three-dimensional positional relationship is. Since a person is displayed in a three-dimensional positional relationship, the flow of conversation can be easily grasped. In displaying the extracted video, it is possible to perform processing such as position adjustment and left-right reversal, which makes it easier to grasp who is talking to whom.

本発明の実施形態は、次のような映像データ形成装置を含む。この装置は、全周映像を構成するデータから、該全周映像の注目方向前方を表示するための映像データを形成する手段と、前記全周映像データから、該全周映像において前記注目方向の後方に位置する人物が含まれる映像データを抽出する手段と、前記抽出した映像データを前記注目方向前方の映像データに合成する手段とを具備することを特徴とする。   The embodiment of the present invention includes the following video data forming apparatus. The apparatus comprises: means for forming video data for displaying a forward direction of interest of the all-around video from data constituting the all-round video; and It is characterized by comprising means for extracting video data including a person located behind, and means for synthesizing the extracted video data with video data in front of the direction of interest.

また、本発明の実施形態は、装置により実行される、次のような、映像データ形成方法を含む。この方法は、全周映像を構成するデータから、該全周映像の注目方向前方を表示するための映像データを形成するステップと、前記全周映像データから、該全周映像において前記注目方向の後方に位置する人物が含まれる映像データを抽出するステップと、前記抽出した映像データを前記注目方向前方の映像データに合成するステップとを含むことを特徴とする。   The embodiment of the present invention includes the following video data forming method executed by the apparatus. The method includes the step of forming video data for displaying the front of the all-around video in the direction of interest from the data constituting the all-around video, and the direction of interest in the all-around video from the all-around video data. The method includes a step of extracting video data including a person located behind, and a step of synthesizing the extracted video data with video data in front of the direction of interest.

また、本発明の実施形態は、次のようなプログラムを含む。このプログラムは、コンピュータを、全周映像を構成するデータから、該全周映像の注目方向前方を表示するための映像データを形成する手段；前記全周映像データから、該全周映像において前記注目方向の後方に位置する人物が含まれる映像データを抽出する手段；前記抽出した映像データを前記注目方向前方の映像データに合成する手段；として動作させることを特徴とする。   The embodiment of the present invention includes the following program. The program causes the computer to form, from the data constituting the all-round video, video data for displaying the front of the all-around video in the direction of interest; It is operated as means for extracting video data including a person located behind in the direction; means for combining the extracted video data with video data in front of the direction of interest.

本発明の好適な実施形態のいくつかは、添付の特許請求の範囲に特定されている。しかし本発明の実施形態は、特許請求の範囲や明細書及び図面に明示的に記載されるものに限定されず、本発明の思想を逸脱することなく、様々な形態をとることが可能である。本発明は、本願特許請求の範囲や明細書及び図面に明示的に開示されるか否かにかかわらず、これらの書類から教示されうるあらゆる新規かつ有益な構成を、その範囲に含むものである。   Some of the preferred embodiments of the present invention are specified in the appended claims. However, the embodiments of the present invention are not limited to those explicitly described in the claims, specification and drawings, and can take various forms without departing from the spirit of the present invention. . The present invention includes in its scope all novel and useful configurations that can be taught from these documents, whether or not explicitly disclosed in the claims, specification and drawings.

以下、本発明の実施形態の例を、添付の図面を参照しながら詳しく説明する。   Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

図１は、本発明の好適な実施形態の例である、映像データ形成装置１０のハードウェア構成の概要及びそれに接続される周辺機器を描いたものである。図１に描かれるように、映像データ形成装置１０は、CPU１２や主記憶装置１４，補助記憶装置１６などを備える一般のコンピュータであることができ、その特徴的な機能は、主にソフトウェア処理によって提供される。補助記憶装置１６は、ハードディスクやフラッシュメモリ、またはDVD-読み取り装置等の光ディスク装置などであることができ、映像データ形成装置１０の電源が入っていないとき、映像データ形成装置１０を情報処理装置たらしめるソフトウェアは、この補助記憶装置１６に格納されている。映像データ形成装置１０に電源が投入されると、補助記憶装置１６に格納されていたソフトウェアコードの全部または一部が、高速な記憶装置である主記憶装置１４にコピーされ、CPU１２の制御に用いられる。   FIG. 1 shows an outline of a hardware configuration of a video data forming apparatus 10 as an example of a preferred embodiment of the present invention and peripheral devices connected thereto. As illustrated in FIG. 1, the video data forming apparatus 10 can be a general computer including a CPU 12, a main storage device 14, an auxiliary storage device 16, and the like, and its characteristic functions are mainly performed by software processing. Provided. The auxiliary storage device 16 can be a hard disk, a flash memory, or an optical disk device such as a DVD-reading device. When the video data forming device 10 is not powered on, the video data forming device 10 is an information processing device. The software to be stored is stored in the auxiliary storage device 16. When the video data forming device 10 is turned on, all or part of the software code stored in the auxiliary storage device 16 is copied to the main storage device 14 which is a high-speed storage device and used for controlling the CPU 12. It is done.

映像データ形成装置１０には、会議収録装置４０が接続されることができる。会議収録装置４０は、全周カメラと複数のマイクを備え、一度に360度全周囲の映像及び音声の収集を行うことができる。したがって会議収録装置４０は、図２に描かれるような、円卓会議の収録に適している。   A conference recording device 40 can be connected to the video data forming device 10. The conference recording apparatus 40 includes an omnidirectional camera and a plurality of microphones, and can collect video and audio around 360 degrees all at once. Therefore, the conference recording device 40 is suitable for recording a round table conference as depicted in FIG.

全周カメラは、特殊な鏡面構造を有するレンズを用いることで、単一のカメラによって360度の風景を撮影することを可能にしたカメラである。広角レンズを備えた複数のカメラの出力映像をソフトウェア的に合成して作成することによって、360度の映像を撮影することを可能にしたカメラもある。全周カメラによって撮影された全周映像は平面状の映像に変換され、デジタルデータとして保存される。図１の例では、このような変換及び映像データのA/D変換を行なうための映像処理回路２０が映像データ形成装置１０に備えられている。しかしながら、このような映像信号に対する処理を行う装置は、会議収録装置４０の方に備えられていてもよい。図１の例において、会議収録装置４０から出力されるアナログの映像信号は、信号線４２ａを介して映像処理回路２０に入力し、映像処理回路２０でA/D変換されると共に、映像処理回路２０及びCPU１２によって所定の処理が施され、補助記憶装置１６にデジタルデータとして記憶される。このデジタルデータは、例えばH.263形式のビデオストリームであることができる。CPU１２に所定の機能を実行させるためのソフトウェアは、前述のように、主記憶装置１４または補助記憶装置１６に格納されている。   The all-around camera is a camera that can photograph a 360-degree landscape with a single camera by using a lens having a special mirror surface structure. Some cameras have made it possible to shoot 360-degree images by creating and synthesizing output images from multiple cameras equipped with wide-angle lenses. The all-around video imaged by the all-around camera is converted into a planar image and stored as digital data. In the example of FIG. 1, the video data forming apparatus 10 is provided with a video processing circuit 20 for performing such conversion and A / D conversion of video data. However, a device that performs processing on such a video signal may be provided in the conference recording device 40. In the example of FIG. 1, an analog video signal output from the conference recording device 40 is input to the video processing circuit 20 via the signal line 42a, A / D converted by the video processing circuit 20, and the video processing circuit. Predetermined processing is performed by the CPU 20 and the CPU 12 and stored in the auxiliary storage device 16 as digital data. This digital data can be, for example, a video stream in the H.263 format. Software for causing the CPU 12 to execute a predetermined function is stored in the main storage device 14 or the auxiliary storage device 16 as described above.

会議収録装置４０が備える複数のマイクは、音源位置の特定を可能とするために、放射状に配置されていることが好ましい。それぞれのマイクで収録された音声信号はそれぞれ独立に保存される。図１の例では、会議収録装置４０から出力される複数のアナログ音声信号が、信号線４２ｂ〜４２ｄを介して音声処理回路１８に入力し、A/D変換されてデジタルデータとして補助記憶装置１６に記憶される。しかしながら、マイクで収録された音声信号に対して所定の処理を行う回路は、会議収録装置４０の側に備えられていてもよい。   The plurality of microphones included in the conference recording device 40 are preferably arranged radially in order to be able to specify the sound source position. Audio signals recorded by each microphone are stored independently. In the example of FIG. 1, a plurality of analog audio signals output from the conference recording device 40 are input to the audio processing circuit 18 via signal lines 42b to 42d, A / D converted, and converted into digital data as the auxiliary storage device 16. Is remembered. However, a circuit that performs predetermined processing on the audio signal recorded by the microphone may be provided on the conference recording device 40 side.

なお、図１の例では３本の音声チャネルしか記載されていないが、実際にはもっと多くのマイクを用いて収録を行っても構わないことはいうまでもない。可能であれば、８チャンネル程度の収録を行うことが望ましい。   Although only three audio channels are shown in the example of FIG. 1, it goes without saying that recording may be performed using more microphones in practice. If possible, it is desirable to record about 8 channels.

図１の例において、会議収録装置４０で収集された映像及び音声は、信号線４２ａ〜４２ｄを介して映像データ形成装置１０に入力し、その記憶装置１６に保存されることとなっているが、実施形態によっては、会議収録装置４０の側で必要な信号処理及び記録を行い、データの映像データ形成装置１０への移動は、データを収録したDVDディスクを映像データ形成装置１０に接続されたディスク読み取り装置で読みとらせることによって行ってもよい。   In the example of FIG. 1, the video and audio collected by the conference recording device 40 are input to the video data forming device 10 via the signal lines 42 a to 42 d and stored in the storage device 16. Depending on the embodiment, the conference recording device 40 performs necessary signal processing and recording, and the movement of the data to the video data forming device 10 is performed by connecting a DVD disk containing the data to the video data forming device 10. You may carry out by making it read with a disk reader.

このほか、映像データ形成装置１０は、キーボード７０やマウス８０を接続するためのインタフェース２６，２８を備える。キーボード７０やマウス８０は、オペレータが、映像データ形成装置１０に所定の指示を与えるために使用されることができる。また映像データ形成装置１０は、ディスプレイ５０を接続するための映像出力回路２２と、スピーカ６０を接続するための音声出力回路２４を備えることができる。映像出力回路２２と音声出力回路２４は、CPU１２の指示に基づき、それぞれ、ディスプレイ５０やスピーカ６０で映像・音声の再生を行なうために必要な信号を生成する。   In addition, the video data forming apparatus 10 includes interfaces 26 and 28 for connecting a keyboard 70 and a mouse 80. The keyboard 70 and mouse 80 can be used by an operator to give predetermined instructions to the video data forming apparatus 10. The video data forming apparatus 10 can also include a video output circuit 22 for connecting the display 50 and an audio output circuit 24 for connecting the speaker 60. The video output circuit 22 and the audio output circuit 24 generate signals necessary for video / audio reproduction on the display 50 and the speaker 60, respectively, based on instructions from the CPU 12.

図２を参照すると、全周映像のデータは、視聴者２００を中心に周囲３６０度の映像情報（符号２０２で表す）を含んでいる。しかしながら、ディスプレイ装置のスクリーンは小さいため、３６０度の映像情報を一度に表示すると、被写体が非常に小さくなってしまい、あまり好ましいものではない。そこで映像データ形成装置１０は、全周映像２０２の一部（図２で角θで表した領域）のみを、ディスプレイ５０に表示するように構成されている。そのかわり映像データ形成装置１０は、全周映像２０２を視聴者２００を中心に仮想的に回転させることにより、所望の領域をディスプレイ５０に表示させることができる。この回転は、マウス８０をドラッグしたり、キーボード７０の左右キーを押したりするなどの方法で、映像データ形成装置１０のオペレータが自由に行うことができる。無論、ジョイスティックやタッチパネル、音声操作装置など、どのようなユーザインタフェースを用いて回転を行っても構わない。   Referring to FIG. 2, the data of the all-round video includes video information (represented by reference numeral 202) of 360 degrees around the viewer 200. However, since the screen of the display device is small, displaying 360 degree video information at a time makes the subject very small, which is not preferable. Therefore, the video data forming apparatus 10 is configured to display only a part of the all-around video 202 (the region represented by the angle θ in FIG. 2) on the display 50. Instead, the video data forming apparatus 10 can display a desired area on the display 50 by virtually rotating the all-round video 202 around the viewer 200. This rotation can be freely performed by the operator of the video data forming apparatus 10 by a method such as dragging the mouse 80 or pressing the left and right keys of the keyboard 70. Of course, any user interface such as a joystick, a touch panel, or a voice operation device may be used for rotation.

映像データ形成装置１０は、映像を円筒に投影した場合に、その円筒の中心から見た眺めを再現するような映像データを形成しうるように構成されることが好ましい。このような、半円筒状に表示する映像データをディスプレイ５０に表示させることで、平面的なスクリーンであっても立体的な映像を映し出すことができる。このような技術は既に知られており、前述のQuicktime VRはその一例である。   The video data forming apparatus 10 is preferably configured to form video data that reproduces the view seen from the center of the cylinder when the video is projected onto the cylinder. By displaying the video data displayed in a semi-cylindrical shape on the display 50, a stereoscopic video can be displayed even on a flat screen. Such a technique is already known, and the aforementioned Quicktime VR is one example.

図３は、映像データ形成装置１０の機能ブロック図である。前述のとおり、これらの機能は、主に記憶装置１４又は／及び１６に格納されるソフトウェアの命令を実行するCPU１２によって遂行される。   FIG. 3 is a functional block diagram of the video data forming apparatus 10. As described above, these functions are mainly performed by the CPU 12 that executes software instructions stored in the storage device 14 and / or 16.

会議収録装置４０を用いて収録された映像・音声データのうち、音声データは、音声入力部３００を介して音方向検出部３０２に供給され、映像データは映像入力部３０１を介して人物方向検出部３０４及び映像切り出し・反転部３１４に供給される。この映像データは、視野３６０度の全周映像を構成することができ、音声データは個々のチャネルが別々のマイクに対応した複数のチャンネルのデータから構成されている。各チャンネルの音声には、会議参加者とそれぞれのマイクの間の近さによって同じ参加者の声が音量や位相が変化して記録されており、それら音声を既知の信号処理技術（例えば、特開2007-233239号公報に記載される技術）を用いて相互に比較することにより、話者の方向を推定することができる。
特開2007-233239号公報 Of the video / audio data recorded using the conference recording device 40, the audio data is supplied to the sound direction detection unit 302 via the audio input unit 300, and the video data is detected as the person direction via the video input unit 301. Is supplied to the unit 304 and the video segmentation / inversion unit 314. This video data can constitute a 360-degree full-circle video, and the audio data is composed of data of a plurality of channels, each channel corresponding to a separate microphone. The audio of each channel records the voice of the same participant with varying volume and phase depending on the proximity between the conference participant and each microphone, and the audio is recorded using known signal processing techniques (for example, special features). The direction of the speaker can be estimated by comparing with each other using the technique described in Japanese Unexamined Patent Publication No. 2007-233239.
JP 2007-233239 A

音方向検出部３０２による話者方向の推定結果は人物方向検出部３０４に供給される。人物方向検出部３０４は、音方向検出部３０２によって推定された各人物の発する声の方向と共に、映像から顔検出アルゴリズムを用いて検出した人物の顔位置を用いて、人物方向を推定する。顔検出アルゴリズムには、例えば、Haar特徴と多段弱識別器を用いたアルゴリズムを用いることができる。   The estimation result of the speaker direction by the sound direction detection unit 302 is supplied to the person direction detection unit 304. The person direction detection unit 304 estimates the person direction by using the face position of the person detected by using a face detection algorithm from the video together with the voice direction of each person estimated by the sound direction detection unit 302. As the face detection algorithm, for example, an algorithm using a Haar feature and a multistage weak classifier can be used.

注目方向入力部３０６は、ユーザにより指定された注目方向を、次の切り出し位置計算部３１２に伝えるセクションである。前述のように、映像データ形成装置１０は、全周映像を円筒中心に対して仮想的に回転させることで、全周映像の任意の領域をディスプレイ５０に表示させることができる。映像データ形成装置１０のユーザは、所望の映像が表示されている方向を、注目方向として自由に指定することができる。この指定は、キーボード７０やマウス８０など、適当なユーザインタフェースを用いて行うこととすることができる。また、いつでも変更することができるように映像データ形成装置１０を構成することが好ましい。   The attention direction input unit 306 is a section that conveys the attention direction designated by the user to the next cutout position calculation unit 312. As described above, the video data forming apparatus 10 can cause the display 50 to display an arbitrary area of the all-around video by virtually rotating the all-around video with respect to the center of the cylinder. The user of the video data forming apparatus 10 can freely specify the direction in which the desired video is displayed as the direction of interest. This designation can be performed using an appropriate user interface such as the keyboard 70 and the mouse 80. Further, it is preferable to configure the video data forming apparatus 10 so that it can be changed at any time.

なお、「注目方向」との用語における「方向」とは、全周映像により形成される仮想的な円筒の中心から見た角度を意味する。従って、全周映像には、基準となる位置を予め定めておくことが好ましい。円筒中心から見てその基準位置が正面に来る場合を０度として、角度を定義することができる。   In addition, the “direction” in the term “attention direction” means an angle viewed from the center of a virtual cylinder formed by the all-round image. Therefore, it is preferable to predetermine a reference position for the all-round video. The angle can be defined by setting the reference position when viewed from the center of the cylinder to the front as 0 degrees.

注目方向は自動で設定されるように構成してもよい。注目方向自動判定部３０８は、このような目的のためのセクションであり、音方向検出部３０２によって検出された人物方向や発話時間等から注目方向を自動的に設定する。例えば、各時刻の各人物の発話情報から、その時刻において一番長時間発話している人物を算出し、その人物がいる方向を注目方向として設定するように構成することができる。注目方向の自動設定と手動設定は切り替え可能であることが好ましく、また、自動設定中であっても、オペレータの操作により手動で注目方向の設定がなされた場合には、それを優先するように構成されることが好ましい。   The attention direction may be configured to be automatically set. The attention direction automatic determination unit 308 is a section for such a purpose, and automatically sets the attention direction from the person direction detected by the sound direction detection unit 302, the speech time, and the like. For example, it is possible to calculate the person who speaks for the longest time from the utterance information of each person at each time and set the direction in which the person is present as the attention direction. It is preferable that automatic setting and manual setting of the attention direction can be switched, and even if automatic setting is in progress, if the attention direction is manually set by the operator's operation, it should be given priority. Preferably, it is configured.

切り出し位置計算部３１２は、注目方向入力部３０６又は注目方向自動判定部３０８から供給される注目方向データと、人物方向検出部３０４から供給される人物位置データに基づいて、全周映像データから、出力用の映像として切り出す範囲を計算する。この計算は様々なものであることができるが、以下に、図４〜図６を用いてその一例を説明する。   Based on the attention direction data supplied from the attention direction input unit 306 or the attention direction automatic determination unit 308 and the person position data supplied from the person direction detection unit 304, the cutout position calculation unit 312 Calculate the range to be cut out as an output video. Although this calculation can be various, an example will be described below with reference to FIGS.

図４のように、円卓Ｔを囲んでＡ，Ｂ，Ｃの三者が会議をしている様子を、円卓Ｔの中心に設置した全方位カメラによって撮影するとする。このとき全方位カメラによって撮影される映像は、図５のようになる。ただし図５は、３６０度全ての範囲の映像を平面状に描いたものであって、３６０度全ての範囲の映像が一度にディスプレイに表示されるわけではないことに留意されたい。   As shown in FIG. 4, it is assumed that the three people A, B, and C having a meeting surrounding the round table T are photographed by an omnidirectional camera installed at the center of the round table T. At this time, an image taken by the omnidirectional camera is as shown in FIG. However, it should be noted that FIG. 5 shows a picture of the entire range of 360 degrees in a planar shape, and an image of the entire range of 360 degrees is not displayed on the display at a time.

図６に描かれるように、全方位カメラの正面方向と注目方向とのなす角をΦ、全方位カメラの正面方向と注目方向背後の人物方向とのなす角をθ、注目方向の視野角をφとそれぞれ定義する。また、全周映像の横幅をｗとする。このとき切り出し位置計算部３１２は、注目方向前方の映像データを形成するための範囲として、［w/2+w/2*((Φ-φ)/360)，w/2+w/2*((Φ+φ)/360)］を計算する。視野角φはディスプレイの横幅に依存して設定される値である。通常90度よりすこし少ない80度程度が設定される。   As shown in FIG. 6, the angle between the front direction of the omnidirectional camera and the attention direction is Φ, the angle between the front direction of the omnidirectional camera and the person direction behind the attention direction is θ, and the viewing angle of the attention direction is Define each as φ. Also, the horizontal width of the all-around video is w. At this time, the cutout position calculation unit 312 uses [w / 2 + w / 2 * ((Φ-φ) / 360), w / 2 + w / 2 * as a range for forming video data ahead in the direction of interest. ((Φ + φ) / 360)] is calculated. The viewing angle φ is a value set depending on the horizontal width of the display. Usually about 80 degrees, which is slightly less than 90 degrees, is set.

また切り出し位置計算部３１２は、注目方向背後人物箇所の映像の映像データを形成するための範囲として、w/2+w/2*(θ/360)を中心として左右それぞれ予め定められた範囲を計算する。   In addition, the cutout position calculation unit 312 uses a predetermined range on both the left and right sides around w / 2 + w / 2 * (θ / 360) as a range for forming the video data of the video of the person portion behind the direction of interest. calculate.

なお、この計算はほんの一例であり、具体的な要求に応じてさまざまな計算方法があり得ることは留意すべきである。   It should be noted that this calculation is only an example, and there are various calculation methods depending on specific requirements.

映像切り出し・反転部３１４は、切り出し位置計算部３１２から供給される計算結果に基づいて、全周映像データから、注目方向前方の映像データを形成するためのデータ及び注目方向後方の映像データを形成するためのデータを切り出す。この様子が図７に描かれている。７００で表された全周映像データから、注目方向前方の映像として、［w/2+w/2*((Φ-φ)/360)，w/2+w/2*((Φ+φ)/360)］で囲まれた範囲のデータ７０２のみが切り出され、注目方向後方に位置する人物の映像のために、w/2+w/2*(θ/360)を中心とした所定の幅の映像データ７０４が切り取られている。このような切り出しは、例えば、メモリ上に展開された全体映像の画素列から、指定された範囲の画素を抜き出すことで実現することができる。   Based on the calculation result supplied from the cutout position calculator 312, the video cutout / inversion unit 314 forms data for forming video data in the front direction of interest and video data in the rear direction of interest from the all-round video data. Cut out the data to do. This is illustrated in FIG. [W / 2 + w / 2 * ((Φ-φ) / 360), w / 2 + w / 2 * ((Φ + φ ) / 360)], only the data 702 in the range enclosed is cut out, and a predetermined image centered on w / 2 + w / 2 * (θ / 360) is used for the image of the person located behind the direction of interest. The video data 704 having a width is cut out. Such clipping can be realized by, for example, extracting pixels in a specified range from the pixel sequence of the entire video expanded on the memory.

さらに映像切り出し・反転部３１４は、注目方向後方に位置する人物の映像の左右を反転する。これは、注目方向後方に位置する人物と、注目方向前方に位置する人物との関係を自然に見せるためである。映像の反転は、画素列を反転することで容易に行うことができる。   Further, the video cutout / inversion unit 314 inverts the left and right of the video of the person located behind the direction of interest. This is to naturally show the relationship between the person located behind the attention direction and the person located ahead of the attention direction. The inversion of the video can be easily performed by inverting the pixel column.

出力映像形成部３１６は、注目方向後方に位置する人物の映像データを、注目方向前方の映像データに合成する。この様子が図８に描かれている。図８Ａは、注目方向前方の映像を図示したものである。これに、注目方向後方に位置する人物の映像データを合成すると、図８Ｂのようになる。注目方向後方に位置する人物の映像が左右反転されていることで、注目方向前方の人物Ａと注目方向後方の人物Ｂとの対応関係が自然に表現されている。注目方向後方の人物の映像を合成する位置は、注目方向前方の映像データの表示の横幅をｐとするとき、p/2+p/2*cos(Φ+θ)の位置とすることができる。むろん、かかる計算式は例に過ぎず、他の計算式によって合成位置を求めてもよい。   The output video forming unit 316 combines the video data of the person located behind the attention direction with the video data ahead of the attention direction. This is illustrated in FIG. FIG. 8A illustrates an image ahead of the direction of interest. When this is combined with video data of a person located behind the direction of interest, the result is as shown in FIG. 8B. Since the video of the person located behind the attention direction is reversed left and right, the correspondence between the person A ahead of the attention direction and the person B behind the attention direction is naturally expressed. The position for synthesizing the video of the person behind the direction of interest can be the position of p / 2 + p / 2 * cos (Φ + θ), where p is the horizontal width of the display of the video data ahead of the direction of interest. . Of course, such a calculation formula is merely an example, and the synthesis position may be obtained by another calculation formula.

さて、図８Ｂのような表示は、特に、人物Ｃが話者であるときに有用であると思われる。注目方向後方の人物が話者であるときは、そのままでは画面で誰が話しているかを確認できず、不便であるからである。一方、注目方向前方の人物が話者であるときは、画面で誰が話しているかを確認できるので、注目方向後方の人物の映像をスーパーインポーズすることは、実装上の要求によっては不要とされるかもしれない。   Now, the display as shown in FIG. 8B seems to be particularly useful when the person C is a speaker. This is because when the person behind the attention direction is a speaker, it is inconvenient because it is impossible to confirm who is speaking on the screen as it is. On the other hand, when the person in front of the attention direction is a speaker, it can be confirmed who is speaking on the screen, so it is not necessary to superimpose the image of the person behind the attention direction depending on the implementation requirements. It may be.

このような要求に対応するため、映像データ形成装置１０は、表示・非表示制御部３１０を備えている。表示・非表示制御部３１０は、音方向検出部３０２による話者方向の推定結果に基づき、注目方向後方の人物が話者ではないときは、注目方向後方の人物の映像のスーパーインポーズを行なわないように、出力映像形成部３１６を制御する。これによって、注目方向後方の人物が話者であるときのみ、図８Ｂのような映像が表示されることになる。   In order to respond to such a request, the video data forming apparatus 10 includes a display / non-display control unit 310. Based on the estimation result of the speaker direction by the sound direction detection unit 302, the display / non-display control unit 310 superimposes the video of the person behind the attention direction when the person behind the attention direction is not a speaker. The output image forming unit 316 is controlled so as not to be present. As a result, the video as shown in FIG. 8B is displayed only when the person behind the attention direction is a speaker.

前述のとおり、図３に描いた映像データ形成装置１０の各機能３００〜３１６は、主に、記憶装置１４又は／及び１６に格納されるソフトウェアの命令を実行するCPU１２によって遂行されることができる。しかしながら、各機能の遂行には、CPU１２以外のハードウェアが関与する場合があることは、言うまでもない。例えば、音声入力部３００や映像入力部３０１には、音声や映像の信号を伝達するための回路が関与する場合があり、また、注目方向入力部３０６は、ユーザインタフェースの制御が関わってくる。さらに、ディスプレイ５０に供給される映像信号を形成するためには、ＣＰＵ１２だけで処理を行うよりも、映像信号を形成するための専用のハードウェアを用いたほうが高速に処理を行うことができる場合がある。また、さらなる高速化のために、機能３００〜３１６の一部を専用のハードウェア回路を用いて実装したり、ＦＰＧＡなどのプログラマブルロジック回路を用いて実装したりすることも考えられる。当業者であれば、本明細書の開示から、様々な実装形態に容易に想到することが可能であることが疑いない。   As described above, the functions 300 to 316 of the video data forming apparatus 10 depicted in FIG. 3 can be mainly performed by the CPU 12 that executes software instructions stored in the storage device 14 and / or 16. . However, it goes without saying that hardware other than the CPU 12 may be involved in performing each function. For example, the audio input unit 300 and the video input unit 301 may be related to a circuit for transmitting audio and video signals, and the attention direction input unit 306 is related to user interface control. Further, in order to form a video signal supplied to the display 50, it is possible to perform processing at a higher speed by using dedicated hardware for forming the video signal, rather than performing processing only by the CPU 12. There is. In order to further increase the speed, a part of the functions 300 to 316 may be mounted using a dedicated hardware circuit, or may be mounted using a programmable logic circuit such as an FPGA. There is no doubt that those skilled in the art can easily come up with various implementations from the disclosure of this specification.

図９を用いて映像データ形成装置１０の動作の一例をフローチャートで説明する。   An example of the operation of the video data forming apparatus 10 will be described with reference to the flowchart in FIG.

符号９００は動作の開始を表す。ステップ９０２では、全周映像を構成するデータ（映像・音声）が主記憶装置１４に読み込まれる。このとき読み込まれるデータの量は、むろんのこと、全収録時間のデータである必要はなく、一部の時間のデータで十分である。ステップ９０４では、注目方向の決定が行われる。前述のように、注目方向の決定は、オペレータがユーザインタフェース７０，８０などを利用して行うことができ、また、音声データから同定した話者の位置や発話時間などに基づいて自動的に行なうこともできる。   Reference numeral 900 represents the start of operation. In step 902, data (video / audio) constituting the all-round video is read into the main storage device 14. Of course, the amount of data read at this time does not have to be data for the entire recording time, and data for a part of the time is sufficient. In step 904, the direction of interest is determined. As described above, the direction of interest can be determined by the operator using the user interfaces 70, 80, etc., and is automatically performed based on the position of the speaker identified from the voice data, the speech time, and the like. You can also

ステップ９０６では、注目方向前方の映像の切り出しが行われる。前述の例では、全周映像の基準方向と注目方向とのなす角をΦ、注目方向の視野角をφ、全周映像の横幅をｗとしたとき、切り出される範囲は［w/2+w/2*((Φ-φ)/360)，w/2+w/2*((Φ+φ)/360)］で囲まれた範囲とする。   In step 906, video in front of the direction of interest is cut out. In the above example, when the angle between the reference direction of the all-round image and the attention direction is Φ, the viewing angle of the attention direction is φ, and the horizontal width of the all-around image is w, the cutout range is [w / 2 + w / 2 * ((Φ-φ) / 360), w / 2 + w / 2 * ((Φ + φ) / 360)].

並行して、ステップ９０８では、発話位置の同定や顔認識手段を用いて、注目方向後方の人物の検出が行われる。この検出経過に基づき、ステップ９１０では、注目方向後方の人物の映像の切り出しが行われる。前述の例では、全周映像の基準方向と注目方向後方の人物とのなす角をθとしたとき、w/2+w/2*(θ/360)を中心とした所定の幅の映像が全周映像から切り出される。   In parallel, in step 908, the person behind the direction of interest is detected using the utterance position identification and face recognition means. Based on this detection process, in step 910, the video of the person behind the direction of interest is cut out. In the above example, if the angle between the reference direction of the all-round image and the person behind the direction of interest is θ, an image with a predetermined width centered on w / 2 + w / 2 * (θ / 360) Cut out from all-round video.

ステップ９１２では、注目方向後方の人物の発話の有無の判定し、発話があると判定された場合に限り、ステップ９０６で切り出した注目方向前方の映像データと、ステップ９１０で切り出した注目方向後方の人物の映像データとが合成され、ステップ９１６で出力用の映像信号として構成される。注目方向後方の人物が発話していないと判定された場合、ステップ９１６では、注目方向前方の映像データのみを使用して出力用の映像データを構成する。   In step 912, the presence / absence of the utterance of the person behind the direction of interest is determined, and only when it is determined that there is an utterance, the video data ahead of the direction of interest extracted in step 906 and the backward of the direction of interest extracted in step 910 The video data of the person is synthesized and configured as an output video signal in step 916. If it is determined that the person behind the direction of interest is not speaking, in step 916, video data for output is constructed using only the video data ahead of the direction of interest.

ステップ９１８では、構成された映像データがディスプレイへ出力され、ステップ９０２へと戻り、次のフレームの処理を行う。符号９２０は動作の終了を示す。   In step 918, the constructed video data is output to the display, and the process returns to step 902 to process the next frame. Reference numeral 920 indicates the end of the operation.

以上、本発明の実施形態の例について説明してきたが、これはあくまで例に過ぎず、本願発明の実施形態を限定する意図で紹介したものではないことは言うまでもない。本発明は、本発明の思想を逸脱せずに様々な実施形態を取りうるものである。   As mentioned above, although the example of embodiment of this invention has been demonstrated, this is only an example and it cannot be overemphasized that it was not introduced with the intention which limits embodiment of this invention. The present invention can take various embodiments without departing from the spirit of the present invention.

本発明の実施例である映像データ形成装置１０のハードウェア構成及びその周辺機器の概略を説明するための図である。It is a figure for demonstrating the outline of the hardware constitutions of the video data formation apparatus 10 which is an Example of this invention, and its peripheral device. 全周映像の表示方法を説明するための図である。It is a figure for demonstrating the display method of a perimeter video. 映像データ形成装置１０の機能構成を説明するための図である。2 is a diagram for explaining a functional configuration of a video data forming apparatus 10. FIG. 全周映像の収録の様子を説明するための図である。It is a figure for demonstrating the mode of recording of a perimeter video. 全方位カメラによって撮影される映像を説明するための図である。It is a figure for demonstrating the image | video image | photographed with an omnidirectional camera. 映像の切り出しを行うための角度の定義を説明するための図であるIt is a figure for demonstrating the definition of the angle for performing image | video clipping. 映像の切り出しの様子を説明するための図である。It is a figure for demonstrating the mode of the cutting-out of an image | video. 映像の合成の様子を説明するための図である。It is a figure for demonstrating the mode of an image | video synthesis | combination. 映像データ形成装置１０の動作を説明するための図である。4 is a diagram for explaining the operation of the video data forming apparatus 10. FIG.

符号の説明Explanation of symbols

１０ 映像データ形成装置
１２ ＣＰＵ
１４ 主記憶装置
１６ 補助記憶装置
１８ 音声処理回路
２０ 映像処理回路
２２ 映像出力回路
２４ 音声出力回路
２６，２８ インタフェース
４０ 会議収録装置
４２ａ-４２ｄ 信号線
５０ ディスプレイ
６０ スピーカ
７０ キーボード
８０ マウス
２００ 視聴者
２０２ 全周映像
３００ 音声入力部
３０１ 映像入力部
３０２ 音方向検出部
３０４ 人物方向検出部
３０６ 注目方向入力部
３０８ 注目方向自動判定部
３１０ 表示・非表示制御部
３１２ 位置計算部
３１４ 反転部
３１６ 出力映像形成部 10 Video data forming device 12 CPU
14 Main storage device 16 Auxiliary storage device 18 Audio processing circuit 20 Video processing circuit 22 Video output circuit 24 Audio output circuit 26, 28 Interface 40 Conference recording device 42a-42d Signal line 50 Display 60 Speaker 70 Keyboard 80 Mouse 200 Viewer 202 All Surrounding video 300 Audio input unit 301 Video input unit 302 Sound direction detection unit 304 Human direction detection unit 306 Attention direction input unit 308 Attention direction automatic determination unit 310 Display / non-display control unit 312 Position calculation unit 314 Inversion unit 316 Output video formation unit

Claims (13)

全周映像を構成するデータから、該全周映像の注目方向前方を表示するための映像データを形成する手段と、
前記全周映像データから、該全周映像において前記注目方向の後方に位置する人物が含まれる映像データを抽出する手段と、
前記抽出した映像データを前記注目方向前方の映像データに合成する手段と、
を具備する映像データ形成装置。 Means for forming video data for displaying a forward direction of interest of the all-around video from the data constituting the all-around video;
Means for extracting from the all-round video data video data including a person located behind the direction of interest in the all-round video;
Means for synthesizing the extracted video data with video data ahead of the direction of interest;
A video data forming apparatus. 前記注目方向前方の映像データを形成する手段は、該注目方向前方を半円筒状に表示する映像データを形成するように構成される、請求項１に記載の映像データ形成装置。   2. The video data forming apparatus according to claim 1, wherein the means for forming video data in front of the direction of interest is configured to form video data that displays the front of the direction of interest in a semi-cylindrical shape. 前記注目方向をユーザが任意に定めることを可能にするＵＩを備える、請求項１又は２に記載の映像データ形成装置。   The video data forming apparatus according to claim 1, further comprising a UI that allows a user to arbitrarily determine the direction of interest. 前記全周映像データに付随する音声データから音源位置の同定を行う手段をさらに備え、前記音源位置同定の結果に基づいて自動的に前記注目方向を定めるように構成される、請求項１から３のいずれかに記載の映像データ形成装置。   4. The apparatus according to claim 1, further comprising means for identifying a sound source position from audio data accompanying the all-round video data, and configured to automatically determine the attention direction based on a result of the sound source position identification. The video data forming apparatus according to any one of the above. 前記音源位置同定手段により、前記注目方向後方で音源位置を同定することにより、前記注目方向の後方の人物の位置を同定するように構成される、請求項４に記載の映像データ形成装置。   5. The video data forming apparatus according to claim 4, wherein the sound source position identifying unit is configured to identify a position of a person behind the direction of interest by identifying a sound source position behind the direction of interest. 6. 前記注目方向後方に音源が同定されない場合は、前記注目方向後方の映像データの抽出又は／及び前記抽出した映像データの前記注目方向前方の映像データへの合成を行わない、請求項４又は５に記載の映像データ形成装置。   6. If the sound source is not identified behind the direction of interest, extraction of video data behind the direction of interest and / or synthesis of the extracted video data into video data ahead of the direction of interest is not performed. The video data forming apparatus described. 映像データに含まれる人物の顔を検出する顔検出手段を備え、前記注目方向後方において検出された顔の位置に基づいて前記注目方向後方の人物の位置を同定するように構成される、請求項１から６のいずれかに記載の映像データ形成装置。   The face detection means for detecting the face of a person included in video data is configured to identify the position of the person behind the direction of interest based on the position of the face detected behind the direction of attention. 7. The video data forming apparatus according to any one of 1 to 6. 前記合成する手段は、前記抽出した映像データを左右反転した上で前記注目方向前方の映像データに合成するように構成される、請求項１から７のいずれかに記載の映像データ形成装置。   8. The video data forming apparatus according to claim 1, wherein the synthesizing unit is configured to synthesize the extracted video data with video data in front of the attention direction after left-right inversion. 前記全周映像の基準方向と前記注目方向とのなす角をΦ、前記注目方向の視野角をφ、前記基準方向と前記注目方向後方の人物とのなす角をθ、前記全周映像の横幅をｗとしたとき、
前記注目方向前方の映像データを形成する手段は、前記全周映像から［w/2+w/2*((Φ-φ)/360)，w/2+w/2*((Φ+φ)/360)］で囲まれる範囲の映像を切り出し、
前記注目方向後方の映像データを抽出する手段は、w/2+w/2*(θ/360)を中心とした所定の幅の映像を切り出すように構成される、請求項１から８のいずれかに記載の映像データ形成装置。 The angle between the reference direction of the all-round image and the attention direction is Φ, the viewing angle of the attention direction is φ, the angle between the reference direction and the person behind the attention direction is θ, and the width of the all-around image Is w
The means for forming the image data ahead of the direction of interest is [w / 2 + w / 2 * ((Φ-φ) / 360), w / 2 + w / 2 * ((Φ + φ ) / 360)]
The means for extracting video data behind the direction of interest is configured to cut out a video having a predetermined width centered on w / 2 + w / 2 * (θ / 360). The video data forming apparatus according to claim 1. さらに、前記合成する手段は、前記注目方向前方の映像データの表示の横幅をｐとするとき、前記注目方向後方の映像データを、p/2+p/2*cos(Φ+θ)の位置に合成するように構成される、請求項９に記載の映像データ形成装置。   Further, the means for combining, when the horizontal width of the display of the video data ahead of the direction of interest is p, the video data behind the direction of interest is represented by the position of p / 2 + p / 2 * cos (Φ + θ) The video data forming apparatus according to claim 9, wherein the video data forming apparatus is configured to be combined with the video data. 全周映像を構成するデータから、該全周映像の注目方向前方を表示するための映像データを形成するステップと、
前記全周映像データから、該全周映像において前記注目方向の後方に位置する人物が含まれる映像データを抽出するステップと、
前記抽出した映像データを前記注目方向前方の映像データに合成するステップと、
を含む、映像データ形成装置の動作方法。 Forming video data for displaying a forward direction of interest of the all-round video from the data constituting the all-round video;
Extracting from the all-round video data video data including a person located behind the direction of interest in the all-round video;
Combining the extracted video data with the video data ahead of the direction of interest;
A method of operating a video data forming apparatus. 全周映像を構成するデータから、該全周映像の注目方向前方を表示するための映像データを形成する手段；
前記全周映像データから、該全周映像において前記注目方向の後方に位置する人物が含まれる映像データを抽出する手段；
前記抽出した映像データを前記注目方向前方の映像データに合成する手段；
としてコンピュータを動作させる、プログラム。 Means for forming video data for displaying a forward direction of interest of the all-around video from the data constituting the all-around video;
Means for extracting, from the all-round video data, video data including a person located behind the direction of interest in the all-round video;
Means for combining the extracted video data with the video data ahead of the direction of interest;
As a program to operate a computer. 全周映像を構成するデータから、該全周映像の注目方向前方を表示するための映像データを形成し、前記全周映像データから、該全周映像において前記注目方向の後方に位置する人物が含まれる映像データを抽出し、前記抽出した映像データを前記注目方向前方の映像データに合成するように構成される、映像データ形成装置。



Video data for displaying the attention direction front of the all-around video is formed from the data constituting the all-around video, and a person located behind the attention direction in the all-around video is formed from the all-around video data. A video data forming apparatus configured to extract included video data and synthesize the extracted video data with video data ahead of the direction of interest.



JP2008194305A 2008-07-29 2008-07-29 Display technology for all-round video Expired - Fee Related JP4953137B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008194305A JP4953137B2 (en) 2008-07-29 2008-07-29 Display technology for all-round video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008194305A JP4953137B2 (en) 2008-07-29 2008-07-29 Display technology for all-round video

Publications (2)

Publication Number Publication Date
JP2010034812A JP2010034812A (en) 2010-02-12
JP4953137B2 true JP4953137B2 (en) 2012-06-13

Family

ID=41738807

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008194305A Expired - Fee Related JP4953137B2 (en) 2008-07-29 2008-07-29 Display technology for all-round video

Country Status (1)

Country Link
JP (1) JP4953137B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108206958A (en) * 2016-12-19 2018-06-26 北京视联动力国际信息技术有限公司 A kind of method for obtaining video recording resource and association turn server

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102474681B (en) 2010-06-30 2014-12-10 松下电器产业株式会社 Conversation detection device, hearing aid and conversation detection method
JP6249202B2 (en) 2013-05-10 2017-12-20 ソニー株式会社 Image display device, image display method, and program
JP2015082289A (en) 2013-10-24 2015-04-27 ソニー株式会社 Information processing device, information processing method and program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4860835B2 (en) * 2001-06-11 2012-01-25 クラリオン株式会社 Panorama image display method and panorama image display apparatus
JP4439763B2 (en) * 2001-07-04 2010-03-24 株式会社リコー Image recording / reproducing system and image recording / reproducing method
JP2003111041A (en) * 2001-09-28 2003-04-11 Canon Inc Image processor, image processing system, image processing method, storage medium and program
JP4373645B2 (en) * 2002-05-31 2009-11-25 株式会社リコー Video distribution system, program, and recording medium
JP4595364B2 (en) * 2004-03-23 2010-12-08 ソニー株式会社 Information processing apparatus and method, program, and recording medium
JP4629381B2 (en) * 2004-08-04 2011-02-09 オプト株式会社 Imaging device
JP2006180022A (en) * 2004-12-21 2006-07-06 Konica Minolta Holdings Inc Image processing system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108206958A (en) * 2016-12-19 2018-06-26 北京视联动力国际信息技术有限公司 A kind of method for obtaining video recording resource and association turn server

Also Published As

Publication number Publication date
JP2010034812A (en) 2010-02-12

Similar Documents

Publication Publication Date Title
US10367997B2 (en) Enriched digital photographs
US9792954B2 (en) Information processing apparatus and recording medium
JP4557035B2 (en) Information processing apparatus, information processing method, program, and recording medium
US11736801B2 (en) Merging webcam signals from multiple cameras
JP2018521593A (en) Composition and scaling of angle-separated subscenes
WO2009093398A1 (en) Image processor, and processing method and program for the same
TWI588590B (en) Video generating system and method thereof
JP6400293B2 (en) Apparatus and method for controlling content by electronic device
JP5349463B2 (en) Panorama sound image generation and reproduction method and panoramic sound image reproduction apparatus
JP2022133366A (en) Moving image editing device, moving image editing method, and program
KR20150011742A (en) User terminal device and the control method thereof
JP4953137B2 (en) Display technology for all-round video
US11503226B2 (en) Multi-camera device
Shimamura et al. Audio–visual object removal in 360-degree videos
US10200606B2 (en) Image processing apparatus and control method of the same
JP7065708B2 (en) Recording / playback device and program
JP6191333B2 (en) Information processing apparatus, communication system, and program
JP2008090570A (en) Information processor and information processing method
US11979732B2 (en) Generating audio output signals

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120227

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120302

R150 Certificate of patent or registration of utility model

Ref document number: 4953137

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150323

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees