JPWO2017077751A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JPWO2017077751A1 JPWO2017077751A1 JP2017548656A JP2017548656A JPWO2017077751A1 JP WO2017077751 A1 JPWO2017077751 A1 JP WO2017077751A1 JP 2017548656 A JP2017548656 A JP 2017548656A JP 2017548656 A JP2017548656 A JP 2017548656A JP WO2017077751 A1 JPWO2017077751 A1 JP WO2017077751A1
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- sticker
- information
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 136
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000000034 method Methods 0.000 claims abstract description 108
- 230000008569 process Effects 0.000 claims abstract description 100
- 238000004891 communication Methods 0.000 claims abstract description 56
- 238000004458 analytical method Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 325
- 238000009826 distribution Methods 0.000 claims description 66
- 230000033001 locomotion Effects 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 8
- 238000010191 image analysis Methods 0.000 description 92
- 230000000694 effects Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 24
- 238000003384 imaging method Methods 0.000 description 24
- 230000008859 change Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 20
- 101100296200 Mus musculus Pak3 gene Proteins 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 11
- 101150034941 AURKB gene Proteins 0.000 description 8
- 101150008262 STK24 gene Proteins 0.000 description 5
- 101150112794 Stk3 gene Proteins 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 4
- 101100058698 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) cln3 gene Proteins 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 101150000485 snd1 gene Proteins 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
1.情報処理システムの概要
2.各装置の構成
3.情報処理システムの動作
4.情報処理システムによる画像処理例
5.情報処理システムによる操作情報の応用例
6.ハードウェア構成例
7.まとめ
<1.1.情報処理システムの構成>
図1は、本開示の一実施形態に係る情報処理システム1の構成の概要を示す図である。図1に示すように、情報処理システム1は、サーバ10、ユーザ端末20およびユーザ端末30(30a、30b、・・・)からなる。サーバ10、ユーザ端末20およびユーザ端末30は、有線または無線の各種ネットワークNWにより接続される。
ユーザ端末30(20)の表示操作部に表示されるUI(User Interface)の構成および操作処理について、図2〜図4を参照しながら詳細に説明する。
<2.1.サーバ>
図5は、本開示の一実施形態に係るサーバ10の機能構成例を示すブロック図である。図5を参照すると、サーバ10は、画像取得部101、操作情報取得部102、画像解析部103および画像処理部104を備える。これらの各機能部の動作は、サーバ10が備えるCPU(Central Processing Unit)等の処理回路によって制御される。
画像取得部101は、ライブ映像の配信元であるユーザ端末20により生成された動画像データを不図示の通信部を介して取得する。例えば、画像取得部101は、ユーザ端末20により生成された動画像データを時系列に取得する。当該動画像データには、例えば、ライブ映像である動画像のほかに、音響情報および動画像の撮像時刻等の情報が含まれる。
操作情報取得部102は、ユーザ端末20またはユーザ端末30の少なくともいずれかから送信された操作情報を不図示の通信部を介して取得する。例えば、操作情報取得部102は、ユーザ端末の少なくともいずれかから送信された操作情報を時系列に取得する。当該操作情報には、例えば、ユーザ端末20の表示操作部210において表示されている動画像上へのステッカの配置に関する操作位置、当該ステッカに関する情報、並びに動画像が表示されている表示画面上に対して行われた操作の種類および操作態様等が含まれる。
画像解析部103は、画像取得部101が取得した動画像データおよび操作情報取得部102が取得した操作情報に基づいて、画像解析を行う。より具体的には、画像解析部103は、動画像上における操作位置に対応する領域を解析する。
画像処理部104は、画像解析部103から取得した解析結果、および操作情報取得部102が取得した操作情報に基づいて、動画像に対して画像処理を行う。ここでいう画像処理とは、例えば、ステッカの配置処理である。さらに、画像処理部104による画像処理には、動画像に対する加工処理もしくは編集処理が含まれてもよい。
図6は、本開示の一実施形態に係るユーザ端末20(30)の機能構成例を示すブロック図である。なお、ユーザ端末20およびユーザ端末30は同様の機能構成を有するため、ここではユーザ端末20の機能構成について説明する。図6を参照すると、ユーザ端末20は、制御部200および表示操作部210を備える。なお、ユーザ端末20により動画像の撮像処理を行う場合、ユーザ端末20はさらに撮像部220を備えてもよい。
制御部200は、ユーザ端末20に含まれる各機能部の動作全般を制御する。制御部200は、例えば、CPU等の処理回路によって実現される。また、制御部200は、画像取得部201、表示制御部202、操作情報生成部203および操作情報送信部204としての機能を有する。
画像取得部201は、サーバ10から動画像を含む動画像データを不図示の通信部を介して取得する。サーバ10から取得する動画像は、動画像の配信元であるユーザ端末からサーバ10へ一度送信された動画像である。例えば、画像取得部201は、サーバ10から動画像データを時系列に取得する。画像取得部201は、取得した動画像データを表示制御部202に出力する。
表示制御部202は、画像取得部201から取得した動画像データに含まれる動画像を表示操作部210に表示させるための制御を行う。例えば、表示制御部202は、動画像を表示操作部210内の所定の画面に表示させる。
操作情報生成部203は、表示操作部210に表示された動画像に対する操作に基づいて操作情報を生成する。例えば、操作情報生成部203は、表示操作部210に表示された動画像に対するステッカの配置に関する操作に基づいて操作情報を生成する。より具体的には、操作情報生成部203は、動画像上へのステッカの配置に関する操作位置、当該ステッカに関する情報、表示操作部210に対する操作の種類、および操作態様を表示操作部210から取得して、これらを操作情報として生成する。なお、ここで操作情報に含まれる操作位置は、動画像上における操作位置を意味する。詳細には、操作体が表示操作部210に対して表示操作部210上の位置(x,y)に接触したとすると、操作情報生成部203は、表示操作部210上の位置(x,y)に対応する動画像上の位置(u,v)を操作位置として取得する。操作情報生成部203は、生成した操作情報を操作情報送信部204に出力する。
操作情報送信部204は、操作情報生成部203が生成した操作情報を不図示の通信部を介してサーバ10に送信する。
表示操作部210は、表示部および操作部としての機能を有する。表示操作部210は、表示制御部202により動画像を表示する。また、表示操作部210は、操作体による操作を取得する。表示操作部210が取得した当該操作に関する情報は、操作情報生成部203に出力される。
撮像部220は、実空間を撮像し、撮像画像(動画像)を生成する。生成された動画像は、不図示の通信部を介してサーバ10に送信される。また、生成された動画像は、表示制御部202に出力されてもよい。本実施形態に係る撮像部220は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材により実現される。なお、本実施形態に係るユーザ端末20は撮像部220の機能をユーザ端末20の外部に設けてもよい。この場合、ユーザ端末20は、デジタルカメラ等の撮像装置により生成された動画像を取得し、当該動画像をサーバ10へ送信してもよい。
次に、情報処理システムの各装置における動作例について説明する。ここでは、ユーザ端末による操作処理およびサーバによる画像処理の各動作例について説明する。
図7は、本開示の一実施形態に係るユーザ端末20(30)による操作処理の動作例を示すフローチャートである。ここでは、ユーザ端末20が、ユーザ端末20に対して操作体による操作に関する操作情報を生成し、当該操作情報に基づく画像処理が行われた動画像を取得するまでの処理の流れについて説明する。
図8は、本開示の一実施形態に係るサーバ10による画像処理の動作例を示すフローチャートである。ここでは、サーバ10が、動画像の配信元であるユーザ端末20から当該動画像を取得し、操作情報に基づいて画像解析および画像処理を行い、画像処理後の動画像を配信するまでの処理の流れについて説明する。
続いて、本実施形態に係る情報処理システム1による画像処理例について説明する。本実施形態に係るサーバ10は、ユーザ端末20から取得した動画像について、各ユーザ端末から取得した操作情報に基づいて画像処理を行う。その際、サーバ10は、操作情報に含まれる操作位置に対応する領域について画像解析を行ってから画像処理を行ってもよい。これにより、動画像に含まれるオブジェクト等の情報を用いた処理を行うことができる。したがって、配信ユーザと視聴ユーザとのコミュニケーションをより多様なものとすることができる。なお、本実施形態に係るサーバ10は画像解析を行わずに画像処理を行うことも可能である。以下、画像処理例について説明する。
まず、情報処理システム1による動画像の変形処理について説明する。この変形処理は、操作情報に基づいて動画像に含まれるオブジェクトに対して変形加工するものである。
次に、情報処理システム1による動画像に含まれるオブジェクトの特徴に応じた画像処理について説明する。このオブジェクトの特徴に応じた画像処理は、操作位置に対応するオブジェクトの特徴に応じて、動画像に対する画像処理を異ならせるものである。
次に、情報処理システム1による動画像に含まれるオブジェクトによるジェスチャ処理について説明する。このジェスチャ処理は、オブジェクトの動きに応じて、動画像に対して行われた画像処理を変更または解除するものである。
次に、情報処理システム1によるステッカに対する操作に基づく処理について説明する。このステッカに対する操作に基づく処理は、動画像に重畳されたステッカに対して行われた操作体による操作に基づいて、ステッカの態様等を変化させるものである。以下では、ステッカのスライド操作に基づく処理、およびステッカに対するタップ操作に基づく処理の2つの例について説明する。
次に、情報処理システム1による動画像に含まれるステッカをまとめる処理について説明する。このステッカまとめ処理は、動画像に密集して重畳されたステッカをまとめるものである。
次に、情報処理システム1による音響情報に応じた画像処理について説明する。この音声に応じた画像処理は、動画像に付随する音響情報に応じて画像処理を実行、変更または解除するものである。図18は、本実施形態に係る情報処理システム1による音響情報に応じた画像処理の例を示す図である。図18を参照すると、ユーザ端末30の表示操作部210において、ライブ映像表示画面1010にはライブ映像M7が表示されている。このライブ映像M7には音楽を演奏する複数の人物オブジェクト、およびステッカStk70が含まれている。また、ライブ映像M7には音響情報が付随されており、音響情報には音響波形Snd1が含まれる。音響波形Snd1の振幅は、音量の大きさを示す。
以上、本実施形態に係る情報処理システム1による画像処理例について説明した。本実施形態に係る情報処理システム1は、動画像に対して画像解析結果に基づいて画像処理を行うだけではなく、操作情報等に基づいた他の処理を行ってもよい。以下、本実施形態に係る情報処理システム1による操作情報の応用例について説明する。
まず、情報処理システム1によるハイライト動画生成処理について説明する。このハイライト動画生成処理は、配信された動画像から盛り上がった部分のみを抽出して結合することによりハイライト動画を生成するものである。
次に、情報処理システム1による画像解析後の投票処理について説明する。この画像解析後の投票処理は、投票対象となるオブジェクトを画像解析により認識し、認識したオブジェクトについて操作情報を用いて投票処理を行うものである。
次に、情報処理システム1による操作位置に基づく画像解析後の投票処理について説明する。この操作位置に基づく画像解析後の投票処理は、上述した画像解析後の投票処理とは異なり、投票対象となるオブジェクトを操作情報に基づいて認識し、認識したオブジェクトについて操作情報を用いて投票処理を行うものである。
次に、情報処理システム1による動画属性推定処理について説明する。この動画属性推定処理は、動画像に対する操作情報に基づいて、当該動画像の属性(カテゴリ等)を推定するものである。
以上、本実施形態に係る情報処理システム1による操作情報の応用例について説明した。次に、図23を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図23は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置900は、例えば、上記の実施形態におけるサーバ10およびユーザ端末20(30)を実現しうる。
本実施形態に係る情報処理システム1によれば、サーバ10は、ユーザ端末30から取得したステッカの配置に関する操作位置および配置されるステッカに関する情報を含む操作情報に基づいて、配信元であるユーザ端末20から取得した動画像を画像解析する。そして、サーバ10は、解析結果および操作情報に基づいて当該動画像を画像処理する。そしてサーバ10は、画像処理された動画像をユーザ端末20およびユーザ端末30に配信する。
(1)
ライブ配信されている動画像、およびデバイスの表示部に表示されている前記動画像上へのステッカの配置に関する操作位置および配置される前記ステッカに関する情報を含む操作情報を取得する通信部と、
前記動画像上における前記操作位置に対応する領域を解析し、解析結果、および前記操作情報に基づいて前記動画像に対して前記ステッカの配置処理を行う制御部と、
を備える情報処理装置。
(2)
前記制御部は、前記操作位置に対応する領域に含まれるオブジェクトを認識し、前記オブジェクトに対して画像処理を行う、前記(1)に記載の情報処理装置。
(3)
前記制御部は、前記オブジェクトの特徴に基づいて、前記動画像上に配置される前記ステッカの態様を変化させる、前記(2)に記載の情報処理装置。
(4)
前記制御部は、前記動画像内の前記オブジェクトの動きを認識し、認識された前記オブジェクトの動きに基づいて前記動画像に対してさらなる画像処理を行う、前記(2)または(3)に記載の情報処理装置。
(5)
前記制御部は、前記さらなる画像処理として、前記動画像に適用された画像処理を無効とする、前記(4)に記載の情報処理装置。
(6)
前記制御部は、前記さらなる画像処理として、前記動画像に配置されたステッカの位置を変更する、前記(4)または(5)に記載の情報処理装置。
(7)
前記制御部は、前記操作情報の取得量に基づく処理を行う、前記(1)〜(6)のいずれか1項に記載の情報処理装置。
(8)
前記制御部は、前記操作情報の取得量の時系列分布に基づく処理を行う、前記(7)に記載の情報処理装置。
(9)
前記制御部は、前記動画像から少なくとも一のオブジェクトを認識し、前記少なくとも一のオブジェクトに対する前記操作情報の取得量に基づく処理を行う、前記(7)または(8)に記載の情報処理装置。
(10)
前記制御部は、前記操作位置の分布に基づいて少なくとも一のオブジェクトを認識する、前記(7)〜(9)のいずれか1項に記載の情報処理装置。
(11)
前記制御部は、前記取得量の時系列分布に基づいて前記動画像の抽出区間を設定する、前記(7)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記制御部は、前記動画像に対応する音響情報に基づく処理を行う、前記(1)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記制御部は、前記操作情報に基づいて前記動画像の属性を推定する、前記(1)〜(12)のいずれか1項に記載の情報処理装置。
(14)
前記制御部は、前記動画像上における少なくとも一のステッカに対する操作に関する操作情報に基づいて、前記ステッカの少なくともいずれかの態様を変化させる、前記(1)〜(13)のいずれか1項に記載の情報処理装置。
(15)
前記制御部は、前記動画像上に配置されている少なくとも一のステッカに対応する領域に含まれる他の前記ステッカの少なくともいずれかの態様を変化させる、前記(14)に記載の情報処理装置。
(16)
前記操作情報は、前記デバイスの表示部に対する操作態様に関する情報を含む、前記(1)〜(15)のいずれか1項に記載の情報処理装置。
(17)
前記操作態様は、少なくとも一の操作体によるタップ操作、ピンチ操作、スワイプ操作、スライド操作、または前記デバイスの表示部に対して加えられる圧力の大きさの少なくともいずれかを含む、前記(16)に記載の情報処理装置。
(18)
前記制御部は、前記動画像に対する加工処理を行う、前記(1)〜(17)のいずれか1項に記載の情報処理装置。
(19)
プロセッサが、
ライブ配信されている動画像を取得することと、
デバイスの表示部に表示されている前記動画像上へのステッカの配置に関する操作位置および配置される前記ステッカに関する情報を含む操作情報を取得することと、
前記動画像上における前記操作位置に対応する領域を解析することと、
前記解析結果、および前記操作情報に基づいて前記動画像に対して前記ステッカの配置処理を行うことと、
を含む情報処理方法。
(20)
コンピュータに、
受信されたライブ配信されている動画像を前記コンピュータの表示部に表示させるための表示情報を生成することと、
前記コンピュータの通信部を制御することによりサーバに送信される、前記動画像上へのステッカの配置に関する操作位置および配置される前記ステッカに関する情報を含む操作情報を生成することと、
前記通信部を制御することにより前記サーバから受信される、前記サーバが前記コンピュータを含むデバイスから取得した操作位置に対応する前記動画像上の領域を解析することにより得られる解析結果と前記操作情報とに基づいて前記サーバにより前記ステッカの配置処理が施された動画像を、前記表示部に表示させるための表示情報を生成することと、
を実行させるプログラム。
10 サーバ
20、30 ユーザ端末
101 画像取得部
102 操作情報取得部
103 画像解析部
104 画像処理部
200 制御部
201 画像取得部
202 表示制御部
203 操作情報生成部
204 操作情報送信部
210 表示操作部
220 撮像部
Claims (20)
- ライブ配信されている動画像、およびデバイスの表示部に表示されている前記動画像上へのステッカの配置に関する操作位置および配置される前記ステッカに関する情報を含む操作情報を取得する通信部と、
前記動画像上における前記操作位置に対応する領域を解析し、解析結果、および前記操作情報に基づいて前記動画像に対して前記ステッカの配置処理を行う制御部と、
を備える情報処理装置。 - 前記制御部は、前記操作位置に対応する領域に含まれるオブジェクトを認識し、前記オブジェクトに対して画像処理を行う、請求項1に記載の情報処理装置。
- 前記制御部は、前記オブジェクトの特徴に基づいて、前記動画像上に配置される前記ステッカの態様を変化させる、請求項2に記載の情報処理装置。
- 前記制御部は、前記動画像内の前記オブジェクトの動きを認識し、認識された前記オブジェクトの動きに基づいて前記動画像に対してさらなる画像処理を行う、請求項2に記載の情報処理装置。
- 前記制御部は、前記さらなる画像処理として、前記動画像に適用された画像処理を無効とする、請求項4に記載の情報処理装置。
- 前記制御部は、前記さらなる画像処理として、前記動画像に配置されたステッカの位置を変更する、請求項4に記載の情報処理装置。
- 前記制御部は、前記操作情報の取得量に基づく処理を行う、請求項1に記載の情報処理装置。
- 前記制御部は、前記操作情報の取得量の時系列分布に基づく処理を行う、請求項7に記載の情報処理装置。
- 前記制御部は、前記動画像から少なくとも一のオブジェクトを認識し、前記少なくとも一のオブジェクトに対する前記操作情報の取得量に基づく処理を行う、請求項7に記載の情報処理装置。
- 前記制御部は、前記操作位置の分布に基づいて少なくとも一のオブジェクトを認識する、請求項7に記載の情報処理装置。
- 前記制御部は、前記取得量の時系列分布に基づいて前記動画像の抽出区間を設定する、請求項7に記載の情報処理装置。
- 前記制御部は、前記動画像に対応する音響情報に基づく処理を行う、請求項1に記載の情報処理装置。
- 前記制御部は、前記操作情報に基づいて前記動画像の属性を推定する、請求項1に記載の情報処理装置。
- 前記制御部は、前記動画像上における少なくとも一のステッカに対する操作に関する操作情報に基づいて、前記ステッカの少なくともいずれかの態様を変化させる、請求項1に記載の情報処理装置。
- 前記制御部は、前記動画像上に配置されている少なくとも一のステッカに対応する領域に含まれる他の前記ステッカの少なくともいずれかの態様を変化させる、請求項14に記載の情報処理装置。
- 前記操作情報は、前記デバイスの表示部に対する操作態様に関する情報を含む、請求項1に記載の情報処理装置。
- 前記操作態様は、少なくとも一の操作体によるタップ操作、ピンチ操作、スワイプ操作、スライド操作、または前記デバイスの表示部に対して加えられる圧力の大きさの少なくともいずれかを含む、請求項16に記載の情報処理装置。
- 前記制御部は、前記動画像に対する加工処理を行う、請求項1に記載の情報処理装置。
- プロセッサが、
ライブ配信されている動画像を取得することと、
デバイスの表示部に表示されている前記動画像上へのステッカの配置に関する操作位置および配置される前記ステッカに関する情報を含む操作情報を取得することと、
前記動画像上における前記操作位置に対応する領域を解析することと、
前記解析結果、および前記操作情報に基づいて前記動画像に対して前記ステッカの配置処理を行うことと、
を含む情報処理方法。 - コンピュータに、
受信されたライブ配信されている動画像を前記コンピュータの表示部に表示させるための表示情報を生成することと、
前記コンピュータの通信部を制御することによりサーバに送信される、前記動画像上へのステッカの配置に関する操作位置および配置される前記ステッカに関する情報を含む操作情報を生成することと、
前記通信部を制御することにより前記サーバから受信される、前記サーバが前記コンピュータを含むデバイスから取得した操作位置に対応する前記動画像上の領域を解析することにより得られる解析結果と前記操作情報とに基づいて前記サーバにより前記ステッカの配置処理が施された動画像を、前記表示部に表示させるための表示情報を生成することと、
を実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015216617 | 2015-11-04 | ||
JP2015216617 | 2015-11-04 | ||
PCT/JP2016/073014 WO2017077751A1 (ja) | 2015-11-04 | 2016-08-04 | 情報処理装置、情報処理方法およびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020169358A Division JP7095722B2 (ja) | 2015-11-04 | 2020-10-06 | 情報処理装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017077751A1 true JPWO2017077751A1 (ja) | 2018-08-30 |
JP6777089B2 JP6777089B2 (ja) | 2020-10-28 |
Family
ID=58661814
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017548656A Active JP6777089B2 (ja) | 2015-11-04 | 2016-08-04 | 情報処理装置、情報処理方法およびプログラム |
JP2020169358A Active JP7095722B2 (ja) | 2015-11-04 | 2020-10-06 | 情報処理装置およびプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020169358A Active JP7095722B2 (ja) | 2015-11-04 | 2020-10-06 | 情報処理装置およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11237717B2 (ja) |
JP (2) | JP6777089B2 (ja) |
WO (1) | WO2017077751A1 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160019360A1 (en) | 2013-12-04 | 2016-01-21 | Apple Inc. | Wellness aggregator |
CN107921317B (zh) | 2015-08-20 | 2021-07-06 | 苹果公司 | 基于运动的表盘和复杂功能块 |
AU2017100667A4 (en) | 2016-06-11 | 2017-07-06 | Apple Inc. | Activity and workout updates |
US10009536B2 (en) | 2016-06-12 | 2018-06-26 | Apple Inc. | Applying a simulated optical effect based on data received from multiple camera sensors |
US10291678B2 (en) | 2016-10-01 | 2019-05-14 | Facebook, Inc. | Architecture for augmenting video data obtained by a client device with one or more effects during rendering |
US10203855B2 (en) * | 2016-12-09 | 2019-02-12 | Snap Inc. | Customized user-controlled media overlays |
KR101944112B1 (ko) * | 2016-12-22 | 2019-04-17 | 주식회사 시어스랩 | 사용자 저작 스티커를 생성하는 방법 및 장치, 사용자 저작 스티커 공유 시스템 |
JP6198983B1 (ja) * | 2017-04-26 | 2017-09-20 | 株式会社 ディー・エヌ・エー | 動画を配信するためのシステム、方法、及びプログラム |
JP6748041B2 (ja) * | 2017-08-22 | 2020-08-26 | 株式会社 ディー・エヌ・エー | 動画を配信するためのシステム、方法、及びプログラム |
CN110062269A (zh) | 2018-01-18 | 2019-07-26 | 腾讯科技(深圳)有限公司 | 附加对象显示方法、装置及计算机设备 |
JP7285291B2 (ja) | 2018-05-07 | 2023-06-01 | アップル インコーポレイテッド | クリエイティブカメラ |
JPWO2020071545A1 (ja) * | 2018-10-04 | 2021-06-03 | パロニム株式会社 | 情報処理装置 |
DK201970532A1 (en) | 2019-05-06 | 2021-05-03 | Apple Inc | Activity trends and workouts |
US11277485B2 (en) | 2019-06-01 | 2022-03-15 | Apple Inc. | Multi-modal activity tracking user interface |
JP7001645B2 (ja) * | 2019-07-26 | 2022-01-19 | 株式会社リンクコーポレイトコミュニケーションズ | 情報処理装置、端末装置、情報処理方法、およびプログラム |
JP7261727B2 (ja) * | 2019-11-20 | 2023-04-20 | グリー株式会社 | 動画配信システム、動画配信方法及びサーバ |
US10972682B1 (en) * | 2019-12-12 | 2021-04-06 | Facebook, Inc. | System and method for adding virtual audio stickers to videos |
DK202070616A1 (en) | 2020-02-14 | 2022-01-14 | Apple Inc | User interfaces for workout content |
CN113434223A (zh) | 2020-03-23 | 2021-09-24 | 北京字节跳动网络技术有限公司 | 特效处理方法及装置 |
KR20210135683A (ko) | 2020-05-06 | 2021-11-16 | 라인플러스 주식회사 | 인터넷 전화 기반 통화 중 리액션을 표시하는 방법, 시스템, 및 컴퓨터 프로그램 |
DK202070625A1 (en) | 2020-05-11 | 2022-01-04 | Apple Inc | User interfaces related to time |
JP7012792B2 (ja) * | 2020-08-06 | 2022-01-28 | 株式会社 ディー・エヌ・エー | 動画を配信するためのシステム、方法、及びプログラム |
US11938376B2 (en) | 2021-05-15 | 2024-03-26 | Apple Inc. | User interfaces for group workouts |
US11977729B2 (en) | 2022-06-05 | 2024-05-07 | Apple Inc. | Physical activity information user interfaces |
US11896871B2 (en) | 2022-06-05 | 2024-02-13 | Apple Inc. | User interfaces for physical activity information |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015073175A (ja) * | 2013-10-02 | 2015-04-16 | 日本写真印刷株式会社 | 動画スタンプシステム、動画スタンプシステムの端末装置、動画スタンプシステムのスタンプサーバ、及び動画スタンプシステムのプログラム |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010030667A1 (en) * | 2000-04-10 | 2001-10-18 | Kelts Brett R. | Interactive display interface for information objects |
US20020018067A1 (en) * | 2000-08-08 | 2002-02-14 | Carcia Peter P. | System for reproducing images in an altered form in accordance with sound characteristics |
JP2001142980A (ja) * | 2000-10-04 | 2001-05-25 | Kazuhiro Ide | ステッカーサービスシステム及びその方法 |
JP2002297798A (ja) | 2001-03-30 | 2002-10-11 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
US7697714B2 (en) * | 2005-09-19 | 2010-04-13 | Silverbrook Research Pty Ltd | Associating an object with a sticker and a surface |
US8564544B2 (en) * | 2006-09-06 | 2013-10-22 | Apple Inc. | Touch screen device, method, and graphical user interface for customizing display of content category icons |
US20090132924A1 (en) * | 2007-11-15 | 2009-05-21 | Yojak Harshad Vasa | System and method to create highlight portions of media content |
US20110022992A1 (en) * | 2008-03-31 | 2011-01-27 | Koninklijke Philips Electronics N.V. | Method for modifying a representation based upon a user instruction |
CA2698052C (en) * | 2009-03-30 | 2021-02-02 | Stickeryou, Inc. | Internet-based method and system for making user-customized stickers |
US8806331B2 (en) * | 2009-07-20 | 2014-08-12 | Interactive Memories, Inc. | System and methods for creating and editing photo-based projects on a digital network |
TWI439960B (zh) * | 2010-04-07 | 2014-06-01 | Apple Inc | 虛擬使用者編輯環境 |
US8989786B2 (en) * | 2011-04-21 | 2015-03-24 | Walking Thumbs, Llc | System and method for graphical expression during text messaging communications |
JP2013101528A (ja) * | 2011-11-09 | 2013-05-23 | Sony Corp | 情報処理装置、表示制御方法、およびプログラム |
US8941707B2 (en) * | 2011-12-01 | 2015-01-27 | Tangome, Inc. | Video messaging |
JP5568610B2 (ja) | 2012-08-28 | 2014-08-06 | 株式会社プレミアムエージェンシー | 拡張現実システム、映像合成装置、映像合成方法及びプログラム |
US9007465B1 (en) * | 2012-08-31 | 2015-04-14 | Vce Company, Llc | Obtaining customer support for electronic system using first and second cameras |
US20140096026A1 (en) * | 2012-09-28 | 2014-04-03 | Interactive Memories, Inc. | Methods for Establishing Simulated Force Dynamics Between Two or More Digital Assets Displayed in an Electronic Interface |
US9898187B2 (en) * | 2013-06-09 | 2018-02-20 | Apple Inc. | Managing real-time handwriting recognition |
US9639969B1 (en) * | 2013-07-25 | 2017-05-02 | Overlay Studio, Inc. | Collaborative design |
US10271010B2 (en) * | 2013-10-31 | 2019-04-23 | Shindig, Inc. | Systems and methods for controlling the display of content |
US20150127753A1 (en) * | 2013-11-04 | 2015-05-07 | Meemo, Llc | Word Recognition and Ideograph or In-App Advertising System |
JP6459972B2 (ja) | 2013-11-13 | 2019-01-30 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
JP6122768B2 (ja) | 2013-11-19 | 2017-04-26 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、表示方法およびコンピュータプログラム |
US20150172246A1 (en) * | 2013-12-13 | 2015-06-18 | Piragash Velummylum | Stickers for electronic messaging cards |
KR102114617B1 (ko) * | 2014-01-08 | 2020-05-25 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
US20150332534A1 (en) * | 2014-05-15 | 2015-11-19 | Narvii Inc. | Systems and methods implementing user interface objects |
US9792716B2 (en) * | 2014-06-13 | 2017-10-17 | Arcsoft Inc. | Enhancing video chatting |
EP3216220A4 (en) * | 2014-11-07 | 2018-07-11 | H4 Engineering, Inc. | Editing systems |
US20160334972A1 (en) * | 2015-05-13 | 2016-11-17 | Yahoo!, Inc. | Content overlay for social network posts |
US20180314409A1 (en) * | 2015-10-08 | 2018-11-01 | Magnificus Software Inc. | Method and system for creating and using emojis and other graphic content in instant messaging systems |
US10218938B2 (en) * | 2016-04-14 | 2019-02-26 | Popio Ip Holdings, Llc | Methods and systems for multi-pane video communications with photo-based signature verification |
-
2016
- 2016-08-04 JP JP2017548656A patent/JP6777089B2/ja active Active
- 2016-08-04 US US15/768,950 patent/US11237717B2/en active Active
- 2016-08-04 WO PCT/JP2016/073014 patent/WO2017077751A1/ja active Application Filing
-
2020
- 2020-10-06 JP JP2020169358A patent/JP7095722B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015073175A (ja) * | 2013-10-02 | 2015-04-16 | 日本写真印刷株式会社 | 動画スタンプシステム、動画スタンプシステムの端末装置、動画スタンプシステムのスタンプサーバ、及び動画スタンプシステムのプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11237717B2 (en) | 2022-02-01 |
US20180300037A1 (en) | 2018-10-18 |
WO2017077751A1 (ja) | 2017-05-11 |
JP2021007042A (ja) | 2021-01-21 |
JP7095722B2 (ja) | 2022-07-05 |
JP6777089B2 (ja) | 2020-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7095722B2 (ja) | 情報処理装置およびプログラム | |
US11003253B2 (en) | Gesture control of gaming applications | |
US20170061696A1 (en) | Virtual reality display apparatus and display method thereof | |
US11380021B2 (en) | Image processing apparatus, content processing system, and image processing method | |
JP6760271B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
KR20170026164A (ko) | 가상 현실 디스플레이 장치 및 그 장치의 표시 방법 | |
JP6229314B2 (ja) | 情報処理装置、表示制御方法及びプログラム | |
CN106527929B (zh) | 一种图片信息隐藏方法及装置 | |
US20200218356A1 (en) | Systems and methods for providing dynamic haptic playback for an augmented or virtual reality environments | |
CN111045511B (zh) | 基于手势的操控方法及终端设备 | |
KR20120123330A (ko) | 프리젠테이션을 위한 카메라 탐색 | |
DE102018103572A1 (de) | Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium | |
KR20160016955A (ko) | 의도를 통한 증강 현실에서의 가상 객체의 조작 | |
US20130265448A1 (en) | Analyzing Human Gestural Commands | |
CN108462729B (zh) | 实现终端设备交互的方法和装置、终端设备及服务器 | |
US10257436B1 (en) | Method for using deep learning for facilitating real-time view switching and video editing on computing devices | |
JP7059934B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JPWO2019187862A1 (ja) | 情報処理装置、情報処理方法、および記録媒体 | |
CA2838878A1 (en) | Method and apparatus for controlling contents in electronic device | |
CN111818382B (zh) | 一种录屏方法、装置及电子设备 | |
US11328187B2 (en) | Information processing apparatus and information processing method | |
US20190339771A1 (en) | Method, System and Apparatus For Brainwave and View Based Recommendations and Story Telling | |
US12020389B2 (en) | Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements | |
JP7418498B2 (ja) | プログラム、情報処理装置、および方法 | |
US20220398816A1 (en) | Systems And Methods For Providing Real-Time Composite Video From Multiple Source Devices Featuring Augmented Reality Elements |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190709 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190709 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200921 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6777089 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |