CN107206281A - 程序及信息处理设备 - Google Patents
程序及信息处理设备 Download PDFInfo
- Publication number
- CN107206281A CN107206281A CN201580061533.3A CN201580061533A CN107206281A CN 107206281 A CN107206281 A CN 107206281A CN 201580061533 A CN201580061533 A CN 201580061533A CN 107206281 A CN107206281 A CN 107206281A
- Authority
- CN
- China
- Prior art keywords
- user
- game
- image
- function
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims description 73
- 238000004519 manufacturing process Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 description 51
- 230000008569 process Effects 0.000 description 43
- 238000003860 storage Methods 0.000 description 31
- 230000006870 function Effects 0.000 description 30
- 238000004891 communication Methods 0.000 description 23
- 230000010365 information processing Effects 0.000 description 21
- 230000001815 facial effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000005520 cutting process Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 238000003825 pressing Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 230000000717 retained effect Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000001459 mortal effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 210000003811 finger Anatomy 0.000 description 3
- 210000005224 forefinger Anatomy 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000994 depressogenic effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000032696 parturition Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000216 zygoma Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
- A63F13/332—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
- A63F13/335—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/45—Controlling the progress of the video game
- A63F13/49—Saving the game status; Pausing or ending the game
- A63F13/497—Partially or entirely replaying previous game actions
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
- A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/812—Ball games, e.g. soccer or baseball
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/843—Special adaptations for executing a specific game genre or game mode involving concurrently two or more players on the same game device, e.g. requiring the use of a plurality of controllers or of a specific view of game data for each player
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Processing Or Creating Images (AREA)
- Television Signal Processing For Recording (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
Abstract
重放数据获取单元(122)获取用于再现游戏的娱乐环境的重放数据。重放图像产生单元126根据获取的重放数据产生游戏场景的重放图像。用户确定单元128确定将包括在组合图像中的用户。用户图像获取单元132获取用户图像,其中拍摄确定的用户。组合处理单元134产生获取的用户图像和重放图像的组合图像。
Description
技术领域
本发明涉及用于编辑游戏场景的技术。
背景技术
游戏程序具有存储指示用户的娱乐状态(play status)的重放数据并且将游戏期间生成的事件的游戏场景再现为重放图像的“重放功能”。通过专利文献1提出的技术提出用于通过组合重放图像与指示玩游戏的用户的捕获图像生成再现图像的技术。
[引用列表]
[专利文献]
[PTL 1]
美国专利申请公开2012/14658号
发明内容
[技术问题]
如PTL 1中所公开的,当将生成的事件的游戏场景与在事件生成时通过将玩游戏的玩家的外貌成像而获得的图像相组合时,再现图像的观看者不仅能够重放游戏,还能够感受氛围,在该氛围中玩游戏的用户正在享受并热衷于游戏。本发明的发明人已经改进了在PTL 1中公开的技术,并实现了用于生成产生更高的真实感觉的再现图像。
本发明的目的是提供用于组合用户的捕获图像与游戏图像(如游戏场景的重放图像或娱乐图像)的技术。
[问题的解决方案]
为了解决上述问题,根据本发明的一种模式,提供了一种程序,使得计算机实现用于生成游戏图像的功能、用于根据游戏场景中的娱乐状态确定将包括在组合图像中的用户的功能、用于通过将确定的用户成像获取用户图像的功能以及用于通过组合获取的用户图像与游戏图像生成组合图像的功能。
根据本发明的另一模式,提供了一种信息处理设备,包括图像生成部分、用户确定部分、用户图像获取部分以及组合处理部分。图像生成部分生成游戏图像。用户确定部分根据游戏场景中的娱乐状态确定将包括在组合图像中的用户。用户图像获取部分获取通过将确定的用户成像获得的用户图像。组合处理部分通过组合获取的用户图像与游戏图像生成组合图像。
应当注意的是,上述组成要素的任意组合以及通过在方法、设备、***、记录介质、计算机程序等之间变换本发明的表述获得的各模式也与本发明的各模式一样有效。
[发明的有益效果]
通过本发明提供的信息处理技术可以有效地组合游戏图像与用户的捕获图像。
附图说明
图1是图示根据本发明的实施例的信息处理***的图。
图2是图示输入设备的外部配置的图。
图3是图示信息处理设备的功能块的图。
图4是图示用于处理游戏的重放图像的配置的图。
图5是图示显示的游戏画面的示例的图。
图6是图示通过照相机拍摄的空间的示例的图。
图7是图示关于进球事件的事件信息的示例的图。
图8是图示基于类型信息的裁剪形状的图。
图9是图示通过面部识别部分的面部识别的结果的图。
图10是图示基于面部识别的结果设置的裁剪区域的图。
图11是图示组合图像的示例的图。
图12是图示组合图像的示例的图。
图13是图示关于进球事件的优先级信息的图。
图14是图示信息处理***的修改的图。
具体实施方式
图1图示根据本发明的实施例的信息处理***1。信息处理***1实现这样的环境,其中作为发布者的用户在娱乐期间执行游戏图像的直播发布的环境,并且不同的观看用户观看游戏图像。信息处理***1包括发布用户使用的信息处理设备10、网络服务器5、共享服务器11以及各种类型的终端设备9a和9b。信息处理设备10、网络服务器5、共享服务器11以及终端设备9a和9b经由网络3(如互联网、局域网(LAN)、电话网等)连接到彼此。接入点(在下文中称为“AP”)8具有无线接入点和路由器的功能。信息处理设备10经由无线电或有线连接到AP 8以可通讯的连接到网络3上的网络服务器5和共享服务器11。
信息处理设备10通过无线电或有线连接到用户操作的输入设备6。输入设备6将关于用户的操作的信息输出到信息处理设备10。当从输入设备6收到操作信息时,信息处理设备10在***软件或游戏软件的处理中反映操作信息,并从输出设备4输出处理的结果。在信息处理***1中,信息处理设备10可以是执行游戏程序的游戏设备,以及输入设备6可以是提供用户操作信息到信息处理设备10的设备,如游戏控制器等。信息处理设备10在娱乐期间执行游戏图像数据到终端设备9a和9b的流发布。因此,实施例中的信息处理***1起到游戏图像发布***的作用。
网络服务器5给信息处理设备10的用户提供游戏网络服务。网络服务器5管理识别用户的网络账户。用户使用网络账户登录到网络服务器5提供的网络服务。当用户从信息处理设备10登录到网络服务时,用户能够在网络服务器5中注册游戏的保存数据以及在游戏娱乐期间获得的虚拟奖励(奖杯)。
在本示例中,三个用户A、B和C正在信息处理设备10上一起玩游戏。用户A操作输入设备6a。用户B操作输入设备6b。用户C操作输入设备6c。输出设备4在娱乐期间显示游戏图像。通过共享服务器11发布游戏图像到观看用户的终端设备9a和9b。图1图示一种状态,其中终端设备9a是个人计算机,并经由AP连接到网络3,以及终端设备9b是移动装置,如智能手机等,并经由基站连接到网络3。然而,观看用户可以通过与信息处理设备10等同的终端设备接收发布的游戏图像。顺带提及,在另一示例中,信息处理设备10和终端设备可以通过对等网络(P2P)连接到彼此以在互相之间传输并接收数据。除非特别的区分彼此,下文中观看用户的终端将全部称为“终端设备9”。
辅助存储设备2是大容量存储设备,如硬盘驱动器(HDD)或闪存。辅助存储设备2可以是通过通用串行总线(USB)等连接到信息处理设备10的外部存储设备,或可以是内部存储设备。输出设备4可以是包括用于输出图像的显示器和用于输出声音的扬声器的电视机,或可以是计算机显示器。输出设备4可以通过电缆连接到信息处理设备10,或可以通过无线电连接到信息处理设备10。
输入设备6包括多个输入单元,如多个推式操作按钮、能够输入模拟量的模拟摇杆、旋转按钮等。作为成像设备的照相机7布置在输出设备4的附近以成像输出设备4周围的空间。图1图示其中照相机7附接于输出设备4的顶部的示例。然而,照相机7可以布置在输出设备4的侧面。在任何一种情况下,照相机7布置在这样的位置使得能够成像在输出设备4前方玩游戏的用户A、B和C。照相机7可以是立体照相机。
在实施例中,游戏程序具有存储指示用户的娱乐状态的重放数据并且将游戏中生成的事件的游戏场景再现为重放图像的“重放功能”。例如,足球游戏中的进球场景是典型事件。在比赛结束之后,游戏程序生成并显示多个重放图像,其通过变化虚拟照相机的视点和视线再现进球场景的三维虚拟空间。在这种情况下,游戏程序组合重放图像与照相机7捕获的图像,以显示玩游戏的用户,并且信息处理设备10通过共享服务器11发布再现图像到终端设备9,所述再现图像代表组合的结果
如上所述,在娱乐结束之后,实施例不仅发布编辑过的精彩场景的游戏图像(重放图像),还发布玩出精彩场景的用户的捕获图像。然而,即使在娱乐期间,通过拍摄用户获得的捕获图像和玩游戏的用户使用的游戏图像可以都实时发布到观看用户的终端设备9。应当注意的是,在精彩场景中的娱乐期间发布的捕获图像可以与编辑过的精彩场景中包括的捕获图像不同。例如,即使用户B的捕获图像在特定的精彩场景中的娱乐过程中发布,在再现图像中可以包括用户A的捕获图像。
现在将描述输入设备6的按钮配置。
上表面部分的配置
图2(a)图示输入设备的上表面的外部配置。当以左手握住左握持部分78b以及以右手握住右握持部分78a时,用户操作输入设备6。输入设备6的外壳的上表面提供有方向键71、模拟摇杆77a和77b以及四种类型的操作按钮76作为输入单元。触摸板79提供在外壳的上表面上方向键71和操作按钮76之间的平坦区域中。触摸板79还起到凹陷式按钮的作用,当通过用户按压时,凹陷式按钮向下下沉,并在用户的手放开时回到原始位置。
在两个模拟摇杆77a和77b之间提供有功能按钮80。使用功能按钮80以打开输入设备6的电源并同时激活连接输入设备6与信息处理设备10至彼此的通信功能。当输入设备6连接到信息处理设备10后,功能按钮80也用以在信息处理设备10上显示主屏幕。
在触摸板79和方向键71之间提供有分享按钮81。使用分享按钮81以输入来自用户的指令到操作***(OS)或信息处理设备10中的***软件。在触摸板79和操作按钮76之间提供选项按钮82。使用选项按钮82以输入来自用户的指令到信息处理设备10中执行的应用(游戏)。分享按钮81和选项按钮82的每一个都可以作为推式按钮形成。
后侧的侧表面部分的配置
图2(b)图示输入设备的后侧的侧表面的外部配置。在输入设备6的外壳的后侧侧表面的上侧,触摸板79从外壳的上表面延伸出来。在外壳的后侧的侧表面的下侧,提供水平地长的发光部分85。发光部分85具有红色(R)发光二极管(LED)、绿色(G)LED和蓝色(B)LED。发光部分85根据从信息处理设备10传输的发光颜色信息进行照明。当三个输入设备6a、6b和6c如图1中所示使用时,信息处理设备10可以设置不同的颜色,或蓝、红和绿,作为输入设备6a、6b和6c的发光部分85各自的发光颜色,使得用户A、B和C能够区分各自的输入设备6。每个用户能够从而通过发光部分85的发光颜色识别用户正在使用的输入设备6。因此减少用户弄错输入设备6的可能性。
在外框的后侧的侧表面上,上侧按钮83a、下侧按钮84a、上侧按钮83b以及下侧按钮84b在轴向方向上对称的布置在左位置和右位置。上侧按钮83a和下侧按钮84a通过用户的右手的食指和中指分别操作。上侧按钮83b和下侧按钮84b通过用户的左手的食指和中指分别操作。如图中所示,发光部分85布置在右侧的上侧按钮83a和下侧按钮84a的线以及左侧的上侧按钮83b和下侧按钮84b的线之间。因此,发光部分85不会***作各自按钮的食指或中指遮挡。照相机7能够因此理想地对照明的发光部分85成像。上侧按钮83可以配置为推式按钮。下侧按钮84可以配置为可旋转地支持的触发式按钮。
图3图示信息处理设备10的功能块。信息处理设备10包括主电源按钮20、开机LED21、待机LED 22、***控制器24、时钟26、设备控制器30、媒体驱动器32、USB模块34、闪存36、无线通信模块38、有线通信模块40、子***50以及主***60。
主***60包括主中央处理单元(CPU)、作为主存储设备的存储器、存储器控制器、图形处理单元(GPU)等。GPU主要用于游戏程序的运算处理。主CPU具有启动OS并在OS提供的环境下执行安装在辅助存储设备2中的应用的功能。子***50包括子CPU、作为主存储设备的存储器、存储器控制器等。子***50不包括GPU。
主CPU具有执行安装在辅助存储设备2中或只读存储器(ROM)介质44上的游戏程序的功能,而子CPU不具有这样的功能。然而,子CPU具有访问辅助存储设备2的功能以及传输并接收来自或到网络服务器5的数据的功能。子CPU配置以仅仅具有这样受限的处理功能,并因此可以以比主CPU更低的功耗进行操作。子CPU的这些功能在主CPU在待机状态中时执行。因为子***50在主***60待机的时段期间进行操作,所以根据实施例的信息处理设备10总是保持登录到通过网络服务器5提供的网络服务。
主电源按钮20是输入部分,对其执行来自用户的操作输入。主电源按钮20布置在信息处理设备10的外壳的前表面上。操作主电源按钮20以打开或关闭信息处理设备10的主***60的电源。当打开主电源按钮20时点亮开机LED 21。当关闭主电源按钮20时点亮待机LED 22。***控制器24检测用户对主电源按钮20的按压。
时钟26是实时时钟。时钟26生成目前的日期和时间信息,并提供目前的日期和时间信息到***控制器24、子***50以及主***60。
设备控制器30配置为大规模集成电路(LSI),其在设备(如南桥芯片)之间传送信息。如图中所示,设备控制器30连接到设备,如***控制器24、媒体驱动器32、USB模块34、闪存36、无线通信模块38、有线通信模块40、子***50以及主***60。设备控制器30容纳各个设备的电学特性之间的差异以及数据传送速率之间的差异,并控制数据传送定时。
介质驱动器32是驱动设备,其加载有并驱动记录有应用软件(如游戏)及授权信息的ROM介质44,并从ROM介质44读取程序、数据等。ROM介质44是只读的记录介质,如光盘、磁光盘或蓝光光盘。
USB模块34是通过USB电缆连接到外部设备的模块。USB模块34可以通过USB电缆连接到辅助存储设备2以及照相机7。闪存36是形成内部存储器的辅助存储设备。例如,无线通信模块38执行与输入设备6的无线通信,其符合通信协议如蓝牙(注册商标)协议或电气与电子工程师802.11(IEEE802.11)协议。顺带提及,无线通信模块38可以支持符合国际移动通信2000(IMT-2000)的第三代(3rd Generation)数字移动电话***,并可以进一步支持另一代的数字移动电话***。有线通信模块40执行与外部设备的有线通信。例如,有线通信模块40通过AP 8连接到网络3。
图4图示处理游戏的重放图像的信息处理设备10的配置。信息处理设备10包括处理部分100、通信部分102以及接收部分104。处理部分100包括程序执行部分110、捕获图像获取部分140、图像生成部分150、显示处理部分160以及共享处理部分162。参照图4,用于执行各种处理操作的指示为功能块的元素能够通过如电路块、存储器或另一LSI的硬件实现,或通过如加载进存储器中的程序的软件实现。因此,本领域技术人员可以理解,可以只通过硬件、只通过软件或通过软件和硬件的组合多样地实现各功能块。实现各功能块的方法没有严格限制。
程序执行部分110执行游戏程序并实现游戏进行部分112、重放数据生成部分114以及重放处理部分120的功能。重放处理部分120包括重放数据获取部分122、场景确定部分124、重放图像生成部分126、用户确定部分128、用户图像请求部分130、用户图像获取部分132以及组合处理部分134。如这里描述的运用的功能通过执行游戏程序并通过例如游戏程序或图形处理单元(GPU)配置实现。
图像生成部分150包括请求接收部分152、捕获图像读取部分154、面部识别部分156、对象识别部分157以及用户图像生成部分158。面部识别部分156通过安装在信息处理设备10中的面部识别引擎实现。
通信部分102从输入设备6接收操作信息并通过共享服务器11发布通过处理部分100生成的游戏图像到另一终端设备9。处理部分100具有生成指示用户实时娱乐状态的娱乐图像以及再现过去娱乐状态的重放图像的功能。终端设备9的用户能够访问连接到网络3的共享服务器11,并观看从信息处理设备10发布的游戏图像。假定通信部分102具有图3中图示的无线通信模块38和有线通信模块40的功能。通信部分102可以直接发布内容到另一终端设备9。
接收部分104布置在通信部分102和处理部分100之间以在通信部分102和处理部分100之间传输数据或信息。当通过通信部分102从输入设备6接收到操作信息时,接收部分104提供操作信息到处理部分100。进一步的,接收部分104从程序执行部分110接收游戏图像并将游戏图像转发到通信部分102。
注册用户信息保留部分170在辅助存储设备2的存储区域中形成,以保留关于在信息处理设备10中注册的用户的各种信息。更具体地,注册用户信息保留部分170保留与用户账户相关联的注册用户信息的各种项目。保留的注册用户信息包括登录密码、用于登录到网络服务器5的登录身份(ID)、网络账户、用户的在线ID(网络上的用户名)以及用于表示用户的用户图标。进一步的,注册用户信息保留部分170保留与用户账户相关联的面部识别数据作为注册用户信息。面部识别数据用于面部识别处理。
面部识别数据,即注册用户的面部图像特征量数据,可以由面部图像数据本身构成。面部识别数据在通过面部识别部分156的面部识别处理期间作为比较目标处理,并基于通过面部识别部分156采用的面部识别算法生成。例如,面部识别数据可以通过提取面部各部分的尺寸和相对位置,以及眼睛、鼻子、颧骨以及下巴的形状作为特征获得。进一步地,面部识别数据可以通过提取与关于面部图像的标准数据的差异作为差异数据获得。将提取的面部识别数据的类型通过应用的面部识别算法确定。在实施例中,面部识别部分156应用众所周知的面部识别算法。
在用户已经登录的情况下,根据实施例的信息处理设备10接受输入设备6上执行的操作。因此,在图1的示例中,用户A、B和C已经登录到信息处理设备10。登录用户存储部分174在辅助存储设备2的存储区域中形成以存储关于已经登录到信息处理设备10的用户的用户信息。如先前提到的,当前使用的输入设备6的发光部分85发出其颜色通过信息处理设备10预设的光。登录用户存储部分174彼此相关联的存储登录用户、关于输入设备6的身份信息以及从输入设备6发射的光的颜色。在实施例中,当输入设备6a、6b和6c的发光部分85各自发出蓝光、红光和绿光时,登录用户存储部分174彼此相关联的存储用户A的用户账户、关于输入设备6a的身份信息以及从输入设备6a发射的蓝光;彼此相关联的存储用户B的用户账户、关于输入设备6b身份信息以及从输入设备6b发射的红光;彼此相关联的存储用户C的用户账户、输入设备6c的身份信息以及从输入设备6c发射的绿光。
游戏进行部分112执行游戏程序以使游戏进行。基于从用户A、B和C分别输入到输入设备6a、6b和6c的操作信息,游戏进行部分112执行运算处理以在三维虚拟环境中移动游戏对象。游戏进行部分112可以是游戏程序本身,并通过例如GPU生成游戏图像数据。在这个意义上,游戏进行部分112起到在娱乐期间生成游戏图像的游戏图像生成部分的功能。显示处理部分160从输出设备4输出游戏图像。共享处理部分162将游戏图像数据编码并将编码后的游戏图像数据作为发布图像发布。
图5图示输出设备4上显示的游戏屏幕的示例。该示例指示用户A至C正在一起通过操作足球运动员享受足球游戏。每个用户选择一名足球运动员。可以执行设置使得在游戏期间选择的运动员不能改变,或能够在游戏期间通过按压输入设备6上的预定按钮改变。共享处理部分162发布与通过用户A至C观看的游戏屏幕相同的屏幕到终端设备9。当发布包括在游戏图像中的重放画面以再现至少一种过去的娱乐状态时,信息处理设备10发布通过将用户成像获得的用户图像,并一起发布重放图像。
游戏进行部分112根据输入到输入设备6a至6c的操作信息允许游戏进行。在这种情况下,重放数据生成部分114生成再现游戏的娱乐状态的重放数据。重放数据至少包括将通过游戏程序接收的来自输入设备6a至6c的操作信息。在游戏期间,游戏程序在操作输入设备6的定时处理操作信息。然而,也需要关于操作信息输入的定时的定时信息以再现过去的娱乐状态。因此,重放数据生成部分114在通过游戏进行部分112执行游戏程序的同时生成重放数据。生成的重放数据通过关联通过用户A至C从输入设备6a至6c输入的操作信息与关于操作信息接收的定时的定时数据而获得。
例如,作为指示从参考定时(如游戏程序执行的启动)经过的时间的时间信息,或作为游戏图像的帧数生成定时数据。也就是说,重放数据是通过关联操作定时与来自输入设备6的操作信息获得的,其通过游戏进行部分112用于游戏进行。因为游戏程序在生成重放数据时包括在重放数据中的伪操作定时接收操作信息,所以能够再现先前娱乐的游戏场景。在实施例中,重放数据生成部分114生成关于用户的游戏娱乐的开始和结束之间的时段的重放数据,并在重放数据保留部分116中存储生成的重放数据。操作信息此外与指定输入操作信息的输入设备6的信息相关联。更具体地,操作信息与关于从其输入操作信息的输入设备6的身份信息相关联。
进一步的,重放数据生成部分114生成事件数据并存储生成的事件数据在重放数据保留部分116中。生成的事件数据包括通过游戏进行部分112在游戏程序执行期间生成的事件的描述以及定时数据。重放数据生成部分114可以在游戏娱乐期间在事件生成检测的定时生成事件数据,或搜索用于事件的重放数据并在游戏娱乐中止的定时或游戏的阶段生成事件数据。在这种情况下,重放数据生成部分114将指示事件的生成的事件生成信息以及定时数据存储在重放数据保留部分166中作为重放数据。然后,重放数据生成部分114搜索事件生成信息并生成事件数据。例如,关于足球游戏,设置使用户兴奋的游戏场景作为事件,如其中得分的进球事件或其中通过守门员实现超级扑救的超级扑救事件。
进一步的,事件不限于在游戏程序中设定的事件,并且可以依赖于外部环境设定。例如,当从麦克风(未图示)输入等于或响于预定水平的声音时,重放数据生成部分114生成事件数据,其通过关联响的声音的发出与关于声音发出的定时的定时数据获得,并且在重放数据保留部分166中存储生成的事件数据。进一步的,例如,当通过照相机7拍摄的用户跳跃时,重放数据生成部分114生成事件数据,其通过关联兴奋的用户与用户兴奋的定时的定时数据获得,并在重放数据保留部分166中存储生成的事件数据。
这里,通过***软件检测从麦克风输入等于或响于预定水平的声音或通过照相机7拍摄的用户已经以预定的方式移动了的事实。当检测到这样的事件发生时,***软件通知重放数据生成部分114这样的事件。当从***软件接收到这样的通知时,重放数据生成部分114生成与定时数据相关联的事件数据,并在重放数据保留部分166中存储生成的事件数据。
此外,可以依赖于输入设备6的操作状态设定事件。例如,当快速连续地重复按压输入设备6上的按钮或键,或在短的时间段内执行了比在正常情况下更多的操作时,重放数据生成部分114生成通过关联这样快速连续的重复按压与关于这样重复的按压的定时数据获得的事件数据,并随后在重放数据保留部分166中存储生成的事件数据。例如,在格斗游戏期间,通过连续按压多个不同的按钮能够传递致命一击。当在短的时间段内连续按压多个不同的按钮时,重放数据生成部分114可以生成通过关联这样不同按钮的连续按压与关于这样的连续按压的定时数据而获得的事件数据,并随后在重放数据保留部分166中存储生成的事件数据。当在游戏期间传递定义为事件的致命一击时,重放数据生成部分114能够检测事件的发生。然而,即使由于不适当的多个按钮的连续按压,没有能够传递致命一击,这种多个按钮的连续按压可以识别为其中试图传递致命一击失败的事件,从而允许重放数据生成部分114生成事件数据。
捕获图像获取部分140从照相机7获取捕获图像数据。例如,照相机7周期性地(例如,以1/60秒的间隔)捕获空间的图像,并通过USB模块34提供捕获图像到捕获图像获取部分140。捕获图像获取部分140关联获取的捕获图像数据与指示图像捕获的定时的定时数据,并在捕获图像数据保留部分168中存储作为结果的捕获图像数据。定时数据可以是指示从参考定时经过的时间的时间信息或从参考定时计数时的游戏图像的帧数。帧数对应于从参考定时开始生成的图像帧的数目。当在参考定时生成游戏图像时,游戏图像的帧数为1。随后每次生成游戏图像时,帧数增加一。
在重放数据保留部分166中保留的重放数据以及在捕获图像数据保留部分168中保留的捕获图像数据包括各自的定时数据。如先前提到的,定时数据是关于特定定时设定的。例如,参考定时可以是游戏程序启动的定时或用户开始玩的定时。当以1/30秒的间隔生成游戏的帧图像以及以1/60秒的间隔从照相机7获取捕获图像时,捕获图像获取部分140可以在捕获图像数据保留部分168中存储两个连续的捕获图像中的一个,即以1/30秒间隔捕获的图像。游戏帧图像的生成周期与照相机7的图像捕获周期不精确同步。然而,能够通过允许捕获图像获取部分140分配相同的帧数给游戏图像和在游戏图像后立即获得的捕获图像的方式,使游戏图像的帧数与捕获图像的帧数相同。当接收到来自程序执行部分110的参考定时的通知时,捕获图像获取部分140附加指示帧数1的定时数据到在参考定时的通知后立即获得的捕获图像,并在捕获图像数据保留部分168中存储作为结果的组合。随后,捕获图像获取部分140排除两个连续的捕获图像中的一个,每次将捕获图像的帧数增加1,并在捕获图像数据保留部分168中存储捕获图像。
当在重放数据中包括的操作信息的帧数为“N”时,表示在自参考定时起生成的第N幅游戏图像中反映操作信息。进一步的,当在捕获图像数据中包括的帧数为“N”时,表示捕获图像信息是自参考定时起第N个存储在捕获图像信息保留部分168中的捕获图像信息。
图6图示通过照相机7拍摄的空间的示例。在拍摄的空间中有三个用户A至C。图6中环绕着三个用户的长方形边框代表照相机7的成像范围(视角)。捕获图像获取部分140从照相机7获取捕获图像数据。例如,照相机7以1/60秒的间隔捕获空间的图像,并通过USB模块34提供捕获图像到捕获图像获取部分140。如先前描述的,捕获图像获取部分140附加用作定时数据的帧数到捕获图像,并在匹配游戏图像的帧率的定时在捕获图像数据保留部分168中存储捕获图像(如果必要,通过排除一些图像帧)。
现在将描述信息处理设备10的面部识别过程。
面部识别部分156具有在捕获图像中检测用户面部图像的功能。面部识别部分156检测看上去像人类面部的部分,从捕获图像提取这部分,从提取的部分导出特征量数据,比较特征量数据和注册用户信息保留部分170中保留的面部识别数据,以及确定提取的面部是否是注册用户的面部。
更具体地,面部识别部分156导出提取的用户面部图像的特征量数据与注册用户信息保留部分170中保留的所有注册用户的面部识别数据之间的重合程度。重合程度以数值表示。例如,导出所述重合程度,使得通过100分中的分数数目表示它。如果特征量数据在注册面部图像上的重合程度高于90分,则面部识别部分156确定拍摄的用户是注册用户,并指定与拍摄的用户匹配的注册用户。如果重合程度在多个注册用户中高于90分,则面部识别部分156可以确定拍摄的用户是其面识别数据展示最高分数的注册用户。如果导出的从捕获图像提取的用户面部图像上的特征量数据与所有注册用户上的面部识别数据的重合程度不高于90分,则面部识别部分156确定包括在捕获图像中的用户不是具有注册面部图像的用户。如上所述,面部识别部分156通过使用注册用户信息保留部分170中保留的面部识别数据检测存在于捕获图像中的注册用户的面部图像。可以在上述面部识别过程中使用众所周知的面部识别技术。
现在将描述游戏程序的重放处理功能。
例如,关于足球游戏,在比赛的结尾生成进球场景的重放图像。基于游戏期间检测的事件定义如进球场景的精彩场景。依赖于外部环境,可以在检测到用户A至C的兴奋时定义精彩场景。
在重放处理部分120中,重放数据获取部分122获取保留在重放数据保留部分166中的重放数据和事件数据。场景确定部分124参考获得的事件数据以确定将编辑为精彩场景的游戏场景。事件数据包括事件的描述以及关于事件发生的定时信息。然而,可以依赖于事件的描述定义将编辑的场景的时段。例如,关于进球事件,定义球进入球门前的5秒时段和球进入球门后的5秒时段作为重放图像的场景时段。下文描述生成进球事件的重放图像的过程。
场景确定部分124参考包括在关于进球场景的事件数据中的定时数据,并指定场景开始帧数以及场景结束帧数。场景开始帧数对应于事件的发生前五秒的定时。场景结束帧数对应于事件的发生后五秒的定时。重放图像生成部分126从场景确定部分124接收场景开始帧数和场景结束帧数,并生成进球场景的重放图像。
更具体地,重放图像生成部分126执行游戏程序,并在包括在重放数据中的操作信息是在由与操作信息关联的定时数据指定的定时从输入设备6a至6c输入的假设下生成重放图像。如上所述,重放图像生成部分126提供重放数据作为伪操作信息到游戏程序,并生成用于移动三维虚拟空间中的足球运动员的游戏图像。
重放图像生成部分126可以在游戏娱乐时段期间通过使用虚拟照相机视点和视线生成重放图像。然而,可以改变虚拟照相机的视点和视线以生成重放图像。进一步的,重放图像生成部分126可以从虚拟照相机的多个视点和视线生成多个重放图像,使得能够从各个角度观看进球场景。例如,关于进球场景,重放图像生成部分126生成第一重放图像、第二重放图像和第三重放图像。第一重放图像是作为从远处观看获得的图像(与娱乐图像相同或接近的图像)。第二重放图像是当关注点放在成功制造了射门的运动员的移动上时获得的图像。第三重放图像是作为从球门后方观看获得的图像。通过改变虚拟照相机的视点和视线生成这三种不同的重放图像。
用户确定部分128确定包含在组合图像中的用户。通过组合通过重放图像生成部分126生成的重放图像与从捕获图像裁剪的用户图像获得组合图像。用户确定部分128参考重放数据,并根据游戏场景中的娱乐状态确定用户。更具体地,用户确定部分128确定操作了游戏场景的进球事件中涉及的游戏对象(足球运动员)的用户作为包括在组合图像中的用户。
事件信息保留部分172保留用于确定将包括在将加到事件的重放图像的捕获图像中的用户的对象信息。进一步的,事件信息保留部分172也保留用于指定从捕获图像中裁剪用户图像的裁剪形状的类型信息。对象信息和类型信息与重放图像相关联。事件信息保留部分172可以以表格形式或以逗号分隔值CSV格式保留这些事件信息的项目。记录事件信息的文件包括在游戏软件中,在游戏程序启动时通过辅助存储设备2读取,并用于通过用户确定部分128执行的用户确定过程。
图7图示关于进球事件的事件信息的示例。如先前所述,重放图像生成部分126生成用于进球事件的第一至第三重放图像。“重放图像”字段包含用于指定重放图像的信息。重放图像字段中的数字“1”代表第一重放图像。重放图像字段中的数字“2”代表第二重放图像。重放图像字段中的数字“3”代表第三重放图像。
“游戏对象”字段包含指定将添加到重放图像的用户的信息。更具体地,这个字段中的信息用以确定操作关联的游戏对象的用户作为将包括在组合图像中的用户。这里,用于第一重放图像和用于第二重放图像的游戏对象是“制造了射门的运动员”。因此,用户确定部分128确定包括操作制造了射门的运动员的用户的捕获图像将添加到第一重放图像和第二重放图像。进一步的,因为用于第三重放图像的游戏对象是“守门员”,所以用户确定部分128确定包括操作守门员的用户的捕获图像将添加到第三重放图像。如上所述,用户确定部分128确定与游戏场景的重放图像相关联的操作游戏对象(足球运动员)的用户将包括在组合图像中。在进球场景中,实施例假设通过用户A操作制造了射门的运动员,并且通过用户C操作守门员。
“类型信息”字段指定从捕获图像裁剪的用户图像的裁剪形状。图8是图示基于类型信息的裁剪形状的图,实施例提供三种不同的从捕获图像中裁剪用户的裁剪形状。图8图示裁剪用户A的示例。裁剪区域200是基于类型1。裁剪区域202是基于类型2。裁剪区域204是基于类型3。设置这些裁剪区域200、202和204,使得它们包括通过用户确定部分128确定的至少一个用户的面部图像。然而,在区域中面部图像的比例随着类型数目的增加而减少。
设置用于类型1的裁剪区域200使得增加用户的面部图像的比例。当与重放图像相组合时,从裁剪区域200裁剪的捕获图像显示玩游戏的用户的大的面部。因此,观看用户可以清楚地看到玩游戏的用户的面部表情。
设置用于类型2的裁剪区域202使得裁剪用户的上身。当与重放图像相组合时,从裁剪区域202裁剪的捕获图像显示玩游戏的用户的上身。因此,观看用户能够看见通过玩游戏的用户的移动指示的兴奋。
设置用于类型3的裁剪区域204使得裁减整个捕获图像。裁剪区域204可以是捕获图像本身。具体地,当有多个玩游戏的用户时,当与重放图像相组合时,从裁剪区域204裁剪的捕获图像显示多个玩游戏的用户。因此,观看用户能够感受娱乐的气氛。
如图7所示,设置关于裁剪区域的类型信息为用于重放图像的事件信息。当生成事件信息时,游戏制造商确定哪个用户的捕获图像将与将生成的重放图像相组合,以及将裁剪捕获图像的哪部分。如上所述,用于类型1至3的裁剪区域具有它们自己的特征。因此,游戏制造商确定适合用于将编辑的重放图像的裁剪区域。
参照图7中所示的事件信息,作为游戏对象的“制造了射门的运动员”以及类型信息2与如从远处观看获得的第一重放图像相关联,以及与当关注点放在成功制造了射门的运动员身上时获得的第二重放图像相关联。操作成功制造了射门的运动员的用户可能变得激动并喜不自胜。因为这样的游戏对象的兴奋可能通过类型信息2指示,所以选择类型信息2用于这样的游戏对象。同时,游戏对象“守门员”以及类型信息3与第三重放图像相组合,所述第三重放图像如从球门后方观看而获得。可以想象操作守门员的用户是沮丧的。因此,选择类型信息1以显示大的图像,所述大的图像显示指示沮丧的面部表情,能够有效表达沮丧的情绪。可以通过游戏制造者恰当地选择这种策略。当裁剪形状基于一个精彩场景的重放图像而变化时,观看用户对这样的表演产生兴趣。作为结果,游戏程序将广受欢迎。
图像生成部分150具有用以根据类型信息裁剪捕获图像的部分的库。当库的内容释放给游戏制造商时,游戏制造商能够设计各种有效的演绎以生成事件信息。类型信息不限于对三种不同类型的信息。类型信息可以是对一种或两种类型的信息,或对四种或更多类型的信息。重放处理部分120能够简单地通过指定用户和类型信息从图像生成部分150接收裁剪的用户图像。
用于用户A的裁剪区域已经参照图8进行了描述。然而,用于用户B和C的裁剪区域也设置以包括用户B和C的面部图像。
用户确定部分128参考图7中图示的事件信息,并从关于进球场景的重放数据确定用户,将从捕获图像裁剪该用户的图像。包括在重放数据中的操作信息与关于输入设备6的身份信息相关联,从所述输入设备6输入操作信息。因此,用户确定部分128指定操作了游戏对象的输入设备6。这里,用户确定部分128指定输入设备6a已经操作了制造了射门的运动员,参考存储在登录用户存储部分174中的内容,并确定通过用户A使用输入设备6a。进一步的,用户确定部分128识别输入设备6c操作了守门员,参考存储在登录用户存储部分174中的内容,并确定通过用户C使用输入设备6c。以这种方式,用户确定部分128确定将添加到第一和第二重放图像的用户图像是用户A的图像,以及将添加到第三重放图像的用户图像是用户C的图像。用户确定部分128通知用户图像请求部分130确定为裁剪目标的用户的用户账户以及关于捕获图像的类型信息。同时,场景确定部分124通知用户图像请求部分130场景开始帧数和场景结束帧数。
在接收到通知时,用户图像请求部分130指定场景开始帧数、场景结束帧数、用户的用户账户以及关于捕获图像的类型信息,并传输用户图像生成请求到图像生成部分150以请求用户图像的提供。场景开始帧数和场景结束帧数指定进球事件中进球场景的时段。传输用户图像生成请求以请求在进球场景中用户A的类型2图像的提供,以及在进球场景中用户C的类型1图像的提供。
在图像生成部分150中,请求接收部分152接收用户图像生成请求。基于包括在用户图像生成请求中的场景开始帧数和场景结束帧数,捕获图像读取部分154从捕获图像数据保留部分168读取在场景开始帧数和场景结束帧数之间的10秒捕获图像。面部识别部分156对读取的捕获图像执行用户识别过程。
图9图示通过面部识别部分156的面部识别的结果。例如,如果图6中的照相机图像指示进球场景,则确定左侧的用户是用户A,以及中间的用户是用户B,以及进一步的右边的用户是用户C。面部识别部分156使用照相机图像内的坐标以设置面部区域206a、面部区域206b以及面部区域206c。面部区域206a指示在捕获图像中用户A的面部的位置。面部区域206b指示在捕获图像中用户B的面部的位置。面部区域206c指示在捕获图像中用户C的面部的位置。可以将每个面部区域206设置为长方形,所述长方形划定用户的面部图像的范围。
图10图示基于面部识别的结果设置的裁剪区域。基于通过面部识别部分156设置的用户A的面部区域206a,用户图像生成部分158定义用户A的类型2裁剪区域202a。进一步地,基于用户C的面部区域206c,用户图像生成部分158定义用户C的类型1裁剪区域200c。
用户图像生成部分158从捕获图像裁剪出裁剪区域202a,其包括在进球场景中的用户A的面部图像,并提供裁剪区域202a到重放处理部分120。进一步地,用户图像生成部分158从捕获图像裁剪出裁剪区域202c,其包括在进球场景中的用户C的面部图像,并提供裁剪区域202c到重放处理部分120。用户图像获取部分132获取用户A的指定的类型2捕获图像以及用户C的指定的类型1捕获图像。
上面的描述陈述用户图像生成部分158通过使用通过面部识别部分156的面部识别的结果定义用户的裁剪区域。然而,可替换的是让对象识别部分157在捕获图像中检测输入设备6,并使用户图像生成部分158通过使用检测的结果定义用户的裁剪区域。
对象识别部分157在捕获图像中搜索输入设备6。当正在使用的输入设备6发射预定颜色的光时,对象识别部分157搜索捕获图像预定颜色的长方形区域,即,具有发光部分85的形状的发光区域。当从用户图像请求部分130传输的用户图像生成请求请求用户A和C的用户图像时,对象识别部分157参考存储在登录用户存储部分174中的内容,并搜索蓝色的长方形区域,其为从用户A的输入设备6a发射的光的颜色,以及绿色的长方形区域,其为从用户C的输入设备6c发射的光的颜色。对象识别部分157向用户图像生成部分158提供检测的发光长方形区域的颜色和长方形区域的位置坐标。在本示例中,面部识别部分156不需要执行面部识别以指定用户。然而,面部识别部分156检测面部图像的存在,并提供检测的位置坐标(即面部区域206的位置坐标)到用户图像生成部分158。
用户图像生成部分158参考存储在登录用户存储部分174中的内容,并确定位于高于蓝色长方形区域的位置坐标的检测的用户是用户A。进一步的,用户图像生成部分158参考存储在登录用户存储部分174中的内容,并确定位于高于绿色长方形区域的位置坐标的检测的用户是用户C。相应地,用户图像生成部分158可以根据面部区域206a定义用户A的类型2裁剪区域202a,并根据用户C的面部区域206c定义用户C的类型1裁剪区域200c。
组合处理部分134通过组合通过用户图像获取部分132获取的用户图像与通过重放图像生成部分126生成的重放图像生成组合图像。图11图示组合图像的示例。组合处理部分134在第一重放图像的部分区域上显示用户图像210。组合处理部分134可以叠加用户图像210到重放图像的预定区域上,如重放图像的右上角。当生成重放图像时,重放图像生成部分126可以检测能够叠加用户图像而不导致问题的区域,并通知组合处理部分134该检测区域。在进球场景中,能够叠加用户图像而不导致问题的区域是足球不通过的区域。重放图像生成部分126可以检查重放图像的右上角、右下角、左下角和左上角以检测足球不通过的区域,并通知组合处理部分134该检测区域。当接收到通知时,组合处理部分134可以定义叠加用户图像的区域。组合处理部分134可以轻微的减小重放图像的尺寸并将用户图像布置在通过这样的图像尺寸减小空出的区域上,而不是将用户图像叠加到重放图像上。图11中的组合图像指示在进球场景中足球运动员正要制造射门的情况。
图12图示组合图像的示例。图12中的组合图像指示制造成功射门的时刻。用户图像210指示用户A在成功制造射门的时刻高兴。当重放图像与指示上述用户的状态的用户图像相组合时,精彩场景中用户的兴奋能够传递给观看用户。
进一步的,当选择通过事件信息指定的用户图像时,添加适于精彩场景的用户的捕获图像到重放图像。图11和图12的示例指示通过组合第一重放图像与用户A的图像获得的组合图像。然而,组合处理部分134另外生成通过组合第二重放图像与用户A的图像获得的组合图像以及通过组合第三重放图像与用户C的图像获得的组合图像,以及显示处理部分160导致输出设备4按名字的排序顺序地输出第一重放图像、第二重放图像以及第三重放图像。
在实施例中,用户确定部分128参考在图7中描述的事件信息,并从关于进球场景的重放数据确定将包括在组合图像中的用户。用户确定部分128可以根据与事件相关联的游戏对象的优先级排序确定将包括在组合图像中的用户。
图13图示关于进球事件的优先级信息。优先级信息可以是事件信息的一部分,并保留在事件信息保留部分172中。优先级信息定义将确定包括在组合图像中的用户的优先级排序。在示例中,给予“制造了射门的运动员”第一优先级,给予“制造了帮助的运动员”第二优先级,以及给予“守门员”第三优先级。用户确定部分128可以确定将包括操作第一优先级的运动员的用户的捕获图像添加到第一重放图像,以及将包括操作第二优先级的运动员的用户的捕获图像添加到第二重放图像,以及进一步的,将包括操作第三优先级的运动员的用户的捕获图像添加到第三重放图像。优先级信息可以包括与优先级排序相关联的类型信息,所述类型信息指定裁剪形状。
图7中描述的事件信息可以结合图13中描述的优先级信息使用。如果不能基于图7中描述的事件信息确定用户,则用户确定部分128可以使用图13中描述的优先级信息确定将包括在组合图像中的用户。
上面已经描述了的实施例假设用户确定部分128直接确定将包括在组合图像中的用户。然而,可以执行用户确定部分128的用户确定过程以间接指定将包括在组合图像中的用户。用户确定部分128指定通过用户使用的输入设备6。然而,一旦指定输入设备6,能够简单地通过参考登录用户存储部分174直接指定用户。也就是说,输入设备6和用户是一一对应的关系。因此,用户确定部分128通过确定至少一个操作了游戏对象的输入设备6间接确定将包括在组合图像中的用户。当用户图像请求部分130传输包括关于输入设备6的身份信息的用户图像生成请求到图像生成部分150时,请求接收部分152可以根据关于输入设备6的身份信息,参考存储在登录用户存储部分174中的内容,并指定用户。
以上依据实施例已经描述了本发明。本实施例是说明性的,并且本领域技术人员可以理解的是,实施例的构成元素和过程的组合的各种修改是可接受的,以及这种修改也落入本发明的范围。例如,组合处理部分134可以只使用用户图像作为再现图像,而不组合重放图像与用户图像。进一步的,当将显示或发布通过组合重放图像与用户图像获得的组合图像时,可以与用于用户先前的游戏娱乐的组合图像一起显示或发布组合图像。
已经假设程序执行部分110执行游戏程序并实现重放处理部分120的功能描述了实施例。然而,***软件可以实现用户图像获取部分132以及组合处理部分134的功能,作为重放处理部分120的功能描述了该功能。
在事件中可以存在两个不同类型的用户。特定的用户可能从事件获得了正面的结果,以及特定的另一用户可能从事件获得了负面的结果。例如,关于进球事件,操作制造了射门的运动员的用户以及操作制造了帮助的用户获得了正面的结果,然而操作没能阻挡射门的守门员的用户获得了负面的结果。在图7中描述的事件信息中,以及在图13中描述的优先级信息中,正面或负面的属性信息可以分配到游戏对象。基于分配到游戏对象的属性信息,用户图像生成部分158可以执行从捕获图像裁剪出裁剪区域的预定过程。例如,用户图像生成部分158可以根据属性信息设定用于裁剪区域的背景或边界。例如,指示高兴的颜色和纹理可以应用于用于操作分配正面属性的游戏对象的用户的裁剪区域的背景和/或边界。同时,指示沮丧的颜色和纹理可以应用于用于操作分配了负面属性的游戏对象的用户的裁剪区域的背景和/或边界。指示高兴的颜色和纹理可以是明亮的颜色和丰富的纹理。指示沮丧的颜色和纹理可以是深的颜色和令人沮丧的纹理。以这种方式,用户的高兴和沮丧不仅能够通过用户的面部表情和动作表示,也可以通过用于用户的裁剪区域的背景和边界表示。
已经假设重放处理部分120在比赛结束之后生成组合图像描述了实施例。然而例如,如果在比赛期间检测到事件的发生,则重放处理部分120可以在检测到事件时生成组合图像。
进一步的,已经假设游戏对象和关于裁剪区域的类型信息设置为用于如图7中所示的重放图像的事件信息描述了实施例,并且通过游戏制造商生成事件信息。可以通过发布用户或观看用户定义游戏对象和类型信息。此外,图13图示用于确定将包括在组合的图像中的用户的优先级信息。然而,可以通过与事件无关的发布用户或观看用户定义优先级信息。
此外,已经假设通过叠加用户图像到重放图像上编辑再现图像用于再现过去的娱乐状态描述了实施例。然而,可以通过叠加用户图像到指示当前娱乐状态的图像上生成娱乐图像。例如,游戏程序设置高度可能导致进球的娱乐作为初步事件。用于进球场景的初步事件设置为其中运球的运动员进入禁区或向球门前传送了一个横传的情况。在这种情况下,用户确定部分128可以参考设置为初步事件的事件信息,确定其图像将叠加到娱乐图像上的用户,并允许组合处理部分134组合娱乐图像和用户图像。如上所述,重放处理部分120能够叠加用户图像到当前娱乐图像上。
在上述情况下,用户确定部分128不仅可以参考关于初步事件的事件信息,还可以参考结合实施例描述的事件信息,确定其图像将从捕获图像中裁剪的用户,并通知用户图像请求部分130确定的用户。当用户图像请求部分130传输指定用户的用户账户的用户图像生成请求到图像生成部分150时,用户图像生成部分158定义用于指定的用户的裁剪区域,从当前的捕获图像裁剪定义的裁剪区域,并提供裁剪图像到重放处理部分120。因此,组合处理部分134可以通过组合通过用户图像获取部分132获取的用户图像与通过游戏处理部分112生成的游戏场景的娱乐图像生成组合图像,并允许共享处理部分162执行组合图像的直播发布,所述组合图像通过组合当前娱乐的游戏图像与用户图像获得。通过用户确定部分128采用的用户确定方法可以与结合实施例描述的方法相同。叠加用户图像到娱乐图像上的过程基本与叠加用户图像到重放图像上的过程相同,已经结合实施例描述了该过程,除非用户图像生成部分158在用户确定部分128确定用户以后,通过从实时拍摄的捕获图像裁剪用户图像而生成用户图像。
图14图示信息处理***的修改的示例。信息处理***300包括信息处理设备10a、10b和10c,其通过用户操作,以及网络服务器5。信息处理设备10a、10b和10c以及网络服务器5经由例如互联网或LAN的网络3连接到彼此。在此示例中,用户A操作信息处理设备10a,用户B操作信息处理设备10b,以及用户C操作信息处理设备10c。信息处理设备10a、10b和10c的功能与结合实施例描述的信息处理设备10的功能相同或相似。
在根据实施例的信息处理***1中,用户A至C操作相同的信息处理设备10以一起玩游戏。然而,在根据修改的信息处理***300中,用户A至C操作他们各自的信息处理设备10a至10c以一起在线玩相同的足球游戏。
现在将描述上述信息处理***300中的重放处理功能。各用户的捕获图像存储在各个辅助存储设备2a至2c的捕获图像数据保留部分168中。例如,当假设用户A是管理员的角色,信息处理设备10a中的用户确定部分128确定将包括在精彩场景的组合图像中的用户。如果确定的用户是用户A本人,则在辅助存储设备2a中的捕获图像数据保留部分168中保留用户A的捕获图像。因此,图像生成部分150生成用户A的用户图像并提供生成的用户图像到组合处理部分134。
同时,如果通过用户确定部分128确定的用户是不同于用户A的用户(例如,用户C),则在辅助存储设备2c中的捕获图像数据保留部分168中保留用户C的捕获图像。因此,用户图像请求部分130传输用户图像生成请求到用户C的信息处理设备10c。传输的用户图像生成请求指定游戏场景的场景开始帧数和场景结束帧数、用户C的网络账户以及关于捕获图像的类型信息。
当接收到用户图像生成请求时,用户C的信息处理设备10c中的图像生成部分150基于类型信息,从捕获图像裁剪出裁剪区域,以这样的方式使得在进球场景的开始和结束之间包括用户C的面部图像,并提供裁剪区域到信息处理设备10a。这使得信息处理设备10a中的重放处理部分120能够通过组合用户C的用户图像与重放图像生成组合图像。信息处理设备10a中生成的组合图像发布到其他游戏玩家,即,用户B和C。因此,各游戏玩家能够观看组合图像。
当在信息处理设备10a至10c中执行相同的游戏程序时,可以在信息处理设备10a至10c中的每一个生成组合图像。如果将包括在精彩场景的组合图像中的用户(即通过信息处理设备10a至10c中的每一个的用户确定部分128确定的用户)是不同于本地用户的用户,则当用户图像生成请求传输到其他用户的信息处理设备10以接收生成的用户图像时,能够通过组合其他用户的用户图像与重放图像生成组合图像。
可以分配外部服务器以通过向外部服务器提供关于用户A至C的面部识别数据以及向外部服务器提供用户A至C的捕获图像执行用户图像生成过程。
在图14的示例中,用户也可以指定将包括在用户图像生成请求中的类型信息和用户身份信息。
虽然实施例描述了关于足球游戏,但是显而易见的是,本发明适用于其他游戏。可以对每个游戏定义合适的事件。例如,可以定义获得奖杯为特定事件,所述奖杯是由用户赢得的虚拟奖励,或定义用户在多次尝试后任务的成就为特定事件。
[参考标号列表]
1...信息处理***,10...信息处理设备,100...处理部分,102...通信部分,104...接收部分,110...程序执行部分,112...游戏进行部分,114...重放数据生成部分,120...重放处理部分,122...重放数据获取部分,124...场景确定部分,126...重放图像生成部分,128...用户确定部分,130...用户图像请求部分,132...用户图像获取部分,134...组合处理部分,140...捕获图像获取部分,150...图像生成部分,152...请求接收部分,154...捕获图像读取部分,156...面部识别部分,157...对象识别部分,158...用户图像生成部分,160...显示处理部分,162...共享处理部分,166...重放数据保留部分,168...捕获图像数据保留部分,170...注册用户信息保留部分,172...事件信息保留部分,174...注册用户存储部分,300...信息处理***
[产业可应用性]
本发明可应用于编辑游戏场景的技术领域。
Claims (7)
1.一种程序,用于使得计算机实现:
用于生成游戏图像的功能;
用于基于游戏场景中的娱乐状态确定用户的功能,所述用户将包括在组合图像中;
用于获取通过将确定的用户成像获得的用户图像的功能;以及
用于通过组合获取的用户图像与游戏图像生成所述组合图像的功能。
2.根据权利要求1所述的程序,其中
所述用于确定用户的功能确定已经操作了与游戏场景相关联的游戏对象的用户作为将包括在所述组合图像中的用户。
3.根据权利要求1或2所述的程序,其中
所述用于确定用户的功能根据与游戏场景中的事件相关联的游戏对象的优先级排序确定用户。
4.根据权利要求1至3中任一权利要求所述的程序,进一步使得计算机实现用于指定所述确定的用户和关于用户图像的类型信息,并请求用户图像的提供的功能,
其中用于获取用户图像的功能包括获取与指定的类型信息相匹配的用户图像的功能。
5.根据权利要求1至4中任一权利要求所述的程序,进一步使得计算机实现用于获取用于再现游戏的娱乐状态的重放数据的功能。
其中所述用于生成游戏图像的功能包括根据获取的重放数据生成游戏场景的重放图像的功能,以及用于生成组合图像的功能包括通过组合获取的用户图像与重放图像生成组合图像的功能。
6.一种载有根据权利要求1至5中任一权利要求所述的程序的计算机可读的记录介质。
7.一种信息处理设备,包括:
图像生成部分,其配置成生成游戏图像;
用户确定部分,其配置成基于游戏场景中的娱乐状态确定用户,所述用户将包括在组合图像中;
用户图像获取部分,其配置成获取通过将确定的用户成像获得的用户图像;以及
组合处理部分,其配置成通过组合获取的用户图像和游戏图像生成组合图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014236825 | 2014-11-21 | ||
JP2014-236825 | 2014-11-21 | ||
PCT/JP2015/067075 WO2016080005A1 (ja) | 2014-11-21 | 2015-06-12 | プログラムおよび情報処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107206281A true CN107206281A (zh) | 2017-09-26 |
Family
ID=56013574
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580061533.3A Pending CN107206281A (zh) | 2014-11-21 | 2015-06-12 | 程序及信息处理设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10596451B2 (zh) |
EP (1) | EP3170539B1 (zh) |
JP (1) | JP6518689B2 (zh) |
CN (1) | CN107206281A (zh) |
WO (1) | WO2016080005A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109589604A (zh) * | 2019-01-24 | 2019-04-09 | 网易(杭州)网络有限公司 | 虚拟对象的控制方法、控制装置、存储介质和处理器 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10471353B2 (en) * | 2016-06-30 | 2019-11-12 | Sony Interactive Entertainment America Llc | Using HMD camera touch button to render images of a user captured during game play |
US11160688B2 (en) * | 2016-11-10 | 2021-11-02 | Samsung Electronics Co., Ltd. | Visual aid display device and method of operating the same |
CN106780662B (zh) | 2016-11-16 | 2020-09-18 | 北京旷视科技有限公司 | 人脸图像生成方法、装置及设备 |
CN106780658B (zh) * | 2016-11-16 | 2021-03-09 | 北京旷视科技有限公司 | 人脸特征添加方法、装置及设备 |
US10870056B2 (en) * | 2017-11-01 | 2020-12-22 | Sony Interactive Entertainment Inc. | Emoji-based communications derived from facial features during game play |
JP7132730B2 (ja) * | 2018-03-14 | 2022-09-07 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
JP7045727B2 (ja) * | 2020-01-23 | 2022-04-01 | 株式会社コナミデジタルエンタテインメント | 配信システム、配信システム用のコンピュータプログラム、及び配信用映像の作成方法 |
JP7325828B2 (ja) * | 2020-10-28 | 2023-08-15 | 株式会社コナミデジタルエンタテインメント | 映像配信システム、それに用いるコンピュータプログラム、及び制御方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020082082A1 (en) * | 2000-05-16 | 2002-06-27 | Stamper Christopher Timothy John | Portable game machine having image capture, manipulation and incorporation |
US20030100363A1 (en) * | 2001-11-28 | 2003-05-29 | Ali Guiseppe C. | Method and apparatus for inputting appearance of computer operator into a computer program |
CN101169808A (zh) * | 2007-11-26 | 2008-04-30 | 赵明 | 一种融合网络和现实的超时空对战游戏的设计 |
US20090174652A1 (en) * | 2004-01-06 | 2009-07-09 | Masami Yamamoto | Information processing system, entertainment system, and information processing system input accepting method |
US20120295705A1 (en) * | 2011-05-20 | 2012-11-22 | Konami Digital Entertainment Co., Ltd. | Game device, game control method, and non-transitory information recording medium that records a program |
CN103366782A (zh) * | 2012-04-06 | 2013-10-23 | 腾讯科技(深圳)有限公司 | 在虚拟形象上自动播放表情的方法和装置 |
CN103597518A (zh) * | 2011-06-06 | 2014-02-19 | 微软公司 | 生成反映玩家外观的化身 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3561632B2 (ja) * | 1998-04-20 | 2004-09-02 | 大平技研工業株式会社 | ビデオゲーム機 |
JP4045024B2 (ja) * | 1998-04-24 | 2008-02-13 | 富士フイルム株式会社 | 画像取込装置および方法 |
JP3942278B2 (ja) * | 1998-08-06 | 2007-07-11 | 株式会社バンダイナムコゲームス | 通信ゲームシステム |
US6578291B2 (en) * | 2000-06-06 | 2003-06-17 | John Hirsch | Shoe wear indicator |
US20020154214A1 (en) * | 2000-11-02 | 2002-10-24 | Laurent Scallie | Virtual reality game system using pseudo 3D display driver |
US20060025229A1 (en) * | 2003-12-19 | 2006-02-02 | Satayan Mahajan | Motion tracking and analysis apparatus and method and system implementations thereof |
JP2005230056A (ja) * | 2004-02-17 | 2005-09-02 | Namco Ltd | ゲーム装置及びプログラム |
US8177639B2 (en) * | 2006-03-20 | 2012-05-15 | Jesse Schell | Controlling an interactive story through manipulation of simulated character mental state |
US7965859B2 (en) * | 2006-05-04 | 2011-06-21 | Sony Computer Entertainment Inc. | Lighting control of a user environment via a display device |
JP2008178596A (ja) * | 2007-01-25 | 2008-08-07 | Aruze Corp | サブモニタを備える複数のステーションが設置されたゲーム装置 |
JP2009147651A (ja) * | 2007-12-13 | 2009-07-02 | Sharp Corp | 通信装置およびその制御方法、サーバおよびその制御方法、通信システム、通信装置制御プログラム、サーバ制御プログラム、並びに該プログラムを記録した記録媒体 |
JP5550248B2 (ja) | 2009-03-19 | 2014-07-16 | 株式会社ソニー・コンピュータエンタテインメント | プログラム、情報記憶媒体、画像処理装置、画像処理方法及びデータ構造 |
JP2012174237A (ja) | 2011-02-24 | 2012-09-10 | Nintendo Co Ltd | 表示制御プログラム、表示制御装置、表示制御システム、及び表示制御方法 |
US8944940B2 (en) * | 2011-08-29 | 2015-02-03 | Icuemotion, Llc | Racket sport inertial sensor motion tracking analysis |
US9177410B2 (en) * | 2013-08-09 | 2015-11-03 | Ayla Mandel | System and method for creating avatars or animated sequences using human body features extracted from a still image |
-
2015
- 2015-06-12 EP EP15861437.0A patent/EP3170539B1/en active Active
- 2015-06-12 US US15/502,907 patent/US10596451B2/en active Active
- 2015-06-12 JP JP2016560073A patent/JP6518689B2/ja active Active
- 2015-06-12 WO PCT/JP2015/067075 patent/WO2016080005A1/ja active Application Filing
- 2015-06-12 CN CN201580061533.3A patent/CN107206281A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020082082A1 (en) * | 2000-05-16 | 2002-06-27 | Stamper Christopher Timothy John | Portable game machine having image capture, manipulation and incorporation |
US20030100363A1 (en) * | 2001-11-28 | 2003-05-29 | Ali Guiseppe C. | Method and apparatus for inputting appearance of computer operator into a computer program |
US20090174652A1 (en) * | 2004-01-06 | 2009-07-09 | Masami Yamamoto | Information processing system, entertainment system, and information processing system input accepting method |
CN101169808A (zh) * | 2007-11-26 | 2008-04-30 | 赵明 | 一种融合网络和现实的超时空对战游戏的设计 |
US20120295705A1 (en) * | 2011-05-20 | 2012-11-22 | Konami Digital Entertainment Co., Ltd. | Game device, game control method, and non-transitory information recording medium that records a program |
CN103597518A (zh) * | 2011-06-06 | 2014-02-19 | 微软公司 | 生成反映玩家外观的化身 |
CN103366782A (zh) * | 2012-04-06 | 2013-10-23 | 腾讯科技(深圳)有限公司 | 在虚拟形象上自动播放表情的方法和装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109589604A (zh) * | 2019-01-24 | 2019-04-09 | 网易(杭州)网络有限公司 | 虚拟对象的控制方法、控制装置、存储介质和处理器 |
Also Published As
Publication number | Publication date |
---|---|
EP3170539A1 (en) | 2017-05-24 |
EP3170539B1 (en) | 2020-03-04 |
WO2016080005A1 (ja) | 2016-05-26 |
US20170232334A1 (en) | 2017-08-17 |
US10596451B2 (en) | 2020-03-24 |
EP3170539A4 (en) | 2018-03-14 |
JP6518689B2 (ja) | 2019-05-22 |
JPWO2016080005A1 (ja) | 2017-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107206281A (zh) | 程序及信息处理设备 | |
US11436803B2 (en) | Insertion of VR spectator in live video of a live event | |
US10380798B2 (en) | Projectile object rendering for a virtual reality spectator | |
US9302186B2 (en) | Baseball videogame having pitching meter, hero mode and user customerization features | |
CN105324738B (zh) | 在头戴式显示器中切换操作模式 | |
US8601379B2 (en) | Methods for interactive communications with real time effects and avatar environment interaction | |
JP5227389B2 (ja) | ネットワークゲームシステム、ゲーム装置、及びプログラム | |
RU2605840C2 (ru) | Автоматическое создание предлагаемых мини-игр для облачной игры на основе записанного игрового процесса | |
KR101922058B1 (ko) | 다중-이미지 대화형 게임 디바이스 | |
CN107551544A (zh) | 交互式游戏过程回放*** | |
JP6637650B2 (ja) | ゲームプログラム、コンピュータの制御方法、情報処理装置、画像出力装置、画像出力方法および画像出力プログラム | |
CN110523079A (zh) | 基于所记录的游戏玩法自动产生为云游戏建议的小游戏 | |
KR20170072233A (ko) | 정보 처리 장치 | |
JP2020028397A (ja) | ゲームプログラム、ゲーム方法、および情報処理装置 | |
JP6475816B2 (ja) | ネットワークゲームシステム、ゲーム装置、及びプログラム | |
JP6386020B2 (ja) | ゲームシステム | |
JP5632497B2 (ja) | ネットワークゲームシステム、ゲーム装置、及びプログラム | |
JP6830932B2 (ja) | ゲームシステム | |
JP6272450B2 (ja) | ネットワークゲームシステム、ゲーム装置、及びプログラム | |
US20230096211A1 (en) | Remote playing card game | |
US11521467B2 (en) | Remote playing card game | |
JP6121376B2 (ja) | ネットワークゲームシステム、ゲーム装置、及びプログラム | |
Douglass | Screenplay: Cinema/videogames/interfaces |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170926 |
|
RJ01 | Rejection of invention patent application after publication |