CN108363483A - 影像提供***、影像提供方法及记录介质 - Google Patents

影像提供***、影像提供方法及记录介质 Download PDF

Info

Publication number
CN108363483A
CN108363483A CN201810065114.2A CN201810065114A CN108363483A CN 108363483 A CN108363483 A CN 108363483A CN 201810065114 A CN201810065114 A CN 201810065114A CN 108363483 A CN108363483 A CN 108363483A
Authority
CN
China
Prior art keywords
image
user
display device
display
filming apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810065114.2A
Other languages
English (en)
Inventor
深泽研
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TAIFENG CO Ltd
Original Assignee
TAIFENG CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TAIFENG CO Ltd filed Critical TAIFENG CO Ltd
Publication of CN108363483A publication Critical patent/CN108363483A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供一种在头部配戴显示装置而玩乐的游乐设施中能够让多个使用者玩乐的显示装置。影像提供***包括:规定的空间,其由单一色的面围成;影像显示装置,其配戴于使用者的头部来使用,具备以人类的两眼的间隔分离配置且在使用者配戴时对使用者的正面方向进行拍摄的两个拍摄装置;以及确定装置,其确定影像显示装置的在规定的空间内的位置和朝向,影像显示装置根据规定的空间内的朝向和位置,在通过两个拍摄装置拍摄了单一色的部位显示预先准备的影像,在未拍摄单一色的部位显示基于通过两个拍摄装置拍摄到的影像的影像。

Description

影像提供***、影像提供方法及记录介质
技术领域
本发明涉及在游乐设施等中利用的显示装置。
背景技术
以往,存在具备各种游乐设施的游玩场所,供许多的使用者玩乐。作为这样的游乐设施,有例如快速滑行车、旋转木马、鬼屋等。
专利文献1公开了涉及在这样的游乐设施中能够利用的电子设备的发明。
在先技术文献
专利文献
专利文献1:日本特开2016-048301号公报
发明内容
发明要解决的课题
然而,在这样的游乐设施中,可考虑在使用者的头部配戴显示装置而使其玩乐的情况。然而,在这样的情况下,存在难以与其他的使用者即友人一起玩乐的问题。其起因是由于在使用者的头部配戴显示装置,因此在该状态下难以识别其友人。
因此,本发明鉴于上述要求而作成,目的是提供一种在使用者的头部配戴显示装置而玩乐的游乐设施中能够与其他的使用者一起玩乐的显示装置。
用于解决课题的方案
为了解决上述课题,本发明的一形态的装置包括:规定的空间,其由单一色的面围成;影像显示装置,其配戴于使用者的头部来使用,具备以人类的两眼的间隔分离配置且在使用者配戴时对使用者的正面方向进行拍摄的两个拍摄装置;以及确定装置,其确定影像显示装置的在规定的空间内的位置和朝向,影像显示装置根据规定的空间内的朝向和位置,在通过两个拍摄装置拍摄了单一色的部位显示预先准备的影像,在未拍摄单一色的部位显示基于通过两个拍摄装置拍摄到的影像的影像。
为了解决上述课题,本发明的一形态的影像提供方法向影像显示装置提供影像,该影像显示装置在由单一色的面围成的规定的空间内使用,并配戴于使用者的头部来使用,该影像显示装置具备以人类的两眼的间隔分离配置且在使用者配戴时对使用者的正面方向进行拍摄的两个拍摄装置,影像提供方法包括:确定影像显示装置的在规定的空间内的位置和朝向的确定步骤;通过两个拍摄装置拍摄使用者的正面方向的拍摄步骤;以及在通过两个拍摄装置拍摄了单一色的部位显示预先准备的影像,在未拍摄单一色的部位显示基于通过两个拍摄装置拍摄到的影像的影像的显示步骤。
为了解决上述课题,本发明的一形态的记录介质中,记录有影像提供程序,所述影像提供程序在影像提供***中使计算机实现下述功能,其中,影像提供***向影像显示装置提供影像,该影像显示装置在由单一色的面围成的规定的空间内使用,并配戴于使用者的头部来使用,该影像显示装置具备以人类的两眼的间隔分离配置且在使用者配戴时对使用者的正面方向进行拍摄的两个拍摄装置,影像提供程序在影像提供***中使计算机实现:确定影像显示装置的在规定的空间内的位置和朝向的确定功能;通过两个拍摄装置拍摄使用者的正面方向的拍摄功能;以及在通过两个拍摄装置拍摄了单一色的部位显示预先准备的影像,在未拍摄单一色的部位显示基于通过两个拍摄装置拍摄到的影像的影像的显示功能。
在上述影像提供***中,影像提供***可以具备:算出部,其根据通过两个拍摄装置拍摄到的影像,算出到拍摄了单一色以外的对象为止的距离;以及影像生成部,其生成与算出部算出的距离对应的立体影像,影像显示装置显示影像生成部生成的立体影像。
在上述影像提供***中,影像生成部可以基于算出部算出的距离,生成将与对象不同的异物重叠于对象的影像。
在上述影像提供***中,影像提供***可以还包括由使用者保持的保持用具,该保持用具对于影像显示装置显示的影像赋予效果,影像生成部根据保持用具的位置和朝向而生成赋予了效果的立体影像。
发明效果
本发明的一形态的显示装置具备拍摄部,在背景为单一色的规定的空间内,除了背景以外,例如,拍摄到其他的使用者的情况下,能够对该其他的使用者的拍摄影像进行加工并显示,因此能够与其他的使用者在游乐设施玩乐。
附图说明
图1是表示显示装置的功能结构例的框图。
图2是表示游乐设施的一例的立体图。
图3是表示游乐设施的一例的俯视图。
图4是表示次数表的数据结构例的数据概念图。
图5是表示显示装置的动作的框图。
图6是表示显示装置的动作的框图。
图7(a)、图7(b)是在显示装置上显示的画面例。
图8(a)是加工前的图像例,图8(b)是表示加工后的图像例的图。
图9是表示游乐设施的一例的立体图。
图10是表示显示装置的外观的一例的外观图。
图11是表示显示装置的动作例的流程图。
图12是表示游乐***的结构例的框图。
图13是表示显示装置的结构例的框图。
附图标记说明
100 显示装置
110 显示部
120 位置信息取得部
130 拍摄部
140 存储部
150 控制部
151 设定部
152 加工部
153 计数部
154 生成部
160 总线
170 通信部
200 游乐设施
201、202、203、204、205 门
900 显示装置
910 管理装置
920 通信部
940 存储部
950 控制部
具体实施方式
以下,关于本发明的一实施形态的显示装置,参照附图进行详细说明。
<实施方式1>
<结构>
本发明的显示装置100是在游乐设施200中使用,供使用者20配戴,显示影像的装置。显示装置100至少具备位置信息取得部120、显示部110。
位置信息取得部120取得表示游乐设施中的显示装置的位置的位置信息。位置信息取得部120可以使用例如通过安装于头戴式显示器等的相机或红外线传感器扫描周围的环境来确定位置、姿势的内外方式、或者使用设置于房间的顶棚或墙壁上的相机或红外线照射设备来取得标记物或头戴式显示器的位置、姿势的外内方式来确定位置。需要说明的是,除了红外线以外,也可以使用例如位置追踪器,该位置追踪器利用了使用UWB(UltraWide Band:超宽带)带的RF(Radio Frequency:射频)基础的通信方式。而且,位置信息取得部120可以通过例如利用了GPS等的测位***来实现,或者可以接收从设置于游乐设施的信标产生器发出的信标,取得该信标包含的信标产生器的位置作为显示装置的位置信息。
显示部110对于游乐设施包含的规定的区域,每次在该规定的区域中通过时,显示不同的影像。在此,关于规定的区域,在游乐设施由多个房间等构成的情况下,可以将1个以上的房间设为规定的区域,也可以将游乐设施假想性地分割成多个区域中的一个区域设为规定的区域。通过每次在规定的区域中通过时提供不同的影像,能够提供一种在使用者玩乐多次的游乐设施中利用的显示装置100。
以下,更详细地说明显示装置100。
图1是表示显示装置100的功能结构的框图。而且,图2是表示使用显示装置100的游乐设施200的一例的立体图,图3是该游乐设施200的俯视图。
如图1所示,显示装置100具备显示部110、位置信息取得部120、拍摄部130、存储部140、控制部150。显示装置100是供使用者20配戴于头部而使用的结构,通常是被称为头戴式显示器的装置。显示装置100可以是配戴眼镜类型的结构。如图1所示,显示部110、位置信息取得部120、拍摄部130、存储部140、控制部150经由总线160而相互连接。
显示部110是设置在显示装置100内部的显示器,显示从控制部150传递的影像。使用者20基于在显示装置100上显示的影像而在游乐设施200玩乐。显示装置100以覆盖使用者20的眼的周围的方式构成,对于使用者20而言成为仅能够视觉确认在显示装置100上显示的影像的状态。
位置信息取得部120具有取得表示显示装置100的当前位置的位置信息的功能。位置信息取得部120使用例如通过安装于头戴式显示器等的相机或红外线传感器扫描周围的环境来确定位置、姿势的内外方式、或者使用设置在房间的顶棚或墙壁上的相机或红外线照射设备来取得标记物或头戴式显示器的位置、姿势的外内方式来确定位置。而且,或者位置信息取得部120例如可以通过GPS或内置的传感器等来取得该位置、姿势。位置信息取得部120检测游乐设施的位置坐标、显示装置100的倾斜度(3轴的旋转信息)作为位置信息,向控制部150传递。
拍摄部130是拍摄显示装置100的外部且拍摄显示装置100的前面,即在使用者20配戴时拍摄使用者的正面方向的相机。拍摄部130在显示装置100进行驱动时,始终拍摄外部。
存储部140是具有存储显示装置100在动作上所需的各种程序及数据的功能的存储介质。存储部140可以通过例如HDD(Hard Disc Drive:硬盘驱动器)、SSD(Solid StateDrive:固态硬盘)、闪存等实现。存储部140存储有表示在构成游乐设施的多个区域中分别通过的次数的次数表400、利用显示装置100的使用者的设定信息、表示构成游乐设施200的各区域的位置范围的信息、在显示装置100中显示的各种影像数据或成为其根源的影像数据等。关于次数表400的详情,在后文叙述。
控制部150是具有执行存储于存储部140的各种程序而对显示装置100的各部进行控制的功能的处理器。控制部150通过执行各程序而实现作为设定部151、加工部152、计数部153、生成部154的功能。
设定部151具有设定与使用显示装置100的使用者相关的信息的功能。设定部151例如从通过有线或无线而与显示装置100连接的外部的装置(例如,PC(PersonalComputer))受理使用者的ID或使用者名,将用于确定从现在起利用显示装置100的使用者的信息存储于存储部140。
加工部152具有对拍摄部130拍摄的拍摄图像进行加工的功能。加工部152从拍摄图像中提取特征点(例如,边缘检测、颜色解析、目标解析等),生成将该特征点保留一定程度并对该拍摄图像进行了加工的另外的图像。例如,加工部152从拍摄图像中确定使用者20步行的场所(例如,通道),不对该通道施加加工,而进行使该通道的墙壁歪斜或者使另外的目标从墙壁露出的加工。而且,或者加工部152可以生成越靠拍摄图像的里侧,即对于使用者20而言的进深方向上距使用者越远则越增大加工程度的加工图像。加工部152使用存储于存储部140的预先确定的多个加工程序中的任一个或多个来进行拍摄图像的加工。加工部152按照来自生成部154的指示,对拍摄图像进行加工,将加工后的加工图像向生成部154传递。
计数部153基于从位置信息取得部120逐次传递的位置信息,来确定显示装置100的游乐设施200的位置,并确定包含该位置的区域。然后,计数部153将存储于次数表400的、配戴显示装置100的使用者20在确定的区域中通过的通过次数加1。需要说明的是,计数部153一旦将当前的区域的通过次数进行了加法运算之后,在使用者20向另外的区域转移之前,不进行对于该相同区域的加法运算。
生成部154具有生成在显示部110上显示的影像的功能。生成部154参照存储于存储部140的次数表400来确定使用者20在基于位置信息取得部120取得的该使用者20的当前位置信息(显示装置100的当前位置信息)而确定的区域中通过的次数。然后,确定或生成与确定的次数对应的影像,即到目前为止未向使用者20提示的影像。这可以通过例如将根据在区域中通过的次数而互不相同的影像数据、或者将能够辨别影像数据的辨别信息建立了对应的信息预先存储于存储部140来实现。而且,生成部154在该建立对应中将基于加工部152的加工图像的显示建立对应的情况下,对于加工部152指示拍摄图像的加工。生成部154使生成的影像或加工部152加工了的加工图像显示于显示部110。需要说明的是,不同的影像数据可以是完全不同的影像数据,也可以是仅一部分不同的影像。影像中只要存在稍有不同的部位即可。
控制部150生成而显示于显示部110的影像可以是对拍摄部130拍摄的图像进行了加工的影像,可以是生成部154生成的影像,可以是拍摄部130拍摄到的图像与生成部154生成的影像的合成图像,或者可以是它们的组合。
通过以上的结构,显示装置100在每次使用者20通过相同区域时,能够提供不同的影像。因此,使用者20能够在利用相同游乐设施200的同时进行多次不同的体验,因此能够不厌腻地多次在游乐设施200玩乐。
如图2或图3所示,游乐设施200由多个房间构成。如图3所示,游乐设施200被分为多个区域A~D,显示装置100对于使用者20在各区域中通过的次数进行计数。使用者20配戴显示装置100,从门201进入游乐设施200内。使用者20按照在显示装置100上显示的图像,在箭头311、312所示的方向上,在区域A内行走。使用者20通过门202,进入区域B内。使用者20通过区域B,进入区域C。使用者20通过门203,进入区域D内。然后,使用者20通过门204,返回区域A内。如箭头313所示,使用者20在区域A~D中转圈。并且,当转圈规定次数(例如,4次)时,或者经过规定时间(例如10分钟)时,在显示装置100的显示部110显示出口205,使用者20如箭头314所示从游乐设施200退出。如以上所示,使用者20由于在游乐设施200内转圈而在相同区域中通过多次。并且,每次通过时,显示装置100对于使用者20提示到目前为止未提示的影像。因此,使用者20即使在相同区域(地方、场所)通过多次,也能够观察到不同的影像,因此能够向使用者20提供不使其厌腻的游乐设施200。而且,通过在相同区域转圈的结构而能够将游乐设施200构成得比较紧凑。需要说明的是,关于区域的划分方式,可以设为管理游乐设施200的管理者的任意的划分方式,各区域的形状也可以不是图3所示那样的矩形,可以是例如椭圆形或沿着房间的形状的形状。
<数据>
图4是表示存储于存储部140的次数表400的数据结构例的数据概念图。如图4所示,次数表400是将使用者ID401、使用者名402、通过次数403建立了对应的信息。
使用者ID401是与利用显示装置100的多个使用者分别建立对应,用于辨别能够唯一确定的使用者的辨别信息。
使用者名402是表示与使用者ID401对应的使用者的名称的信息。
通过次数403是表示与使用者ID401对应的使用者在显示装置100上显示而构成游乐设施200的多个区域中分别通过的次数的信息。如上所述,通过次数403在对应的使用者满足条件时,由计数部153进行加法运算。
根据基于图4的次数表400,可知例如使用者ID为“UI0093034”的使用者的姓名为“John”,在区域A中通过的次数为“11次”,在区域B中通过的次数为“11次”,在区域C中通过的次数为“11次”,在区域D中通过的次数为“9次”。
由于次数表400的存在,显示装置100根据对于显示装置100设定的利用显示装置100的使用者的使用者ID或使用者名,能够确定该使用者在各区域中通过的次数,并能够对于该使用者的在各区域中通过的次数进行加法运算。
<动作>
图5是表示显示装置100的动作的流程图。
显示装置100的设定部151按照来自与显示装置100连接的外部装置的指示,将从现在起使用显示装置100的使用者的使用者ID或使用者名设定于存储部140(步骤S501)。
使用者20配戴显示装置100,开始游乐设施200的利用(步骤S502)。即,从门201进入游乐设施200。
当使用者20进入游乐设施200时,显示装置100的位置信息取得部120逐次取得显示装置100的当前位置信息。位置信息取得部120将取得的当前位置信息向控制部150传递(步骤S503)。
控制部150的计数部153根据传递的当前位置信息和存储于存储部140的各区域的范围信息,来确定配戴显示装置100的使用者20处于哪个区域(步骤S504)。
控制部150判定使用者所处的区域是否为新区域(步骤S505)。这根据上次确定为使用者所处的区域与本次确定的区域是否一致来判定。在判定为进入了新区域时(步骤S505为“是”),向步骤S506转移,在判定为未进入新区域时(步骤S505为“否”),向步骤S509转移。
计数部153使存储于存储部140的次数表400与在步骤S501中设定的使用者ID相对应,将与在步骤S504中确定的区域对应的次数加1而进行更新(步骤S506)。
生成部154参照次数表400来确定使用者在所处区域中通过的次数(步骤S507)。
控制部150使生成的图像显示于显示部110(步骤S508)。
显示装置100的控制部150判定是否受理到显示装置100的结束输入(步骤S510)。在受理到结束输入时(步骤S510为“是”),结束处理,在未受理到结束输入时(步骤S510为“否”),返回步骤S503。
如以上所述,显示装置100对于使用者20能够在每次通过相同区域时提供不同的影像。因此,能够向使用者20提供不使其厌腻的游乐设施200。
图6是表示基于加工部152的加工动作的流程图。
拍摄部130逐次拍摄周围,并将拍摄到的影像向控制部150传递(步骤S601)。
加工部152按照来自生成部154的指示,开始加工图像的生成。加工部152对传递的影像进行解析,确定其特征点(步骤S602)。
加工部152基于确定的特征点,对于除了使用者通过的通道之外的部分,根据在区域中通过的次数进行加工,生成加工图像(步骤S603)。加工部152将生成了的加工图像向生成部154传递。
生成部154将传递的加工图像显示于显示部110(步骤S604)。
这样,显示装置100对使用者观察的方向进行拍摄,对其拍摄图像进行加工并显示,由此也能够向使用者20提供不使其厌腻的影像。
<显示例>
图7示出显示于显示装置100的图像例。
图7(a)设为例如使用者20在区域B中第n次通过时的图像。如图7(a)所示,在显示装置100上显示女性站立于回廊而对使用者进行向导的图像。
并且,图7(b)设为例如使用者20在区域B中第n+1次通过时的图像。如图7(b)所示,在第n次还活着的女性,在第n+1次,显示女性成为骸骨的状态,能够让使用者20感到惊愕。
这样,显示装置100在每次通过相同区域时提供不同的影像。需要说明的是,图7(a)、(b)所示的例子只不过是一例,可以将各种表现的影像向使用者提供。
图8是表示显示装置100的加工部152对拍摄图像的加工例的图。图8(a)是拍摄部130拍摄到的拍摄图像的例子,是表示在图3所示的区域B中通过的使用者配戴的显示装置100的拍摄部130拍摄到的拍摄图像的例子的图像。
相对于此,加工部152加工了的加工图像如图8(b)所示。加工部152例如对于图8(a)的拍摄图像,进行通常已知的图像解析,提取特征点。然后,基于提取的特征点来确定通道部分。然后,对于确定的通道部分以外的部位,进行利用了原本的图像的加工。例如,加工部152从拍摄图像之中确定人物,进行该人物从原本的场所出来的加工或使墙壁等歪斜的加工。此时,如图8(b)所示,可以使画面里侧一方的加工程度更大。显示装置100显示图8(b)所示那样的加工图像。使用者观察图8(b)所示那样的图像,能够体验到仿佛来到了异度空间的感觉。需要说明的是,图7或图8所示的图像例是一例。
<总结>
如上所述,显示装置100根据使用者在规定的区域中通过的次数而显示不同的影像。因此,能够向使用者提供每次利用了不同影像的娱乐活动,因此能够向使用者提供可多次踏足的游乐设施。
<实施方式2>
在上述实施方式1中,例如图2所示预先准备了一定程度的设施,但是并不局限于此。在本实施方式2中,说明通过更简单的设施,得到与上述实施方式1同样的效果的手法。而且,在本实施方式2中,也一并说明多个使用者在游乐设施玩乐时的处理。
<结构>
图9是本实施方式的游乐设施的立体图。如图9所示,在游乐设施内,不准备墙壁或项目,仅提供规定的空间。构成该规定的空间的面(壁面、地面、顶棚面)由单一色(例如,蓝背、绿背)的壁纸或布构成。通过对于壁面、地面、顶棚面涂布单一色的涂料,可以形成由单一色的面围成的规定的空间。而且,该游乐设施可以进行多个使用者的利用。各使用者分别配戴作为显示装置的HMD。
如图10所示,该HMD具备拍摄部1000和拍摄部1001这两个拍摄部作为拍摄部130。拍摄部1000对应于配戴显示装置100的使用者的右眼,拍摄部1001对应于使用者的左眼,是分别对朝向的方向进行拍摄的相机。拍摄部1000与拍摄部1001之间的距离大约相当于使用者的眼与眼之间的感觉。由此,由拍摄部1000和拍摄部1001拍摄的图像分别作为视差图像也成立。拍摄部1000和拍摄部1001拍摄到的影像向控制部100传递。
在图10所示的规定的空间内,显示装置100的位置信息取得部120取得规定的空间内的位置和朝向,控制部150的生成部154生成与该位置和朝向对应的影像而显示于显示部110。
此时,控制部150根据从拍摄部130(拍摄部1000、拍摄部1001)取得的影像中是否存在由单一色构成的周围的面以外的颜色,来确定是否拍摄到壁面、地面、顶棚面以外的某些物品。并且,在检测到对周围的面以外进行拍摄的情况下,控制部150的加工部152以使拍摄到的对象的图像(影像)与显示的周围的影像匹配的方式进行加工,显示于显示部110。例如,如果在显示部110显示的周围的影像为阴暗的感觉,则对影像实施拍摄到的对象也处于阴暗的场所那样的加工来显示。
例如,如果以图9所示的例子来说,使用者21配戴的显示装置100将使用者20收纳于拍摄范围内。因此,使用者21配戴的显示装置100的控制部150对于拍摄到的影像中的使用者20进行与周围的影像匹配那样的加工,在使用者21配戴的显示装置100的显示部110上显示。
此时,加工部152利用拍摄部1000与拍摄部1001之间的距离、及两拍摄部拍摄到的拍摄影像中的拍摄相同对象的相同像素间的距离,应用三角测量,算出到对象为止的距离。并且,以在算出的该距离处显示对象的方式对影像进行加工。
另外,或者使用者20配戴的显示装置100在对使用者20自身的手等进行拍摄的情况下,也可以同样地进行加工而将使用者20的手与周围的影像一起显示。而且,如上所述,根据拍摄图像也能够算出到对象即使用者20的手为止的距离,因此无论使用者20的手处于何种位置,都能够提供该手上存在其他的目标例如虫子在手上攀爬那样的影像。需要说明的是,在此提供的影像可以利用上述实施方式1所示的影像。即,在影像内,能够一边让使用者观察环形那样的构造的影像,一边在每次转圈时提供不同的影像,并与其他的使用者一起玩乐。
<动作>
从此开始,说明本实施方式2的显示装置100的动作。图11是表示实施方式2的显示装置100的动作的流程图。
如图11所示,位置信息取得部120取得显示装置100的游乐设施200内的位置和朝向(步骤S1101)。该结构例如通过在显示装置100上搭载6轴传感器、9轴传感器等能够实现。
拍摄部130(拍摄部1000、1001)取得逐次被设置而朝向的方向的影像(步骤S1102),向控制部150传递。
控制部150的加工部152判定拍摄图像内是否含有与背景色即上述的单一色不同的颜色(步骤S1103)。在含有的情况下(步骤S1103为“是”),向步骤S1104的处理转移,在不含有的情况下(步骤S1103为“否”),向步骤S1106的处理转移。
在拍摄图像内存在与背景色不同的颜色时,即,拍摄到某些事物时,控制部150应用三角测量,算出到拍摄的对象(例如,其他的使用者或自身的身体等)为止的距离(步骤S1104)。并且,加工部152以使拍摄到拍摄图像的背景以外的的对象部分与虚拟影像匹配的方式进行加工,合成为周围的虚拟影像,显示于显示部110(步骤S1105)。
另一方面,在拍摄图像内不存在与背景色不同的颜色时,即,拍摄部1000、1001未拍摄到背景以外的事物时,控制部150使虚拟影像显示于显示部110(步骤S1106)。
控制部150判断从游乐设施的操作者是否接收到结束输入(步骤S1107),存在结束输入时(步骤S1107为“是”),结束处理,没有结束输入时(步骤S1107为“否”),返回步骤S1101。
通过以上的处理,显示装置100即使多个使用者处于规定的空间内,也能够共有相同的空间,并且能够识别到该使用者同时处于虚拟空间内的情况,或者观察到自身的手足。
<总结>
根据包含实施方式2的显示装置100的影像提供***,不用准备大规模的装置而能够提供影像进行各种变化的虚拟现实空间。而且,能够提供多个使用者可同时玩乐的虚拟现实空间。
<补充>
上述实施方式的装置没有限定为上述实施方式,当然可以通过其他的手法实现。以下,说明各种变形例。
(1)在上述实施方式1中,示出了由显示装置100单体实现的例子,但是并不局限于此。显示装置100执行的功能可以由其他的装置实现。例如,如图12所示,可以通过具有上述实施方式所示的显示装置100的一部分的功能的显示装置900和管理装置910来实现。关于其结构进行简单说明。
在图12所示的游乐***中,显示装置900具有取得自身的位置信息的功能、拍摄周围的影像的功能、显示影像的功能,管理装置910具有上述实施方式中的显示装置100担任的对在区域中通过的次数进行计数的功能和基于该次数而生成影像的功能。
如图12所示,显示装置900具备显示部110、位置信息取得部120、拍摄部130、存储部140、控制部150、通信部170,各功能部经由总线160而连接。显示装置900的各功能部与上述实施方式所示的功能部同样,因此省略说明。关于控制部150,实现作为设定部151的功能,不具有其他的作为加工部、计数部、生成部的功能。
通信部170是具有与其他的装置执行通信的功能的通信接口。通信部170通过无线通信而与管理装置910执行通信。通信部170只要能够与管理装置910执行通信即可,可以按照任意的通信协议来执行通信。通信部170将拍摄部130拍摄的拍摄影像、位置信息取得部120取得的当前位置信息向管理装置910发送。而且,通信部170接收从管理装置910发送的影像数据。通信部170接收到的影像数据由显示部110显示。
另一方面,管理装置910具备通信部920、存储部940、控制部950。通信部920、存储部940、控制部950相互经由总线960而连接。
通信部920是具有与其他的装置执行通信的功能的通信接口。通信部920通过无线通信而与显示装置900执行通信。通信部920只要能够与显示装置900执行通信即可,可以按照任意的通信协议来执行通信。通信部920将从控制部950传递的影像数据向显示装置900发送。而且,通信部920从显示装置900接收显示装置900的当前位置信息、拍摄影像,并向控制部950传递。
存储部940是具有存储管理装置910在动作上所需的各种程序及数据的功能的存储介质。存储部940可以通过例如HDD(Hard Disc Drive)、SSD(Solid State Drive)、闪存等来实现。存储部940存储有表示各使用者在构成游乐设施的多个区域中分别通过的次数的次数表400、表示构成游乐设施200的各区域的位置范围的信息等。
控制部950是具有执行存储于存储部940的各种程序而对管理装置910的各部进行控制的功能的处理器。控制部950通过执行各程序而实现作为加工部152、计数部153、生成部154的功能。关于该加工部152、计数部153、生成部154,由于与上述实施方式所示的结构相同,因此省略说明。
即使是这样的结构,也能得到与上述实施方式所示的结构同样的效果。而且,通过使管理装置910具有生成影像的功能,显示装置900自身不再需要提高其处理器性能,因此能够提供廉价的显示装置900。而且,在显示装置100的存储部140不需要预先存储影像数据,因此能够减少存储部140的存储容量。需要说明的是,该结构在实施方式2中也有效。
(2)在上述实施方式中,记载了将显示装置100在游乐设施200中利用的例子,但是利用显示装置100的场所并不局限于游乐设施。即使是其他的设施或屋外,在多次通过相同区域那样的场所也可以利用。
(3)在上述实施方式中,显示装置100具备GPS功能,由此作为确定其位置并用于对通过了区域的次数进行计数的信息源,但是对通过区域的次数进行计数的手法并不局限于此。只要使用者20配戴显示装置100而能够对通过了各区域的次数进行计数即可,也可以通过其他的结构实现。例如,将在各区域的中心产生信标的信标产生器设置于游乐设施200。该信标以到达各区域内且避免到达其他的区域的信号强度进行发送。并且,信标包含表示载置信标产生器的区域的信息。显示装置100具备通信功能,通过接收该信标,识别出存在于哪个区域,计数部153对使用者20通过了区域的次数进行计数。
另外,或者可以在游乐设施200的各区域设置能够拍摄各区域整个区域的相机,根据该相机拍摄到的图像进行图像解析,确定配戴有显示装置100的使用者20,将该信息向显示装置100发送,由此计数部153对通过各区域的次数进行计数。与使显示装置100计数相比,这样的结构例适合于上述补充(1)所示的使管理装置910进行计数的情况。
(4)在上述实施方式中,通过在游乐设施200内转圈而在相同区域中通过多次,但是这即使在例如相同使用者多次利用一条直道的游乐设施的情况下,如上述实施方式所示,也能够实现根据通过的次数而提供不同影像的结构。
(5)在上述实施方式中,生成部154生成与在配戴显示装置100的使用者20所处的区域中通过的次数对应的影像,即到目前为止未向该使用者20提示的影像。这在上述中按照通过次数而将不同的影像数据建立对应来实现,但是并不局限于此。例如,也可以不是影像数据而是改变生成影像的程序来实现。而且,显示装置100具备预先准备多个不同的影像数据作为影像数据并从其中随机选择1个这样的结构,也能够起到同样的效果,即,对于使用者20能够在每次通过相同区域时提供不同影像这样的效果。
(6)在上述实施方式中,示出了使用者20自身在游乐设施200中到处步行那样的游乐设施200的例子,但是游乐设施200没有限定为使用者20自身到处步行的设施。游乐设施200也可以是使用者20通过乘坐的移动车辆而移动那样的设施。在这样的情况下,加工部152可以进行使通道其本身歪斜那样的加工。
(7)在上述实施方式中,示出了单人的使用者20在游乐设施200玩乐的例子,但是在游乐设施200一次玩乐的人数并不局限于单人。也可以多人同时参加,在这种情况下,显示装置100在拍摄部130拍摄到其他的使用者的情况下,也可以将该使用者的姿态进行加工并显示。
(8)显示装置100可以具备通信功能,这种情况下,可以具有经由网络,收集自身未保持的影像数据、生成影像的生成程序或生成影像的加工程序,并利用收集的各程序或影像数据来生成新的影像的功能。
(9)在上述实施方式中,虽然没有特别记载,但是使用者可以保持用于对虚拟影像世界造成影响的控制器。这种情况下,该控制器为了确定游乐设施200内的位置及朝向而可以具备传感器,来影响虚拟影像。在此,影响是指例如,可以将控制器当作手电筒,根据使用者保持的控制器的朝向而以将影像世界内明亮地照耀的方式对影像进行加工,也可以将控制器当作枪,在影像世界内,当使用者扣动扳机时,以朝向控制器所朝的方向进行枪击的方式对影像进行加工。需要说明的是,在此,利用了控制器的影像的加工例为一例,也可以进行其他的加工,还可以将控制器当作其他的事物。
(10)另外,在上述实施方式中,作为在显示装置中提供不同影像的手法,通过显示装置的处理器执行影像显示程序等来实现,但这也可以通过在装置上形成为集成电路(IC(Integrated Circuit)芯片、LSI(Large Scale Integration))等的逻辑电路(硬件)或专用电路来实现。而且,这些电路可以通过1个或多个集成电路实现,也可以通过1个集成电路实现上述实施方式所示的多个功能部的功能。LSI根据集成度的差异,有时也称为VLSI、super LSI、ultra LSI等。即,如图10所示,显示装置100可以由显示电路110a、位置信息取得电路120a、拍摄电路130a、存储电路140a、控制电路150a构成,各自的功能与上述实施方式所示的具有同样的名称的各部相同。
另外,上述影像显示程序可以记录在处理器能够读取的记录介质中,作为记录介质,可以使用“非暂时性的有形的介质”,例如,磁带、盘、卡、半导体存储器、可编程的逻辑电路等。而且,上述影像显示程序可以经由能够传送该影像显示程序的任意的传送介质(通信网络或广播波等)向上述处理器供给。本发明在上述影像显示程序通过电子性的传送而体现的埋入于载波的数据信号的方式中也能实现。
需要说明的是,上述影像显示程序可以使用例如ActionScript、JavaScript(注册商标)等脚本语言、Objective-C、Java(注册商标)等的面向对象编程语言、HTML5等标记语言等来安装。
(11)上述实施方式及各补充所示的各种变形例可以适当组合。

Claims (6)

1.一种影像提供***,其特征在于,包括:
规定的空间,其由单一色的面围成;
影像显示装置,其配戴于使用者的头部来使用,具备以人类的两眼的间隔分离配置且在所述使用者配戴时对所述使用者的正面方向进行拍摄的两个拍摄装置;以及
确定装置,其确定所述影像显示装置的在所述规定的空间内的位置和朝向,
所述影像显示装置根据所述规定的空间内的朝向和位置,在通过所述两个拍摄装置拍摄了所述单一色的部位显示预先准备的影像,在未拍摄所述单一色的部位显示基于通过所述两个拍摄装置拍摄到的影像的影像。
2.根据权利要求1所述的影像提供***,其特征在于,
所述影像提供***具备:
算出部,其根据通过所述两个拍摄装置拍摄到的影像,算出到拍摄了所述单一色以外的对象为止的距离;以及
影像生成部,其生成与所述算出部算出的距离对应的立体影像,
所述影像显示装置显示所述影像生成部生成的立体影像。
3.根据权利要求2所述的影像提供***,其特征在于,
所述影像生成部基于所述算出部算出的距离,生成将与所述对象不同的异物重叠于所述对象的影像。
4.根据权利要求2所述的影像提供***,其特征在于,
所述影像提供***还包括由使用者保持的保持用具,该保持用具对于所述影像显示装置显示的影像赋予效果,
所述影像生成部根据所述保持用具的位置和朝向而生成赋予了所述效果的立体影像。
5.一种影像提供方法,其向影像显示装置提供影像,该影像显示装置在由单一色的面围成的规定的空间内使用,并配戴于使用者的头部来使用,该影像显示装置具备以人类的两眼的间隔分离配置且在所述使用者配戴时对所述使用者的正面方向进行拍摄的两个拍摄装置,所述影像提供方法包括:
确定所述影像显示装置的在所述规定的空间内的位置和朝向的确定步骤;
通过所述两个拍摄装置拍摄所述使用者的正面方向的拍摄步骤;以及
在通过所述两个拍摄装置拍摄了所述单一色的部位显示预先准备的影像,在未拍摄所述单一色的部位显示基于通过所述两个拍摄装置拍摄到的影像的影像的显示步骤。
6.一种记录介质,记录有影像提供程序,所述影像提供程序在影像提供***中使计算机实现下述功能,其中,所述影像提供***向影像显示装置提供影像,该影像显示装置在由单一色的面围成的规定的空间内使用,并配戴于使用者的头部来使用,该影像显示装置具备以人类的两眼的间隔分离配置且在所述使用者配戴时对所述使用者的正面方向进行拍摄的两个拍摄装置,所述影像提供程序在所述影像提供***中使计算机实现:
确定所述影像显示装置的在所述规定的空间内的位置和朝向的确定功能;
通过所述两个拍摄装置拍摄所述使用者的正面方向的拍摄功能;以及
在通过所述两个拍摄装置拍摄了所述单一色的部位显示预先准备的影像,在未拍摄所述单一色的部位显示基于通过所述两个拍摄装置拍摄到的影像的影像的显示功能。
CN201810065114.2A 2017-01-23 2018-01-23 影像提供***、影像提供方法及记录介质 Pending CN108363483A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-009801 2017-01-23
JP2017009801A JP6654158B2 (ja) 2017-01-23 2017-01-23 映像提供システム、映像提供方法及び映像提供プログラム

Publications (1)

Publication Number Publication Date
CN108363483A true CN108363483A (zh) 2018-08-03

Family

ID=62907394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810065114.2A Pending CN108363483A (zh) 2017-01-23 2018-01-23 影像提供***、影像提供方法及记录介质

Country Status (3)

Country Link
US (1) US10499030B2 (zh)
JP (1) JP6654158B2 (zh)
CN (1) CN108363483A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1477856A (zh) * 2002-08-21 2004-02-25 北京新奥特集团 真三维虚拟演播室***及其实现方法
CN101668126A (zh) * 2008-09-02 2010-03-10 新奥特(北京)视频技术有限公司 一种用于虚拟演播室***的实现无限蓝箱功能的方法
CN102111565A (zh) * 2009-12-25 2011-06-29 新奥特(北京)视频技术有限公司 虚拟演播室***中的摄像机初始定位方法及装置
CN104429064A (zh) * 2012-07-11 2015-03-18 索尼电脑娱乐公司 图像生成装置及图像生成方法
US20150350628A1 (en) * 2014-05-28 2015-12-03 Lucasfilm Entertainment CO. LTD. Real-time content immersion system
US20160041391A1 (en) * 2014-08-08 2016-02-11 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
US20160048203A1 (en) * 2014-08-18 2016-02-18 Universal City Studios Llc Systems and methods for generating augmented and virtual reality images
CN105959513A (zh) * 2016-06-06 2016-09-21 杭州同步科技有限公司 真三维虚拟演播室***及其实现方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06176131A (ja) * 1992-12-03 1994-06-24 Namco Ltd 画像合成装置及びこれを用いた仮想体験装置
JPH06268943A (ja) * 1993-03-15 1994-09-22 Mitsubishi Heavy Ind Ltd 視点映像用ビデオカメラを有する頭部搭載型ディスプレイ
JPH07104718A (ja) * 1993-10-07 1995-04-21 Mitsubishi Heavy Ind Ltd 多人数用立体情報表示装置
US6243055B1 (en) * 1994-10-25 2001-06-05 James L. Fergason Optical display system and method with optical shifting of pixel position including conversion of pixel layout to form delta to stripe pattern by time base multiplexing
JPH08322064A (ja) * 1995-05-26 1996-12-03 Hitachi Ltd ヘッドマウントディスプレイ装置
JPH09167253A (ja) * 1995-12-14 1997-06-24 Olympus Optical Co Ltd 映像表示装置
JP3717653B2 (ja) * 1998-01-20 2005-11-16 株式会社リコー 頭部搭載型画像表示装置
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
JP6125785B2 (ja) * 2012-09-27 2017-05-10 京セラ株式会社 表示装置および制御方法
US10019057B2 (en) * 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
JPWO2015145544A1 (ja) 2014-03-24 2017-04-13 パイオニア株式会社 表示制御装置、制御方法、プログラム及び記憶媒体
US9779633B2 (en) * 2014-08-08 2017-10-03 Greg Van Curen Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same
JP2016048301A (ja) 2014-08-27 2016-04-07 株式会社ニコン 電子機器
CN113568170A (zh) * 2016-03-15 2021-10-29 奇跃公司 虚拟图像生成***及其操作方法
JP6596452B2 (ja) * 2017-01-23 2019-10-23 ティフォン インコーポレーテッド 表示装置、表示方法及びその表示プログラム、並びに、遊興施設
DE102017123894B3 (de) * 2017-10-13 2019-02-07 Carl Zeiss Meditec Ag Scheibe für ein HMD und HMD mit wenigstens einer Scheibe

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1477856A (zh) * 2002-08-21 2004-02-25 北京新奥特集团 真三维虚拟演播室***及其实现方法
CN101668126A (zh) * 2008-09-02 2010-03-10 新奥特(北京)视频技术有限公司 一种用于虚拟演播室***的实现无限蓝箱功能的方法
CN102111565A (zh) * 2009-12-25 2011-06-29 新奥特(北京)视频技术有限公司 虚拟演播室***中的摄像机初始定位方法及装置
CN104429064A (zh) * 2012-07-11 2015-03-18 索尼电脑娱乐公司 图像生成装置及图像生成方法
US20150350628A1 (en) * 2014-05-28 2015-12-03 Lucasfilm Entertainment CO. LTD. Real-time content immersion system
US20160041391A1 (en) * 2014-08-08 2016-02-11 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
US20160048203A1 (en) * 2014-08-18 2016-02-18 Universal City Studios Llc Systems and methods for generating augmented and virtual reality images
CN105959513A (zh) * 2016-06-06 2016-09-21 杭州同步科技有限公司 真三维虚拟演播室***及其实现方法

Also Published As

Publication number Publication date
JP2018121132A (ja) 2018-08-02
US20180213200A1 (en) 2018-07-26
US10499030B2 (en) 2019-12-03
JP6654158B2 (ja) 2020-02-26

Similar Documents

Publication Publication Date Title
CN106232192B (zh) 具有可旋转放置的摄像机的玩游戏装置
CN105138135B (zh) 头戴式虚拟现实设备及虚拟现实***
CN105573486B (zh) 具有与移动计算设备介接的接口的头戴式设备(hmd)***
JP5934368B2 (ja) 可搬装置、仮想現実システムおよび方法
CN108363204A (zh) 显示装置、显示方法及记录介质、以及游乐设施
CN105807931B (zh) 一种虚拟现实的实现方法
CN110536726A (zh) Vr环境的第二屏幕虚拟窗口
CN108304063B (zh) 信息处理装置、信息处理方法和计算机可读介质
JP2021530817A (ja) 画像ディスプレイデバイスの位置特定マップを決定および/または評価するための方法および装置
CN107533230A (zh) 头戴式显示器用追踪***
CN106233227A (zh) 具有体积感测的游戏装置
CN112569600B (zh) 虚拟场景中的路径信息发送方法、计算机设备及存储介质
CN109634413B (zh) 对虚拟环境进行观察的方法、设备及存储介质
CN109640070A (zh) 一种立体显示方法、装置、设备及存储介质
US20180261120A1 (en) Video generating device, method of controlling video generating device, display system, video generation control program, and computer-readable storage medium
JP2019087226A (ja) 情報処理装置、情報処理システムおよび表情画像出力方法
CN112138390A (zh) 对象提示方法、装置、计算机设备及存储介质
CN105005145B (zh) 智能眼镜及智能眼镜的外接设备
CN114302762A (zh) 程序、方法、以及信息处理终端
JP2015525502A (ja) スーパーリアリティ・エンターテイメントのための管理
CN110585708B (zh) 虚拟环境中从飞行器着陆的方法、装置及可读存储介质
CN114415831A (zh) 信息处理设备、信息处理方法和计算机可读记录介质
CN108363483A (zh) 影像提供***、影像提供方法及记录介质
JP6875029B1 (ja) 方法、プログラム、情報処理装置
CN109992089A (zh) 电子设备、无线通信***、方法和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180803