CN114007053A - 图像生成方法、图像生成***和记录介质 - Google Patents
图像生成方法、图像生成***和记录介质 Download PDFInfo
- Publication number
- CN114007053A CN114007053A CN202110842774.9A CN202110842774A CN114007053A CN 114007053 A CN114007053 A CN 114007053A CN 202110842774 A CN202110842774 A CN 202110842774A CN 114007053 A CN114007053 A CN 114007053A
- Authority
- CN
- China
- Prior art keywords
- image
- projection surface
- projection
- input
- projector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 89
- 239000003550 marker Substances 0.000 claims abstract description 70
- 238000003384 imaging method Methods 0.000 claims abstract description 65
- 239000002994 raw material Substances 0.000 claims 1
- 238000012937 correction Methods 0.000 abstract description 10
- 230000008569 process Effects 0.000 description 42
- 238000004891 communication Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 13
- 238000005034 decoration Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 8
- 230000009466 transformation Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/147—Optical correction of image distortions, e.g. keystone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3188—Scale or resolution adjustment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
- G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Projection Apparatus (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
提供图像生成方法、图像生成***和记录介质,能够简便地减少从观测位置观测投射面时的投射图像的畸变,并且能够将影像内容以适当的大小配置在投影仪可投射的区域内的任意位置。图像生成装置具有摄像装置、显示装置、输入装置以及处理装置。处理装置从与观测位置不同的拍摄位置通过摄像装置拍摄从投影仪投射了作为投射图像的形状校正的基准的标记图像的投射屏幕,根据拍摄到的标记图像生成用于降低从观测位置观测时的投射图像的畸变的参数,按照参数使投影仪可投射的范围显示于显示装置,在该范围内的通过对输入装置的输入而指定的位置处配置影像内容而生成原始图像,按照参数校正该原始图像并向投影仪输入。
Description
技术领域
本公开涉及图像生成方法、图像生成***和程序。
背景技术
若从在投射面的正面设定的观测位置观测来自位于相对于投射屏幕等投射面倾斜的方向的投影仪的投射图像,则根据投影仪与投射面的相对位置关系而观测到畸变的图像。作为降低该畸变的技术,一般已知有梯形校正。专利文献1中公开了如下技术:拍摄固定于投射面的标记,根据拍摄图像中的标记的位置关系来计算梯形校正用的参数。
专利文献1:日本特表2006-523067
近年来,提出了在零售店等店铺中的店内装饰中利用投影仪的投射图像。在店铺等中,有时在与季节的变化对应的花纹变更时要变更投射屏幕的位置。每当变更投射屏幕的位置就考虑投影仪与投射屏幕的相对位置关系以及观测位置与投射屏幕的相对位置关系,并且重新进行梯形校正成为较大的负担。另外,在店内装饰中利用投影仪的投射图像的情况下,若来自投影仪的投射光被商品或店内的器物遮挡,则有时无法获得预期的装饰效果。因此,在店内装饰中利用投影仪的投射图像的情况下,期望选择投影仪可投射的区域中的不被商品等遮挡投射光的部分,以适当的大小配置影像内容。但是,以往没有如下技术:能够简便地减少从观测位置观测投射面时的投射图像的畸变,并且能够将影像内容以适当的大小配置在投影仪可投射的区域内的任意位置。
发明内容
为了解决上述课题,本公开的图像生成方法生成向投影仪输入的输入图像,该投影仪将投射图像投射到投射面,在该图像生成方法中,在作为用于对所述投射图像的形状进行校正的基准的标记图像从所述投影仪投射到所述投射面的状态下,根据用户的指示,使用摄像装置从与观测所述投射面的观测位置不同的拍摄位置拍摄所述投射面,根据使用所述摄像装置拍摄到的图像中包含的所述标记图像,生成用于在从所述观测位置观测所述投射面的情况下降低所述投射图像的畸变的参数,按照所述参数在显示装置上显示区域图像,该区域图像表示能够向所述投射面投射的范围,在所述区域图像内的所述用户指定的位置处配置影像内容,生成包含所配置的所述影像内容的原始图像,通过按照所述参数对所述原始图像进行校正来生成所述输入图像。
另外,为了解决上述课题,本公开的图像生成***生成向投影仪输入的输入图像,该投影仪将投射图像投射到投射面,该图像生成***具备:摄像装置;显示装置;输入装置;以及处理装置,所述处理装置执行如下处理:在作为用于对所述投射图像的形状进行校正的基准的标记图像从所述投影仪投射到所述投射面的状态下,根据用户的指示,使用摄像装置从与观测所述投射面的观测位置不同的拍摄位置拍摄所述投射面,根据使用所述摄像装置拍摄到的图像中包含的所述标记图像,生成用于在从所述观测位置观测所述投射面的情况下降低所述投射图像的畸变的参数,按照所述参数在显示装置上显示区域图像,该区域图像表示能够向所述投射面投射的范围,在所述用户通过对所述输入装置的输入而指定的所述区域图像内的位置处配置影像内容,生成包含所配置的所述影像内容的原始图像,通过按照所述参数对所述原始图像进行校正来生成所述输入图像。
另外,为了解决上述课题,本公开的程序使计算机执行如下处理:在作为用于对从投影仪投射到投射面的投射图像的形状进行校正的基准的标记图像从所述投影仪投射到所述投射面的状态下,根据用户的指示,使用摄像装置从与观测所述投射面的观测位置不同的拍摄位置拍摄所述投射面,根据使用所述摄像装置拍摄到的图像中包含的所述标记图像,生成用于在从所述观测位置观测所述投射面的情况下降低所述投射图像的畸变的参数,按照所述参数在显示装置上显示区域图像,该区域图像表示能够向所述投射面投射的范围,在所述区域图像内的所述用户通过对所述计算机的输入而指定的位置处配置影像内容,生成包含所配置的所述影像内容的原始图像,通过按照所述参数对所述原始图像进行校正来生成向所述投影仪输入的输入图像。。
附图说明
图1是表示本公开的一个实施方式的图像生成装置1的结构例的框图。
图2是表示图像生成装置1、投影仪2以及投射屏幕3的配置例的图。
图3是表示图像生成装置1的处理装置60按照程序AP执行的图像生成方法的流程的流程图。
图4是表示投影仪2按照从图像生成装置1提供的标记图像数据向投射屏幕3投射的标记图像MG的一例的图。
图5是表示通过图像生成装置1的摄像装置40拍摄从投影仪2投射了标记图像MG的状态的投射屏幕3而得到的图像的显示例的图。
图6是表示用户的畸变校正操作的一例的图。
图7是表示畸变校正操作后的显示装置20的显示图像的一例的图。
图8是表示图像生成装置1的显示装置20所显示的区域图像RG的一例的图。
图9是表示影像内容相对于区域图像RG的配置例的图。
图10是表示影像内容相对于区域图像RG的配置例的图。
图11是用于说明本实施方式的效果的图。
图12是用于说明本实施方式的效果的图。
标号说明
1:图像生成装置;2:投影仪;3:投射屏幕;10:通信装置;20:显示装置;30:输入装置;40:摄像装置;50:存储装置;60:处理装置。
具体实施方式
以下,参照附图说明本发明的实施方式。在以下所述的实施方式中附加了在技术上优选的各种限定。但是,本公开的实施方式不限于以下所述的方式。
1.实施方式
图1是表示执行本公开的图像生成方法的图像生成装置1的结构例的框图。在图1中,除了图像生成装置1之外,还图示了投影仪2和投射屏幕3。在本实施方式中,投射屏幕3的表面成为从投影仪2对投射图像进行投射的投射面。投影仪2以及投射屏幕3例如设置在零售店等店铺内。投影仪2将店内装饰用的图像投射到投射屏幕3。由此,实现使用了投影仪2的店内装饰。图像生成装置1是生成店内装饰用的图像的装置。
图2是从天花板侧观察设置有投影仪2以及投射屏幕3的店铺T的内部的俯瞰图。在图1以及图2中省略了详细的图示,但从正面观察投射屏幕3时的形状、即投射屏幕3的正面形状为长方形。在本实施方式中,作为来到店铺T的顾客观测来自投影仪2的投射图像的观测位置P1,设定投射屏幕3的正面的位置,具体而言为沿着穿过形成投射屏幕3的轮廓的长方形的中心的投射屏幕3的法线Y1与投射屏幕3隔开规定距离的位置。如图2所示,投影仪2设置在相对于法线Y1形成左旋的角度θ1的直线Y2上。即,投影仪2从相对于投射屏幕3的法线Y1向左旋转角度θ1的倾斜的方向投射图像。
图像生成装置1是具有与投影仪2进行通信的数据通信功能和拍摄功能的便携终端。本实施方式的图像生成装置1是智能手机,但也可以是具有数据通信功能以及拍摄功能的平板型个人计算机。如图2所示,图像生成装置1的用户使用图像生成装置1从设置在相对于法线Y1成右旋的角度θ2的直线Y3上的拍摄位置P2拍摄从投影仪2投射了图像的状态的投射屏幕3。在本实施方式中,该拍摄图像在编辑店内装饰用的图像时被利用。即,在本实施方式中,利用从与观测位置P1不同的拍摄位置P2拍摄到的投射屏幕3的图像,进行店内装饰用的图像的编辑。关于投影仪2以及投射屏幕3,与现有的投影仪以及投射屏幕没有特别的变化,因此省略详细说明。以下,以图像生成装置1为中心说明。
如图1所示,图像生成装置1具备通信装置10、显示装置20、输入装置30、摄像装置40、存储装置50以及处理装置60。处理装置60例如构成为包括CPU(Central ProcessingUnit:中央处理单元)等处理器。处理装置60可以由单一的处理器构成,也可以由多个处理器构成。处理装置60作为图像生成装置1的控制中枢起作用。
通信装置10在处理装置60的控制下与各种装置进行通信。通信装置10例如通过无线LAN(Local Area Network:局域网)与投影仪2进行通信。通信装置10也可以通过与无线LAN不同的通信方式与投影仪2等装置进行通信。作为与无线LAN不同的通信方式的具体例,可举出有线通信或Bluetooth。Bluetooth是注册商标。
显示装置20例如是液晶面板。显示装置20在处理装置60的控制下显示各种图像。输入装置30例如是透明的片状的接触检测传感器。输入装置30使用由与输入装置30接触的物体和输入装置30确定的静电电容来检测物体的接触位置。在本实施方式中,图像生成装置1的用户能够通过对输入装置30的触摸操作来进行各种输入。输入装置30以覆盖显示装置20的显示面的方式配置。在本实施方式中,由输入装置30和显示装置20形成触摸面板。摄像装置40例如是图像传感器。摄像装置40在处理装置60的控制下拍摄图像,并将表示拍摄到的图像的图像数据提供给处理装置60。
存储装置50是闪存等非易失性存储器。存储装置50存储由处理装置60执行的程序AP。程序AP也可以被称为“应用程序”、“应用软件”或“应用”。程序AP例如经由通信装置10从未图示的服务器等取得,然后存储于存储装置50。程序AP也可以预先存储于存储装置50。另外,在存储装置50中存储有在程序AP的执行过程中参照或生成的各种数据。
处理装置60以对输入装置30进行了指示开始执行程序AP的输入为契机开始执行程序AP。按照程序AP进行动作中的处理装置60执行本公开的图像生成方法。图3是表示处理装置60按照程序AP执行的图像生成方法的流程的流程图。如图3所示,本公开的图像生成方法包括拍摄处理SA110、第一生成处理SA120、显示处理SA130、配置处理SA140、第二生成处理SA150以及发送处理SA160。拍摄处理SA110、第一生成处理SA120、显示处理SA130、配置处理SA140、第二生成处理SA150以及发送处理SA160的各处理的处理内容如下。
拍摄处理SA110是在从投影仪2向投射屏幕3投射了作为用于校正投影仪2的投射图像的形状的基准的标记图像的状态下,使用摄像装置40拍摄投射屏幕3的处理。表示标记图像的图像数据是在程序AP的执行过程中参照的数据的一例。关于标记图像,将在后面详细说明。
第一生成处理SA120是基于使用摄像装置40拍摄到的图像所包含的标记图像,生成用于在从观测位置P1观测投射屏幕3的情况下降低投射图像的畸变的参数的处理。
显示处理SA130是按照在第一生成处理SA120中生成的参数将表示投影仪2可投射的范围的区域图像显示于显示装置20的处理。
配置处理SA140是在区域图像内的用户通过对输入装置30的输入而指定的位置处配置店内装饰用的影像内容的处理。
第二生成处理SA150是生成原始图像数据的处理,该原始图像数据表示作为包含配置在区域图像内的影像内容的图像、即为了店内装饰而输入到投影仪2的输入图像的基础的原始图像。
发送处理SA160是如下处理:通过按照在第一生成处理SA120中生成的参数对原始图像数据进行校正,生成表示输入图像的输入图像数据,使用通信装置10向投影仪2发送已生成的输入图像数据。
以上是图像生成装置1的结构。
接着,参照图3至图12,对图像生成装置1的动作进行说明。
如上所述,当对输入装置30进行了指示开始执行程序AP的输入时,处理装置60开始执行程序AP。开始执行程序AP的处理装置60首先执行拍摄处理SA110。处理装置60以拍摄处理SA110的执行开始为契机,使用通信装置10向投影仪2发送表示标记图像的标记图像数据。
如图4所示,本实施方式中的标记图像MG是由长方形状的轮廓线L0和连接在该长方形中彼此对置的2个长边的中点的线段L1和连结彼此对置的2个短边的中点的线段L2构成的图形的图像。当接收到表示标记图像MG的标记图像数据时,投影仪2将标记图像MG向投射屏幕3投射。图像生成装置1的用户若确认了标记图像MG已从投影仪2投射到投射屏幕3,则使摄像装置40朝向投射有标记图像MG的状态的投射屏幕3,通过对输入装置30的操作来输入拍摄指示。处理装置60以向输入装置30输入了拍摄指示为契机,使摄像装置40执行拍摄。在由摄像装置40进行的拍摄结束后,不需要将摄像装置40朝向投射屏幕3。
如上所述,在本实施方式中,投影仪2从倾斜方向对投射屏幕3投射标记图像MG。另外,摄像装置40从倾斜方向拍摄投射有标记图像MG的状态的投射屏幕3。因此,在由摄像装置40拍摄的图像中,投射屏幕3以相对于本来的形状即长方形发生畸变的形状被拍到。同样地,标记图像MG也以相对于本来的形状发生畸变的形状被拍到。以下,将由于从倾斜方向对投射屏幕3投射图像而引起的畸变称为第一畸变。另外,将从倾斜方向拍摄投射屏幕3所引起的畸变称为第二畸变。例如,在本实施方式中,由摄像装置40拍摄到的图像中的投射屏幕3的形状成为从本来的形状畸变了第二畸变的量的梯形。同样地,由摄像装置40拍摄到的图像中的标记图像MG的轮廓线的形状成为从本来的形状畸变了第一畸变以及第二畸变的量的梯形。
在拍摄处理SA110后续的第一生成处理SA120中,处理装置60基于使用摄像装置40拍摄到的图像所包含的标记图像MG,生成用于在从观测位置P1观测投射屏幕3的情况下降低投射图像的畸变的参数,即用于降低第一畸变的参数。在本实施方式中,处理装置60首先将使用摄像装置40拍摄到的图像如图5所示那样显示于显示装置20。如图5所示,在显示装置20的显示图像中,投射屏幕3的形状成为从本来的形状畸变了第二畸变的量的梯形。同样地,在显示装置20的显示图像中,标记图像MG的形状为从本来的形状畸变了第一畸变以及第二畸变的量的梯形。需要说明的是,图5中的阴影线意味着投射屏幕3的周围的背景的图像。图6、图7、图8、图9以及图10中的阴影线也相同。
处理装置60在使显示装置20显示摄像装置40的拍摄图像时,通过图案识别等提取标记图像MG,并将所提取的标记图像MG作为与投射屏幕3及背景的图像不同层的图像而显示于显示装置20,以使得用户能够通过对输入装置30的输入而使标记图像MG自由地变形。接着,处理装置60促使用户执行如下操作:使显示装置20的显示图像中的标记图像MG的形状变形为从拍摄位置P2观测以图4所示的本来的形状配置于投射屏幕3的标记图像MG时的形状。更具体而言,处理装置60输出“请以投射屏幕的形状为参考使标记图像的形状变形”等消息。该消息可以通过声音输出,也可以是基于向显示装置20的显示的输出。根据该消息,图像生成装置1的用户对显示装置20的显示图像中的形成标记图像MG的轮廓线的梯形的各顶点进行拖动,如图6所示,使其变形为与显示装置20的显示图像中的投射屏幕3的形状相似的梯形。当用户对标记图像MG的变形完成时,如图7所示,处理装置60将显示装置20的显示图像变形为从观测位置P1观察投射屏幕3时的图像。在图7中用虚线描绘的梯形表示投影仪2可投射的范围。在图7所示的例子中,投影仪2的可投射的范围收纳于投射屏幕3,但也存在投影仪2的可投射的范围超出投射屏幕3的情况。而且,处理装置60根据摄像装置40的拍摄图像中的标记图像MG的形状和通过用户的操作而变形后的标记图像MG的形状,生成用于减少第一畸变的参数。
能够根据摄像装置40的拍摄图像中的标记图像MG的形状和通过用户的操作而变形后的标记图像MG的形状,生成用于降低第一畸变的参数的理由如下。如上所述,摄像装置40的拍摄图像中的标记图像MG的形状从本来的形状畸变了与第一畸变以及第二畸变相应的量。如果假设没有第一畸变,则摄像装置40的拍摄图像中的标记图像MG的轮廓线的形状应该成为与摄像装置40的拍摄图像中的投射屏幕3的形状相似的梯形,即从拍摄位置P2观测以本来的形状配置于投射屏幕3的标记图像MG时的形状。即,使显示装置20的显示图像中的标记图像MG的形状变形为从拍摄位置P2观测以本来的形状配置于投射屏幕3的标记图像MG时的形状,就是减少摄像装置40的拍摄图像中的标记图像MG的形状的畸变成分中的第一畸变。另外需要说明的是,在第一畸变以及第二畸变的赋予分别用坐标变换的变换矩阵表示的情况下,用于降低第一畸变的参数是赋予第一畸变的变换矩阵的逆矩阵。基于摄像装置40的拍摄图像中的标记图像MG的形状和根据用户的操作而变形后的标记图像MG的形状来计算该变换矩阵和逆矩阵。同样地,基于根据用户的操作而变形后的标记图像MG的形状和标记图像数据所表示的形状来计算赋予第二畸变的变换矩阵及其逆矩阵。该逆矩阵是用于减小第二畸变的参数。
在第一生成处理SA120之后的显示处理SA130中,处理装置60按照在第一生成处理SA120中生成的参数,将表示能够投射到投射屏幕3的范围的区域图像显示于显示装置20。更详细地说明,处理装置60使用通信装置10与投影仪2进行通信,取得表示投影仪2能够投射的图像的分辨率的分辨率信息。接着,处理装置60参照用于降低上述第二畸变的参数来确定摄像装置40的拍摄图像中与该分辨率信息所示的范围对应的区域,并将表示所确定出的区域的区域图像显示于显示装置20。此时,作为表示投影仪2可投射的范围的区域图像,处理装置60使得显示去除了第二畸变、仅产生第一畸变的图像、即从观测位置P1观测该范围时的图像。其结果,如图8所示,在显示装置20中,作为表示能够向投射屏幕3投射的范围的区域图像,显示与投影仪2可投射的分辨率对应的形状以及大小的梯形的区域图像RG。图像生成装置1的用户能够通过区域图像RG在视觉上掌握从观测位置P1观测投射屏幕3时的投影仪2可投射的范围的形状以及大小。
在显示处理SA130之后的配置处理SA140中,处理装置60将影像内容配置于区域图像RG内的用户通过对输入装置30的输入而指定的位置。例如,当用户通过对输入装置30的输入而在区域图像RG的左上角附近配置模拟了“猫头鹰”的影像内容C2时,处理装置60将显示装置20的显示图像更新为图9所示的图像。在此,区域图像RG的左侧半部与商品等重叠,因此用户通过对输入装置30的输入而使影像内容C2移动到区域图像RG的右下角。根据用户对输入装置30的输入,处理装置60将显示装置20的显示图像更新为图10所示的图像。比较图9和图10明显可知,在本实施方式中,无论在区域图像RG的何处配置影像内容C2,影像内容C2的尺寸以及形状都不变化。因此,根据本实施方式,能够以与针对普通的矩形面的编辑相同的感觉编辑店内装饰用的图像。
在配置处理SA140之后的第二生成处理SA150中,处理装置60生成表示包含配置于区域图像RG内的影像内容的原始图像的原始图像数据。然后,在后续于第二生成处理SA150的发送处理SA160中,处理装置60对原始图像数据实施在第一生成处理SA120中生成的用于降低第一畸变的参数所示的变换处理来进行校正,由此生成表示输入图像的输入图像数据,使用通信装置10将已生成的输入图像数据发送到投影仪2。
之后,投影仪2按照从图像生成装置1接收到的输入图像数据而将输入图像投射到投射屏幕3。图11是表示如图10所示在投影仪2可投射的范围的右下角配置了影像内容C2的情况下的、以往的基于梯形校正的投射结果的一例的图。图12是表示基于本实施方式中生成的输入图像数据的投射结果的一例的图。在以往的梯形校正中,若在区域图像RG的端部配置影像内容,则产生某种畸变。在图11所示的例子中,影像内容C2与配置在区域图像RG的左上角的情况相比尺寸变小。与此相对,根据本实施方式,如图12所示,影像内容C2的尺寸与配置在区域图像RG的左上角的情况相同。以往的梯形校正是通过舍弃区域图像RG的一部分而设为矩形来对从相对于投射面倾斜的方向投射图像时的畸变进行校正的处理。因此,在以往的梯形校正中,无法最大限度地利用投影仪2可投射的范围。与此相对,本实施方式中的上述变换处理不是在畸变的上述范围内形成矩形的处理,而是在该范围内设定虚拟的正交坐标系的处理。因此,根据本实施方式,能够最大限度地利用投影仪2的可投射范围。需要说明的是,在与本实施方式中生成的输入图像数据对应的输入图像中,预先赋予了降低由投影仪2相对于投射屏幕3从倾斜方向投射所引起的畸变的畸变。因此,当从观测位置P1观测投射了该输入图像的状态的投射面时,观测到各个畸变少的影像内容C2。
如以上说明的那样,根据本实施方式的图像生成装置1,能够最大限度地利用投影仪2可投射的范围,能够在该范围的任意的位置以适当的大小配置影像内容。此外,根据本实施方式的图像生成装置1,图像生成装置1的用户不需要一边考虑投影仪2与投射屏幕3的相对位置关系以及投射屏幕3与观测位置P1的相对位置关系一边进行梯形校正,能够减轻使得从观测位置P1能够观测到畸变少的投射图像的劳力和时间。即,根据本实施方式的图像生成装置1,能够简便地减少从观测位置P1观测投射面时的投射图像的畸变,并且能够将影像内容以适当的大小配置在投影仪2可投射的区域内的任意的位置。
2.变形例
上述实施方式也可以如以下那样变更。
(1)在上述实施方式中,在从观测位置P1观测投射屏幕3的情况下,用于降低投射图像的畸变的参数是根据用户的如下操作而生成的:使摄像装置40的拍摄图像中包含的标记图像MG的形状变形为从拍摄位置P2观测标记图像MG的本来的形状时观测到的形状。但是,在图像生成装置1具有表示投射屏幕3的本来的形状的数据的情况下,也可以自动生成用于降低第一畸变的参数和用于降低第二畸变的参数。具体而言,根据投射屏幕3的本来的形状和摄像装置40的拍摄图像中的投射屏幕3的形状,计算用于降低第二畸变的参数。并且,根据摄像装置40的拍摄图像中的标记图像MG的形状和对该形状实施用于降低第二畸变的参数所示的变换处理而得到的形状,生成用于降低第一畸变的参数即可。根据本方式,能够在不使用户进行特别的操作的情况下生成用于降低第一畸变的参数和用于降低第二畸变的参数。
(2)在上述实施方式中,说明了具有通信装置10、显示装置20、输入装置30、摄像装置40、存储装置50以及处理装置60的图像生成装置1。但是通信装置10、显示装置20、输入装置30、摄像装置40、存储装置50以及处理装置60并非必须设置于单一的装置,也可以分开地设置于多个装置。例如,也可以使具有通信装置10、显示装置20、输入装置30以及摄像装置40的智能手机以及具有存储装置50和处理装置60并与该智能手机进行通信的服务器装置分担图像生成装置1的作用。即,也可以代替图像生成装置1而提供如下的图像生成***:生成向将投射图像投射到投射屏幕3的投影仪2输入的输入图像,具备摄像装置40、显示装置20、输入装置30和处理装置60,处理装置60按照程序AP执行拍摄处理SA110~发送处理SA160。
(3)在上述实施方式中,使图像生成装置1的处理装置60执行本公开的图像生成方法的程序AP预先存储于图像生成装置1的存储装置50。但是,也可以单独提供程序AP。作为程序AP的具体的提供方式,可以举出在闪存ROM等计算机可读取的记录介质中写入程序AP,分发写入有程序AP的记录介质的方式,或者通过经由互联网等电通信线路的下载来分发程序AP的方式。通过使现有的智能手机或者现有的平板终端的处理器按照由这些方式提供的程序AP工作,能够使该智能手机或者平板终端执行本公开的图像生成方法。
(4)在上述实施方式中,投射屏幕3的表面是投射面,但也可以将店铺T的墙壁面作为投射面。另外,上述实施方式中的标记图像MG是由长方形的轮廓线和连结该长方形的对置的边的中点的线段构成的图形的图像,但也可以是其他形状的图形的图像。另外,标记图像MG也可以是由在长方形状的轮廓线的各顶点分别各配置一个圆的4个圆构成的图形的图像。在该情况下,根据4个圆的相对位置关系来表示第一畸变以及第二畸变。总之,本公开中的标记图像是具有规定的形状的1个或多个图像即可。
(5)上述实施方式中的处理装置60是按照程序AP执行拍摄处理SA110、第一生成处理SA120、显示处理SA130、配置处理SA140、第二生成处理SA150以及发送处理SA160的处理器,即计算机。但是,也可以由ASIC(Application Specific Integrated Circuit:专用集成电路)等构成以下的拍摄控制电路、第一生成电路、显示控制电路、配置控制电路、第二生成电路以及发送控制电路的各电路,将这些各电路组合而构成处理装置60。拍摄控制电路执行拍摄处理SA110。第一生成电路执行第一生成处理SA120。显示控制电路执行显示处理SA130。配置控制电路执行配置处理SA140。第二生成电路执行第二生成处理SA150。发送控制电路执行发送处理SA160。
3.根据实施方式以及各变形例中的至少1个而掌握的方式
本公开不限于上述的实施方式以及变形例,能够在不脱离其主旨的范围内以各种方式实现。例如,本公开也能够通过以下的方式来实现。关于与以下记载的各方式中的技术特征对应的上述实施方式中的技术特征,为了解决本公开的课题的一部分或全部或者为了实现本公开的效果的一部分或全部,可以适当进行替换、组合。另外,如果该技术特征在本说明书中没有作为必须的技术特征进行说明,则能够适当地删除。
本公开的图像生成方法的一个方式是生成向将投射图像投射到投射面的投影仪输入的输入图像的图像生成方法,包括以下的拍摄处理、第一生成处理、显示处理、配置处理、第二生成处理以及发送处理。在拍摄处理中,在作为用于校正所述投射图像的形状的基准的标记图像从所述投影仪投射到所述投射面的状态下,根据用户的指示,使用摄像装置从与观测所述投射面的观测位置不同的拍摄位置拍摄所述投射面。在第一生成处理中,基于使用所述摄像装置拍摄到的图像中包含的所述标记图像,生成用于在从所述观测位置观测所述投射面的情况下降低所述投射图像的畸变的参数。在显示处理中,按照所述参数将表示能够向所述投射面投射的范围的区域图像显示于显示装置。在配置处理中,在所述区域图像内的所述用户所指定的位置配置影像内容。在第二生成处理中,生成包含上述配置的影像内容的原始图像。在发送处理中,按照所述参数校正所示原始图像,由此生成所述输入图像。根据本方式的图像生成方法,能够简便地减少从观测位置观测投射面时的投射图像的畸变,并且能够将影像内容以适当的大小配置在投影仪可投射的区域内的任意位置。
在更优选的方式的图像生成方法中,所述标记图像是具有规定的形状的图形的图像,在所述第一生成处理中,以如下方式生成所述参数:使得使用所述摄像装置拍摄到的图像所包含的所述标记图像的形状成为从所述拍摄位置观测配置于所述投射面的所述规定形状的图形时的形状。所述参数的生成既可以是利用了使用所述摄像装置拍摄到的图像所包含的投射面的形状与该投射面本来的形状之差的自动生成,也可以是与用户的操作对应的手动生成。作为手动生成的具体的方式,可以举出如下方式:将使用所述摄像装置拍摄到的图像显示于所述显示装置,促使所述用户进行使显示于所述显示装置的图像中的所述标记图像的形状变形为从所述拍摄位置观测配置于所述投射面的所述规定形状的图形时的形状的操作,根据所述用户的操作生成所述参数。如果是自动生成,则能够简便地生成用于降低投射图像的畸变的参数。如果是手动生成,则与自动生成相比,能够生成精细的上述参数。
另外,本公开的图像生成***的一个方式是生成向将投射图像投射到投射面的投影仪输入的输入图像的图像生成***,具备摄像装置、显示装置、输入装置和处理装置。处理装置执行上述拍摄处理、第一生成处理、显示处理、配置处理、第二生成处理以及发送处理。根据本方式的图像生成***,能够简便地减少从观测位置观测投射面时的投射图像的畸变,并且能够将影像内容以适当的大小配置在投影仪可投射的区域内的任意位置。
另外,本公开的程序的一个方式使计算机执行上述拍摄处理、第一生成处理、显示处理、配置处理、第二生成处理以及发送处理。根据本方式的程序,能够简便地减少从观测位置观测投射面时的投射图像的畸变,并且能够将影像内容以适当的大小配置在投影仪可投射的区域内的任意位置。
Claims (5)
1.一种图像生成方法,生成向投影仪输入的输入图像,该投影仪将投射图像投射到投射面,在该图像生成方法中,
在作为用于对所述投射图像的形状进行校正的基准的标记图像从所述投影仪投射到所述投射面的状态下,根据用户的指示,使用摄像装置从与观测所述投射面的观测位置不同的拍摄位置拍摄所述投射面,
根据使用所述摄像装置拍摄到的图像中包含的所述标记图像,生成用于在从所述观测位置观测所述投射面的情况下降低所述投射图像的畸变的参数,
按照所述参数在显示装置上显示区域图像,该区域图像表示能够向所述投射面投射的范围,
在所述区域图像内的所述用户指定的位置处配置影像内容,
生成包含所配置的所述影像内容的原始图像,
通过按照所述参数对所述原始图像进行校正来生成所述输入图像。
2.根据权利要求1所述的图像生成方法,其中,
所述标记图像是具有规定形状的图形的图像,
以如下方式生成所述参数:使得使用所述摄像装置拍摄到的图像中包含的所述标记图像的形状成为从所述拍摄位置观测在所述投射面配置的所述规定形状的图形时的形状。
3.根据权利要求2所述的图像生成方法,其中,
将使用所述摄像装置拍摄到的图像显示于所述显示装置,促使所述用户进行使所述显示装置的显示图像中的所述标记图像的形状变形为从所述拍摄位置观测在所述投射面配置的所述规定形状的图形时的形状的操作,根据所述用户的操作生成所述参数。
4.一种图像生成***,生成向投影仪输入的输入图像,该投影仪将投射图像投射到投射面,该图像生成***具备:
摄像装置;
显示装置;
输入装置;以及
处理装置,
所述处理装置执行如下处理:
在作为用于对所述投射图像的形状进行校正的基准的标记图像从所述投影仪投射到所述投射面的状态下,根据用户的指示,使用摄像装置从与观测所述投射面的观测位置不同的拍摄位置拍摄所述投射面,
根据使用所述摄像装置拍摄到的图像中包含的所述标记图像,生成用于在从所述观测位置观测所述投射面的情况下降低所述投射图像的畸变的参数,
按照所述参数在显示装置上显示区域图像,该区域图像表示能够向所述投射面投射的范围,
在所述用户通过对所述输入装置的输入而指定的所述区域图像内的位置处配置影像内容,
生成包含所配置的所述影像内容的原始图像,
通过按照所述参数对所述原始图像进行校正来生成所述输入图像。
5.一种记录介质,记录有程序,该程序使计算机执行如下处理:
在作为用于对从投影仪投射到投射面的投射图像的形状进行校正的基准的标记图像从所述投影仪投射到所述投射面的状态下,根据用户的指示,使用摄像装置从与观测所述投射面的观测位置不同的拍摄位置拍摄所述投射面,
根据使用所述摄像装置拍摄到的图像中包含的所述标记图像,生成用于在从所述观测位置观测所述投射面的情况下降低所述投射图像的畸变的参数,
按照所述参数在显示装置上显示区域图像,该区域图像表示能够向所述投射面投射的范围,
在所述区域图像内的所述用户通过对所述计算机的输入而指定的位置处配置影像内容,
生成包含所配置的所述影像内容的原始图像,
通过按照所述参数对所述原始图像进行校正来生成向所述投影仪输入的输入图像。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020127094A JP7099497B2 (ja) | 2020-07-28 | 2020-07-28 | 画像生成方法、画像生成システム、及びプログラム |
JP2020-127094 | 2020-07-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114007053A true CN114007053A (zh) | 2022-02-01 |
CN114007053B CN114007053B (zh) | 2023-04-25 |
Family
ID=79920992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110842774.9A Active CN114007053B (zh) | 2020-07-28 | 2021-07-26 | 图像生成方法、图像生成***和记录介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11503261B2 (zh) |
JP (1) | JP7099497B2 (zh) |
CN (1) | CN114007053B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW202115478A (zh) * | 2019-10-01 | 2021-04-16 | 華碩電腦股份有限公司 | 投影畫面校正系統及其電子設備和投影機 |
JP2022185342A (ja) * | 2021-06-02 | 2022-12-14 | セイコーエプソン株式会社 | プロジェクターおよびプロジェクターの制御方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040201823A1 (en) * | 2003-04-11 | 2004-10-14 | Ramesh Raskar | Context aware projector |
JP2007189504A (ja) * | 2006-01-13 | 2007-07-26 | Casio Hitachi Mobile Communications Co Ltd | 撮像装置、及びプログラム |
JP2008170574A (ja) * | 2007-01-10 | 2008-07-24 | Seiko Epson Corp | スクリーン、およびリアプロジェクタ |
JP2009049862A (ja) * | 2007-08-22 | 2009-03-05 | Seiko Epson Corp | 投射画像の形状歪補正支援システム、投射画像の形状歪補正支援方法、及びプロジェクタ |
JP2012095181A (ja) * | 2010-10-28 | 2012-05-17 | Seiko Epson Corp | プロジェクター、及び、プロジェクターの制御方法 |
JP2012129594A (ja) * | 2010-12-13 | 2012-07-05 | Seiko Epson Corp | プロジェクターおよびプロジェクターの画面形状補正方法 |
WO2014050415A1 (ja) * | 2012-09-27 | 2014-04-03 | 三菱電機株式会社 | 画像投影システムおよび投影位置調整方法 |
US20190219907A1 (en) * | 2018-01-18 | 2019-07-18 | Canon Kabushiki Kaisha | Control device for correcting projection image, projection system, method of controlling same, and storage medium |
US20190281266A1 (en) * | 2018-03-12 | 2019-09-12 | Canon Kabushiki Kaisha | Control apparatus, readable medium, and control method |
JP2019204034A (ja) * | 2018-05-24 | 2019-11-28 | キヤノン株式会社 | 投影制御装置、その制御方法、投影システム、プログラムおよび記憶媒体 |
CN111435985A (zh) * | 2019-01-15 | 2020-07-21 | 精工爱普生株式会社 | 投影仪的控制方法、投影仪和投射*** |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4507307B2 (ja) * | 1999-09-16 | 2010-07-21 | 独立行政法人科学技術振興機構 | 映像投影装置 |
JP2005244835A (ja) | 2004-02-27 | 2005-09-08 | Olympus Corp | マルチプロジェクションシステム |
JP4341723B2 (ja) | 2008-02-22 | 2009-10-07 | パナソニック電工株式会社 | 光投影装置、照明装置 |
JP5540493B2 (ja) | 2008-10-30 | 2014-07-02 | セイコーエプソン株式会社 | 投写光学系に対する投写面の位置または傾きの測定方法、その測定方法を用いる投写画像の画像処理方法およびその画像処理方法を実行するプロジェクタ、投写光学系に対する投写面の位置または傾きを測定するプログラム |
WO2017033385A1 (ja) * | 2015-08-26 | 2017-03-02 | パナソニックIpマネジメント株式会社 | 照明システム及びプログラム |
CN109788262A (zh) * | 2017-11-15 | 2019-05-21 | 中强光电股份有限公司 | 投影***及其影像投影方法 |
JP7116543B2 (ja) | 2017-12-15 | 2022-08-10 | キヤノン株式会社 | 投写制御装置およびその制御方法、ならびに投写システム |
JP2022088888A (ja) * | 2020-12-03 | 2022-06-15 | セイコーエプソン株式会社 | 表示システムの制御方法、表示システム及び表示装置 |
US11350066B1 (en) * | 2020-12-10 | 2022-05-31 | Texas Instruments Incorporated | Camera-assisted projection optics distortion characterization and correction |
-
2020
- 2020-07-28 JP JP2020127094A patent/JP7099497B2/ja active Active
-
2021
- 2021-07-26 CN CN202110842774.9A patent/CN114007053B/zh active Active
- 2021-07-27 US US17/386,123 patent/US11503261B2/en active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040201823A1 (en) * | 2003-04-11 | 2004-10-14 | Ramesh Raskar | Context aware projector |
JP2006523067A (ja) * | 2003-04-11 | 2006-10-05 | 三菱電機株式会社 | 物体上に出力画像を表示する方法 |
JP2007189504A (ja) * | 2006-01-13 | 2007-07-26 | Casio Hitachi Mobile Communications Co Ltd | 撮像装置、及びプログラム |
JP2008170574A (ja) * | 2007-01-10 | 2008-07-24 | Seiko Epson Corp | スクリーン、およびリアプロジェクタ |
JP2009049862A (ja) * | 2007-08-22 | 2009-03-05 | Seiko Epson Corp | 投射画像の形状歪補正支援システム、投射画像の形状歪補正支援方法、及びプロジェクタ |
JP2012095181A (ja) * | 2010-10-28 | 2012-05-17 | Seiko Epson Corp | プロジェクター、及び、プロジェクターの制御方法 |
JP2012129594A (ja) * | 2010-12-13 | 2012-07-05 | Seiko Epson Corp | プロジェクターおよびプロジェクターの画面形状補正方法 |
WO2014050415A1 (ja) * | 2012-09-27 | 2014-04-03 | 三菱電機株式会社 | 画像投影システムおよび投影位置調整方法 |
US20190219907A1 (en) * | 2018-01-18 | 2019-07-18 | Canon Kabushiki Kaisha | Control device for correcting projection image, projection system, method of controlling same, and storage medium |
US20190281266A1 (en) * | 2018-03-12 | 2019-09-12 | Canon Kabushiki Kaisha | Control apparatus, readable medium, and control method |
JP2019204034A (ja) * | 2018-05-24 | 2019-11-28 | キヤノン株式会社 | 投影制御装置、その制御方法、投影システム、プログラムおよび記憶媒体 |
CN111435985A (zh) * | 2019-01-15 | 2020-07-21 | 精工爱普生株式会社 | 投影仪的控制方法、投影仪和投射*** |
Also Published As
Publication number | Publication date |
---|---|
CN114007053B (zh) | 2023-04-25 |
US20220038669A1 (en) | 2022-02-03 |
JP2022024474A (ja) | 2022-02-09 |
JP7099497B2 (ja) | 2022-07-12 |
US11503261B2 (en) | 2022-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3847753B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
JP5092459B2 (ja) | 遠隔指示システム及び遠隔指示システム用のプログラム | |
CN106605195B (zh) | 通信设备和通信设备的控制方法 | |
US9253457B2 (en) | Image processing apparatus, projection apparatus, and computer readable medium | |
JP2020533710A (ja) | 画像ステッチング方法および装置、記憶媒体 | |
CN114007053B (zh) | 图像生成方法、图像生成***和记录介质 | |
JP2003283964A (ja) | 映像表示装置 | |
JP2003219324A (ja) | 画像補正データ算出方法、画像補正データ算出装置及びマルチプロジェクションシステム | |
JP6079695B2 (ja) | 画像表示撮影システム、撮影装置、表示装置、画像の表示および撮影の方法、およびコンピュータープログラム | |
EP2107529A2 (en) | Storage medium storing image conversion programm and image conversion apparatus | |
JP2016085380A (ja) | 制御装置、制御方法、及び、プログラム | |
JP4005322B2 (ja) | 画像処理装置、画像処理方法、プログラム及び自動写真撮影装置 | |
CN109644248A (zh) | 投射型影像显示装置和投射影像的调整方法 | |
JP4689548B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
JP5550111B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
US20190369941A1 (en) | Systems and methods for mapping an orchestrated digital display system | |
CN111918089A (zh) | 视频流处理方法、视频流显示方法、装置及设备 | |
JP6614500B2 (ja) | 画像読取装置、携帯端末、画像読取方法及び画像読取プログラム | |
JP2008028481A (ja) | 画像処理装置、遠隔画像処理システム及び画像処理方法 | |
CN112866659B (zh) | 影像编辑装置的控制方法、影像编辑装置以及记录介质 | |
JP6514386B1 (ja) | プログラム、記録媒体及び画像生成方法 | |
JP2007019694A (ja) | ディジタルカメラの撮影画像処理装置と撮影画像処理用コンピュータプログラム | |
JP2017032873A (ja) | 投影型表示装置及びその制御方法、投影システム、コンピュータプログラム | |
US20200174555A1 (en) | Display device, display method, and display system | |
JP4767331B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |