CN103828339B - 用于数字图像检索的拼接过程 - Google Patents

用于数字图像检索的拼接过程 Download PDF

Info

Publication number
CN103828339B
CN103828339B CN201280042642.7A CN201280042642A CN103828339B CN 103828339 B CN103828339 B CN 103828339B CN 201280042642 A CN201280042642 A CN 201280042642A CN 103828339 B CN103828339 B CN 103828339B
Authority
CN
China
Prior art keywords
image
resolution ratio
sheet
specific
version
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280042642.7A
Other languages
English (en)
Other versions
CN103828339A (zh
Inventor
罗伯特·埃文·比弗三世
莱斯利·杨·哈维尔
理查德·哈罗德·比恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zazzle Inc
Original Assignee
Zazzle Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zazzle Inc filed Critical Zazzle Inc
Publication of CN103828339A publication Critical patent/CN103828339A/zh
Application granted granted Critical
Publication of CN103828339B publication Critical patent/CN103828339B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0621Item configuration or customization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00161Viewing or previewing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185Image output
    • H04N1/0019Image output on souvenir-type products or the like, e.g. T-shirts or mugs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872Repositioning or masking
    • H04N1/3873Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming
    • H04N1/3875Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming combined with enlarging or reducing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/16Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/36Level of detail
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/912Applications of a database
    • Y10S707/944Business related
    • Y10S707/948Product or catalog
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/953Organization of data
    • Y10S707/962Entity-attribute-value

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Generation (AREA)

Abstract

描述了用于数字图像检索的技术。在一个实施例中,***存储特定图像的多个版本的多个图像片。多个版本的每个图像具有不同的分辨率。多个图像片的每个图像片包括特定图像的每个版本的有界区域。基于特定图像的一部分为可见时的显示分辨率,***确定特定图像的最终图像分辨率。***撷取具有最终分辨率的特定图像的每个版本的一个或多个图像片。一个或多个图像片包括特定图像的将被显示的一部分。***将一个或多个图像片应用到模型并渲染所述模型。

Description

用于数字图像检索的拼接过程
技术领域
本发明涉及数字图像检索领域,具体地,涉及一种用于数字图像检索的拼接(tiling)过程。
背景技术
在此披露的某些部分中描述并且标识为“背景”或“先前方法”的某些方法是可实行的方法,但不必是先前已经构想或实行的方法。因此,除非另有说明,否则不应假设如此描述的任何这些方法仅凭标识为“背景”或“先前方法”而作为现有技术。
在基于计算机的***中,该***支持识别、订购和显示定制加框产品的预览图像,显示示出将要制造的产品转角的模拟特写景象、示出框架的斜角、一个或多个衬边的细节以及将通过一个或多个衬边在框架中加框的图像的细节,可能是有用的。事实上,在允许用户订购预制加框印刷品或其他视觉作品的方法中,传统上是为用户显示产品的一个或多个转角,这样用户就可以看到框架、衬边和图像的细节。
然而,特定***可以允许用户上传一个或多个数字图像,根据位置重新排列图像,并且准备其中例如使用重叠方法结合了多个源图像的复合图像。用户可以包括终端用户消费者或诸如图库房的数字资产的创造者、艺术家、艺术家代表等。数字图像可以具有任何大小和任何内容。在这种***中,显示具有图像转角的正确表现的景象(scene)变得具有挑战。显示这种转角景象需要实时访问图像提供方、以正确大小或比例获得与特定转角等效的数据集以及在应用重叠、修剪、平移或其他效果的同时渲染数据以示出图像转角。
附图说明
图1图示了与使用本文技术的用户计算机图像显示的一部分有关的加框定制产品的表现形式。
图2图示了可以用来实施本文描述的过程的计算机***。
图3图示了根据一个实施例的预计算过程。
图4图示了根据一个实施例的渲染过程。
图5是图示了可以实施本文技术的计算机***的框图。
具体实施方式
在以下描述中,为了说明的目的,阐述许多具体细节以提供对本发明的全面理解。然而,将显而易见的是,本发明可以在没有这些具体细节的情况下实践。在其他情况下,以框图形式示出熟知结构和设备以避免不必要地使本发明模糊不清。
本文根据以下提纲描述实施例:
1.0总体概述
2.0结构和功能概述
3.0图像片(tile)的预计算
4.0渲染过程
5.0实施机构——硬件概述
6.0扩展和替代
1.0总体概述
描述了用于优化数字图像检索和渲染的技术。在一个实施例中,存储特定图像的多个版本的多个图像片。多个版本的每个图像具有不同的分辨率。多个图像片的每个图像片包括特定图像的每个版本的有界区域。基于特定图像的一部分为可见时的显示分辨率,确定特定图像的最终图像分辨率。为具有最终分辨率的特定图像的每个版本撷取一个或多个图像片。该一个或多个图像片包括将被显示的一部分特定图像。该一个或多个图像片被应用到模型,随后该模型被渲染。
在一个实施例中,接收具有第一分辨率的特定图像的第一版本。从第一版本产生该特定图像的多个衍生版本。每个衍生图像具有比第一分辨率低的分辨率。图像的多个版本包括特定图像的衍生版本。
有界区域的形状可以根据实施方式而变化。在一个实施例中,有界区域是矩形的。另外或替代地,可以使用其他形状或复合区域来实施图像片。
在一个实施例中,在特定图像的坐标空间中识别可见矩形。可见矩形是完全包含图像将可见的部分的矩形。一旦可见矩形被识别出,则扩大可见矩形以包括与可见矩形重叠并且用于具有最终图像分辨率的特定图像的每个版本的所有图像片。所撷取的一个或多个图像片是与可见矩形重叠的图像片。
在一个实施例中,确定最终图像分辨率包括:确定与显示部分特定图像相关联的多个像素;对多个像素应用比例因数以识别最小分辨率;将最小分辨率舍入到可从特定图像的多个版本获得的下一个较高分辨率。最终分辨率是可从特定图像的多个版本获得的下一个较高分辨率。所使用的比例因数可以根据实施方式而变化。在一个实施例中,比例因数接近尼奎斯特极限。
在一个实施例中,模型是具有特定几何形状的三维(3D)模型。3D模型的几何形状可以根据实施方式而变化。在一个实施例中,3D模型是定制产品的模型。在另一个实施例中,对模型应用一个或多个图像片包括基于一个或多个图像片来计算用于特定几何形状的3D变换以产生变换的几何形状以及将一个或多个图像片映射到变换的几何形状。
在一个实施例中,变换的几何形状不包括如下部分特定几何形状:该部分特定几何形状映射到未被对于具有最终图像分辨率的特定图像的每个版本撷取的图像片。渲染模型包括根据变换的几何形状渲染模型。
2.0结构和功能概述
在一个实施例中,用户上传原始图像,该原始图像通常具有约3000像素×3000像素大小的高分辨率。响应于初始上传,***可以创建并存储用于诸如预览、产生微缩图等的辅助功能的主衍生图像,该主衍生图像的大小较小,如1000×1000像素。然而,当使用主衍生图像示出框架、衬边和图像的转角时,通常会产生由于转角被选取和缩放时发生的损失而引起的转角模糊。另外,由于源图像是从用户获得的并且可具有不统一或不可预测的大小、分辨率和其他属性,所以应用刚性图像处理方法是有问题的。***基本上可预期提供寻找图像的任意区域并将正确地渲染转角段,该转角段作为显示的虚拟框架和衬边的一部分。
在一个实施例中,计算机***接收高分辨率原始图像并将原始图像存储在大图像数据存储器中。在一个实施例中,图像数据存储器能够存储数百万张图像。在一个实施例中,在用户计算机显示器上,来自数据存储器的图像被用作用于渲染的三维(3D)模型中的纹理,从而用于渲染模型。模型的特定渲染可以使用从数据存储器选出的一个或多个任意图像。
在一个实施例中,***使用每个图像的最佳图像分辨率来渲染模型。在上下文中,最佳具有两个重要意义。第一,***试图在模型的屏幕上渲染(on-screen rendering)中使用最好的可能图像逼真度。第二,***试图通过特定处理器、服务器计算机或客户端计算机来使用可能最少的时间渲染模型。
在处理这些折中时,如果可以忽略渲染时间,则***可以始终使用原始图像的最高分辨率,因为原始图像的高分辨率必然提供最好的图像逼真度。然而,与使用原始图像的较低分辨率版本相比,使用最高分辨率也需要最多的时间来渲染每个图像纹理。在一个实施例中,最大渲染时间的目标是100ms。在本文的方法中,当通过对将显示的每个图像的适当图像分辨率进行智能选择来使用最小时间从而产生显示时,有可能会产生与使用原始图像的显示基本上无区别的屏幕上显示(on-screen display)。
最小渲染时间的目标包括从数据存储器检索每个图像的时间、将图像解压缩到内存中的时间以及产生包含图像的模型的屏幕上渲染的时间。通常,图像分辨率越高,在每个先前单个渲染步骤中消耗的时间就越多。从数据存储器检索高分辨率图像需要转移大量数据。另外,与低分辨率图像相比,高分辨率图像会消耗更多的计算机内存并且需要更多的处理器时间来解压缩和渲染到景象中。
在许多类型的景象中,一些图像是完全不可见的。如果图像仅一小部分可见,则转移和解压缩整个图像会耗费时间和处理资源。在一个实施例中,提供了仅检索和解压缩图像的可见部分的方式。因此,在一个实施例中,可以使用可见部分的较高分辨率版本,而不会产生使用整个图像的较高分辨率版本的时间和存储空间的成本。因此,在一个实施例中,与使用整个较低分辨率图像相比,过程可以仅使用较高分辨率图像的部分来在给定时间内显示高逼真度的模型渲染。
图1图示了与使用本文技术的用户计算机图像显示的一部分有关的加框定制产品的表现形式。在一个实施例中,加框定制产品可以包括框架102、衬边104和图像106。显示加框定制产品的转角特写可以包括旋转和缩放框架102、衬边104和图像106的复合图像,使得截去的转角显示在如由图像区域110表示的用户屏幕显示器内。显示特写部分地涉及检索图像区域110内的一部分图像106的一个或多个图像片108。
从图1可以看出,如果图像106是大数字文件,则当仅在图像片108A、108B内的部分图像在落入用户显示器图像区域110内的转角部分中可见时,从存储器检索整个图像将会浪费时间和处理资源。图像片108A、108B包括图像106的矩形子区域,但是在其他实施例中可以形成为多边形或除矩形之外的形状。在一个实施例中,框架102、衬边104和图像106的组合包括3D模型。为了图示清楚示例的目的,图1示出了两个图像片108A、108B,但是实际上每个图像106通常被分成四(4)个或更多个图像片并且可以存储任意数量的图像片。
可以看出,图像区域110中的正确显示涉及3D模型内的图像106的旋转和变换。使用点坐标从图像区域110的坐标空间到图像106的第二坐标空间的逆变换来确定要求三角形区域112中的哪些像素坐标适合用户图像区域。如一个示例,假设图像106的坐标***的相对转角在原点处具有实数坐标(0,0)并且在对角相对的转角处具有实数坐标(1,1)。三角形区域112可能具有(1,0)、(0.7,1)、(1,0.7)的转角坐标。第一矩形图像片108A完全封闭将被检索的三角形区域112。
在一个实施例中,解决以上问题的数据处理过程通常包括预计算某些图像数据的离线过程和可以视作现场或在线过程的渲染过程。
图2图示了可以用来实施本文描述的过程的计算机***。用户代理202直接或者通过一个或多个网络204间接连接到一个或多个渲染客户端206,该客户端连接到可以访问图像存储器210的服务器计算机208。用户代理202可以包括位于个人计算机、平板电脑、工作站、智能电话、移动设备或其他计算设备上的浏览器。网络204可以包括LAN、WAN、公共因特网或任何以上各项的一项或多项的组合。通常,渲染客户端206、服务器计算机208和图像存储器210共同位于本地网络内以进行高速通信。
在一个实施例中,用户代理202被配置或编程来请求图像渲染,服务器计算机208被配置来从图像存储器210检索图像106或图像片108A、108B并且将图像或图像片传输到渲染客户端206,渲染客户端206用于实施本文过程的其他方面。渲染客户端206随后将完成的渲染传输到用户代理202以向用户显示。然而,如本文具体描述的,渲染客户端206与服务器计算机208之间的处理责任的划分并非是强制的,并且本文所描述的渲染客户端的一个或全部功能可以在服务器计算机处实施。
在一些实施例中,如图1中所示的图像106可以包括作为复合图像的有关或相关联的多个单独图像,该复合图像通过对其组件图像参考的元数据进行描述。例如,可以将多个单独图像分层或者以其他方式组合以产生复合图像。在这些实施例中,检索图像106、图像片108A、108B或对应于扩大的可见矩形或三角形区域112的图像的其他部分可包括首先确定需要复合图像的哪个部分以及确定哪些图像片与该部分相关。允许用户创建复合图像并使用的结果是不可能为每个用户图像预计算和存储转角部分,以用于渲染框架、衬边和用户图像的3D模型。
在一个实施例中,基于特定图像在其为一个或多个模型的特定集被渲染时的特征来选择一个或多个图像片的大小、纵横比和/或分辨率。通过以此方式选择图像片属性,可以为应用特定图像的模型集优化图像片的传输和渲染。
3.0图像片的预计算
图3是图示根据一个实施例的用于预计算图像片的过程的流程图。该预计算过程可以以离线过程来实施。在步骤302中,该过程使用高品质图像缩放过程来以不同分辨率产生每个原始图像的多个较低分辨率版本,以便最大化每个分辨率的图像品质。在一个实施例中,使用1024×1024像素、2048×2048像素、3072×3072像素、4096×4096像素、6144×6144像素、8192×8192像素、约12288×12288像素以及16384×16384像素直到小于或等于由内容创建者上传的原始图像大小的最大大小来创建和存储衍生图像。另外或替代地,内容创建者或原始图像所有者可以创建和上传衍生图像。
保存最高分辨率原始图像以用于定制加框产品的实际制造或产生。在一个实施例中,响应于用户或内容创建者上传高分辨率原始图像,过程立即或迅速创建例如每侧1024像素的一个衍生图像,以用于将图像的确认副本显示给用户。随后,可以在离线过程中准备其他衍生图像。
在步骤304中,过程通过从每个较低分辨率衍生图像的部分复制来创建和存储多个图像片,其中每个图像片包括相关联衍生图像的像素的连续、单个的范围。在一个实施例中,每个图像片是矩形的并且包括矩形内的所有像素。另外或者替代地,可以使用其他图像片形状。例如,图像片可以是三角形的或包括其边界内的所有像素的任意有界形状。
在一个实施例中,为上述大小的每个衍生图像创建和存储多个图像片。在一个实施例中,每个图像片被配置为每侧512像素;在其他实施例中,可以使用其他图像片大小和纵横比。例如,如果衍生图像是2048×2048像素,则基于该衍生图像可以复制和存储每侧512像素的十六(16)个图像片。在另一个实施例中,图像片的宽度可以是1024像素并且图像片的高度可以是512像素,以便优化图像片到特定模型集的应用。
在一个实施例中,基于特定图像在其为特定模型集被渲染时的一个或多个特征来选择在步骤304中创建和存储的图像片的大小、纵横比和分辨率。例如,图像片大小和纵横比的选择可以涉及寻找与作为与图像压缩相关的处理时间或资源使用的特定目标兼容的最小图像片大小。图像片大小和纵横比的选择还可以或者替代地考虑如下可能性,需要传输多个图像片来获知感兴趣的区域或图像内容或使用场景。例如,所选择的图像片属性可以取决于原始图像的纵横比和应用来进行渲染的模型集的几何形状。在一个实施例中,图像片大小是固定的并且大图像大小涉及创建更多的图像片。可替代地,可以使用可变图像片大小。可以使用具有不同属性的图像片对模型集执行处理测试以确定哪个大小、纵横比和分辨率最紧密匹配作为与将特定图像渲染到模型集相关联的处理时间和资源使用的特定目标。
在步骤306中,过程单独地压缩每个图像片。图像压缩算法可以根据实施方式而变化。示例性压缩算法包括(而非限制)行程长度编码、色度抽样、预测编码、压缩、颜色空间减少、熵编码和变换编码。
在步骤308中,过程将每个压缩的图像片以使得图像片能够被单独检索的方式存储在图像数据存储器中。例如,衍生图像可以与描述图像片数量和每个图像片在图像数据存储器中的位置的元数据相关联地存储。
4.0渲染过程
图4是图示根据一个实施例的渲染过程的流程图。在一个实施例中,在线渲染过程包括对景象中的图像的每个外观执行的以下子步骤。
在步骤402中,过程在图像的坐标空间中确定完全包含将在该外观中可见的部分图像的矩形;此矩形称为可见矩形。例如,在图1中,可见图像部分是三角形区域112并且可见矩形114完全包含该部分。在其他实施例中,在此步骤中可以确定其他有界区域。例如,如下文更详细描述的,在此步骤中可以识别出更复杂的区域。
在步骤404,过程考虑到将由图像的可见部分覆盖的屏幕像素数量来确定最佳图像分辨率以产生图像的高逼真度渲染。在一个实施例中,步骤404包括确定在终端消费者的显示器中将有多少数量的像素被覆盖或使用于显示最终渲染景象中或诸如图1的三角形区域112的一部分中。实践中已经发现,为了检索衍生图像而使用准确的确定数量会导致由于在渲染之后存在缩放现象(artifact)而产生较低品质的结果。因此,在一个实施例中,将所确定的数量乘以比例因数(例如,1.5)。或者,可以使用2.0的尼奎斯特极限(Nyquistlimit)作为缩放因数,但是实证结果表明这个值可能由于在步骤406中执行的额外上舍入而不必要地高。该结果被转换成整个图形的像素的大小。例如,如果三角形区域112包括400×400像素,则应用1.5的比例因数会产生600×600像素。随后,如果三角形区域112代表约整个原始图像的1/3,则缩放的整个原始图像将为约1800×1800像素。
在步骤406中,过程将最佳图像分辨率舍入到图像数据存储器中的下一个更高可用分辨率,该分辨率称为最终分辨率。例如,如果缩放的整个图像大小为1800×1800像素,则最终分辨率可能是2048×2048像素,因为这是可用衍生图像的下一个较大的大小。来自该衍生图像的图像片将在后续步骤中使用。
步骤404和406是基于不必要使用的非常大的、高分辨率图像的识别的,因为感兴趣区域的最终渲染的尺寸和分辨率将较低。例如,再次参照图1,三角形区域112的边(不包括斜边)的长度可能是400×400像素。三角形区域112在屏幕空间中的尺寸可以通过将原始图像变换到屏幕空间中来获得。以此分辨率,在应用所有缩放、其他变换和渲染之后,相比于使用具有4096×4096像素的衍生图像,具有16384×16384像素分辨率的衍生图像的图像片将几乎不增加图像信息或分辨率。因此,本步骤和下一个步骤实现始终使用高分辨率原始图像与确保即使在检索到较低分辨率图像片时最终渲染的景象仍具有高逼真度之间的折中。目标是在检索和处理较小、较低分辨率图像时,提供与原始高分辨率图像难以区分的最终渲染景象。在上述示例中,使用具有大于2048×2048像素分辨率的图像将产生外观上的无区别改进。相反地说,过程提供选择产生与最高分辨率衍生图像或原始图像等效的屏幕上外观的最小分辨率衍生图像的方式。
在步骤408中,过程使可见矩形或其他区域扩大以包括与可见矩形重叠的以四舍五入的分辨率的所有全部图像片;该结果称为最终矩形。在图1的情况下,可见矩形114将被扩大到图像片108A的边界。在其他情况下,可见矩形114可能被扩大成包括多个图像片108A、108B或其他。例如,如果可见矩形114即使比单个图像片稍大,则还是检索四(4)个图像片,因为只有全部图像片才能够从图像存储器进行检索。已经发现以此方式检索四(4)个图像片在实践中是比较常见的,并且其是确定用于上述离线过程中的各个图像片大小的因数。
在步骤410中,过程撷取包含在最终矩形中的以最终分辨率的图像片并将其解压缩为精确代表最终矩形的内存中图像。在各个实施例中,步骤5还可以包括仅检索和渲染感兴趣的特定期望区域,例如,仅仅是图1的可见矩形114或图1的三角形区域112。
在步骤412中,过程计算包含图像的几何形状的新3D变换,以补偿模型的纹理坐标参考整个图像而非最终矩形的情况。再次参照图1,用户显示器的图像区域110通常具有以像素位置表达的一个坐标***,而原始图像106具有可以或不可以参考像素大小的不同坐标***。例如,图像106的坐标***可以是(0,0)至(1,1)。虽然可以将图像106的坐标***平移成图像区域110的坐标***,但是通常的平移方法是假设整个图像106可用而本方法仅使用特定图像片108A。因此,在一个实施例中,将图像片108A的几何形状缩放和平移以匹配在该图像片中表示的整个图像的部分。此步骤防止位于图像区域110中表示的景象外的图像106的渲染部分的错误尝试。结果是图像片108A出现在图像区域110的景象中的正确位置中。
在步骤414中,模型被渲染以产生景象的最终图像。在一个实施例中,由于步骤412中计算的变换而不渲染位于图像区域110外的图像片。将最终图像显示给用户。
5.0实施机构——硬件概述
根据一个实施例,本文描述的技术由一个或多个专用计算设备实施。专用计算设备可以被硬连接以执行技术,或者可以包括可持续编程来执行技术的数字电子设备,诸如一个或多个特定应用集成电路(ASIC)或现场可编程门阵列(FPGA),或者可以包括可编程来根据固件、内存、其他存储器或组合中的程序指令来执行技术的一个或多个通用硬件处理器。这些专用计算设备还可以将定制硬连接逻辑、ASIC或FPGA与定制编程组合来实现技术。专用计算设备可以是台式计算机***、便携式计算机***、手持设备、联网设备或者并入硬连接和/或程序逻辑来实施技术的任何其他设备。
例如,图5是图示计算机***500的框图。计算机***500包括总线502或用于传输信息的其他通信机构,以及与总线502连接的、用于处理信息的硬件处理器504。硬件处理器504可以是例如通用微处理器。
计算机***500还包括连接到总线502的、用于存储将由处理器504执行的信息和指令的主内存506,诸如随机存取内存(RAM)或其他动态存储设备。主内存506还可以用于在执行由处理器504执行的指令期间存储临时变量或其他中间信息。这些指令在被存储在处理器504可访问的非暂时性存储媒体中时,将计算机***500渲染成被定制以执行指令中指定的操作的专用机器。
计算机***500进一步包括连接到总线502、用于为处理器504存储静态信息和指令的只读存储器(ROM)508或其他静态存储设备。提供了诸如磁碟或光碟的存储设备510,并且将其连接到总线502以用于存储信息和指令。
计算机***500可以通过总线502连接到显示器512(诸如阴极射线管(CRT)),显示器512用于将信息显示给计算机用户。包括字母数字和其他键的输入设备514连接到总线502,用于将信息和命令选择传输到处理器504。另一种类型的用户输入设备是诸如鼠标、跟踪球或光标方向键的光标控制516,其用于将方向信息和命令选择传输到处理器504并且用于控制光标在显示器512上的移动。输入设备通常具有两个轴(第一轴(例如,x)和第二轴(例如,y))上的两级自由度,这允许设备指定在平面中的位置。
计算机***500可以使用定制硬连接逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑来实施本文描述的技术,其中,程序逻辑与计算机***组合会导致或编程计算机***500使计算机***500成为专用机器。根据一个实施例,本文的技术由计算机***500响应于执行主内存506中包含的一个或多个指令的一个或多个序列的处理器504来执行。这些指令可以从诸如存储设备510的另一个存储媒体读入主内存506。主内存506中包含的指令序列的执行使处理器504执行本文描述的过程步骤。在替代实施例中,可以使用硬连接电路来替代软件指令或与软件指令组合使用。
如本文使用的术语“存储媒体”是指存储导致机器以特定方式工作的数据和/或指令的任何非暂时性媒体。这种存储媒体可以包括非易失性媒体和/或易失性媒体。非易失性媒体包括(例如)光碟或磁碟,诸如存储设备510。易失性媒体包括动态内存,诸如主内存506。普通形式的存储媒体包括(例如)软盘、柔性碟、硬碟、固态驱动器、磁带或任何其他磁性数据存储媒体、CD-ROM、任何其他光学数据存储媒体、具有孔图案的物理媒体、RAM、PROM和EPROM、FLASH-EPROM、NVRAM、任何其他内存芯片或磁片盒。
存储媒体与传输媒体不同但是可以与其结合使用。传输媒体参与在存储媒体之间传送信息。例如,传输媒体包括同轴电缆、铜线和光纤,包括含有总线502的电线。传输媒体还可以采用声波或光波的形式,诸如在无线电波和红外线数据传输过程中产生的那些声波或光波。
在将一个或多个指令的一个或多个序列传递到处理器504以供执行时涉及各种形式的媒体。例如,可以首先将指令传递到远程计算机的磁碟或固态驱动器上。远程计算机可以将指令载入其动态内存并且使用调制解调器通过电话线发送指令。计算机***500本地的调制解调器可以接收电话线上的数据并且使用红外线发射器来将数据转换成红外线信号。红外线检测器可以接收携带在红外线信号中的数据并且适当的电路可以将数据置于总线502上。总线502将数据传输到主内存506,处理器504从主内存检索并执行指令。主内存506所接收到的指令可以在由处理器504执行之前或之后可选地存储在存储设备510上。
计算机***500还包括连接到总线502的通信接口518。通信接口518提供与连接到本地网络522的网络链路520连接的双向数据通信。例如,通信接口518可以是综合服务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器或者提供与相应类型的电话线的数据通信连接的调制解调器。如另一个示例,通信接口518可以是提供与相容LAN的数据通信连接的局域网(LAN)卡。还可以实施无线链路。在任何这种实施方式中,通信接口518发送和接收携带表示各种类型信息的数字数据流的电、电磁或光学信号。
网络链路520通常提供通过一个或多个网络与其他数据设备的数据通信。例如,网络链路520可以提供通过本地网络522到主机计算机524或到由因特网服务提供商(ISP)526操作的数据设备的连接。ISP526进而提供通过全球分组数据通信网络(现在通常称为“因特网”)528的数据通信服务。本地网络522和因特网528都使用携带数字数据流的电、电磁或光学信号。穿过各个网络的信号和网络链路520上并且穿过通信接口518的信号是传输媒体的示例形式,通信接口将数字信号携带到计算机***500并且从其携带数字信号。
计算机***500可以通过网络、网络链路520和通信接口518发送消息和接收包括程序代码的数据。在因特网示例中,服务器530可能通过因特网528、ISP526、本地网络522和通信接口518发送用于应用程序的请求代码。
接收到的代码可由处理器504执行,可被接收和/或存储在存储设备510中,,或者存储在其他非易失性存储器中以供后续执行。
6.0扩展和替代
在以上说明书中,已参照可能根据实施方式而变化的多个特定细节描述了本发明的实施例。因此,判断什么是发明、或拟由申请人造成的发明的唯一排他性指标就是此申请书中所发布的一系列特定格式的权利要求,包括所有随后的修正。本文对于这些权利要求中包含的术语明确阐述的任何定义应制约这些术语在用于权利要求中时的意义。因此,并非限制,权利要求中未明确详述的元素、性质、特征、优点或属性不该以任何方式限制此权利要求书的范围。因此,说明书和附图将被认为是说明性而非限制性的。
在一个实施例中,过程支持较复杂图像区域而非可见矩形,并且可以允许仅撷取覆盖这些区域的图像片。例如,本文的方法可以用于确定应用于诸如杯子、滑板甲板或其他定制产品的固体的图像的可见区域。如一个特定示例,用户可能希望使包覆在杯子上并且从后面或另一个角度(在这个角度,图像的一部分不可见并且图像的非连续部分可见)观看的图像可视化。包覆图像的可见部分可以使用本文提供的相同总体技术来确定并且过程可以被配置来为图像的将在最终渲染中可见的那些部分检索图像片。
在一个实施例中,过程支持产生较低分辨率图像,这些图像在渲染时覆盖附接到图像存储器的服务器上的特定可见区域并且随后仅将那些特定区域转移到渲染客户端***。例如,本文的许多过程可以在一个或多个计算机程序、其他软件元素或服务器计算机208而非渲染客户端206中的其他逻辑中实施。另外,当在服务器计算机208中实施技术时,在从图像存储器210检索原始图像时,可以应用其他优化,诸如联机执行缩放并产生所需要的多个分辨率的衍生图像。例如,如在上述示例中的,如果过程确定需要1800×1800像素的图像,则服务器计算机208可以被配置以联机产生正好所需的1800×1800像素分辨率的衍生图像,而非预存储的多个衍生图像并随后将分辨率四舍五入到下一个可用衍生图像。
另外或替代地,渲染客户端206可以被配置为请求最小矩形而非整个图像片,并且服务器计算机208可以被配置为响应于此请求而联机创建所请求的最小矩形。例如,在图像存储器210存储或未存储图像片的情况下,渲染客户端206可以请求服务器计算机208传递可见矩形114而非包含该可见矩形的图像片108A,并且服务器计算机可以确定并创建包含仅用于该可见矩形的数据的响应或文件,从而进一步减少传递到渲染客户端206的数据量。
在一个实施例中,过程支持用于特定集模型和景象的预计算图像区域,并且预产生用于特别的那些景象的图像。
在一个实施例中,过程支持更复杂的图像压缩方案,这些方案允许寻找或检索图像的任意区域而无需将图像复制成多个存储的图像片。这些图像压缩方案的示例包括渐进图形文件(PGF)格式,该格式提供“感兴趣区域”功能。或者,可以构建用于联合图像编码专家组(JPEG)格式的图像的功能,该格式基于8×8块来压缩以检索特定的一个或多个感兴趣的8×8块。

Claims (20)

1.一种方法,其包括:
在易失性或非易失性存储装置中存储特定图像的多个版本的每个版本的多个图像片;
其中所述多个版本的每个版本具有不同的图像分辨率;
其中所述多个图像片的每个图像片包括所述特定图像的每个版本的有界区域;
响应于渲染特定模型的所述特定图像的请求:
基于其中所述特定图像的一部分将被显示的显示分辨率确定第一图像分辨率;
对所述第一图像分辨率应用比例因数,以计算高于所述第一图像分辨率的第二图像分辨率;
在对所述第一图像分辨率应用比例因数计算所述第二图像分辨率之后,对所述第二图像分辨率进行舍入操作得到第三图像分辨率,其中所述第三图像分辨率可从所述特定图像的多个版本获得,并且所述第三图像分辨率为最接近所述第二图像分辨率且高于所述第二图像分辨率的图像分辨率;
在得到所述第三图像分辨率之后,从存储在易失性或非易失性存储装置中的所述多个图像片撷取N个图像片,其中N≥1,所述N个图像片包括将被显示的所述特定图像的一部分,并且包括与所述第三图像分辨率匹配的所述特定图像的每个版本的一个或多个有界区域;
将所述N个图像片应用到所述特定模型;
渲染来自被应用于所述特定模型的所述N个图像片的最终图像;
其中所述方法由一个或多个计算设备执行。
2.如权利要求1所述的方法,其进一步包括:接收具有第一图像分辨率的所述特定图像的第一版本;从所述特定图像的第一版本产生所述特定图像的多个衍生版本;其中每个衍生图像具有比所述第一图像分辨率低的图像分辨率;其中所述特定图像的多个版本包括所述特定图像的衍生版本。
3.如权利要求1所述的方法,其中所述有界区域是矩形。
4.如权利要求3所述的方法,其进一步包括:在所述特定图像的坐标空间中识别可见矩形;其中所述可见矩形完全包含所述特定图像将可见的部分;扩大所述可见矩形以包括与所述可见矩形重叠并且用于具有所述第三图像分辨率的图像片的所述特定图像的每个版本的所有图像片;其中所述撷取的N个图像片是与所述可见矩形重叠的图像片。
5.如权利要求1所述的方法,其中所述多个图像片以压缩格式存储;所述方法进一步包括解压缩所述N个图像片。
6.如权利要求1所述的方法,其中基于其中所述特定图像的一部分将被显示的显示分辨率确定第一图像分辨率,包括:确定与显示所述部分特定图像相关联的多个像素;并且其中对所述第一图像分辨率应用比例因数包括:对所述多个像素应用比例因数以识别较小分辨率;其中对所述第二图像分辨率进行舍入操作得到第三图像分辨率包括:基于对所述较小分辨率进行的舍入操作确定可从所述特定图像的多个版本获得的下一个较高的图像分辨率;其中所述N个图像片从具有所述下一个较高的图像分辨率的所述特定图像的版本中被选择。
7.如权利要求6所述的方法,其中所述比例因数接近尼奎斯特极限。
8.如权利要求1所述的方法,其中所述模型是具有特定几何形状的三维(3D)模型;其中对所述模型应用所述N个图像片包括基于所述N个图像片来计算所述特定几何形状的3D变换以产生变换的几何形状;将所述N个图像片映射到所述变换的几何形状。
9.如权利要求8所述的方法,其中所述变换的几何形状不包括如下部分所述特定几何形状:所述部分特定几何形状映射到未从所述多个图像片撷取的图像片;其中渲染所述最终图像包括根据所述变换的几何形状渲染所述最终图像。
10.如权利要求8所述的方法,其中所述模型是可定制产品的3D模型。
11.一种设备,包括:
用于在易失性或非易失性存储装置中存储特定图像的多个版本的每个版本的多个图像片的装置;
其中所述多个版本的每个版本具有不同的图像分辨率;
其中所述多个图像片的每个图像片包括所述特定图像的每个版本的有界区域;
响应于渲染特定模型的所述特定图像的请求:
用于基于其中所述特定图像的一部分将被显示的显示分辨率确定第一图像分辨率的装置;
用于对所述第一图像分辨率应用比例因数,以计算高于所述第一图像分辨率的第二图像分辨率的装置;
用于在对所述第一图像分辨率应用比例因数计算所述第二图像分辨率之后,对所述第二图像分辨率进行舍入操作得到第三图像分辨率的装置,其中所述第三图像分辨率可从所述特定图像的多个版本获得,并且所述第三图像分辨率为最接近所述第二图像分辨率且高于所述第二图像分辨率的图像分辨;
用于在得到所述第三图像分辨率之后,从存储在易失性或非易失性存储装置中的所述多个图像片撷取N个图像片的装置,其中N≥1,所述N个图像片包括将被显示的所述特定图像的一部分,并且包括与所述第三图像分辨率匹配的所述特定图像的每个版本的一个或多个有界区域;
用于将所述N个图像片应用到所述特定模型的装置;以及
用于渲染来自被应用于所述特定模型的所述N个图像片的最终图像的装置。
12.如权利要求11所述的设备,还包括:用于接收具有第一图像分辨率的所述特定图像的第一版本的装置;用于从所述特定图像的第一版本产生所述特定图像的多个衍生版本的装置;其中每个衍生图像具有比所述第一图像分辨率低的图像分辨率;其中所述特定图像的多个版本包括所述特定图像的衍生版本。
13.如权利要求11所述的设备,其中所述有界区域是矩形。
14.如权利要求13所述的设备,还包括:用于在所述特定图像的坐标空间中识别可见矩形的装置;其中所述可见矩形完全包含所述特定图像将可见的部分;用于扩大所述可见矩形以包括与所述可见矩形重叠并且用于具有所述第三图像分辨率的图像片的所述特定图像的每个版本的所有图像片的装置;其中所述撷取的N个图像片是与所述可见矩形重叠的图像片。
15.如权利要求11所述的设备,其中所述多个图像片以压缩格式存储;所述设备还包括用于解压缩所述N个图像片的装置。
16.如权利要求11所述的设备,其中用于基于其中所述特定图像的一部分将被显示的显示分辨率确定第一图像分辨率的装置包括用于以下装置:用于确定与显示所述部分特定图像相关联的多个像素的装置;用于对所述第一图像分辨率应用比例因数的装置包括:用于对所述多个像素应用比例因数以识别较小图像分辨率的装置;用于对所述第二图像分辨率进行舍入操作得到第三图像分辨率的装置包括:用于对所述较小图像分辨率进行舍入操作确定可从所述特定图像的多个版本获得的下一个较高的图像分辨率的装置;其中所述N个图像片从具有所述下一个较高的图像分辨率的所述特定图像的版本中被选择。
17.如权利要求16所述的设备,其中所述比例因数接近尼奎斯特极限。
18.如权利要求11所述的设备,其中所述模型是具有特定几何形状的三维(3D)模型;其中用于对所述模型应用所述N个图像片的装置包括用于以下装置:用于基于所述N个图像片来计算所述特定几何形状的3D变换以产生变换的几何形状的装置;以及用于将所述N个图像片映射到所述变换的几何形状的装置。
19.如权利要求18所述的设备,其中所述变换的几何形状不包括如下部分所述特定几何形状:所述部分特定几何形状映射到未从所述多个图像片撷取的图像片;其中用于渲染所述最终图像的装置包括用于根据所述变换的几何形状渲染所述最终图像的装置。
20.如权利要求18所述的设备,其中所述模型是可定制产品的3D模型。
CN201280042642.7A 2011-08-31 2012-08-31 用于数字图像检索的拼接过程 Expired - Fee Related CN103828339B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161529883P 2011-08-31 2011-08-31
US61/529,883 2011-08-31
US13/601,941 2012-08-31
US13/601,941 US9183582B2 (en) 2007-10-26 2012-08-31 Tiling process for digital image retrieval
PCT/US2012/053536 WO2013033644A1 (en) 2011-08-31 2012-08-31 Tiling process for digital image retrieval

Publications (2)

Publication Number Publication Date
CN103828339A CN103828339A (zh) 2014-05-28
CN103828339B true CN103828339B (zh) 2017-08-25

Family

ID=47752789

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280042642.7A Expired - Fee Related CN103828339B (zh) 2011-08-31 2012-08-31 用于数字图像检索的拼接过程
CN201280042635.7A Pending CN103827923A (zh) 2011-08-31 2012-08-31 产品选项框架和配件

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201280042635.7A Pending CN103827923A (zh) 2011-08-31 2012-08-31 产品选项框架和配件

Country Status (8)

Country Link
US (3) US8856160B2 (zh)
EP (5) EP3664428B1 (zh)
JP (2) JP2014531637A (zh)
CN (2) CN103828339B (zh)
AU (2) AU2012301604B2 (zh)
BR (2) BR112014004984A2 (zh)
CA (2) CA2845911A1 (zh)
WO (2) WO2013033643A1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9147213B2 (en) 2007-10-26 2015-09-29 Zazzle Inc. Visualizing a custom product in situ
US8543658B2 (en) * 2009-12-10 2013-09-24 Ebay Inc. Presenting a gemstone in a setting
US20110302167A1 (en) * 2010-06-03 2011-12-08 Retrevo Inc. Systems, Methods and Computer Program Products for Processing Accessory Information
JP2014531637A (ja) 2011-08-31 2014-11-27 ザズル インコーポレイテッド 製品オプションフレームワークおよびアクセサリー
US8612491B2 (en) * 2011-10-25 2013-12-17 The United States Of America, As Represented By The Secretary Of The Navy System and method for storing a dataset of image tiles
WO2013077236A1 (en) * 2011-11-21 2013-05-30 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
US9731180B2 (en) * 2013-01-24 2017-08-15 Wilson Sporting Goods Co. Tapered isolating element for a ball bat and system for using same
US8933994B2 (en) 2013-03-15 2015-01-13 Skin Republic, Inc. Systems and methods for specifying and formulating customized topical agents
US20150142884A1 (en) * 2013-11-21 2015-05-21 Microsoft Corporation Image Sharing for Online Collaborations
US9668367B2 (en) 2014-02-04 2017-05-30 Microsoft Technology Licensing, Llc Wearable computing systems
US10713699B1 (en) * 2014-11-14 2020-07-14 Andersen Corporation Generation of guide materials
US9454713B2 (en) * 2014-12-30 2016-09-27 Ebay Inc. Similar item detection
US9652690B2 (en) * 2015-02-27 2017-05-16 Lexmark International, Inc. Automatically capturing and cropping image of check from video sequence for banking or other computing application
US10991026B2 (en) * 2016-08-10 2021-04-27 Home Depot Product Authority, Llc Product recommendations based on items frequently bought together
US11061795B2 (en) 2016-08-22 2021-07-13 Optimal Plus Ltd. Methods of smart pairing
CA3044853A1 (en) 2016-12-02 2018-06-07 Shiseido Americas Corporation Systems, methods and apparatus for producing customized topical agents
US10515433B1 (en) * 2016-12-13 2019-12-24 Palantir Technologies Inc. Zoom-adaptive data granularity to achieve a flexible high-performance interface for a geospatial mapping system
US11068478B2 (en) 2017-03-15 2021-07-20 Optimal Plus Ltd. Augmenting reliability models for manufactured products
KR102656864B1 (ko) 2017-12-28 2024-04-17 인텔 코포레이션 비주얼 포그
US10719744B2 (en) 2017-12-28 2020-07-21 Intel Corporation Automated semantic inference of visual features and scenes
US11004178B2 (en) 2018-03-01 2021-05-11 Nvidia Corporation Enhancing high-resolution images with data from low-resolution images
US11676157B2 (en) 2018-07-13 2023-06-13 Shiseido Company, Limited System and method for adjusting custom topical agents
WO2020227428A1 (en) 2019-05-07 2020-11-12 Zazzle Inc. System and method for role-based collaborative design of custom products based on manufacturing constraints
US11799924B2 (en) 2019-10-22 2023-10-24 Zazzle Inc. Generating customized products in collaboration with live designers and agents
CA3150117A1 (en) * 2019-10-22 2021-04-29 Robert I. Beaver Iii SYSTEM AND METHOD FOR COLLABORATIVE DESIGN OF ALLOCATION TRACKING BASED ON CUSTOMIZED PRODUCT ROLES BASED ON MANUFACTURING CONSTRAINTS
CA3208544A1 (en) 2021-04-26 2022-11-03 Robert I. Beaver Iii Generating customized products in collaboration with live designers and agents
US11915199B2 (en) 2021-06-03 2024-02-27 Zazzle Inc. Moment-based gifts and designs generated using a digital product collaboration platform
US11847680B1 (en) * 2021-06-28 2023-12-19 Amazon Technologies, Inc. Computer-implemented method, a computing device, and a non-transitory computer readable storage medium for presenting attribute variations
US11915200B2 (en) 2021-07-29 2024-02-27 Zazzle Inc. Collaborative video chat screen sharing using a digital product collaboration platform
KR102395831B1 (ko) * 2021-09-10 2022-05-10 쿠팡 주식회사 아이템의 정보를 제공하는 전자 장치 및 그 방법
US20230125873A1 (en) 2021-10-21 2023-04-27 Zazzle Inc. Interfacing with third party platforms via collaboration sessions
US20230386196A1 (en) 2022-05-29 2023-11-30 Zazzle Inc. System and method for authoring high quality renderings and generating manufacturing output of custom products
US20230386108A1 (en) 2022-05-29 2023-11-30 Zazzle Inc. System and method for authoring high quality renderings and generating manufacturing output of custom products
US20230385466A1 (en) 2022-05-29 2023-11-30 Zazzle Inc. System and method for authoring high quality renderings and generating manufacturing output of custom products
US20230385465A1 (en) 2022-05-29 2023-11-30 Zazzle Inc. System and method for authoring high quality renderings and generating manufacturing output of custom products
US20240020430A1 (en) 2022-05-29 2024-01-18 Zazzle Inc. System and method for authoring high quality renderings and generating manufacturing output of custom products
US12056343B2 (en) 2022-05-29 2024-08-06 Zazzle, Inc. System and method for authoring high quality renderings and generating manufacturing output of custom products
KR20240009173A (ko) * 2022-07-13 2024-01-22 쿠팡 주식회사 아이템 관련 정보 제공 방법 및 이를 위한 전자 장치
US20240127184A1 (en) * 2022-10-17 2024-04-18 Zazzle Inc. System and method for role-based collaborative design of custom products based on manufacturing constraints

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1124200A2 (en) * 2000-01-18 2001-08-16 Branders.com, Inc. Methods and apparatuses for generating composite images
EP2317479A1 (en) * 2009-11-02 2011-05-04 Pacific Data Images LLC Infinite complexity deep-framebuffer rendering

Family Cites Families (130)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6058373A (en) * 1996-10-16 2000-05-02 Microsoft Corporation System and method for processing electronic order forms
US5897622A (en) * 1996-10-16 1999-04-27 Microsoft Corporation Electronic shopping and merchandising system
US5999914A (en) * 1996-10-16 1999-12-07 Microsoft Corporation Electronic promotion system for an electronic merchant system
GB9707704D0 (en) 1997-04-16 1997-06-04 British Telecomm Display terminal
US6345278B1 (en) * 1998-06-04 2002-02-05 Collegenet, Inc. Universal forms engine
JP4448210B2 (ja) * 1998-07-30 2010-04-07 ヒューレット・パッカード・カンパニー 3次元画像レンダリング装置及び方法
JP2000215317A (ja) 1998-11-16 2000-08-04 Sony Corp 画像処理方法及び画像処理装置
US7107226B1 (en) * 1999-01-20 2006-09-12 Net32.Com, Inc. Internet-based on-line comparison shopping system and method of interactive purchase and sale of products
US6343287B1 (en) * 1999-05-19 2002-01-29 Sun Microsystems, Inc. External data store link for a profile service
US6542515B1 (en) * 1999-05-19 2003-04-01 Sun Microsystems, Inc. Profile service
JP2001126084A (ja) * 1999-10-28 2001-05-11 Sega Corp テクスチャ表示装置、テクスチャ表示方法及び記録媒体
US6725257B1 (en) * 1999-11-30 2004-04-20 Chrome Data Corporation Computationally efficient process and apparatus for configuring a product over a computer network
US6459435B1 (en) 2000-01-11 2002-10-01 Bluebolt Networks, Inc. Methods, systems and computer program products for generating storyboards of interior design surface treatments for interior spaces
US20010034668A1 (en) 2000-01-29 2001-10-25 Whitworth Brian L. Virtual picture hanging via the internet
US6577726B1 (en) * 2000-03-31 2003-06-10 Siebel Systems, Inc. Computer telephony integration hotelling method and system
US7526437B1 (en) * 2000-04-06 2009-04-28 Apple Inc. Custom stores
AU2001253563A1 (en) 2000-04-18 2001-10-30 Rtimage Inc. System and method for the lossless progressive streaming of images over a communication network
US7016869B1 (en) * 2000-04-28 2006-03-21 Shutterfly, Inc. System and method of changing attributes of an image-based product
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US7117293B1 (en) * 2000-05-12 2006-10-03 Apple Computer, Inc. Method and apparatus for archiving and unarchiving objects
US7062483B2 (en) 2000-05-18 2006-06-13 Endeca Technologies, Inc. Hierarchical data-driven search and navigation system and method for information retrieval
US7617184B2 (en) 2000-05-18 2009-11-10 Endeca Technologies, Inc. Scalable hierarchical data-driven navigation system and method for information retrieval
JP2002024642A (ja) * 2000-07-07 2002-01-25 Sony Corp 商品情報提供装置、商品受注装置、商品情報が記憶された記憶媒体、商品情報提供プログラムが記憶された記憶媒体、商品受注プログラムが記憶された記憶媒体及び商品情報提供方法
WO2002046980A2 (en) * 2000-12-08 2002-06-13 Configit Software A/S A method of configuring a product using a directed acyclic graph
US20020073001A1 (en) * 2000-12-13 2002-06-13 Itt Manufacturing Enterprises, Inc. System and process for assisting a user to configure a configurable product
JP2002216028A (ja) * 2001-01-15 2002-08-02 Fuji Heavy Ind Ltd 商品データ交換ネットワークを利用した商談システム、ならびにそのサーバおよび端末装置
US7761397B2 (en) 2001-03-21 2010-07-20 Huelsman David L Rule processing method and apparatus providing automatic user input selections
US7797271B1 (en) * 2001-06-18 2010-09-14 Versata Development Group, Inc. Custom browse hierarchies for subsets of items in a primary hierarchy
US7079139B2 (en) * 2001-07-02 2006-07-18 Kaon Interactive, Inc. Method and system for measuring an item depicted in an image
US20030033218A1 (en) * 2001-08-13 2003-02-13 Flaxer David B. Method of supporting customizable solution bundles for e-commerce applications
US7650296B1 (en) * 2001-08-31 2010-01-19 Siebel Systems, Inc. Configurator using structure and rules to provide a user interface
US7580871B2 (en) * 2001-08-31 2009-08-25 Siebel Systems, Inc. Method to generate a customizable product configurator
US20030058457A1 (en) * 2001-09-21 2003-03-27 Eastman Kodak Company Selecting an image bearing product requiring a particular size converted from a high resolution digital image
US7274380B2 (en) 2001-10-04 2007-09-25 Siemens Corporate Research, Inc. Augmented reality system
US20070203771A1 (en) 2001-12-17 2007-08-30 Caballero Richard J System and method for processing complex orders
JP2003264740A (ja) 2002-03-08 2003-09-19 Cad Center:Kk 展望鏡
US20030182402A1 (en) * 2002-03-25 2003-09-25 Goodman David John Method and apparatus for creating an image production file for a custom imprinted article
US20070226155A1 (en) 2002-03-29 2007-09-27 Jai-Jein Yu Extended attribute-based pricing system and method
JP2004048674A (ja) 2002-05-24 2004-02-12 Olympus Corp 視野一致型情報呈示システム、並びに、それに用いられる携帯情報端末及びサーバ
JP3944024B2 (ja) 2002-08-20 2007-07-11 株式会社東芝 画像処理方法、半導体装置の製造方法、パターン検査装置およびプログラム
ES2562933T3 (es) 2002-10-09 2016-03-09 Bodymedia, Inc. Aparato para detectar, recibir, obtener y presentar información fisiológica y contextual humana
JP4229430B2 (ja) * 2002-11-12 2009-02-25 住友林業株式会社 建物の仕様打ち合わせ支援システム
US20040143644A1 (en) * 2003-01-21 2004-07-22 Nec Laboratories America, Inc. Meta-search engine architecture
CN1777902A (zh) * 2003-02-24 2006-05-24 埃特纳什公司 网络化废物处理装置
US7724956B2 (en) 2003-02-28 2010-05-25 Gannon Technologies Group Llc Systems and methods for identifying characters and words in a document
EP1484691B1 (en) * 2003-06-04 2005-07-06 Sap Ag Method and computer system for optimization of a Boolean expression used for queries
US20050138078A1 (en) * 2003-07-09 2005-06-23 Chad Christenson Catalog management module in a custom product configuration system
US20050164766A1 (en) * 2004-01-27 2005-07-28 Bettingcorp Uk Ltd. Pre-generated game creation methods and apparatus
JP2005242506A (ja) * 2004-02-25 2005-09-08 Dainippon Printing Co Ltd 陶磁器製作システム、画像編集装置、サーバ、プログラム及び記録媒体
US7734731B2 (en) 2004-03-18 2010-06-08 Avaya Inc. Method and apparatus for a publish-subscribe system with third party subscription delivery
KR101103098B1 (ko) * 2004-05-18 2012-01-04 실버브룩 리서치 피티와이 리미티드 다수의 데이터 부분들내에서 부호화된 서명을 사용한대상의 인증
US7474318B2 (en) 2004-05-28 2009-01-06 National University Of Singapore Interactive system and method
US20060004697A1 (en) * 2004-06-09 2006-01-05 Lipsky Scott E Method and system for restricting the display of images
US7277830B2 (en) 2004-08-17 2007-10-02 Dirtt Environmental Solutions Ltd. Capturing a user's design intent with resolvable objects
US7299171B2 (en) * 2004-08-17 2007-11-20 Contentguard Holdings, Inc. Method and system for processing grammar-based legality expressions
US8631347B2 (en) * 2004-11-15 2014-01-14 Microsoft Corporation Electronic document style matrix
US20060197775A1 (en) 2005-03-07 2006-09-07 Michael Neal Virtual monitor system having lab-quality color accuracy
US7617016B2 (en) * 2005-04-27 2009-11-10 Myshape, Inc. Computer system for rule-based clothing matching and filtering considering fit rules and fashion rules
US7401061B2 (en) * 2005-06-14 2008-07-15 Lehman Brothers Inc. Attribute engine
US8963926B2 (en) * 2006-07-11 2015-02-24 Pandoodle Corporation User customized animated video and method for making the same
US20070033568A1 (en) * 2005-07-30 2007-02-08 Barrieau Shawn M System and method for managing product customization
CA2622729A1 (en) 2005-09-16 2007-03-29 Wizard International, Inc. Framed art visualization software
US7769236B2 (en) 2005-10-31 2010-08-03 National Research Council Of Canada Marker and method for detecting said marker
US7502788B2 (en) 2005-11-08 2009-03-10 International Business Machines Corporation Method for retrieving constant values using regular expressions
US20070124215A1 (en) 2005-11-29 2007-05-31 Simmons Lawrence D Jr Virtual shopping with personal image environment
US7457730B2 (en) 2005-12-15 2008-11-25 Degnan Donald A Method and system for virtual decoration
US7801912B2 (en) * 2005-12-29 2010-09-21 Amazon Technologies, Inc. Method and apparatus for a searchable data service
US20070174781A1 (en) * 2006-01-25 2007-07-26 Catalog Data Solutions Parameter visualization
JP2007257176A (ja) 2006-03-22 2007-10-04 Fujitsu Ltd 情報処理方法、情報処理装置、および情報処理プログラム
US7702645B2 (en) * 2006-06-30 2010-04-20 Nokia Corporation Method, apparatus and computer program product for making semantic annotations for easy file organization and search
JP4926817B2 (ja) 2006-08-11 2012-05-09 キヤノン株式会社 指標配置情報計測装置および方法
EP2074575A2 (en) * 2006-09-29 2009-07-01 B2X Corporation Apparatuses, methods and systems for cross border procurement
US20080091551A1 (en) * 2006-09-29 2008-04-17 Marvin Olheiser Knowledge-based customizable product design system
GB2443846B (en) * 2006-11-15 2011-12-07 Joseph Timothy Poole Computing system
US7930313B1 (en) * 2006-11-22 2011-04-19 Adobe Systems Incorporated Controlling presentation of refinement options in online searches
US20080208711A1 (en) * 2007-02-23 2008-08-28 Afshin Mirmotahari Print pricing
US7885956B2 (en) 2007-03-05 2011-02-08 Kelora Systems, Llc Display and search interface for product database
DE102007045834B4 (de) 2007-09-25 2012-01-26 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
US8174521B2 (en) * 2007-10-26 2012-05-08 Zazzle.Com Product modeling system and method
US9147213B2 (en) 2007-10-26 2015-09-29 Zazzle Inc. Visualizing a custom product in situ
US7856434B2 (en) 2007-11-12 2010-12-21 Endeca Technologies, Inc. System and method for filtering rules for manipulating search results in a hierarchical search and navigation system
US20090164502A1 (en) * 2007-12-24 2009-06-25 Anirban Dasgupta Systems and methods of universal resource locator normalization
WO2009094724A1 (en) 2008-02-01 2009-08-06 Innovation Studios Pty Ltd Method for online selection of items and an online shopping system using the same
KR100927009B1 (ko) 2008-02-04 2009-11-16 광주과학기술원 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템
US8521600B2 (en) 2008-04-23 2013-08-27 Hodge Products, Inc. Online ordering system and method for keyed devices
US20090289955A1 (en) 2008-05-22 2009-11-26 Yahoo! Inc. Reality overlay device
US8064733B2 (en) 2008-06-24 2011-11-22 Microsoft Corporation Variable resolution images
US7933473B2 (en) * 2008-06-24 2011-04-26 Microsoft Corporation Multiple resolution image storage
JP5112968B2 (ja) * 2008-06-24 2013-01-09 株式会社リコー 画像閲覧装置
US8233722B2 (en) 2008-06-27 2012-07-31 Palo Alto Research Center Incorporated Method and system for finding a document image in a document collection using localized two-dimensional visual fingerprints
CN102177525A (zh) * 2008-07-29 2011-09-07 彩滋网站公司 产品定制***和方法
US8694893B2 (en) 2008-08-08 2014-04-08 Oracle International Corporation Interactive product configurator with persistent component association
US8335724B2 (en) 2008-08-13 2012-12-18 Branders.Com, Inc. Customized virtual catalog
US20100048290A1 (en) 2008-08-19 2010-02-25 Sony Computer Entertainment Europe Ltd. Image combining method, system and apparatus
US8520979B2 (en) 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US20100066750A1 (en) 2008-09-16 2010-03-18 Motorola, Inc. Mobile virtual and augmented reality system
US20100066731A1 (en) * 2008-09-16 2010-03-18 James Calvin Vecore Configurator Process and System
US8873829B1 (en) * 2008-09-26 2014-10-28 Amazon Technologies, Inc. Method and system for capturing and utilizing item attributes
US8422777B2 (en) 2008-10-14 2013-04-16 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-D pose of the target
US20100114874A1 (en) * 2008-10-20 2010-05-06 Google Inc. Providing search results
JP2010117870A (ja) 2008-11-12 2010-05-27 B-Core Inc 包含型コードシンボル及びその読み出し方法、並びに閉領域包含型コードシンボル及びその読み出し方法、並びに、包含型コードシンボルが付された物品及び閉領域包含型コードシンボルが付された物品。
US8384947B2 (en) * 2008-11-17 2013-02-26 Image Trends, Inc. Handheld scanner and system comprising same
US20100145492A1 (en) * 2008-12-09 2010-06-10 The Boeing Company Automated Custom Design Generation
US8606657B2 (en) 2009-01-21 2013-12-10 Edgenet, Inc. Augmented reality method and system for designing environments and buying/selling goods
US20100189316A1 (en) 2009-01-27 2010-07-29 Gannon Technologies Group, Llc Systems and methods for graph-based pattern recognition technology applied to the automated identification of fingerprints
US8681145B2 (en) 2009-03-20 2014-03-25 Disney Enterprises, Inc. Attribute transfer between computer models including identifying isomorphic regions in polygonal meshes
JP5466418B2 (ja) 2009-03-27 2014-04-09 株式会社成基総研 判定装置、判定方法、およびプログラム
JP2010287174A (ja) 2009-06-15 2010-12-24 Dainippon Printing Co Ltd 家具シミュレーション方法、装置、プログラム、記録媒体
US8214069B2 (en) * 2009-10-23 2012-07-03 Certusoft, Inc. Automated hierarchical configuration of custom products with complex geometries: method and apparatus
US8831279B2 (en) * 2011-03-04 2014-09-09 Digimarc Corporation Smartphone-based methods and systems
US8700492B1 (en) * 2009-12-09 2014-04-15 Amazon Technologies, Inc. Customized product display
JP5061177B2 (ja) * 2009-12-24 2012-10-31 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像データ生成装置、画像処理方法、画像データ生成方法、および画像ファイルのデータ構造
US20110225038A1 (en) * 2010-03-15 2011-09-15 Yahoo! Inc. System and Method for Efficiently Evaluating Complex Boolean Expressions
US8429110B2 (en) * 2010-06-10 2013-04-23 Microsoft Corporation Pattern tree-based rule learning
EP2395474A3 (en) 2010-06-11 2014-03-26 Nintendo Co., Ltd. Storage medium having image recognition program stored therein, image recognition apparatus, image recognition system, and image recognition method
US8190486B1 (en) * 2010-07-15 2012-05-29 Myworld, Inc. Techniques for product selection
US8290822B2 (en) 2010-08-20 2012-10-16 Valuemomentum, Inc. Product configuration server for efficiently displaying selectable attribute values for configurable products
US8566714B1 (en) * 2010-09-20 2013-10-22 Insignia Group, L.C. Catalog accessories meta-configurator, and its use thereof
US8898169B2 (en) * 2010-11-10 2014-11-25 Google Inc. Automated product attribute selection
US20120123674A1 (en) 2010-11-15 2012-05-17 Microsoft Corporation Displaying product recommendations on a map
JP5697487B2 (ja) 2011-02-25 2015-04-08 任天堂株式会社 画像処理システム、画像処理方法、画像処理装置、および画像処理用プログラム
US20140223575A1 (en) * 2011-04-25 2014-08-07 Alcatel Lucent Privacy protection in recommendation services
US9002896B2 (en) * 2011-08-23 2015-04-07 Xerox Corporation Knowledge-assisted approach to dynamically create data sources for variable-data marketing campaigns
US9348890B2 (en) * 2011-08-30 2016-05-24 Open Text S.A. System and method of search indexes using key-value attributes to searchable metadata
JP2014531637A (ja) 2011-08-31 2014-11-27 ザズル インコーポレイテッド 製品オプションフレームワークおよびアクセサリー
US20130304604A1 (en) * 2011-11-02 2013-11-14 Michael Theodor Hoffman Systems and methods for dynamic digital product synthesis, commerce, and distribution
WO2013070185A1 (en) * 2011-11-07 2013-05-16 Empire Technology Development Llc Cache based key-value store mapping and replication
US8495072B1 (en) * 2012-01-27 2013-07-23 International Business Machines Corporation Attribute-based identification schemes for objects in internet of things
CN103970604B (zh) * 2013-01-31 2017-05-03 国际商业机器公司 基于MapReduce架构实现图处理的方法和装置
JP6281225B2 (ja) * 2013-09-30 2018-02-21 日本電気株式会社 情報処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1124200A2 (en) * 2000-01-18 2001-08-16 Branders.com, Inc. Methods and apparatuses for generating composite images
EP2317479A1 (en) * 2009-11-02 2011-05-04 Pacific Data Images LLC Infinite complexity deep-framebuffer rendering

Also Published As

Publication number Publication date
US9183582B2 (en) 2015-11-10
EP3664428B1 (en) 2021-04-28
JP2014531637A (ja) 2014-11-27
EP2751757A1 (en) 2014-07-09
CA2845911A1 (en) 2013-03-07
CN103828339A (zh) 2014-05-28
JP2014525636A (ja) 2014-09-29
EP2751757A4 (en) 2015-07-01
EP2786554B1 (en) 2018-05-09
AU2012301604A1 (en) 2014-03-13
US9355421B2 (en) 2016-05-31
US20130060801A1 (en) 2013-03-07
AU2012301604B2 (en) 2015-11-12
EP3664428A1 (en) 2020-06-10
US20130057549A1 (en) 2013-03-07
BR112014004984A2 (pt) 2017-06-13
WO2013033644A1 (en) 2013-03-07
WO2013033643A1 (en) 2013-03-07
EP3334143B1 (en) 2020-03-11
EP3334143A1 (en) 2018-06-13
CN103827923A (zh) 2014-05-28
US20150025994A1 (en) 2015-01-22
US8856160B2 (en) 2014-10-07
BR112014004988A2 (pt) 2017-05-30
AU2012301603A1 (en) 2014-03-13
AU2012301603B2 (en) 2015-12-24
JP6049220B2 (ja) 2016-12-21
EP2786554A1 (en) 2014-10-08
EP3678054A1 (en) 2020-07-08
CA2845894A1 (en) 2013-03-07

Similar Documents

Publication Publication Date Title
CN103828339B (zh) 用于数字图像检索的拼接过程
CN100359951C (zh) 按选定分辨率发送感兴趣的数字视频数据选定区域的方法
US9240070B2 (en) Methods and systems for viewing dynamic high-resolution 3D imagery over a network
CN104394422A (zh) 一种视频分割点获取方法及装置
CN102385512A (zh) 通过使用标记来提供增强现实(ar)的装置和方法
CN111111172B (zh) 游戏场景的地表处理方法、装置、处理器及电子装置
JP2010537348A (ja) 解像度の連続した付加レイヤー内の地理空間テクスチャ・データを選択的に読み出し表示するための地理空間データシステム、および関連した方法
CN104360847A (zh) 一种用于处理图像的方法与设备
CN114245228B (zh) 页面链接投放方法、装置及电子设备
EP1719342B1 (en) Method of visualizing a large still picture on a small-size display.
CN101802875A (zh) 用于基于用户选择的视点选择性地检索并显示地理空间纹理数据的地理空间数据***及相关方法
CN106503174B (zh) 一种基于网络三维建模的场景可视化方法及***
CA3190194A1 (en) Systems and methods for product visualization using a single-page application
US20230022344A1 (en) System and method for dynamic images virtualisation
KR100370869B1 (ko) 3차원 가상 작동 시뮬레이션 방법
CN114283184A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113992679A (zh) 一种汽车图像显示方法、***及设备
CN117596373B (zh) 基于动态数字人形象进行信息展示的方法及电子设备
JP5173377B2 (ja) 画像処理方法および装置、プログラム、記憶媒体
JP2001008231A (ja) 3次元空間における物体の多視点画像伝送方法及びシステム
Limper et al. Evaluating 3D thumbnails for virtual object galleries
CN114299594A (zh) 图像处理方法和装置、存储介质及电子设备
CN117036160A (zh) 壁画超分辨成像模型构建、壁画超分辨成像方法和装置
CN116977545A (zh) 三维模型显示方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170825

Termination date: 20180831

CF01 Termination of patent right due to non-payment of annual fee