CN101866348A - 打印装置、图像处理装置、图像处理方法及计算机程序 - Google Patents

打印装置、图像处理装置、图像处理方法及计算机程序 Download PDF

Info

Publication number
CN101866348A
CN101866348A CN201010164602A CN201010164602A CN101866348A CN 101866348 A CN101866348 A CN 101866348A CN 201010164602 A CN201010164602 A CN 201010164602A CN 201010164602 A CN201010164602 A CN 201010164602A CN 101866348 A CN101866348 A CN 101866348A
Authority
CN
China
Prior art keywords
image
retrieval
mentioned
search condition
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201010164602A
Other languages
English (en)
Inventor
大卫·帕特里克·罗汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN101866348A publication Critical patent/CN101866348A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及打印装置、图像处理装置、图像处理方法及计算机程序,用于在进行图像检索的图像处理中提高用户便利性。图像处理装置具有:显示条件指定窗口的条件指定窗口显示部,其包括:用于对与具有串行关系的多个检索平台的每一个中的图像内容的特征相关的检索条件进行指定的不同平台条件指定区域、和与多个检索平台的每一个对应的标签、即对不同平台条件指定区域的显示状态进行指定的多个标签;检索条件设定部,其按照借助条件指定窗口进行的指定,来设定多个检索平台每一个中的检索条件;以及图像检索部,其使用所设定的检索条件,依次执行多个检索平台的图像检索。

Description

打印装置、图像处理装置、图像处理方法及计算机程序
技术领域
本发明涉及进行图像检索的图像处理。
背景技术
公知有一种如下所述的图像处理:设定与图像的属性(例如摄影日期、摄影模式)相关的检索条件、与图像的内容的特征(例如相对规定的模板图像的相似度)相关的检索条件,来进行从多个图像之中检测出符合检索条件的图像的图像检索(例如参照专利文献1)。
专利文献1:日本特开2004-272314号公报
在现有的进行图像检索的图像处理中,当指定用于图像检索的检索条件等时,在用户便利性方面仍有提高的余地。
发明内容
本发明为了解决上述的课题而提出,其目的在于,在进行图像检索的图像处理中提高用户便利性。
为了解决上述课题的至少一部分,本发明能够通过下述的方式或应用例来实现。
[应用例1]一种进行图像检索的图像处理装置,具备:
显示条件指定窗口的条件指定窗口显示部,其包括:用于对与具有串行关系的多个检索平台的每一个中的图像内容的特征相关的检索条件进行指定的不同平台条件指定区域、和与上述多个检索平台的每一个对应的标签、即对上述不同平台条件指定区域的显示状态进行指定的多个标签;
检索条件设定部,其按照借助上述条件指定窗口进行的指定,来设定上述多个检索平台每一个中的上述检索条件;以及
图像检索部,其使用所设定的上述检索条件,依次执行上述多个检索平台的图像检索。
在该图像处理装置中,显示了条件指定窗口,按照通过条件指定窗口进行的指定,设定多个检索平台每一个中的检索条件,依次执行使用了所设定的检索条件的多个检索平台的图像检索。这里,条件指定窗口包括:用于对与具有串行关系的多个检索平台的每一个中的图像内容的特征相关的检索条件进行指定的不同平台条件指定区域、和与多个检索平台的每一个对应的标签、即对不同平台条件指定区域的显示状态进行指定的多个标签。因此,用户能够通过标签切换不同平台条件指定区域的显示状态,同时可指定与多个检索平台的每一个中的图像内容的特征相关的检索条件。因此,在该图像处理装置中,能够在进行图像检索的图像处理中使用户便利性得到提高。
[应用例2]在应用例1所述的图像处理装置中,
上述不同平台条件指定区域是将用于实现处理速度和处理精度的至少一方彼此不同的图像检索的多个上述检索条件中的一个,指定为所采用的上述检索条件的区域。
在该图像处理装置中,用户能够通过条件指定窗口的不同平台条件指定区域,指定用于实现处理速度和处理精度的至少一方互不相同的图像检索的多个检索条件中的一个作为所采用的检索条件,可容易地设定以所希望的处理速度及处理精度来实现图像检索的检索条件。因此,在该图像处理装置中,能够在图像处理中使用户便利性得到提高。
[应用例3]在应用例1或应用例2所述的图像处理装置中,
上述条件指定窗口显示部显示含有对上述检索平台的数量进行指定的平台数指定区域的上述条件指定窗口,
上述检索条件设定部设定通过上述条件指定窗口而指定的数量的上述检索平台的每一个中的上述检索条件。
在该图像处理装置中,由于显示了含有对检索平台的数量进行指定的平台数指定区域的条件指定窗口,并设定了通过条件指定窗口而指定的数量的检索平台每一个中的检索条件,所以,用户能够容易地指定可彼此独立设定检索条件的检索平台(检索等级)的数量。因此,在该图像处理装置中,能够在进行图像检索的图像处理中使用户便利性得到提高。
[应用例4]在应用例1至应用例3中任意一个应用例所述的图像处理装置中,还具备对作为图像检索的基准的查询图像进行设定的查询图像设定部,
上述检索条件设定部设定和上述特征与上述查询图像的相似度相关的上述检索条件。
在该图像处理装置中,设定了作为图像检索的基准的查询图像,并设定了关于图像内容的特征的与和查询图像的相似度相关的检索条件,依次执行利用了所设定的检索条件的多个检索平台的图像检索。因此,在该图像处理装置中,在利用关于图像内容的特征的与和查询图像的相似度相关的检索条件来进行图像检索的图像处理中,可使用户便利性得到提高。
[应用例5]在应用例4所述的图像处理装置中,
上述查询图像设定部将通过图像文件的指定、描绘、颜色的指定中任意一种方法而特定的图像设定为上述查询图像。
在该图像处理装置中,由于将通过图像文件的指定、描绘、颜色的指定中任意一种方法而确定的图像设定为查询图像,所以,用户能够容易地将所希望的图像设定为查询图像。因此,在该图像处理装置中,能够在进行图像检索的图像处理中使用户便利性得到提高。
[应用例6]在应用例4或应用例5所述的图像处理装置中,
上述查询图像设定部将通过图像检索检测出的一个图像设定为新的上述查询图像。
在该图像处理装置中,由于将通过图像检索检测出的一个图像设定为新的查询图像,所以,例如通过将被认为与所希望的图像更接近的检测图像设定为新的查询图像,可使用户更加高效地达成所希望的检索结果。因此,在该图像处理装置中,能够在进行图像检索的图像处理中使用户便利性得到提高。
[应用例7]在应用例4至应用例6中任意一个应用例所述的图像处理装置中,
上述检索条件设定部设定与对图像的每一个区域加权后的上述相似度相关的上述检索条件。
在该图像处理装置中,能够设定与对图像的每一个区域加权后的相似度相关的检索条件,用户可以进行重视(或轻视)图像的特定区域的图像检索,能够更加容易且高效地检索所希望的图像。因此,在该图像处理装置中,能够在进行图像检索的图像处理中使用户便利性得到提高。
[应用例8]在应用例4至应用例7中任意一个应用例所述的图像处理装置中,
上述检索条件设定部设定与对图像的颜色空间的每一个通道加权后的上述相似度相关的上述检索条件。
在该图像处理装置中,能够设定与对图像的颜色空间的每一个通道加权后的相似度相关的检索条件,用户可以进行重视(或轻视)图像的特定通道的图像检索,能够更加容易且高效地检索所希望的图像。因此,在该图像处理装置中,能够在进行图像检索的图像处理中使用户便利性得到提高。
[应用例9]在应用例1至应用例8的任意一个应用例所述的图像处理装置中,
上述图像检索部以在上述串行关系下的前段的上述检索平台的图像检索中检测出的图像为对象,进行后段的上述检索平台的图像检索。
在该图像处理装置中,由于以在串行关系下的前段的检索平台的图像检索中检测出的图像为对象,进行后段的检索平台的图像检索,所以通过调整前段检索平台的检索条件,能够调整后段检索平台的对象图像数量,因此能够在进行图像检索的图像处理中使用户便利性得到提高。
[应用例10]在应用例1至应用例9中任意一个应用例所述的图像处理装置中,
上述检索条件设定部除了设定与上述图像内容的特征相关的检索条件之外,还设定与图像的属性相关的检索条件,
上述图像检索部利用与上述图像的属性相关的检索条件、和与上述图像内容的特征相关的检索条件,进行图像检索。
在该图像处理装置中,由于除了设定与图像内容的特征相关的检索条件之外,还设定与图像的属性相关的检索条件,利用与图像的属性相关的检索条件和与图像内容的特征相关的检索条件进行图像检索,所以,能够更容易且高效地实现对所希望的图像进行检测的图像检索,可以在进行图像检索的图像处理中使用户便利性得到提高。
[应用例11]在应用例1至应用例10中任意一个应用例所述的图像处理装置中,
上述条件指定窗口显示部按照借助上述标签进行的指定,显示同时显示了仅与一个上述检索平台对应的上述不同平台条件指定区域的上述条件指定窗口。
在该图像处理装置中,由于在条件指定窗口中同时显示仅与一个检索平台对应不同平台条件指定区域,所以用户通过在所显示的不同平台条件指定区域中进行条件指定,能够容易且可靠地指定针对一个检索平台的检索条件。因此,在该图像处理装置中,可以在进行图像检索的图像处理中使用户便利性得到提高。
[应用例12]在应用例1至应用例11中任意一个应用例所述的图像处理装置中,
上述特征是表示图像中颜色的分布的特征、和通过图像的小波分解而算出的特征中的至少一方。
在该图像处理装置中,作为图像内容的特征,是表示图像中颜色的分布的特征和通过图像的小波分解而算出的特征中的至少一方,在执行对与上述特征相关的检索条件进行指定的图像检索的图像处理中,可使用户便利性得到提高。
[应用例13]在应用例1至应用例12中任意一个应用例所述的图像处理装置中,还具备:
打印图像设定部,其从通过图像检索而检测出的检测图像中设定应该打印的检测图像;和
对应该打印的检测图像进行打印的打印部。
在该图像处理装置中,由于从通过图像检索而检测出的检测图像中设定应该打印的检测图像,并对应该打印的检测图像进行打印,所以在由图像检索检测出的图像的打印处理中,能够使用户便利性得到提高。
[应用例14]在应用例13所述的图像处理装置中,还具备显示检索结果窗口的检索结果窗口显示部,该检索结果窗口包括一览显示检测图像的检测图像显示区域、和用于指定应该打印的检测图像的打印指定区域,
上述打印图像设定部在上述检索结果窗口中,根据用户的规定的操作,将显示在上述打印指定区域的图像所对应的检测图像设定为应该打印的检测图像。
在该图像处理装置中,由于显示了包括一览显示检测图像的检测图像显示区域、和用于指定应该打印的检测图像的打印指定区域的检索结果窗口,并在检索结果窗口中,根据用户的规定操作将与显示在打印指定区域的图像对应的检测图像设定为应打印的检测图像,所以用户能够容易地指定应该打印的检测图像。
另外,本发明能够以各种方式实现,例如能够通过图像处理方法及装置、图像检索方法及装置、打印方法及装置、用于实现这些方法或装置的功能的计算机程序、记录有该计算机程序的记录介质、包含该计算机程序而在载波内被具体化的数据信号等方式来实现。
附图说明
图1是简要表示本发明的第1实施例中作为图像处理装置的打印机100的构成的说明图。
图2是表示第1实施例中的图像检索/打印处理的流程的流程图。
图3是表示初始窗口W1的一例的说明图。
图4是表示初始窗口W1的一例的说明图。
图5是表示检索选项窗口W2的一例的说明图。
图6是表示检索选项窗口W2的一例的说明图。
图7是表示利用元数据检索的检索条件的选择项的一例的说明图。
图8是表示利用图像内容检索的检索条件的选择项的一例的说明图。
图9是表示检索选项窗口W2的一例的说明图。
图10是表示检索执行处理的流程的流程图。
图11是表示检索结果窗口W3的一例的说明图。
图12是表示检索选项窗口W2的一例的说明图。
图13是简要表示第2实施例中作为图像处理装置的打印机100a的构成的说明图。
图14是表示第2实施例中的图像检索/打印处理的流程的流程图。
图15是表示检索条件设定处理的流程的流程图。
图16是表示选择项表CT的一例的说明图。
图17是具体表示在检索条件设定处理中设定检索平台及检索条件的样子的说明图。
符号说明:100...打印机;110...CPU;120...内部存储器;140...操作部;150...显示部;160...打印机机芯(printer engine);170...卡接口;172...卡槽;200...图像处理部;210...图像检索部;211...窗口显示控制部;212...查询图像设定部;213...检索条件设定部;216...相似度计算部;217...打印图像设定部;218...允许时间设定部;219...最小图像数设定部;310...显示处理部;320...打印处理部。
具体实施方式
接着,根据实施例,按照下述顺序对本发明的实施方式进行说明。
A.第1实施例:
A-1.图像处理装置的构成:
A-2.图像检索/打印处理:
A-3.特征量距离计算方法:
A-3-1.关于彩色直方图:
A-3-2.关于Haar小波:
B.第2实施例:
C.变形例:
A.第1实施例:
A-1.图像处理装置的构成:
图1是简要表示本发明的第1实施例中作为图像处理装置的打印机100的构成的说明图。本实施例的打印机100是根据从存储卡MC等中取得的图像数据来打印图像、对应于所谓直接打印的喷墨式彩色打印机。打印机100具备:控制打印机100的各部的CPU110、由ROM、RAM构成的内部存储器120、由按钮、触摸面板构成的操作部140、由液晶显示器构成的显示部150、打印机机芯160及卡接口(卡I/F)170。打印机100还可以具备用于进行与其他设备(例如数码照相机、个人计算机)间的数据通信的接口。打印机100的各构成要素通过总线而彼此连接。
打印机机芯160是根据打印数据进行打印的打印机构。卡接口170是用于与***到卡槽172的存储卡MC之间进行数据交换的接口。其中,在本实施例中,存储卡MC中存储有包括图像数据的图像文件。
内部存储器120中收纳有:图像处理部200、显示处理部310、打印处理部320。图像处理部200是在规定的操作***下用来执行图像检索/打印处理的计算机程序。本实施例的图像检索/打印处理是在进行对符合检索条件的图像实施检测的图像检索的同时,对检测出的图像进行打印的处理。对于图像检索/打印处理将在后边详述。
图像处理部200含有作为程序模块的图像检索部210。图像检索部210包括:窗口显示控制部211、查询图像设定部212、检索条件设定部213、相似度计算部216、打印图像设定部217。该各部的功能将在后述的图像检索/打印处理的说明中详述。
显示处理部310是对显示部150进行控制,在显示部150上显示含有处理菜单、信息的窗口画面、图像等的显示器驱动程序。打印处理部320是用来根据图像数据生成打印数据,并控制打印机机芯160,来执行基于打印数据的图像的打印的计算机程序。CPU110通过从内部存储器120中读取出上述程序(图像处理部200、显示处理部310、打印处理部320)并执行,来实现上述各部的功能。
A-2.图像检索/打印处理:
图2是表示第1实施例中的图像检索/打印处理的流程的流程图。本实施例的图像检索/打印处理是进行从多个目标图像之中检测符合检索条件的图像的图像检索,并对检测出的图像进行打印的处理。本实施例的打印机100除了能够执行基于图像的属性的图像检索之外,还能够执行基于图像内容的特征的图像检索。基于图像内容的特征的图像检索是通过针对图像内容的规定特征,从作为图像检索的对象的目标图像之中,检测出与作为图像检索的基准的查询图像的相似度(类似程度)较大的图像来进行的。更具体而言,计算出与图像内容的规定特征相关的对查询图像和目标图像的相似度进行表示的特征量距离,检测出特征量距离为最大特征量距离以下的目标图像。虽然目标图像可任意设定,但在本实施例中,将存储卡MC中储存的图像(图像文件中含有的图像数据)设定为目标图像。
当根据用户借助操作部140(图1)发出的指示,开始图像检索/打印处理(图2)后,窗口显示控制部211控制显示处理部310,使显示部150显示初始窗口W1(步骤S110)。图3是表示初始窗口W1的一例的说明图。初始窗口W1是含有图像检索中的查询图像、用于指定图像检索类型的用户接口的窗口。
在本实施例中,能够用3种不同的方法来指定查询图像。即,作为指定查询图像的方法准备有:基于对图像文件的指定的方法(T1)、基于描绘的方法(T2)、和基于颜色选择的方法(T3)。如图3所示,初始窗口W1中含有与3种查询图像指定方法分别对应的用户接口。
即,在初始窗口W1(图3)中,作为基于对图像文件的指定的方法(T1)用的接口,包括用于输入对图像文件的位置进行确定的路径(pass)的输入框Bo11、和显示用于分层选择图像文件的窗口的浏览按钮Bu13。用户通过在输入框Bo11中直接输入图像文件的路径,或者在按下浏览按钮Bu13而显示的窗口中选择图像文件,从而能够指定应该设定为查询图像的图像。
而且,在初始窗口W1(图3)中,作为基于描绘的方法(T2)用的接口,包括含有多个不同颜色的彩色按钮的调色板(color palette)按钮Bu23、和含有多个不同直径的笔按钮的笔径指定按钮Bu24。用户通过利用调色板按钮Bu23和笔径指定按钮Bu24在描绘区域Ar21上描绘图像,能够指定应该设定为查询图像的图像。另外,在初始窗口W1中还含有用于消去图像的清除按钮Bu25。而且,初始窗口W1中的描绘处理,可利用例如JAVA script(注册商标)描绘工具来实现。
另外,在初始窗口W1(图3)中,作为基于颜色选择的方法(T3)用的接口,包括输入规定的表色系(例如HSV表色系、RGB表色系)中的各通道(channel)的值的输入框Bo31、用于通过指定颜色的色调中的1点来选择颜色的颜色指定区域Ar31、和用于指定沿着特定的色轴(例如色相的轴、彩度的轴)的位置的滑标Sl31。用户通过在输入框Bo31中输入规定的表色系中的各通道的值、指定颜色指定区域Ar31上的1点、或者指定滑标Sl31沿着轴的位置,能够选择特定的1个颜色,由此能够指定应该设定为查询图像的图像(由选择的1个颜色构成的整体图像(betaimage))。其中,用户所选择的颜色被显示在颜色显示区域Ar32上。而且,在输入框Bo31中,多个表色系中的各通道的值彼此建立对应关系,例如当改变HSV表色系中的某一通道的值时,RGB表色系、CMY表色系中的各通道的值会自动被变更。其中,输入框Bo31的单选按钮(radio button)用于指定滑标Sl31处的轴,例如当选择了HSV表色系中的S通道的位置处的单选按钮时,滑标Sl31对应于彩度的轴。并且,初始窗口W1中基于颜色选择的方法(T3)用的多个接口间也彼此对应,例如当指定了颜色指定区域Ar31中的1个点时,表示被指定的点的颜色的各表色系中的值,被显示于输入框Bo31。而且,在代码显示框Bo32中显示对被指定的颜色进行表示的代码。初始窗口W1中的颜色选择处理利用例如JAVA script调色板来实现。
另外,在本实施例中,作为图像检索类型,准备有通常搜索和快速搜索这2种类型。通常搜索是详细设定检索条件来执行图像检索的检索类型,快速搜索是不进行检索条件的详细设定,而利用被默认设定的检索条件来执行图像检索的检索类型。在初始窗口W1中,针对设定查询图像的上述3种方法(T1、T2、T3),分别含有用于开始通常搜索的按钮(Bu11、Bu21、Bu31)和用于开始快速搜索的按钮(Bu12、Bu22、Bu32)。
当在初始窗口W1(图3)中由用户选择了用于开始图像检索的一个按钮时,查询图像设定部212(图1)设定查询图像(图2的步骤S120),图像检索部210设定检索类型(步骤S130)。即,将与用户选择的按钮对应的检索类型(通常搜索或快速搜索)设定为所使用的检索类型,并且将通过与所选择的按钮对应的查询图像指定方法而指定的图像设定为查询图像。图4中表示了通过描绘来指定查询图像时的初始窗口W1的一例。例如图4所示,当用户向描绘区域Ar21描绘了图像,并选择了用于开始与基于描绘的查询图像指定方法对应的通常搜索的按钮Bu21时,通过描绘生成的图像被设定为查询图像,通常搜索被设定为检索类型。
当在初始窗口W1(图3)中选择了用于开始通常搜索的按钮(Bu11、Bu21、Bu31),将通常搜索设定为检索类型时(图2的步骤S140:否),窗口显示控制部211(图1)控制显示处理部310,在显示部150上显示检索选项窗口W2(步骤S150)。图5是表示检索选项窗口W2的一例的说明图。检索选项窗口W2是含有用于对图像检索中的检索条件进行详细指定的用户接口的窗口。其中,检索选项窗口W2相当于本发明的条件指定窗口,窗口显示控制部211、显示处理部310和显示部150作为本发明的条件指定窗口显示部发挥功能。
如图5所示,检索选项窗口W2中含有表示查询图像的查询图像显示区域Ar41、和表示查询图像的属性(文件名称、文件大小)的属性显示区域Ar42。而且,如上所述,本实施例的打印机100能够执行基于对图像的属性进行表示的元数据的图像检索(以下还称为“利用元数据检索”)、和基于图像内容的特征的图像检索(以下还称为“利用图像内容检索”)。因此,检索选项窗口W2包括用于对利用元数据检索的检索条件进行指定的元数据条件指定区域Ar43、和用于对利用图像内容检索的检索条件进行指定的内容条件指定区域Ar45。
在检索选项窗口W2(图5)中,配置在元数据条件指定区域Ar43附近的加号按钮Bu45,是用于追加利用元数据检索的检索条件的按钮。当加号按钮Bu45被选择后,如图6所示,元数据条件指定区域Ar43被追加显示了用于对利用元数据检索的一个检索条件进行指定的框的组。而减号按钮Bu46是用来删除利用元数据检索的一个检索条件的按钮。
如图6所示,用于指定利用元数据检索的一个检索条件的框的组包括:用于指定元数据的类型的框Bo51、用于指定元数据的项目的框Bo52、用于指定检索条件中的不等号等的框Bo53、和用于指定检索条件中的值的框Bo54。框Bo51、52、53的指定可通过从下拉菜单中的选择来进行。图7是表示利用元数据检索的检索条件的选择项的一例的说明图。在本实施例中,如图7所示,作为元数据的类型的选择项(框Bo51中的选择项),设定了Exif信息和一般信息这两个信息。而对于元数据的项目的选择项(框Bo52中的选择项)而言,作为与Exif信息对应的选择项设定有照相机制造商、照相机型号、摄影时间等,作为与一般信息对应的选择项设定有文件大小、图像的大小(宽、高)、检测出的面部图像的数量等。用户通过在框Bo51、52、53中选择希望的选择项,并且在框Bo54中输入值,能够指定例如“文件大小小于1,000kB”之类的检索条件。
其中,当在元数据条件指定区域Ar43中指定了多个利用元数据检索的检索条件时,会显示对各检索条件的关系为“And”还是为“Or”进行指定的框(未图示),从而能够指定各检索条件相互的关系。另外,如果在元数据条件指定区域Ar43中连一个检索条件都未指定,则不进行利用元数据检索。
本实施例的打印机100能够在利用图像内容检索中,设定具有串行关系的多个检索平台(stage)(检索等级)。当在利用图像内容检索中设定了多个检索平台时,在串行关系中的前段的检索平台中,被检测为符合检索条件的图像成为后段的检索平台的对象图像。
在检索选项窗口W2(图5)中,配置在内容条件指定区域Ar45附近的加号按钮Bu43,是用于追加利用图像内容检索的检索平台的按钮。当选择了加号按钮Bu43时,会追加一个检索平台,内容条件指定区域Ar45被追加对一个检索平台中的检索条件进行规定的检索平台规定区域Ar46。而减号按钮Bu44是用于删除一个检索平台的按钮。各检索平台上对应建立了用于指定检索平台规定区域Ar46的显示状态的标签Ta41,当设定了多个检索平台时,按照标签Ta41的选择,显示与一个检索平台对应的检索平台规定区域Ar46,并且与其他的检索平台对应的检索平台规定区域Ar46处于非显示的状态。其中,在检索选项窗口W2中,加号按钮Bu43及减号按钮Bu44相当于本发明的平台数指定区域,检索平台规定区域Ar46相当于本发明的不同平台条件指定区域。如果在内容条件指定区域Ar45中连1个检索平台都未设定,则不进行利用图像内容检索。
检索选项窗口W2(图5)中的检索平台规定区域Ar46,是指定对应的检索平台中的检索条件的区域。在本实施例中,当利用检索条件进行图像检索时,能够通过从处理的速度和精度中至少一方互不相同的多个检索条件的选择项之中进行选择,来指定检索条件。检索平台规定区域Ar46中含有:指定检索条件的条件指定区域Ar47、和对将图像分割为多个区域后的每个区域的加权进行指定的权重指定区域Ar48。如图5所示,条件指定区域Ar47含有:用于指定识别标志方法(signature method)的框Bo41、用于指定度量标准类型(metric type)的框Bo42、用于指定彩色空间的框Bo43、用于指定颜色空间的各彩色通道的权重的框Bo44、用于指定最大特征量距离的框Bo45、和用于指定最大检测数的框Bo46。
条件指定区域Ar47(图5)的框Bo41、42、43中的指定,通过从下拉菜单中的选择来进行。图8是表示利用图像内容检索的检索条件的选择项的一例的说明图。通过框Bo43指定的彩色空间是被用于检索条件的设定的颜色空间,在本实施例中,如图8所示,作为彩色空间的选择项,设定有RGB、LAB、YUV和HSV。
由条件指定区域Ar47(图5)的框Bo41指定的识别标志方法,是利用图像内容检索所采用的图像内容的特征。在本实施例中,如图8所示,作为识别标志方法的选择项,设定有彩色直方图和Haar(哈尔)小波这2个选择项。而且,由框Bo42指定的度量标准类型是计算出与图像内容的规定特征相关的查询图像和目标图像的相似度的方法(表示相似度的指标值及算出该指标值的方法)。在本实施例中,如图8所示,作为与彩色直方图对应的度量标准类型的选择项,设定有标准直方图、相关直方图、色矩(color moment)、组合特征(combined feature),作为与Haar小波对应的度量标准类型的选择项,设定有高速低精度的度量标准M1、中速中精度的度量标准M2、低速高精度的度量标准M3、和作为实时度量标准的度量标准M4。
作为识别标志方法的彩色直方图(参照图8),是对由规定的颜色空间表现的图像的颜色分布进行表示的特征。在本实施例中,将对颜色空间进行规定的各个通道量化,使用由此设定而得到的多个彩色小区间(colorbin)各自中的像素频率分布,来作为彩色直方图。例如当使用RGB颜色空间时,可将RGB的各通道量化成4等分(即,例如当各通道的值的范围是0~255时,量化成0~63、64~127、128~191、192~255这4个范围),使用由此设定的64个彩色小区间各自中的像素频率分布。当采用彩色直方图作为识别标志方法时,与采用Haar小波时相比,大多会出现由于运算量少而使得图像检索的速度提高,但由于彩色直方图不具有空间信息,所以图像检索的精度下降的情况。例如,即便在人类的理解上是相似度低的图像,仍有可能以图像整体的颜色分布的特征类似的图像而被检测出来。其中,设定彩色小区间时的量化的程度在各通道中无需相同。例如,当使用HSV颜色空间时,H通道可以比S通道及V通道更加细微地量化。
作为与彩色直方图对应的度量标准类型的选择项的标准直方图(参照图8),是利用多个彩色小区间各自中的像素频率本身,来算出与彩色直方图相关的查询图像和目标图像的相似度的方法。而相关直方图是利用彩色小区间中的像素频率的累加值,算出查询图像与目标图像的相似度的方法。例如若将N个的彩色小区间各自中的像素频率设为Hi(i=1,2,3,...,N),则像素频率的累计值Cj(j=1,2,3,...,N)可由下式(1)算出。当采用相关直方图作为度量标准类型时,与标准直方图相比,虽然图像检索的速度略有下降,但能够因抑制量化误差而导致的误匹配的发生,从而提高了图像检索的精度。
【式1】
C j = Σ i = 1 j H i · · · ( 1 )
另外,作为与彩色直方图对应的度量标准类型的选择项的色矩(参照图8),是利用彩色小区间中的像素频率的平均μ、离差(dispersion)σ2、失真度γ3这3个色矩,计算出与彩色直方图相关的查询图像和目标图像的相似度的方法。而组合特征是利用结合了3个色矩(平均μ、离差σ2、失真度γ3)而得到的指标F,计算出查询图像与目标图像的相似度的方法。结合了平均μ、离差σ2、失真度γ3而得到的指标F分别由下式(2)~(5)算出。其中,式(5)中的WF是通过实验设定的权重系数。当采用色矩或组合特征作为度量标准类型时,与标准直方图相比,虽然图像检索的速度变快,但图像检索的精度下降。
【式2】
μ = 1 N Σ i = 1 N H i · · · ( 2 )
【式3】
σ 2 = 1 N Σ i = 1 N ( H i - μ ) 2 · · · ( 3 )
【式4】
γ 3 = 1 N Σ i = 1 N ( H i - μ ) 3 · · · ( 4 )
【式5】
F = w F · μ · γ σ · · · ( 5 )
作为识别标志方法的Haar小波,是通过使用了Haar小波作为基础的图像的小波分解而算出的小波系数。当采用Haar小波作为识别标志方法时,与采用彩色直方图时相比,大多会出现因运算量多而使得图像检索的速度下降,但由于Haar小波具有图像的空间信息,所以图像检索的精度提高的情形。
作为与Haar小波对应的度量标准类型的选择项的高速低精度的度量标准M1、中速中精度的度量标准M2、低速高精度的度量标准M3,全都是利用由图像的Haar小波分解计算出的Haar小波系数,算出查询图像与目标图像的相似度的方法。高速低精度的度量标准M1、中速中精度的度量标准M2和低速高精度的度量标准M3,其进行Haar小波分解时的图像的分辨率互不相同。即,高速低精度的度量标准M1是利用以较低分辨率的图像为对象的通过Haar小波分解计算出的Haar小波系数的方法,中速中精度的度量标准M2是利用以中等程度分辨率的图像为对象的通过Haar小波分解计算出的Haar小波系数的方法,低速高精度的度量标准M3是利用以较高分辨率的图像为对象的通过Haar小波分解计算出的Haar小波系数的方法。作为Haar小波分解的对象的图像的分辨率越高,图像检索的速度越低,图像检索的精度却提高。
而且,作为度量标准类型的选择项的实时度量标准M4,也是利用由图像的Haar小波分解计算出的Haar小波系数,算出查询图像与目标图像的相似度的方法。实时度量标准M4与度量标准M1、度量标准M2、度量标准M3的不同之处在于,在计算查询图像与目标图像的相似度(特征量距离)时使用具有对称性的方法。
其中,算出与图像的规定特征相关的查询图像和目标图像的相似度(特征量距离)的具体方法,将在后述的“A-3.特征量距离计算方法”中进行说明。
另外,当选择了Haar小波作为识别标志方法时,如图9所示,在检索选项窗口W2的条件指定区域Ar47中显示指定小波系数数Cu的框Bo49。小波系数数Cu是在计算出与Haar小波相关的查询图像和目标图像的相似度(特征量距离)时所用到的(每个通道的)小波系数的数。小波系数数Cu也可说成是表示图像的压缩率的大小的指标值。即,当设Haar小波系数整体的个数为Ca时,值最小的(Ca-Cu)个小波系数被舍弃(即值被设为零)。小波系数数Cu越小,相似度的计算处理越是高速低精度,小波系数数越大,相似度的算出处理越是低速高精度。
由条件指定区域Ar47(图5)中的框Bo44指定的颜色空间的各彩色通道的权重,是在与图像内容的特征相关的查询图像和目标图像的相似度计算中反映的各彩色通道的权重。由条件指定区域Ar47中的框Bo45指定的最大特征量距离,是图像检索中的查询图像与目标图像的相似度(特征量距离)的阈值。即,在该检索平台中,可检测出查询图像与目标图像的相似度(特征量距离)为最大特征量距离以下的目标图像。由条件指定区域Ar47中的框Bo46指定的最大检测数,是在该检索平台中被检测为符合检索条件的目标图像的最大允许数。
检索选项窗口W2(图5)中的检索平台规定区域Ar46的权重指定区域Ar48,被分割成多个栅格状(本实施例中为16个)的区域,并在各区域中配置有权重指定框Bo47和复选框Bo48。权重指定区域Ar48上显示有查询图像,由此,查询图像被分割成多个区域。权重指定框Bo47是用于在查询图像与目标图像的相似度(特征量距离)的计算时指定图像的各区域的权重的框。另外,通过撤销某个分割区域的复选框Bo48的选择,能够指定在查询图像与目标图像的相似度的计算中,完全不对该区域进行考虑。
在用户检索选项窗口W2(图5)的检索平台规定区域Ar46的条件指定区域Ar47及权重指定区域Ar48中,通过选择识别标志方法和度量标准类型,或选择彩色空间,或者指定各通道的权重,或者指定图像的各区域的权重,能够单独地指定各检索平台中的查询图像与目标图像的相似度(特征量距离)的计算方法。而且,用户通过在条件指定区域Ar47指定最大特征量距离,能够指定各检索平台的阈值,即,指定在各检索平台中检测出与查询图像怎样程度相似的目标图像。另外,用户通过在条件指定区域Ar47中指定最大检测数,能够指定在各检索平台中检测的图像的上限。
当用户在检索选项窗口W2(图5)的元数据条件指定区域Ar43中指定了检索条件时,检索条件设定部213(图1)设定利用元数据检索中的检索条件(图2的步骤S160)。而当用户在检索选项窗口W2的内容条件指定区域Ar45中指定了检索平台数量时,检索条件设定部213设定利用图像内容检索的检索平台数量(步骤S170)。另外,当用户在检索平台规定区域Ar46中指定了检索条件时,检索条件设定部213设定利用图像内容检索的各检索平台中的检索条件(步骤S180)。其中,检索条件设定部213还根据检索平台规定区域Ar46中的指定,来设定各检索平台的执行顺序。在本实施例中,对各检索平台赋予了平台编号(图5中的“平台1”等),从平台编号小的检索平台开始按照顺序执行。
检索选项窗口W2(图5)含有检索执行按钮Bu41和返回按钮Bu42。当在检索选项窗口W2中选择了返回按钮Bu42时,在显示部150(图1)再次显示初始窗口W1(图3)。当在检索选项窗口W2中选择了检索执行按钮Bu41时,开始检索执行处理(图2的步骤S190)。
另外,当用户在初始窗口W1(图3)中选择了用于开始快速搜索的按钮(Bu12、Bu22、Bu32)时(图2的步骤S140:是),利用了检索选项窗口W2的检索条件的详细设定(步骤S150~S180)被跳过,开始使用了预先被默认设定的检索条件的检索执行处理(步骤S190)。
图10是表示检索执行处理的流程的流程图。在步骤S410中,图像检索部210(图1)进行基于元数据的条件判定。具体而言,图像检索部210解析目标图像的图像文件而取得元数据,并判定由取得的元数据确定的目标图像的属性是否符合与所设定的元数据相关的检索条件(例如“文件大小小于1,000kB”之类的检索条件、参照图6)。图像检索部210从以后的检索处理对象中排除被判定为不符合检索条件的目标图像。另外,当在检索选项窗口W2(图5)的元数据条件指定区域Ar43中连一个检索条件也未指定时,跳过步骤S410的处理。
在步骤S420(图10)中,图像检索部210(图1)选择1个利用图像内容检索的检索平台。如上所述,在本实施例中,从平台编号小的检索平台开始依次选择。例如如图5所示,当设定有平台编号为1的检索平台“平台1”和平台编号为2的检索平台“平台2”这两个检索平台时,首先选择检索平台“平台1”。
在步骤S430(图10)中,图像检索部210(图1)进行基于特征量距离的条件判定。具体而言,图像检索部210的相似度计算部216按照对所选的检索平台设定的检索条件,计算出与图像内容的特征相关的查询图像和目标图像的相似度(特征量距离),判定由面部特征位置确定部210计算出的特征量距离是否为最大特征量距离以下。图像检索部210将被判定为计算出的特征量距离大于最大特征量距离的目标图像从以后的检索处理对象中排除。
例如,在对所选择的检索平台设定的检索条件中,当如图5所示,识别标志方法为“彩色直方图”,度量标准类型为“标准直方图”,彩色空间为“RGB”时,分别对查询图像和目标图像计算出RGB颜色空间中的各彩色小区间的像素频率Hi作为特征量,并计算出表示两者的特征量(像素频率Hi)的相似度的特征量距离。然后,判定计算出的特征量距离是否为最大特征量距离(例如100)以下。另外,当识别标志方法为“Haar小波”、度量标准类型为“度量标准M1”、彩色空间为“RGB”时,分别对查询图像和目标图像计算出RGB颜色空间中的Haar小波系数,并基于Haar小波系数计算出表示两者的相似度的特征量距离。其中,当在条件指定区域Ar47的框Bo44中设定有彩色通道的权重、或在权重指定区域Ar48中设定有分割区域的权重时,考虑权重而计算出特征量距离。而且,查询图像的特征量的计算只要进行一次即可。另外,目标图像、查询图像的特征量的计算也可以在检索执行处理前预先进行。对于其他的识别标志方法、度量标准类型也同样。关于特征量距离的计算方法将在后边详述。
在步骤S440(图10)中,图像检索部210(图1)判定此时未被排除在外的目标图像的数量是否为所设定的最大检测数(参照图5的框Bo46)以下。当未被排除在外的目标图像的数量大于最大检测数时(步骤S440:否),从特征量距离大的目标图像开始依次选择数量超过最大检测数的目标图像,并将其排除,以便目标图像的数量为最大检测数以下(步骤S450)。另一方面,当未被排除在外的目标图像的数量为最大检测数以下时(步骤S440:是),跳过步骤S450的处理。
在步骤S460(图10)中,图像检索部210(图1)判定是否选择了全部的检索平台。当存在尚未选择的检索平台时(步骤S460:否),选择平台编号最小且未选择的检索平台(步骤S420),对被选择的检索平台执行利用了所设定的检索条件的利用图像内容检索(步骤S430~S450)。其中,本实施例在编号2以后的检索平台的条件判定中,仅考虑在该检索平台中计算出的特征量距离。不过,也可以在编号2以后的检索平台的条件判定中,计算出在该检索平台中算出的特征量距离、与在执行完毕的检索平台中算出的特征量距离的合计距离,来判定合计距离是否为作为阈值的最大特征量合计距离以下。当在步骤S460中判定为所有检索平台都被选择时(步骤S460:是),结束检索执行处理。此时,未被排除在外的目标图像成为图像检索中的检测图像Di。
当检索执行处理(图2的步骤S190)结束时,窗口显示控制部211(图1)控制显示处理部310,使显示部150显示检索结果窗口W3(步骤S200)。图11是表示检索结果窗口W3的一例的说明图。检索结果窗口W3是用于一览显示在检索执行处理中检测出的目标图像(检测图像Di)的窗口。即,如图11所示,在检索结果窗口W3中除了查询图像显示区域Ar61以外,还含有检测图像显示区域Ar62。在检测图像显示区域Ar62中,以表示与查询图像的统计相似度的等级顺序(分数小的顺序),排列显示检测图像Di。各检测图像Di的分数是根据特征量距离算出的。在本实施例中,将在利用图像内容检索的最终检索平台中算出的特征量距离,作为分数。这是因为,通常情况下大多对最终检索平台设定精度最高的识别标志方法及度量标准类型。另外,分数也可以是在利用图像内容检索的各检索平台中算出的特征量距离的合计或平均,还可以是在各检索平台中算出的特征量距离的权重合计或权重平均。
检索结果窗口W3(图11)中含有条件变更按钮Bu61。当用户选择了条件变更按钮Bu61时(图2的步骤S210:是),检索选项窗口W2(图5)被再次显示(步骤S150),能够再次设定检索条件、再次执行检索(步骤S160~S200)。
在检索结果窗口W3(图11)的检测图像显示区域Ar62中,含有与检测图像Di分别对应的查询设定按钮Bu62。查询设定按钮Bu62是用来指示将检测图像Di设定为新的查询图像的按钮。当在检索结果窗口W3中,用户选择了查询设定按钮Bu62时(图2的步骤S220:是),执行将与所选择的查询设定按钮Bu62对应的检测图像Di作为新的查询图像的查询图像的再设定(步骤S230),再次显示检索选项窗口W2(步骤S150)。图12中表示了当在检索结果窗口W3(图11)中选择了与检测图像Di(14)对应的查询设定按钮Bu62时,将检测图像Di(14)设定为新的查询图像的检索选项窗口W2。用户能够以原检索条件或对检索条件进行变更,来执行将检测图像Di作为新的查询图像的图像检索。
而且,检索结果窗口W3(图11)中含有打印指定区域Ar63。用户通过在检索结果窗口W3中,例如将检测图像Di的图标拖放到打印指定区域Ar63,使打印指定区域Ar63显示检测图像Di的图标IC,由此能够指定应该打印的检测图像Di(图2的步骤S240)。在图11的例子中,2个检测图像Di被指定为应该打印的图像。打印指定区域Ar63中含有打印执行按钮Bu64和打印指定解除按钮Bu65。用户通过选择在打印指定区域Ar63上显示的图像的图标IC并且选择打印指定解除按钮Bu65(或通过将图像的图标IC拖放到打印指定解除按钮Bu65上),能够解除对该图像的打印指定。而且,用户通过选择打印执行按钮Bu64,能够指示与显示在打印指定区域Ar63的图标IC对应的检测图像Di开始执行打印。当被指示开始执行打印时,打印处理部320(图1)基于被指定的检测图像Di的图像数据生成打印数据,对打印机机芯160进行控制,来执行检测图像Di的打印(图2的步骤S250)。
如上述说明那样,在本实施例的打印机100所进行的图像检索/打印处理中,用户能够借助检索选项窗口W2(图5)详细地指定图像检索的检索条件。即,检索选项窗口W2含有:用于指定与具有串行关系的多个检索平台各自中的图像内容的特征有关的检索条件的检索平台规定区域Ar46、和指定检索平台规定区域Ar46的显示状态的与各检索平台对应的标签Ta41,用户能够借助标签Ta41切换检索平台规定区域Ar46的显示状态,并容易地指定各检索平台的检索条件。当通过检索选项窗口W2指定了检索条件时,按照借助检索选项窗口W2进行的指定,设定多个检索平台各自中的检索条件,并使用设定的检索条件,依次执行多个检索平台的图像检索。因此,在本实施例的打印机100所进行的图像检索/打印处理中,能够在进行图像检索的图像处理中提高用户便利性。
而且,在本实施例的打印机100所进行的图像检索/打印处理中,由于在检索选项窗口W2的检索平台规定区域Ar46中,能够通过从图像检索处理的速度与精度的至少一方彼此不同的多个检索条件(识别标志方法、度量标准类型、小波系数数等)的选择项之中进行选择,来指定检索条件,所以可按照所希望的处理精度及处理速度实现利用图像内容检索,能够提高图像检索中的用户便利性。例如,通过对第1个检索平台设定利用了可实现相对高速低精度的检索处理的识别标志方法(例如彩色直方图)的检索条件,并且对第2个检索平台设定利用了可实现相对低速高精度的检索处理的识别标志方法(例如Haar小波)的检索条件,由此能够通过第1个检索平台对大量的目标图像进行高速的条件判定,并且可抑制成为进行高精度的条件判定的第2个检索平台的对象的目标图像的数量,能够在实现处理精度与处理速度间以良好的平衡性实现利用图像内容检索。同样,例如通过对第1个检索平台设定利用了可实现相对高速低精度的检索处理的度量标准类型(例如度量标准M1)的检索条件,并且对第2个检索平台设定利用了可实现相对低速高精度的检索处理的度量标准类型(例如度量标准M3)的检索条件,也能够在处理精度与处理速度之间以良好的平衡性实现利用图像内容检索。在上述情况下,通过调整第1个检索平台的最大特征量距离(即条件判定的阈值),能够对成为第2个检索平台的对象的目标图像的数量进行调整,可以调整利用图像内容检索中的处理精度与处理速度的平衡。而且,由于各识别标志方法、各度量标准类型具有固有的检测特性,所以通过采用使用了互不相同的识别标志方法、度量标准类型的多个检索平台,来进行利用图像内容检索,能够在检索平台间进行检测特性的补充,降低了从人类的理解出发相似度低的图像被检测出的可能性。并且,在本实施例的打印机100所进行的图像检索/打印处理中,由于能够组合利用元数据检索与利用图像内容检索,所以可进一步提高图像检索中的用户便利性。
另外,在本实施例的打印机100所进行的图像检索/打印处理中,由于检索选项窗口W2含有用于增减检索平台数的接口(加号按钮Bu43及减号按钮Bu44),所以用户能够容易地指定检索平台的数量,可提高利用图像内容检索中的用户便利性。
而且,在本实施例的打印机100所进行的图像检索/打印处理中,由于设定了作为利用图像内容检索的基准的查询图像,并就图像内容的特征设定了与和查询图像的相似度相关的检索条件,所以能够实现对于规定的图像内容的特征,检测出与查询图像类似的图像的利用图像内容检索。并且,在本实施例的打印机100所进行的图像检索/打印处理中,由于能够在初始窗口W1(图3)中通过图像文件的指定、描绘、颜色的指定中任意一种方法来指定查询图像,所以可提高对与查询图像类似的图像进行检测的利用图像内容检索中的用户便利性。另外,在本实施例的打印机100所进行的图像检索/打印处理中,由于可以将通过图像检索而检测出的1个检测图像Di设定为新的查询图像,所以例如通过将被认为与所希望的图像更为接近的检测图像Di设定为新的查询图像,由此用户能够更高效地达到所希望的检索结果,可进一步提高利用图像内容检索中的用户便利性。
而且,在本实施例的打印机100所进行的图像检索/打印处理中,由于检索选项窗口W2含有对图像的每一个区域的权重进行指定的权重指定区域Ar48,所以能够设定与对图像的每一个区域加权的相似度相关的检索条件,可进一步提高利用图像内容检索中的用户便利性。同样,在本实施例的打印机100所进行的图像检索/打印处理中,由于检索选项窗口W2含有对颜色空间的各通道的权重进行指定的框Bo44,所以能够设定与对图像的颜色空间的每一个通道加权的相似度相关的检索条件,可进一步提高利用图像内容检索中的用户便利性。
并且,在本实施例的打印机100所进行的图像检索/打印处理中,能够从通过图像检索而检测出的检测图像Di之中设定应该打印的检测图像,并进行对应该打印的检测图像Di的打印。在本实施例的打印机100所进行的图像检索/打印处理中,检索结果窗口W3(图11)含有一览显示检测图像Di的检测图像显示区域Ar62、和用于指定应该打印的检测图像Di的打印指定区域Ar63,由于与根据用户的规定操作而显示在打印指定区域Ar63的图像(图标IC)对应的检测图像Di,被设定为应该打印的检测图像Di,所以用户能够容易地指定应该打印的检测图像Di,可以提高图像检索/打印处理中的用户便利性。
A-3.特征量距离计算方法:
下面,对在上述的检索执行处理(图10)的基于特征量距离的条件判定处理(步骤S430)中,由相似度计算部216算出特征量距离的具体方法进行说明。特征量距离是表示与图像内容的规定特征相关的查询图像和目标图像的相似度的指标。
A-3-1.关于彩色直方图:
对于本实施例而言,在利用图像内容检索的条件设定(图2的步骤S180)中,识别标志方法被设定为彩色直方图时的度量标准类型的选择项,设定有标准直方图、相关直方图、色矩和组合特征这4种选择项(参照图8)。当度量标准类型被设定为标准直方图时,特征量距离D(Q,T)的平方D2(Q,T)可由下式(6)算出。在式(6)中,HQi是查询图像的第i个彩色小区间的像素频率,HTi是目标图像的第i个彩色小区间的像素频率,N是彩色小区间的个数。
【式6】
D 2 ( Q , T ) = Σ i = 1 N ( H Q i - H Ti ) 2 · · · ( 6 )
当度量标准类型被设定为相关直方图时,特征量距离D(Q,T)的平方D2(Q,T)可由下式(7)算出。在式(7)中,CQj是查询图像的第1个到第J个彩色小区间的像素频率HQi的累计值(参照上述式(1)),CTj是目标图像的第1个到第J个彩色小区间的像素频率HTi的累计值,N是彩色小区间的个数。
【式7】
D 2 ( Q , T ) = Σ j = 1 N ( C Qj - C Tj ) 2 · · · ( 7 )
当度量标准类型被设定为色矩时,特征量距离D(Q,T)可由下式(8)算出。在式(8)中,DRED(Q,T)是R通道中的特征量距离,可由下式(9)算出。在式(9)中,μQ及μT分别是关于查询图像及目标图像的R通道的彩色小区间中的像素频率Hi的平均(参照上述式(2)),σQ及σT分别是关于查询图像及目标图像的R通道的彩色小区间中的像素频率Hi的离差的平方根(标准偏差)(参照上述式(3)),γQ及γT分别是关于查询图像及目标图像的R通道的彩色小区间中的像素频率Hi的失真度的立方根(参照上述式(4)),wμ、wσ、wγ是通过实验设定的权重系数。另外,式(8)中的DGREEN(Q,T)及DBLUE(Q,T)分别是G、B通道中的特征量距离,可通过与式(9)同样的公式算出。
【式8】
D(Q,T)=DRED(Q,T)+DGREEN(Q,T)+DBLUE(Q,T)......(8)
【式9】
DRED(Q,T)=WμQT|+wσQT|+WγQT|......(9)
当度量标准类型被设定为组合特征时,也可通过上述式(8)算出特征量距离D(Q,T)。不过,该情况下,在式(8)中,DRED(Q,T)通过下式(10)算出。在式(10)中,FQ及FT分别是关于查询图像及目标图像的R通道的结合指标(参照上述式(5)),wR是通过实验设定的权重系数。式(8)中的DGREEN(Q,T)及DBLUE(Q,T)可通过与式(10)同样的公式算出。
【式10】
DRED(Q,T)=WR|FQ-FT|......(10)
A-3-2.关于Haar小波:
本实施例在利用图像内容检索的条件设定(图2的步骤S180)中,识别标志方法被设定为Haar小波时的度量标准类型的选择项,设定有高速低精度的度量标准M1、中速中精度的度量标准M2、低速高精度的度量标准M3、和作为实时度量标准的度量标准M4(参照图8)。如上所述,度量标准M1、M2、M3只是进行Haar小波分解时的图像的分辨率彼此不同,特征量距离的计算方法相同。当将度量标准类型设定为度量标准M1、M2、M3时,特征量距离D(Q,T)可由下式(11)算出。在式(11)中,k是Haar小波分解的对象图像的宽度及高度,Q(i,j)及T(i,j)分别是查询图像及目标图像的Haar小波分解结果的坐标(i,j)处的小波系数。这里,作为小波系数,使用在具有更小值的规定数的小波系数被舍弃后、进行了量化的值。小波系数的舍弃是基于在检索选项窗口W2(图9)的框Bo49中指定的小波系数数Cu,将值为最大的小波系数数Cu的小波系数原封不动地保留,并使除此以外的小波系数(值相对小的系数)的值为零的处理。另外,本实施例中的小波系数的量化是将正值变换为+1并将负值变换为-1的处理,可由下式(12)来规定。而且,在式(11)中,w(i,j)是通过实验设定的权重系数。并且,在式(11)中,[Q(i,j)≠1T(i,j)]是查询图像的小波系数与目标图像的小波系数的比较值,可由下式(13)来规定。即,特征量距离D(Q,T)是关于查询图像的小波系数不为零的坐标的、查询图像的小波系数与目标图像的小波系数的比较值的加权总和。
【式11】
D ( Q , T ) = Σ i , j = 1 Q ( i , j ) ≠ 0 k w ( i , j ) [ Q ( i , j ) ≠ T 1 ( i , j ) ] · · · ( 11 )
【式12】
Q(i,j)=-1,if Q(i,j)<0
Q(i,j)=+1,ifQ(i,j)>0......(12)
【式13】
[Q(i,j)≠1T(i,j)]=1,if Q(i,j)≠T(i,j)
[Q(i,j)≠1T(i,j)]=0,if Q(i,j)=T(i,j)......(13)
另外,为了实现特征量距离D(Q,T)的计算处理的高速化,上述式(11)包括多种改良。即,在上述式(11)中可进行下述改良:使用被量化后的小波系数;省略标度函数系数(与坐标(0,0)对应的系数);对于查询图像的小波系数Q(i,j)为零的坐标,从总和的对象中排除,仅将Q(i,j)不为零的坐标作为总和的对象等。其中,关于识别标志方法被设定为Haar小波时的特征量距离D(Q,T)的计算,由于记载在C.E.Jacobs、A.Finkelstein、D.H.Salesin著“Fast Multiresolution ImageQuerying”(Proceedings of 1995 ACM SIGGRAPH Conference,LosAngeles CA,USA,Aug.9-11,pp.277-286,1995)中,所以这里省略详细的说明。
在本实施例中,作为度量标准类型的实时度量标准M4,是在采用了被称作Linear Approximating and Eliminating Search Algorithm(以下也简单称作“LAESA”)的检索算法的图像检索方法中使用的检索条件。LAESA是pivot base检索算法的1种。pivot base检索算法是为了降低检索处理中的距离计算量,而作为事前处理计算出预先设定的多个支点(pivot point)之间的距离,并在检索处理时检测出不可能满足检索条件的点,将其排除在距离计算的对象之外的检索算法。对于pivot base检索算法或LAESA而言,由于被记载在Maria Luisa Mico,Jose Oncina著“Anew version of the Nearest-Neighbour Approximating and EliminatingSearch Algorithm(AESA)with linear preprocessing time and memoryrequirements”(Pattern Recognition Letters vol.15,p.9-p.71994年1月)或Edgar Chavez,J.L.Marroquin,Ricardo Baeza-Yates,著“Spaghettis:AnArray Based Algorithm for Similarity Queries in Metric Spaces“(spire,pp.38,String Processing and Information Retrieval Symposium &International Workshop on Groupware,1999)中,所以这里省略详细说明。
当采用利用了如LAESA那样的pivot base检索算法的图像检索方法时,作为特征量距离D(Q,T)的计算方法,需要采用具有对称性的方法。具有对称性的方法是即使将查询图像与目标图像的关系颠倒,两者间的特征量距离仍然不变的特征量距离计算方法,是满足下式(14)的方法。
【式14】
D(Q,T)=D(T,Q)......(14)
上述的度量标准类型被设定为度量标准M1、M2、M3时的特征量距离D(Q,T)的计算方法(上述式(11)),由于Q(i,j)为零的坐标被排除在总和的对象之外,所以,不具有对称性。因此,该计算方法无法在度量标准类型被设定为实时度量标准M4时采用。
在本实施例中,采用由下式(15)规定的方法,来算出度量标准类型被设定为实时度量标准M4时的特征量距离D(Q,T)的计算方法。在式(15)中,k为Haar小波分解的对象图像的宽度及高度,Q(i,j)及T(i,j)分别是查询图像及目标图像的Haar小波分解结果的坐标(i,j)处的小波系数(舍弃及量化后的值),w(i,j)是通过实验设定的权重系数。另外,在式(15)中,[Q(i,j)=2T(i,j)]是查询图像的小波系数与目标图像的小波系数的比较值,由下式(16)规定。
【式15】
D ( Q , T ) = Σ i , j = 1 T ( i , j ) ≠ 0 k w ( i , j ) + Σ i , j = 1 Q ( i , j ) ≠ 0 k w ( i , j ) [ Q ( i , j ) = T 2 ( i , j ) ] · · · ( 15 )
【式16】
[Q(i,j)=2T(i,j)]=-1,if Q(i,j)=T(i,j)
[Q(i,j)≠2T(i,j)]=+1,if Q(i,j)≠T(i,j)......(16)
如式(15)所示,度量标准类型被设定为实时度量标准M4时的特征量距离D(Q,T),是关于查询图像的小波系数Q(i,j)不为零的坐标的、查询图像的小波系数与目标图像的小波系数的比较值的加权总和,与关于目标图像的小波系数T(i,j)不为零的坐标的、权重系数w(i、J)的总和之和。
将式(15)与上述式(11)进行比较可知,在式(15)中,与目标图像的小波系数T(i,j)不为零的坐标对应的权重系数w(i,j)的总和,被作为修正项附加。由式(15)规定的特征量距离D(Q,T)的计算方法,如下面使用式(17)说明的那样,具有对称性。
【式17】
D ( Q , T ) = Σ i , j = 1 T ( i , j ) ≠ 0 k w ( i , j ) + Σ i , j = 1 Q ( i , j ) ≠ 0 k w ( i , j ) [ Q ( i , j ) = T 2 ( i , j ) ]
= Σ i , j = 1 T ( i , j ) ≠ 0 k w ( i , j ) + Σ i , j = 1 Q ( i , j ) ≠ 0 k w ( i , j ) [ | Q ( i , j ) - T ( i , j ) | - | T ( i , j ) | ]
= Σ i , j = 1 T ( i , j ) ≠ 0 k w ( i , j ) | T ( i , j ) | + Σ i , j = 1 Q ( i , j ) ≠ 0 k w ( i , j ) [ | Q ( i , j ) - T ( i , j ) | - | T ( i , j ) | ]
= Σ i , j = 1 k w ( i , j ) | T ( i , j ) | + Σ i , j = 1 k w ( i , j ) [ | Q ( i , j ) - T ( i , j ) | - | T ( i , j ) | ]
= Σ i , j = 1 k w ( i , j ) | Q ( i , j ) - T ( i , j ) | · · · ( 17 )
式(17)的最上段与式(15)相同。式(17)的第2段如以下说明的那样,与式(17)的最上段等效。即,首先在Q(i,j)=T(i,j)(≠0)时,|Q(i,j)-T(i,j)|-|T(i,j)|=-|T(i,j)|=-1这一等式成立。接着,在Q(i,j)≠T(i,j)且T(i,j)=0时,|Q(i,j)-T(i,j)|-|T(i,j)|=|Q(i,j)|=1这一等式成立。最后,当Q(i,j)≠T(i,j)且T(i,j)≠0时,|Q(i,j)-T(i,j)|-|T(i,j)|=2-1=1这一等式成立。因此,在所有的情况下,式(17)的第2段的[|Q(i,j)-T(i,j)|-|T(i,j)|]都与式(17)的最上段的[Q(i,j)=2T(i,j)]相等。
当T(i,j)≠0时,由于|T(i,j)|=1这一等式成立,所以式(17)的第3段与式(17)的第2段等效。在式(17)的第3段的第1项中,当T(i,j)=0时,由于|T(i,j)|=0,所以即便排除了T(i,j)≠0的条件,第1项的总和仍相同。而且,在式(17)的第3段的第2项中,当Q(i,j)=0时,由于|Q(i,j)-T(i,j)|-|T(i,j)|=0,所以,即便排除了Q(i,j)≠0的条件,第2项的总和仍相同。因此,式(17)的第3段能够如第4段那样改写。另外,通过将式(17)的第4段中的第1项与第2项结合,能够将式(17)的第4段如第5段那样改写。由于上述式(14)成立,所以式(17)的第5段具有对称性。因此,与式(17)的第5段等效的式(15)也具有对称性。
如上述说明那样,由于由上述式(15)规定的特征量距离D(Q,T)的计算方法具有对称性,所以能够作为在进行利用了pivot base检索算法的图像检索时的特征量距离D(Q,T)的计算方法被予以采用。由上述式(15)规定的特征量距离D(Q,T)的计算方法,在查询图像的小波系数Q(i,j)与目标图像的小波系数T(i,j)的比较值的总和(式(15)的右边的第2项)的计算中,由于排除了查询图像的小波系数Q(i,j)为零的情况,所以可提高特征量距离D(Q,T)的计算速度。而且,上述式(15)的右边的第1项(修正项),由于仅依赖于目标图像而不依赖于查询图像,所以可作为图像检索处理的事前处理预先进行计算。因此,通过上述式(15)的特征量距离D(Q,T)的计算方法,能够实现利用了LAESA那样的pivot base检索算法的图像检索处理的处理速度高速化、及对处理时间的抑制。
B.第2实施例:
图13是简要表示第2实施例中的作为图像处理装置的打印机100a的构成的说明图。第2实施例的打印机100a与图1所示的第1实施例的不同之处在于,图像检索部210含有允许时间设定部218和最小图像数设定部219;以及在内部存储器120中存储有选择项表CT。打印机100a的其他构成与第1实施例相同。
图14是表示第2实施例中的图像检索/打印处理的流程的流程图。在第1实施例的图像检索/打印处理(图2)中,检索平台的数量、各检索平台中的检索条件按照用户的指定而设定,但在第2实施例的图像检索/打印处理中,检索平台的数量和各检索平台中的检索条件被自动地设定。
当开始图像检索/打印处理(图14)后,首先设定查询图像(步骤S120)。查询图像的设定处理与第1实施例同样地执行。接着,执行检索条件设定处理(步骤S132)。图15是表示检索条件设定处理的流程的流程图。检索条件设定处理是自动设定图像检索中的检索平台的数量、和各检索平台中的检索条件的处理。
在本实施例的检索条件设定处理中,对于规定检索平台的检索条件要素(参照图9)内的度量标准类型和最大特征量距离这两个要素,进行自动设定。如上所述,度量标准类型用于规定表示关于图像内容的特征的与查询图像的相似度的指标值和该指标值的计算方法。而最大特征量距离是基于特征量距离的条件判定中的阈值。对于规定检索平台的检索条件的其他要素,可采用预先设定的值。在本实施例中,采用Haar小波作为识别标志方法,采用RGB作为彩色空间,小波系数数及最大检测数采用了默认值,彩色通道权重、分割区域权重采用了默认设定(所有的权重为1.0的设定)。另外,在本实施例中,不执行利用元数据检索。
检索条件设定处理中可供选择的度量标准类型的选择项被预先设定,并规定在选择项表CT中。图16是表示选择项表CT的一例的说明图。在本实施例的选择项表CT中,作为度量标准类型的选择项,设定有高速低精度的度量标准M1、中速中精度的度量标准M2和低速高精度的度量标准M3这3个选择项。其中,在本实施例中,用每1,000张图像的处理时间(秒)表示了各度量标准类型的处理速度。该处理速度是打印机100a执行处理时的实验值或理论值。
图17是具体表示在检索条件设定处理中设定检索平台及检索条件的样子的说明图。下面参照图15的流程图、图17的说明图,对检索条件设定处理进行说明。
在检索条件设定处理(图15)的步骤S520中,允许时间设定部218(图13)按照用户借助未图示的用户接口进行的指定,设定允许所需时间Tmax。允许所需时间Tmax是作为通过了所有检索平台的图像检索所需要的时间而被允许的最长时间。即,在检索条件设定处理中,以通过了所有检索平台的图像检索在允许所需时间Tmax内结束的范围,设定检索平台数和各检索平台中的检索条件。另外,允许所需时间Tmax也可以使用默认值。
在步骤S530(图15)中,最小图像数设定部219(图13)按照用户借助未图示的用户接口进行的指定,设定最小检测图像数NDmin。最小检测图像数NDmin是在通过了所有检索平台的图像检索中,被检测出的检测图像Di的数量的最小值。即,在检索条件设定处理中,以在通过了所有检索平台的图像检索中被检测出的检测图像Di的数量为最小检测图像数NDmin以上的范围,设定检索平台数和各检索平台中的检索条件。另外,最小检测图像数NDmin例如可基于检索结果窗口W3(图11)中的1页内能够显示的检测图像Di的数量来设定。最小检测图像数NDmin还可以使用默认值。
在步骤S540(图15)中,检索条件设定部213(图13)选择精度最好的度量标准类型,作为主平台Sm用的度量标准类型。这里,主平台Sm是最后被执行的检索平台。如图16所示,在本实施例中,由于精度最好的度量标准类型为度量标准M3,所以将度量标准M3设定为主平台Sm用的度量标准类型。在图17所示的情况1中,作为主平台Sm用的度量标准类型,选择了度量标准M3。
在步骤S550(图15)中,检索条件设定部213(图13)算出主平台Sm的所需检索时间Trm,判定所需检索时间Trm是否为允许所需时间Tmax以下。当判定为所需检索时间Trm为允许所需时间Tmax以下时,由于只通过采用了精度最好的度量标准类型的主平台Sm便能在允许所需时间Tmax内结束检索处理,所以设定仅由采用了精度最好的度量标准类型的主平台Sm构成的检索条件。例如,采用了度量标准M3的主平台Sm的所需检索时间Trm为0.8秒(参照图16)。其中,在本实施例的说明中,时间被设定为表现每1,000张图像所用的时间。在图17所示的情况1中,由于允许所需时间Tmax被设定为0.9秒,所以判定为所需检索时间Trm为允许所需时间Tmax以下。因此,在情况1中,设定仅由采用了度量标准M3的主平台Sm构成的检索条件。该情况下,检索条件设定部213基于最大检测数,决定主平台Sm的最大特征量距离(阈值)(步骤S640),然后结束检索条件设定处理。
当在步骤S550(图15)中判定为所需检索时间Trm大于允许所需时间Tmax时,仅通过采用了精度最好的度量标准类型的主平台Sm无法在允许所需时间Tmax内完成检索处理。该情况下,检索条件设定部213(图13)判定有无比对主平台Sm设定的度量标准类型更高速的度量标准类型的选择项(步骤S560)。当在步骤S560中判定为没有更高速的度量标准类型的选择项时,由于不可能在允许所需时间Tmax内完成图像检索,所以进行度量标准类型的选择项的变更设定(步骤S670),然后再次执行步骤S540以后的处理。
当在步骤S560(图15)中判定为具有更高速的度量标准类型的选择项时,检索条件设定部213(图13)在选择项内选择速度最高的度量标准类型,作为前段平台Sp用的度量标准类型(步骤S570)。在图17所示的情况2中,由于允许所需时间Tmax被设定为0.3秒,所以在步骤S550判定为所需检索时间Trm(0.8秒)大于允许所需时间Tmax(参照情况2的第1段)。该情况下,速度最高的度量标准类型、即度量标准M1(参照图16)被设定为前段平台Sp用的度量标准类型(参照情况2的第2段)。
在步骤S580(图15)中,检索条件设定部213(图13)算出前段平台Sp的所需检索时间Trp,判定所需检索时间Trp是否为允许所需时间Tmax以下。当判定为前段平台Sp的所需检索时间Trp大于允许所需时间Tmax时,由于即便采用速度最高的度量标准类型,也无法在允许所需时间Tmax内完成图像检索,所以进行对度量标准类型的选择项的变更设定(步骤S670),然后再次执行步骤S540以后的处理。
当在步骤S580(图15)中判定为前段平台Sp的所需检索时间Trp为允许所需时间Tmax以下时,检索条件设定部213(图13)算出主平台Sm的允许输入图像数NImax(步骤S590)。允许输入图像数NImax是作为成为主平台Sm的对象的目标图像的数量而被允许的最大数。允许输入图像数NImax可通过将允许所需时间Tmax与所需检索时间Trp的差值除以主平台Sm的度量标准类型的速度来算出。在图17所示的情况2(参照情况2的第2段)中,由于对主平台Sm设定了度量标准M3,对前段平台Sp设定了度量标准M1,所以通过将允许所需时间Tmax(0.3秒)与所需检索时间Trp(0.1秒)的差值(0.2秒)除以度量标准M3的速度(0.8秒/1,000张),可算出允许输入图像数NImax为250张。
在步骤S600(图15)中,检索条件设定部213(图13)基于允许输入图像数NImax来确定前段平台Sp的最大特征量距离(阈值)。前段平台Sp的最大特征量距离被确定为前段平台Sp中的检测图像Di的数量为允许输入图像数NImax以下。
在步骤S610(图15)中,检索条件设定部213(图13)判定检测图像数ND是否为最小检测图像数NDmin以上。检测图像数ND是在通过了所有检索平台(主平台Sm及前段平台Sp)的图像检索中检测出的检测图像Di的数量。当在步骤S610中判定为检测图像数ND为最小检测图像数NDmin以上时,检索条件设定部213基于最大检测数来确定主平台Sm的最大特征量距离(阈值)(步骤S640),然后结束检索条件设定处理。
当在步骤S610(图15)中判定为检测图像数ND小于最小检测图像数NDmin时,检索条件设定部213(图13)判定作为主平台Sm用的度量标准类型,是否有未选择的选择项(步骤S620)。当在步骤S620中判定为没有未选择的选择项时,进行对度量标准类型的选择项的变更(步骤S670),然后再次执行步骤S540以后的处理。
另一方面,当在步骤S620(图15)中判定为有未选择的选择项时,检索条件设定部213在未选择的选择项之中选择精度最好的度量标准类型,作为主平台Sm用的度量标准类型(步骤S630)。另外,此时前段平台Sp被取消。在图17所示的情况3中,当对主平台Sm设定了度量标准M3,对前段平台Sp设定了度量标准M1时,判定为检测图像数ND小于最小检测图像数NDmin(参照情况3的第2段)。该情况下,未选择的选择项之中精度最好的度量标准类型的度量标准M2(参照图16),被选择作为主平台Sm用的度量标准类型(参照情况3的第3段)。
在步骤S630(图15)中再次选择了主平台Sm用的度量标准类型后,再次执行步骤S550以后的处理。在图17所示的情况3(参照情况3的第3段)中,在对主平台Sm设定了度量标准M2后的步骤S550中的判定中,判定为主平台Sm的所需检索时间Trm(0.5秒)大于允许所需时间Tmax(0.2秒)。该情况下,选择速度最高的度量标准M1,作为前段平台Sp用的度量标准类型(步骤S570),算出允许输入图像数NImax(步骤S590),确定前段平台Sp的最大特征量距离(阈值)(步骤S600),执行检测图像数ND是否为最小检测图像数NDmin以上的判定(步骤S610)。当在步骤S610的判定中,判定为检测图像数ND为最小检测图像数NDmin以上时(参照情况4的第4段),主平台Sm的最大特征量距离(阈值)被确定(步骤S640),结束检索条件设定处理。
当检索条件设定处理(图14的步骤S132)结束后,与图2所示的第1实施例同样,执行使用了所设定的检索条件的检索执行处理(图14的步骤S190)以后的处理。
如上述说明那样,在第2实施例的图像检索/打印处理中,设定了图像检索的允许所需时间Tmax,基于允许所需时间Tmax来设定图像检索的检索平台数和各检索平台中的检索条件,依次执行利用了所设定的检索条件的检索平台的图像检索。因此,在第2实施例的图像检索/打印处理中,能够自动设定图像检索中的检索平台数及检索条件,可提高用户便利性。
即,在第2实施例的图像检索/打印处理中,设定了作为图像检索的基准的查询图像,对于各检索平台,设定了对表示关于图像内容的特征的与查询图像的相似度进行确定的指标值(特征量距离)、该指标值的计算方法(度量标准M1,M2,M3)和该指标值的阈值(最大特征量距离)的检索条件,在各检索平台中以设定的计算方法算出指标值,通过使用了阈值的判定来检测图像。因此,在第2实施例的图像检索/打印处理中,能够自动设定图像检索中的检索平台数和对表示相似度的指标值、指标值的计算方法、指标值的阈值进行确定的检索条件,可提高用户便利性。
而且,在第2实施例的图像检索/打印处理中,由于选择了处理速度和处理精度中至少一方彼此不同的预先设定的多个计算方法(度量标准M1,M2,M3)中的1个方法,来设定检索条件,所以能够自动设定考虑了处理速度与处理精度的平衡的最佳检索平台数及检索条件,使用户便利性进一步提高。即,在第2实施例的图像检索/打印处理中,由于按照以通过了所有检索平台的图像检索在允许所需时间Tmax内完成的范围,选择处理精度更好的计算方法的方式,来设定检索条件,所以能够自动设定考虑了处理速度与处理精度的平衡的最佳检索平台数及检索条件。
并且,在第2实施例的图像检索/打印处理中,由于设定了最小检测图像数NDmin,并按照在通过了所有检索平台的图像检索中检测出的检测图像Di的数量为最小检测图像数NDmin以上的范围中,更多采用实现处理精度良好的图像检索的检索条件的方式,来设定检索平台数和各检索平台中的检索条件,所以,能够在检测图像Di的数量不会过小的范围内,自动设定考虑了处理速度与处理精度的平衡的最佳检索平台数及检索条件。
另外,在第2实施例的图像检索/打印处理中,能够对利用了自动设定的检索条件的图像检索中检测出的检测图像Di进行打印。
C.变形例:
另外,本发明并不局限于上述的实施例、实施方式,在不脱离其主旨的范围内能够以各种方式来实施,例如还可进行如下变形。
C1.变形例1:
在上述各实施例中,将存储卡MC中存储的图像(图像数据(图像文件))作为目标图像,执行了图像检索/打印处理,但图像检索/打印处理中的目标图像可任意设定。例如,也可以将存储在内部存储器120(图1)的规定区域的图像设定为目标图像,还可以将经由线缆或网络与打印机100连接的其他设备所具有的存储区域中存储的图像设定为目标图像。
C2.变形例2:
上述各实施例中的初始窗口W1、检索选项窗口W2、检索结果窗口W3的内容与布局只是一个例子,能够进行各种变形。这些窗口可根据打印机100能够执行的处理而适当变形。例如,在上述各实施例中,打印机100能够用3种方法(图像文件指定、描绘、颜色选择)来指定查询图像,但在基于3种方法中的某一个方法也可以无法指定查询图像,还可以通过3种方法以外的方法(例如选择预先设定的模板图像的方法)来指定查询图像。初始窗口W1(图3)可根据在打印机100中能够指定查询图像的方法而适当变形。
而且,上述各实施例中说明的对利用元数据检索的检索条件进行规定的各要素中的选择项(照相机制造商、照相机型号、文件大小等,参照图7)只是一个例子,能够进行各种变形。检索选项窗口W2(图5)可按照上述要素、选择项的变形而适当变形。并且,无需使打印机100能够执行利用元数据检索,无需使检索选项窗口W2含有用于对利用元数据检索的检索条件进行指定的元数据条件指定区域Ar43。
另外,上述各实施例中说明的对利用图像内容检索的检索条件进行规定的要素(识别标志方法、度量标准类型、彩色空间等,参照图5、9)、和各要素中的选择项(彩色直方图、Haar小波等,参照图8)只是一个例子,能够进行各种变形。检索选项窗口W2(图5)可根据上述要素、选择项的变形而适当变形。例如,作为规定检索条件的要素,无需含有彩色通道权重、分割区域权重。而作为规定检索条件的1个要素的识别标志方法的选择项,还可以设定利用了颜色空间、SHA哈希算法(hash sum)或Haar小波以外的小波基数的小波系数等其他选择项。此外,作为识别标志方法被设定为Haar小波时的度量标准类型的选择项,也可以设定小波系数数(参照图9的框Bo49)彼此不同的多个特征量距离计算方法的选择项。
C3.变形例3:
作为对示上述各实施例中的查询图像与目标图像的相似度进行表的指标值的特征量距离的计算方法只是一个例子,能够进行各种变形。例如,在识别标志方法被设定为Haar小波、度量标准类型被设定为度量标准M1时的特征量距离D(Q,T)的算出式(式(11)中,由于处理高速化,所以查询图像的小波系数Q(i,j)为零的坐标被排除在总和的对象之外、但也可以使Q(i,j)为零的坐标作为总和的对象。另外,在式(11)中,查询图像及目标图像的小波系数Q(i,j)及T(i,j)使用了被量化后的系数,但也可以使用量化前的系数。度量标准类型被设定为实时度量标准M4的情况也同样。
C4.变形例4:
在上述第2实施例的检索条件设定处理(图15)中,自动设定了检索平台数、各检索平台中的度量标准类型,但在检索条件设定处理中,也可自动设定各检索平台中的识别标志方法与度量标准类型的组合。即,预先设定处理速度和处理精度的至少一方不同的多个识别标志方法与度量标准类型的组合的选择项,基于使用了允许所需时间Tmax的判定,从多个选择项之中选择特定的组合,由此自动设定识别标志方法和度量标准类型。而且,在检索条件设定处理中,也可自动设定是否执行利用元数据检索、利用元数据检索的检索条件。例如,可以自动设定作为利用元数据检索中的条件判定的阈值的匹配项目率(条件匹配项目的数量与设定了条件的项目(照相机制造商、文件大小)的数量之比)、作为可利用多个关键字的利用元数据检索中的条件判定的阈值的匹配关键字率(匹配关键字数量与所设定的关键字数量之比)。这些设定例如在算出了主平台Sm的允许输入图像数NImax时(图15的步骤S590),基于允许输入图像数NImax自动设定。该情况下,匹配项目率、匹配关键字率被作为表示查询图像与目标图像的相似度的指标值而使用。
另外,在上述第2实施例的检索条件设定处理(图15)中,自动设定成检索条件由1个(主平台Sm)或2个(主平台Sm及前段平台Sp)检索平台构成,但也可以自动设定成检索条件由3个以上的检索平台构成。而且,在上述第2实施例的检索条件设定处理中,能够省略最小检测图像数NDmin的设定(步骤S530)、及利用了最小检测图像数NDmin的判定(步骤S610)。
C5.变形例5:
上述各实施例中的作为图像处理装置的打印机100的构成只是一个例子,打印机100的构成还能够进行各种变更。而且,在上述各实施例中,对作为图像处理装置的打印机100所进行的图像检索/打印处理进行了说明,但也可以通过服务器、个人计算机、数码照相机、数码摄像机等其他种类的图像处理装置执行处理的部分或全部。另外,打印机100并不限于喷墨打印机,也可以是其他方式的打印机、例如激光打印机或升级型的打印机。
在上述各实施例中,可以将由硬件实现的构成的一部分替换为软件,相反,也可将由软件实现的构成的一部分替换成硬件。
另外,当本发明的功能的一部分或全部由软件实现时,该软件(计算机程序)能够以存储在计算机可读取的记录介质的形式进行提供。在本发明中,“计算机可读取的记录介质”是不局限于软盘、CD-ROM之类的便携式记录介质,还包括各种RAM、ROM等计算机内的内部存储装置、硬盘等固定在计算机上的外部存储装置。

Claims (16)

1.一种图像处理装置,其特征在于,用于进行图像检索,具备:
显示条件指定窗口的条件指定窗口显示部,其包括:用于对与具有串行关系的多个检索平台的每一个中的图像内容的特征相关的检索条件进行指定的不同平台条件指定区域、和与上述多个检索平台的每一个对应的标签、即对上述不同平台条件指定区域的显示状态进行指定的多个标签;
检索条件设定部,其按照借助上述条件指定窗口进行的指定,来设定上述多个检索平台每一个中的上述检索条件;以及
图像检索部,其使用所设定的上述检索条件,依次执行上述多个检索平台的图像检索。
2.根据权利要求1所述的图像处理装置,其特征在于,
上述不同平台条件指定区域是将用于实现处理速度和处理精度的至少一方彼此不同的图像检索的多个上述检索条件中的一个,指定为所采用的上述检索条件的区域。
3.根据权利要求1或2所述的图像处理装置,其特征在于,
上述条件指定窗口显示部显示含有对上述检索平台的数量进行指定的平台数指定区域的上述条件指定窗口,
上述检索条件设定部设定通过上述条件指定窗口而指定的数量的上述检索平台的每一个中的上述检索条件。
4.根据权利要求1~3中任意一项所述的图像处理装置,其特征在于,
还具备对作为图像检索的基准的查询图像进行设定的查询图像设定部,
上述检索条件设定部设定和上述特征与上述查询图像的相似度相关的上述检索条件。
5.根据权利要求4所述的图像处理装置,其特征在于,
上述查询图像设定部将通过图像文件的指定、描绘、颜色的指定中任意一种方法而特定的图像设定为上述查询图像。
6.根据权利要求4或5所述的图像处理装置,其特征在于,
上述查询图像设定部将通过图像检索检测出的一个图像设定为新的上述查询图像。
7.根据权利要求4~6中任意一项所述的图像处理装置,其特征在于,
上述检索条件设定部设定与对图像的每一个区域加权后的上述相似度相关的上述检索条件。
8.根据权利要求4~7中任意一项所述的图像处理装置,其特征在于,
上述检索条件设定部设定与对图像的颜色空间的每一个通道加权后的上述相似度相关的上述检索条件。
9.根据权利要求1~8中任意一项所述的图像处理装置,其特征在于,
上述图像检索部以在上述串行关系下的前段的上述检索平台的图像检索中检测出的图像为对象,进行后段的上述检索平台的图像检索。
10.根据权利要求1~9中任意一项所述的图像处理装置,其特征在于,
上述检索条件设定部除了设定与上述图像内容的特征相关的检索条件之外,还设定与图像的属性相关的检索条件,
上述图像检索部利用与上述图像的属性相关的检索条件、和与上述图像内容的特征相关的检索条件,进行图像检索。
11.根据权利要求1~10中任意一项所述的图像处理装置,其特征在于,
上述条件指定窗口显示部按照借助上述标签进行的指定,显示同时显示了仅与一个上述检索平台对应的上述不同平台条件指定区域的上述条件指定窗口。
12.根据权利要求1~11中任意一项所述的图像处理装置,其特征在于,
上述特征是表示图像中颜色的分布的特征、和通过图像的小波分解而算出的特征中的至少一方。
13.根据权利要求1~12中任意一项所述的图像处理装置,其特征在于,还具备:
打印图像设定部,其从通过图像检索而检测出的检测图像中设定应该打印的检测图像;和
对应该打印的检测图像进行打印的打印部。
14.根据权利要求13所述的图像处理装置,其特征在于,
还具备显示检索结果窗口的检索结果窗口显示部,该检索结果窗口包括一览显示检测图像的检测图像显示区域、和用于指定应该打印的检测图像的打印指定区域,
上述打印图像设定部在上述检索结果窗口中,根据用户的规定的操作,将显示在上述打印指定区域的图像所对应的检测图像设定为应该打印的检测图像。
15.一种图像处理方法,其特征在于,是利用计算机来进行图像检索的图像处理方法,该图像处理方法具备下述步骤:
(a)显示条件指定窗口的步骤,所述条件指定窗口包括:用于对与具有串行关系的多个检索平台的每一个中的图像内容的特征相关的检索条件进行指定的不同平台条件指定区域、和与上述多个检索平台的每一个对应的标签、即指定上述不同平台条件指定区域的显示状态的多个标签;
(b)按照借助上述条件指定窗口进行的指定,来设定上述多个检索平台的每一个中的上述检索条件的步骤;和
(c)使用设定的上述检索条件,依次执行上述多个检索平台的图像检索的步骤。
16.一种产品,其特征在于,记录有进行图像检索的图像处理用的计算机程序,可由计算机读取,
使计算机实现下述功能:
显示条件指定窗口的条件指定窗口显示功能,该条件指定窗口包括:用于对与具有串行关系的多个检索平台的每一个中的图像内容的特征相关的检索条件进行指定的不同平台条件指定区域、和与上述多个检索平台的每一个对应的标签、即指定上述不同平台条件指定区域的显示状态的多个标签;
按照借助上述条件指定窗口进行的指定,来设定上述多个检索平台的每一个中的上述检索条件的检索条件设定功能;和
使用设定的上述检索条件,依次执行上述多个检索平台的图像检索的图像检索功能。
CN201010164602A 2009-04-17 2010-04-16 打印装置、图像处理装置、图像处理方法及计算机程序 Pending CN101866348A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009100733A JP2010250657A (ja) 2009-04-17 2009-04-17 印刷装置、画像処理装置、画像処理方法およびコンピュータープログラム
JP2009-100733 2009-04-17

Publications (1)

Publication Number Publication Date
CN101866348A true CN101866348A (zh) 2010-10-20

Family

ID=42958076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010164602A Pending CN101866348A (zh) 2009-04-17 2010-04-16 打印装置、图像处理装置、图像处理方法及计算机程序

Country Status (3)

Country Link
US (1) US20100268732A1 (zh)
JP (1) JP2010250657A (zh)
CN (1) CN101866348A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034646A (zh) * 2011-09-30 2013-04-10 北大方正集团有限公司 Pdf样例文件的检索方法和装置
CN104731952A (zh) * 2015-03-31 2015-06-24 努比亚技术有限公司 图片查看的方法及装置
CN106156111A (zh) * 2015-04-03 2016-11-23 北京中知智慧科技有限公司 专利文件检索方法、装置和***
CN109002749A (zh) * 2017-12-11 2018-12-14 罗普特(厦门)科技集团有限公司 嫌疑人人脸识别认定方法
CN110019910A (zh) * 2017-12-29 2019-07-16 上海全土豆文化传播有限公司 图像检索方法及装置
CN117519616A (zh) * 2023-11-08 2024-02-06 广州市森扬电子科技有限公司 一种改善打印图像均匀性的方法、设备及储存介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9569541B2 (en) * 2009-12-31 2017-02-14 Microsoft Technology Licensing, Llc Evaluating preferences of content on a webpage
CN104915955A (zh) * 2015-05-27 2015-09-16 上海交通大学 基于图像分割的图片搜索方法
US10063414B2 (en) 2016-05-13 2018-08-28 Cisco Technology, Inc. Updating a transport stack in a content centric network

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030118218A1 (en) * 2001-02-16 2003-06-26 Barry Wendt Image identification system
CN1542655A (zh) * 2003-04-30 2004-11-03 ������������ʽ���� 信息处理装置和信息处理方法、以及存储媒体、程序
CN1551018A (zh) * 2003-05-08 2004-12-01 ���ְ�˹��ʽ���� 图像检索装置及图像检索程序
CN1728126A (zh) * 2004-07-20 2006-02-01 索尼株式会社 信息处理***和方法及其使用的计算机程序
CN1866190A (zh) * 2005-05-20 2006-11-22 夏普株式会社 数据处理设定装置和数据处理设定方法
CN1900933A (zh) * 2005-07-21 2007-01-24 富士施乐株式会社 图像搜索***、图像搜索方法和存储介质
JP2008200071A (ja) * 2007-02-16 2008-09-04 Toshiba Corp Mri装置及び画像表示装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034631A (ja) * 1999-07-22 2001-02-09 Olympus Optical Co Ltd 画像ファイル装置及び画像ファイル装置のデータベース作成方法
JP2002140341A (ja) * 2000-11-02 2002-05-17 Sekisui House Ltd 画像検索方法、その装置及びデーターベース構造
JP4545641B2 (ja) * 2005-06-01 2010-09-15 日本電信電話株式会社 類似画像検索方法,類似画像検索システム,類似画像検索プログラム及び記録媒体
JP2007172077A (ja) * 2005-12-19 2007-07-05 Fuji Xerox Co Ltd 画像検索システム及び方法及びプログラム
US7801392B2 (en) * 2005-07-21 2010-09-21 Fuji Xerox Co., Ltd. Image search system, image search method, and storage medium
JP2007179098A (ja) * 2005-12-26 2007-07-12 Canon Inc 画像処理装置、画像検索方法装置、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030118218A1 (en) * 2001-02-16 2003-06-26 Barry Wendt Image identification system
CN1542655A (zh) * 2003-04-30 2004-11-03 ������������ʽ���� 信息处理装置和信息处理方法、以及存储媒体、程序
CN1551018A (zh) * 2003-05-08 2004-12-01 ���ְ�˹��ʽ���� 图像检索装置及图像检索程序
CN1728126A (zh) * 2004-07-20 2006-02-01 索尼株式会社 信息处理***和方法及其使用的计算机程序
CN1866190A (zh) * 2005-05-20 2006-11-22 夏普株式会社 数据处理设定装置和数据处理设定方法
CN1900933A (zh) * 2005-07-21 2007-01-24 富士施乐株式会社 图像搜索***、图像搜索方法和存储介质
JP2008200071A (ja) * 2007-02-16 2008-09-04 Toshiba Corp Mri装置及び画像表示装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034646A (zh) * 2011-09-30 2013-04-10 北大方正集团有限公司 Pdf样例文件的检索方法和装置
CN103034646B (zh) * 2011-09-30 2016-04-13 北大方正集团有限公司 Pdf样例文件的检索方法和装置
CN104731952A (zh) * 2015-03-31 2015-06-24 努比亚技术有限公司 图片查看的方法及装置
CN106156111A (zh) * 2015-04-03 2016-11-23 北京中知智慧科技有限公司 专利文件检索方法、装置和***
CN109002749A (zh) * 2017-12-11 2018-12-14 罗普特(厦门)科技集团有限公司 嫌疑人人脸识别认定方法
CN109002749B (zh) * 2017-12-11 2022-01-04 罗普特科技集团股份有限公司 嫌疑人人脸识别认定方法
CN110019910A (zh) * 2017-12-29 2019-07-16 上海全土豆文化传播有限公司 图像检索方法及装置
CN117519616A (zh) * 2023-11-08 2024-02-06 广州市森扬电子科技有限公司 一种改善打印图像均匀性的方法、设备及储存介质
CN117519616B (zh) * 2023-11-08 2024-04-09 广州市森扬电子科技有限公司 一种改善打印图像均匀性的方法、设备及储存介质

Also Published As

Publication number Publication date
JP2010250657A (ja) 2010-11-04
US20100268732A1 (en) 2010-10-21

Similar Documents

Publication Publication Date Title
CN101866348A (zh) 打印装置、图像处理装置、图像处理方法及计算机程序
CN1094219C (zh) 多媒体数据库检索***
US7065521B2 (en) Method for fuzzy logic rule based multimedia information retrival with text and perceptual features
US7698332B2 (en) Projecting queries and images into a similarity space
US6115717A (en) System and method for open space metadata-based storage and retrieval of images in an image database
Marques et al. Content-based image and video retrieval
US6445834B1 (en) Modular image query system
US6782395B2 (en) Method and devices for indexing and seeking digital images taking into account the definition of regions of interest
US6556710B2 (en) Image searching techniques
US8086045B2 (en) Image processing device with classification key selection unit and image processing method
US6804420B2 (en) Information retrieving system and method
CN100456294C (zh) 图像显示控制装置和方法
EP1564660A1 (en) Image feature set analysis of transform coefficients including color, edge and texture
US20090024580A1 (en) Compositional balance and color driven content retrieval
US20110202543A1 (en) Optimising content based image retrieval
JP2010250658A (ja) 印刷装置、画像処理装置、画像処理方法およびコンピュータープログラム
US20120166472A1 (en) System and method for collaborative graphical searching with tangible query objects on a multi-touch table
CN106095738A (zh) 推荐表单片段
US6522780B1 (en) Indexing of images and/or text
EP1410263A2 (en) Hierarchical image feature-based visualization
US7602976B2 (en) Compressible earth mover's distance
US6522779B2 (en) Representing an image with a posterized joint histogram
JP2004213104A (ja) データ提供方法、データ提供プログラムおよびデータ提供装置
US9020955B2 (en) Compositional balance driven content retrieval
US6671402B1 (en) Representing an image with weighted joint histogram

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20101020