CN101547303A - 成像设备、字符信息关联方法、和字符信息关联程序 - Google Patents
成像设备、字符信息关联方法、和字符信息关联程序 Download PDFInfo
- Publication number
- CN101547303A CN101547303A CN200910127098A CN200910127098A CN101547303A CN 101547303 A CN101547303 A CN 101547303A CN 200910127098 A CN200910127098 A CN 200910127098A CN 200910127098 A CN200910127098 A CN 200910127098A CN 101547303 A CN101547303 A CN 101547303A
- Authority
- CN
- China
- Prior art keywords
- image
- character information
- label
- imaging
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 134
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000008676 import Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 25
- 230000006835 compression Effects 0.000 description 51
- 238000007906 compression Methods 0.000 description 51
- 238000010586 diagram Methods 0.000 description 26
- 230000033001 locomotion Effects 0.000 description 22
- 238000012217 deletion Methods 0.000 description 21
- 230000037430 deletion Effects 0.000 description 21
- 230000003068 static effect Effects 0.000 description 16
- 239000000284 extract Substances 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 230000004044 response Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 8
- 241000167854 Bourreria succulenta Species 0.000 description 7
- 235000019693 cherries Nutrition 0.000 description 7
- 239000007799 cork Substances 0.000 description 7
- 238000010191 image analysis Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000001932 seasonal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00405—Output means
- H04N1/00408—Display of information to the user, e.g. menus
- H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00405—Output means
- H04N1/00408—Display of information to the user, e.g. menus
- H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00405—Output means
- H04N1/00408—Display of information to the user, e.g. menus
- H04N1/00472—Display of information to the user, e.g. menus using a pop-up window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/21—Intermediate information storage
- H04N1/2104—Intermediate information storage for one or a few pictures
- H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32106—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
- H04N1/32112—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file in a separate computer file, document page or paper sheet, e.g. a fax cover sheet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0077—Types of the still picture apparatus
- H04N2201/0084—Digital still camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3212—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
- H04N2201/3214—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a date
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3212—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
- H04N2201/3215—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a time or duration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
- H04N2201/3226—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image
- H04N2201/3228—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image further additional information (metadata) being comprised in the identification information
- H04N2201/3229—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image further additional information (metadata) being comprised in the identification information further additional information (metadata) being comprised in the file name (including path, e.g. directory or folder names at one or more higher hierarchical levels)
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
- H04N2201/3243—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of type information, e.g. handwritten or text document
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
- H04N2201/3247—Data linking a set of images to one another, e.g. sequence, burst or continuous capture mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
- H04N2201/3266—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of text or character information, e.g. text accompanying an image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3273—Display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3274—Storage or retrieval of prestored additional information
- H04N2201/3277—The additional information being stored in the same storage device as the image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
- H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
- H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
提供了一种成像设备、字符信息关联方法、和字符信息关联程序。成像设备包括:成像单元,被配置为对拍摄对象进行成像,并输出成像后的图像;图像记录单元,被配置为记录图像;回放单元,被配置为回放图像记录单元中记录的已记录图像;字符信息检测单元,被配置为从成像单元输出的成像后的图像中检测字符信息;显示控制单元,被配置为在相同画面上显示回放单元回放的已记录图像和成像单元输出的成像后的图像;以及字符信息关联单元,被配置为将字符信息检测单元从画面上显示的成像后的图像中检测的字符信息与相同画面上显示的已记录图像相关联。
Description
相关申请的交叉引用
本发明包含涉及于2008年3月27日在日本专利局递交的日本专利申请JP2008-084125的主题,其全部内容通过引用被结合在这里。
技术领域
本发明涉及成像设备、字符信息关联方法、和字符信息关联程序,并且优选地应用于例如字符信息与数码相机(digital still camera)中的已记录图像相关联的情况。
背景技术
近几年,数码相机随着记录成像后的图像的大容量记录介质,变得能够记录更多图像。然而,随着将要记录的图像数目的增加,从已经记录的图像(也称为已记录图像)中找出所期望的图像变得很难。
因此,在相关技术的数码相机中,已记录图像被以分类的方式显示,以轻松地从很多已记录图像中找出所期望的已记录图像。
具体地,数码相机例如基于已记录图像的拍摄日期和时间来根据时间对已记录图像进行分组,并通过在每个组中将图像按时间序列的次序排列来对这些图像进行显示。另外,已记录图像按照每个日期的拍摄日期和时间被显示,或者已记录图像按照其中记录了已记录图像的每个目录被显示。
数码相机能够通过如上所述地显示已记录图像来轻松地从很多已记录图像中找出所期望的图像。
存在这样的数码相机,其中,将作为已记录图像的关键字的字符信息(例如,诸如“婚礼”、“运动会”之类的字符串)被关联(添加)作为标签,并且添加了用户指定的标签的已记录图像被显示。
也就是说,在数码相机中,通过标签搜索到的已记录图像被显示,从而轻松地从很多已记录图像中找出所期望的图像。
大多数数码相机都不具有通过其可以输入作为标签内容的字符信息的输入工具。原因在于,例如外壳尺寸太小,以致于不能保证其中设置诸如键盘之类的输入工具的空间。
可以考虑通过在显示器上显示图形化的键盘来直接输入字符信息,但是,即使在这种情况下,诸如字符输入、日本汉字转换等的复杂的输入操作也是必要的。
根据以上原因,具有标签添加功能的数码相机允许用户从预先准备的标签中选择所期望的标签并向已记录图像添加所选择的标签。
根据以上所述的内容,即使不具有用于输入字符信息的工具的数码相机也可以轻松地向已记录图像添加标签。然而,另一方面,在这种数码相机中,可以选择的标签是有限的,所以,数码相机并不是总能向已记录图像添加包括用户所期望的字符信息的标签。
因此,提出了这样的一种设备:在图像被成像并记录之后,将作为向图像添加的标签的字符信息被成像并记录,从而向图像添加包括用户所期望的字符信息的标签(例如,参考JP-A-2004-147325(专利文献1))。
发明内容
然而,在以上的设备中,在图像被成像并记录后,处理进行到对作为添加至图像的标签的字符信息的成像,所以,用户必须在添加标签时记住添加了标签的图像是什么样的。
也就是说,在这些设备中,很难在允许用户核对将作为标签添加的目标的图像的同时,对字符信息进行成像并对包括字符信息的标签进行添加,所以,很难说标签被轻松地添加到了图像。
如上所述,很难说在相关技术的成像设备中,关于图像的字符信息的关联被轻松执行。
期望提供一种能够相对于相关技术轻松执行关于图像的字符信息的关联的成像设备、字符信息关联方法和字符信息关联程序。
根据本发明的实施例,提供了一种成像设备,包括对拍摄对象进行成像并输出成像后的图像的成像单元、记录图像的图像记录单元、回放图像记录单元中记录的已记录图像的回放单元、从成像单元输出的成像后的图像中检测字符信息的字符信息检测单元、在相同画面上显示回放单元回放的已记录图像和成像单元输出的成像后的图像的显示控制单元、以及将字符信息检测单元从画面上显示的成像后的图像中检测出的字符信息与相同画面上显示的已记录图像相关联的字符信息关联单元。
根据以上内容,可以在允许用户核对将作为字符信息的关联目标的已记录图像并允许用户通过在相同画面上显示将作为字符信息的检测目标的成像后的图像来核对图像的同时,向已记录图像添加从成像后的图像中检测出的字符信息。
根据本发明的实施例,可以在允许用户核对将作为字符信息的关联目标的已记录图像并允许用户通过在相同画面上显示将作为字符信息的检测目标的成像后的图像来核对图像的同时,向已记录图像添加从成像后的图像中检测出的字符信息。结果,关于图像的成像设备、字符信息关联方法和字符信息关联程序能够比相关技术更轻松地执行关于图像的字符信息的关联。
附图说明
图1A至图1C是示出根据第一实施例的数码相机的外形配置的示意图;
图2是示出根据第一实施例的数码相机的内部配置的示意图;
图3是指明图像管理数据库的配置的示意表格;
图4A和图4B是示出根据时间序列分组的列表画面的配置的示意图;
图5是用于说明所选择的静止图像的显示的示意图;
图6是示出根据图像拍摄日期的列表画面的配置的示意图;
图7是示出根据标签的列表画面的配置的示意图;
图8是示出标签添加/删除窗口的配置的示意图;
图9是示出新的/已登记的标签添加窗口的配置的示意图;
图10是示出已登记的标签添加窗口的配置的示意图;
图11是示出新标签添加画面的配置1的示意图;
图12是示出新标签添加画面的配置2的示意图;
图13是示出新标签添加画面的配置3的示意图;
图14是示出新标签添加画面的配置4的示意图;
图15是示出新标签添加画面的配置5的示意图;
图16是示出新标签添加画面的配置6的示意图;
图17是示出标签添加处理过程的流程图;
图18是示出根据第二实施例的数码相机的内部配置的示意图;
图19是示出根据第二实施例的新标签添加画面的配置1的示意图;
图20是示出根据第二实施例的新标签添加画面的配置2的示意图;
图21是示出根据第二实施例的新标签添加画面的配置3的示意图;
图22是示出根据另一个实施例的新标签添加画面的配置1的示意图;
图23是示出根据再一个实施例的标签添加/删除窗口的配置1的示意图;
图24是示出根据再一个实施例的新标签添加画面的配置2的示意图;
图25是示出根据再一个实施例的数码相机的内部配置的示意图;
图26是示出根据再一个实施例的新标签添加画面的配置3的示意图;
图27是示出根据再一个实施例的标签添加/删除窗口的配置2的示意图;以及
图28是示出根据再一个实施例的新标签添加画面的配置4的示意图。
具体实施方式
下文中,将参考附图描述本发明的实施例。
【1.第一实施例】
1.1 数码相机的外形配置
首先,将说明作为本发明的实施例之一的第一实施例。在图1A、图1B和图1C中,1表示作为一个整体的除了具有拍摄静止图像的功能还具有拍摄运动图像的功能的数码相机。数码相机1包括扁矩形的主体部2、以及具有成像透镜的相机透镜部3,用于对拍摄对象进行成像的光圈等被设置在正面2A的规定位置处。另外,用于记录声音的话筒4也被设置在正面2A的规定位置处。
在主体部2的上面2B中,电源按钮5被设置在其上的规定位置处。数码相机1响应于电源按钮5的按压操作打开和关闭。另外,在上面2B上,模式切换按钮6和快门按钮7被设置在电源按钮5的附近。数码相机1响应于模式切换按钮6的按压操作,将当前模式从图像拍摄模式切换到回放模式,或相反。当快门按钮7在图像拍摄模式被按压时,数码相机1拍摄图像(静止图像或运动图像)。
在主体部2的背面2C中,设置有大约与背面2C相同大小的具有触摸面板的显示器8(也称为TP显示器)。数码相机1在TP显示器8上显示与图像的拍摄、已拍图像的回放、对已拍图像的标签添加等有关的各种画面。
当TP显示器8被用户以触摸TP显示器8上显示的画面的方式被触摸时,数码相机1接收对应于触摸操作的命令,执行对应于该命令的处理。
在主体部2的一个侧面2D中,设置有缝隙9,在该缝隙中***可以在规定位置上记录图像的数据(也称为图像数据)的记录介质。
另外,在一个侧面2D中,扬声器11和用于通过规定电缆(未示出)连接至外部装置的接口终端(I/F终端)10被设置在缝隙9的附近。数码相机1向通过接口终端10连接的电视监控器输出图像,发送和接收关于通过接口终端10连接的个人计算机的图像数据。
1-2 数码相机的内部配置
接着,将参考图2说明数码相机1的内部配置。控制器20控制数码相机1中的整个设备。
实际上,控制器20通过将写入通过总线21连接的闪速存储器22中的任意程序加载到通过总线21连接的RAM(随机存取存储器)23中的规定区域并执行该程序来控制整个装置。
RAM 23的部分还被用作缓冲器,在该缓冲器中例如暂时存储一个画面的图像数据。
当识别出到拍摄图像的图像拍摄模式的切换操作已经通过包括电源按钮5、模式切换按钮6和快门按钮7的操作单元24被执行时,控制器20将操作模式切换到用于静止图像的图像拍摄模式。
然后,来自相机透镜部3捕捉的拍摄对象的光被包括CCD(电荷耦合器件)等的成像器件25转换为电信号,该电信号被传送到模拟信号处理单元26。模拟信号处理单元26通过对所传送的电信号执行规定的模拟信号处理来获取图像信号,将图像信号传送至数字信号处理单元27。
数字信号处理单元27在通过总线21连接的控制器20的控制下将所传送的图像信号按原样传送至显示处理单元28。显示处理单元28通过对所传送的图像信号执行规定的处理来生成画面信号,并将该画面信号传送至TP显示器8。结果,基于画面信号的画面,即,通过成像器件25捕捉的拍摄对象的图像25(也称为成像后的图像))被实时显示在TP显示器8上。
如上所述,数码相机1在TP显示器8上显示通过成像器件25捕捉的成像后的图像,从而使得用户能够核对作为成像目标的拍摄对象。TP显示器8上显示的成像后的图像也被称为通过透镜的图像(through-the-lenspicture)。
当识别出快门按钮7已经被用户通过操作单元24按压时,控制器20控制数字信号处理单元27输出静止图像数据(一帧的图像数据)。
也就是说,数字信号处理单元27通过对从模拟信号处理单元26传送的图像信号进行模数转换来获取图像数据,然后,从该图像数据中提取一帧的图像数据,并输出该数据作为静止图像数据。
因此,从数字信号处理单元27输出的静止图像数据通过总线21被存储在RAM 23的规定区域中,然后被控制器20读取。
控制器20通过按照诸如JPEG(联合图像专家组)之类的规定的压缩/扩展格式压缩从RAM 23中读取的静止图像数据来获取压缩后的静止图像数据,并将该数据写回到RAM 23中的另一区域中。
此时,控制器20通过减小从RAM 23读取的静止图像数据的图像尺寸来生成缩略图数据。然后,控制器20通过按照规定的压缩/扩展格式对缩略图数据进行压缩来获取压缩后的缩略图数据,并将该数据存储在RAM 23中的规定区域中。
控制器20通过将示出压缩/扩展格式的类型的文件头和压缩后的缩略图数据添加至压缩后的静止图像数据来形成压缩后的静止图像文件,并将该文件传送至通过总线21连接的介质驱动器29。
介质驱动器29在控制器20的控制下将所传送的压缩后的静止图像文件记录在记录介质30中。从而,数码相机1拍摄到了静止图像。
控制器20通过从闪速存储器22中读取字符字体(character font)并渲染(render)该字体或通过读取图形数据并解码该数据来生成诸如图标、按钮和菜单之类的图形数据。
图形数据被存储在RAM 23的规定区域中,被控制器20从RAM 23中读出并传送至数字信号处理单元27。
数字信号处理单元27通过对图形数据进行数模转换来获取图形信号,并将该图形信号传送至具有图像信号的显示处理单元28。显示处理单元28将图形信号叠加在图像信号上,执行规定的显示处理以生成画面信号,并将画面信号传送至TP显示器8。结果,除了图像(例如,被成像的拍摄对象的图像)以外,如下画面被显示在TP显示器8上,该画面上,图标、按钮和菜单等被布置以被叠加在图像中的规定位置上。
当TP显示器8被用户以触摸所显示的图标、按钮和菜单等的方式被触摸时,TP显示器8将触摸位置通知给控制器20。控制器20基于该通知接收对应于触摸位置处显示的图标、按钮或菜单的命令,执行对应于该命令的处理。
如上所述,数码相机1响应于关于TP显示器8上显示的图标、按钮和菜单的触摸操作来执行处理。
这里,假设例如从拍摄静止图像到拍摄运动图像的切换的触摸操作被用户执行。然后,控制器20将操作模式从用于静止图像的图像拍摄模式切换到用于运动图像的图像拍摄模式。
然后,以与用于静止图像的图像拍摄模式相同的方式,成像装置25捕捉的成像后的图像被原样显示在TP显示器8上。
当快门按钮7被用户通过操作单元24按压时,控制器20识别出运动图像的拍摄的开始已经被指示,控制数字信号处理单元27以输出运动图像数据。
也就是说,数字信号处理单元27通过对从模拟信号处理单元26传送的图像信号进行模数转换来获取运动图像数据,并输出该运动图像数据。
从如上所述的数字信号处理单元27输出的运动图像数据被按照规定的数据量通过总线21存储在RAM 23的规定区域中,并按照规定的数据量被控制器20读出。
控制器20通过按照诸如MPEG(运动图像编码专家组)之类的规定的压缩/扩展格式对从RAM 23读取的运动图像数据进行压缩来获取压缩后的运动图像数据,并将该数据写回RAM 23的另一区域中。
此时,控制器20通过从运动图像数据提取任意帧的静止图像数据并减小该静止图像数据的图像尺寸来生成缩略图数据。然后,控制器20按照规定的压缩/扩展格式对缩略图数据进行压缩,随后将该数据存储在RAM23的规定区域中。
另外,此时,数码相机1周围的声音被话筒4收集并被转换为声音信号,然后,该声音信号被传送至声音处理单元31。声音处理单元31通过对所传送的声音信号进行模数转换来获取声音数据,并输出该声音数据。
从声音处理单元31输出的声音数据被按照规定的数据量通过总线21存储在RAM 23的规定区域中,然后,被控制器20按照规定的数据量读取。
控制器20通过按照诸如MPEG(运动图像编码专家组)之类的规定的压缩/扩展格式对从RAM 23读取的声音数据进行压缩来获取压缩后的声音数据,并将该数据写回到RAM 23的另一区域中。
控制器20在任意时间从RAM 23读取压缩后的运动图像数据和压缩后的声音数据,并通过将压缩后的运动图像数据和压缩后的声音数据进行时分复用来生成运动图像流,并将该流传送至介质驱动器29。
介质驱动器29在控制器20的控制下将所传送的运动图像流记录在记录介质30中。
然后,当快门按钮7被用户通过操作单元24再次按压时,控制器20识别出拍摄运动图像的结束已经被指示,控制数字信号处理单元27停止运动图像数据的输出。
然后,控制器20将存在于RAM 23中的运动图像流传送至记录介质30,将其存储在该介质中,并结束从图像拍摄的开始到结束的一系列运动图像流的记录。然后,通过将文件头和压缩后的缩略图数据添加至运动图像流,控制器20最终将运动图像流记录为压缩后的运动图像文件。从而,数码相机1拍摄到了(即记录了)运动图像。
当识别出从图像拍摄模式到图像被显示的回放模式的切换操作已经通过操作单元24被执行时,控制器20将操作模式从图像拍摄模式切换到回放模式。
然后,控制器20控制介质驱动器29从记录介质20读取用户指定的图像文件,并将该文件存储在RAM23的规定区域中。
当图像文件是静止图像文件时,控制器20从静止图像文件提取压缩后的静止图像数据,按照与压缩时使用的格式相同的压缩/扩展格式扩展压缩后的静止图像数据。
结果,控制器20获取原始的静止图像数据,并将该数据写回到RAM23的规定区域中。控制器20从RAM 23读取静止图像数据,并将该数据传送至数字信号处理单元27。
数字信号处理单元27通过对所传送的静止图像数据进行数模转换来获取图像信号,并将该信号传送至显示处理单元28。结果,基于图像信号的静止图像通过显示处理单元28被显示在TP显示器8上。因此,数码相机1回放(即,显示)静止图像。
另一方面,当图像文件是运动图像文件时,控制器20在使用RAM23作为缓冲器的同时从运动图像文件提取压缩后的运动图像数据和压缩后的声音数据。另外,控制器20通过按照与压缩时使用的格式相同的压缩/扩展格式对压缩后的运动图像数据进行扩展来获取原始的运动图像数据,并将该数据写回RAM 23的另一区域中。控制器20进一步通过按照与压缩时使用的格式相同的压缩/扩展格式对压缩后的声音数据进行扩展来获取原始的声音数据,并将该数据写回RAM 23的另一区域中。
控制器20按照规定的数据量从RAM 23读取运动图像数据和声音数据,并将运动图像数据传送至数字信号处理单元27、将声音数据传送至声音处理单元31。
信号处理单元27通过对所传送的运动图像数据进行数模转换来获取图像信号,并将该信号传送至显示处理单元28。结果,基于图像信号的运动图像通过显示处理单元28被显示在TP显示器8上。
声音处理单元31通过对所传送的声音数据进行数模转换来获取声音信号,并将该信号传送至扬声器11。结果,基于声音信号的声音被从扬声器输出。因此,数码相机1回放运动图像。
在数码相机1中,记录在记录介质30中的图像文件(压缩后的静止图像文件和压缩后的运动图像文件)由被内置在记录介质30中的如图3中所示的图像管理数据库Pd管理。
实际上,在图像管理数据库Pd中,时间序列分组ID、文件名称、图像拍摄日期和标签名称被记录介质30中记录的每个图像文件登记为管理信息。
这里,时间序列分组ID指明当图像文件被基于图像的拍摄日期根据时间分组时各图像文件所属的分组的标识号码。控制器20基于时间序列分组ID来识别各图像文件所属的时间序列分组。图像拍摄日期指明图像被拍摄时的日期(可以包括时、分和秒)。
文件名称指明图像文件的名称。文件名称包括作为图像文件的存储位置的路径。控制器20基于文件名称来识别每个图像文件的存储位置(例如,“C:\...\pictureA.ipg”中的“C:\...\”部分)和名称(例如“C:\...\pictureA.jpg”中的“pictureA.jpg”部分)。也就是说,控制器20基于文件名称来将管理信息与图像文件相关联。
文件名称还包括指明图像文件是压缩后的静止图像文件还是压缩后的运动图像文件的标识符(例如,"C:\...\pictureAjpg″中的".jpg″部分)。所以,控制器20还可以基于文件名称识别出图像文件是压缩后的静止图像文件还是压缩后的运动图像文件。
标签名称指明被添加至图像文件的标签的名称(随后将描述标签的添加)。当标签没有被添加至图像文件时,例如,“空”(null)被作为标签名称写在图像文件的管理信息中。所以,控制器20还可以基于标签名称识别出标签是否被添加至了图像文件。另外,多个标签可以被添加至图像文件,并且当多个标签被添加时,多个标签名称(例如,“宴会”、“花子”)被写在图像文件的管理信息中。
每当新的图像文件被记录时,控制器20就将图像文件的管理信息添加至图像管理数据库Pd。控制器20还在必要时更新图像管理数据库Pd中登记的管理信息,例如,在新标签被添加至已记录的图像文件的情况下。
在数码相机1中,已记录图像(实际上是缩略图)也有可能通过使用登记在图像管理数据库Pd中的管理信息在回放模式下以分类的状态被显示在列表中。这里,为了简要说明,将说明静止图像的缩略图被显示的情况。
例如,假设根据时间序列分组ID来显示已记录的静止图像(即,已记录图像)的触摸操作在回放模式被用户执行。于是,控制器20从图像管理数据库Pd提取包括例如最小数目的时间序列分组ID的管理信息,依次从记录介质30读取对应于所提取的各个管理信息的静止图像文件,并将它们存储在RAM23的规定区域中。
控制器20进一步从静止图像文件提取压缩后的缩略图数据,并对压缩后的缩略图数据进行扩展。
结果,控制器20获取原始的缩略图数据,并将该数据写回RAM 23的另一区域中。当预定数目(例如,可以被显示的数目)的缩略图数据被写回RAM 23中时,控制器20依次从RAM 23中读取缩略图数据,并将该数据传送至数字信号处理单元27。
控制器20生成必要的图形数据,并将该数据传送至数字信号处理单元27。
上述数据在数字信号处理单元27和显示处理单元28中被依次处理,从而生成了根据时间序列分组显示缩略图列表的画面(也被称为根据时间序列分组的列表画面)的画面信号。然后,该画面信号被从显示处理单元28传送至TP显示器8。
结果,根据时间序列分组的列表画面40被显示TP显示器8中,如图4A中所示。
具体地,在根据时间序列分组的列表画面40中,时间序列分组ID被写在上端显示的框41中,属于写在框41中的时间序列分组ID的静止图像的缩略图42被显示在框41下面的格型列表中。
在图4A中所示的根据时间序列分组的列表画面40中,每次仅有垂直方向2×水平方向2的四个缩略图42被显示,然而,其他缩略图42可以通过响应于预定的触摸操作在给定方向滚动缩略图42来依次显示。
这里,假设选择根据时间序列分组的列表画面40中显示的缩略图42之一的预定触摸操作被用户执行。然后,控制器20从包括所选缩略图42的静止图像文件中提取压缩后的静止图像数据,并回放该数据。
结果,对应于所选缩略图的静止图像被显示在TP显示器8的整个显示面上,如图5中所示。
另一方面,假设在图4A中所示的根据时间序列的列表画面40被显示的状态下,显示属于下一个时间序列分组ID的图像的触摸操作被用户执行。于是,控制器20从图像管理数据库Pd提取包括下一个时间序列分组ID的管理信息。
接着,控制器20按与以上所述相同的方式将属于该时间序列分组ID的图像的缩略图数据和必要的图形数据传送至数字信号处理单元27。
结果,作为属于下一个时间序列分组ID的缩略图列表的根据时间序列分组的列表画面40被显示在TP显示器8上,如图4B中所示。
如上所述,数码相机1根据时间序列分组来显示所拍摄的图像。
假设,根据图像拍摄日期来显示已拍图像的触摸操作被用户执行。然后,控制器20根据例如从最老的图像拍摄日期开始的图像拍摄日期从图像管理数据库Pd中提取管理信息。控制器20从记录介质30中依次读取对应于所提取的管理信息的静止图像文件,将这些文件存储在RAM23的规定区域中。
另外,控制器20从静止图像文件提取压缩后的缩略图数据,并按照与压缩时使用的格式相同的压缩/扩展格式来扩展压缩后的缩略图数据。
结果,控制器20获取到了原始的缩略图数据,并将该数据写回到RAM 23的另一区域中。当预定数目(例如,可以被显示的数据)的缩略图数据被写回在RAM 23中时,控制器20从RAM 23依次读取缩略图数据,并将该数据传送至数字信号处理单元27。
此时,控制器20生成必要的图形数据,并将该数据传送至数字信号处理单元27。
以上数据在数字信号处理单元27和显示处理单元28中被依次处理,从而生成了根据图像拍摄日期显示缩略图列表的画面(也称为根据图像拍摄日期的列表画面)的画面信号。然后,画面信号被从显示处理单元28传送至TP显示器8。
结果,根据图像拍摄日期的列表画面60被显示在TP显示器8上,如图6中所示。
具体地,根据图像拍摄日期的列表画面60被划分为多行(例如,三行),并且在每行中,其中写有图像拍摄日期的矩形框61和在框61中所写的图像拍摄日期拍摄的图像的缩略图62以这样的方式被显示:缩略图62被排列在框61的右侧。在图6中所示的根据图像拍摄日期的列表画面60中,显示被按照在一行中从左侧开始排列框61和缩略图62的方式执行,从而最多在一行中显示属于两个不同图像拍摄日期的缩略图。
另外,在根据图像拍摄日期的列表画面60中,很难被一次显示的其他图像拍摄日期的缩略图62可以通过响应于预定的触摸操作在给定方向滚动框61和缩略图62来依次显示。
这里,假设选择在根据图像拍摄日期的列表画面60中显示的缩略图62之一的触摸操作被用户执行。然后,控制器20从包括所选缩略图62的静止图像文件中提取压缩后的静止图像数据,并回放该数据。
结果,如图5中所示,对应于所选缩略图62的静止图像50被显示在TP显示器8的整个显示面上。
如上所述,数码相机1根据图像拍摄日期来显示所拍摄的图像。
另外,假设显示添加了期望标签的图像的触摸操作被用户执行。于是,控制器20从图像管理数据库Pd中提取具有用户指定的标签名称的管理信息,从记录介质30中依次读取对应于所提取的各个管理信息的静止图像文件,并将它们存储在RAM 23的规定区域中。
控制器20从静止图像文件提取压缩后的缩略图数据,并以与压缩时使用的格式相同的压缩/扩展格式来扩展压缩后的缩略图数据。
结果,控制器20获取到了原始的缩略图数据,并将该数据写回到RAM 23的另一区域中。当预定数目(例如,可以被显示的数目)的缩略图数据被写回到RAM 23中时,控制器20依次从RAM 23中读取缩略图数据,并将该数据传送至数字信号处理单元27。
控制器20生成必要的图形数据,并将该数据传送至数字信号处理单元27。
以上数据在数字信号处理单元27和显示处理单元28中被依次处理,从而生成了根据标签显示缩略图列表的画面(也称为根据标签的列表画面)的画面信号。然后,画面信号被从显示处理单元28传送至TP显示器8。
结果,根据标签的列表画面70被显示在TP显示器8上,如图7中所示。
具体地,在根据标签的列表画面70中,标签名称被写在左端显示的矩形框71中,添加了具有框71中所写的标签名称的标签的图像的缩略图72被显示在框71以外的其他位置中的列表中。
在根据标签的列表画面70中,很难一次被显示的其他缩略图72可以通过响应于预定的触摸操作在给定方向滚动缩略图72来依次显示。
这里,假设选择根据标签的列表画面70中显示的缩略图72之一的预定触摸操作被用户执行。然后,控制器20从包括所选缩略图72的静止图像文件中提取压缩后的静止图像数据,并回放该数据。
结果,对应于所选缩略图72的静止图像50被显示在TP显示器8的整个显示面上,如图5中所示。
如上所述,数码相机1从已记录图像中搜索添加了任意标签的已记录图像,并显示它们。
另外,当外部装置通过接口终端10被连接时,数码相机1必要时在控制器20的控制下,发送和接收关于外部装置的图像数据。
数码相机1不仅向图像添加用户从预先登记的标签中选择的标签,而且从成像后的图像中检测字符串,并将包括字符串的标签添加至已记录图像。这里,字符识别引擎32具有从成像后的图像中检测字符串的功能。下面将详细说明由数码相机1执行的标签的添加。
1-3 标签的添加
首先,假设在任意静止图像(即,已记录图像)被如图5中所示地显示在TP显示器8上的情况下,添加标签的预定触摸操作被执行。于是,控制器20控制数字信号处理单元27显示标签添加/删除窗口80,以使该窗口被叠加在已记录图像50的规定位置(例如,中心)上,如图8中所示。
标签添加/删除窗口80是用于选择是否向显示期间的已记录图像50添加标签或者选择是否从显示期间的已记录图像50删除已经添加的标签(也称为被添加标签)的窗口。
在标签添加/删除窗口80中,用于选择标签添加的添加按钮80A和用于选择被添加标签的删除的删除按钮80B被显示。
这里,假设按压标签添加/删除窗口80的删除按钮80B的预定触摸操作被执行。于是,控制器20将“空”写在与显示期间的已记录图像50相对应的管理信息的标签名称中,从而从显示期间的已记录图像50中删除所添加的标签,其中所述标签名称在图像管理数据库Pd中被登记。
另一方面,假设按压标签添加/删除窗口80的添加按钮80A的预定触摸操作被执行。于是,控制器20控制数字信号处理单元27显示新的/已登记的标签添加窗口90,而不显示标签添加/删除窗口80,如图9中所示。
新的/已登记的标签添加窗口90是用于选择是向显示期间的已记录图像50添加新的标签(也称为新标签)还是添加已经登记过的标签(也称为已登记标签)的窗口。已登记标签指明已经预先被登记在数码相机1中的标签和之前已经被作为新标签登记过的标签。
在新的/已登记的标签添加窗口90中,用于选择新标签的添加的新按钮90A和用于选择已登记标签的添加的已登记按钮90B被显示。
这里,假设按压新的/已登记的标签添加窗口90的已登记按钮90B的预定触摸操作被执行。于是,控制器20控制数字信号处理单元27显示已登记标签添加窗口100,而不是新的/已登记的标签添加窗口90,如图10中所示。
已登记标签添加窗口100是用于从已登记的标签中选择向显示期间的已记录图像50添加的标签的窗口。
在已登记标签添加窗口100中,作为已登记标签的标签名称(例如,“婚礼”、“宴会”等)被显示在列表中。已登记标签被登记在内置于闪速存储器22中的已登记标签数据库(未示出)中。也就是说,控制器20从已登记标签数据库中获取已登记标签,并在已登记标签添加窗口100中显示该标签。
同样,在已登记标签添加窗口100中,很难被一次显示的已登记标签可以通过响应于对布置在该窗口的规定位置处的滚动条100A的触摸操作在给定方向滚动已登记标签来依次显示。
这里,假设从显示在已登记标签添加窗口100的列表中的已登记标签中选择向显示期间的已记录的图像50添加的标签的预定触摸操作被执行。于是,控制器20在与显示期间的已记录图像50相对应的管理信息的标签名称中写入所选已登记标签的标签名称,从而将已登记标签添加到显示期间的已记录图像50中,其中所述标签名称在图像管理数据库Pd中被登记。
另一方面,假设按压图9中所示的新的/已登记的标签添加窗口90的新按钮90A的预定触摸操作被执行。于是,控制器20控制数字信号处理单元27在TP显示器8上显示新标签添加画面110,而不是静止图像50和新的/已登记的标签添加窗口90,如图11中所示。
新标签添加画面110是用于从成像后的图像中检测将作为标签的字符串(包括一个或多个字符的字符信息)并将包括字符串的标签作为新标签添加至任意已记录图像的画面。
新标签添加画面110被划分为垂直2×水平2的四个区域111、112、113和114。也就是说,画面包括左上区域111、右上区域112、左下区域113和右下区域114。
当将显示切换到新标签添加画面110时,控制器20以显示尺寸被减小(大约1/4)的状态在左上区域111中显示在切换显示之前刚刚显示的已记录图像50。
控制器20还显示用于将区域111中将显示的已记录图像50切换为区域111的左下角处的前一已记录图像的箭头按钮111A。控制器20进一步显示用于将区域111中将显示的已记录图像50切换为区域111的右下角处的下一个已记录图像的箭头按钮111B。
区域111中显示的已记录图像被基于图像管理数据库Pd从最老的图像拍摄日期开始排列。因此,下一个已记录图像指明其图像拍摄日期新于显示期间的已记录图像的已记录图像,并且前一已记录图像指示其图像拍摄日期老于显示期间的已记录图像的已记录图像。
控制器20进一步实时地在右下区域114处显示通过成像器件25捕捉的成像后的图像114A。
而且,控制器20在右上区域112处显示字符信息,该信息指示用户捕捉期望被作为标签添加到区域114中的已记录图像的字符串以及指示用户半按压快门按钮7(例如,“捕捉期望被作为标签登记的字符串并半按压快门按钮”)。
例如,假设数码相机1的相机透镜部3被指向如下拍摄对象,该拍摄对象上写有期望被作为标签添加至已记录图像的字符串(例如,其上写有站名的站名牌)。
于是,其上写有期望作为标签的被添加到已记录图像上的字符串(例如,“桜本町(樱本街)”)的拍摄对象的成像后的图像114A被显示在右下区域114处,如图12中所示。
根据以上内容,数码相机1可以允许用户核对区域111中显示的、将作为标签添加的目标的已记录图像50,并可以允许用户核对区域114处显示的、其上写有期望被添加至已记录图像50的字符串的拍摄对象的成像后的图像114A。
当在以上状态中快门按钮7被半按压时,控制器20通过使用字符识别引擎32来从通过成像器件25捕捉的成像后的图像(即,区域114处显示的成像后的图像114A)中检测字符串。
实际上,在快门按钮7被半按压时,控制器20控制数字信号处理单元27输出通过成像器件25捕捉的成像后的图像的图像数据。
然后,控制器20将从数字信号处理单元27输出的图像数据传送至字符识别引擎32。字符识别引擎32基于规定的字符串检测算法执行关于所传送的图像数据的字符串的检测。结果,当字符串被基于图像数据从图像中检测出来时,字符识别引擎32依次将被包括在字符串中的字符的字符编码传送至控制器20。
控制器20通过基于所传送的字符编码渲染字符字体来生成字符识别引擎32检测出来的字符串(也称为被检测字符串)的图形数据字符串。图形数据被控制器20存储在RAM 23的规定区域中,然后,被从RAM 23中读取并被传送至数字信号处理单元27。
结果,如图13中所示,基于图形数据的被检测字符串,即,从成像器件25捕捉的成像后的图像中检测的字符串(例如,“桜本町(樱本街)”)被显示在新标签添加画面110的左下区域113的上端处。
此时,控制器20从已登记标签数据库中搜索以与被检测字符串的第一字符(例如,“桜(樱)”)相同的字符开始的已登记标签(也称为相似已登记标签)。
作为搜索结果,假设相似已登记标签(例如,“桜本町タワ—(樱本街塔)”等)已经被找出。然后,控制器20在左下区域113的上端显示的被检测字符串下方的列表中显示相似已登记标签(实际上是标签名称)。
注意,边界线Li被画在从成像后的图像检测的字符串和显示在下方的相似已登记标签之间。据此,数码相机1使得用户能够容易地区分相似已登记标签和被检测字符串。
当多个相似已登记标签被找出时,控制器20从最高的相似性开始在列表中显示它们。而且,没有被一次显示的相似已登记标签可以通过响应于针对在规定位置处布置的滚动条113A的触摸操作而在给定方向滚动相似已登记标签来依次显示在区域113处。
如上所述,从通过成像器件25捕捉的成像后的图像(即,区域114处显示的成像后的图像114A)检测的被检测字符串和至少包括被检测字符串的第一字符的相似已登记标签被显示在区域113处。区域113处显示的被检测字符串和相似已登记标签将作为将向区域111处显示的已记录图像50添加的标签的候选(称作候选标签)。
候选标签被持续显示在区域113处,直到快门按钮7被再次半按压为止。
另外,在此时,字符识别引擎32将字符检测位置信息传送至控制器20,该信息指明各字符是从成像后的图像的哪些位置检测出来的。
控制器20基于所传送的字符检测位置信息生成图形数据。该图形数据被存储在RAM 23的规定区域中,然后,被控制器20从RAM 23中读取并被传送至数字信号处理单元27。
结果,指明各字符是从成像后的图像114A的哪些部分检测到的标记Mk被叠加在右下区域114处的成像后的图像114A上显示。标记Mk仅在例如快门按钮7被半按压时被显示。
另外,此时,控制器20在右上区域112中显示添加按钮112A,该按钮用于向区域111处显示的已记录图像50添加从区域113处显示的候选标签中选择的标签。
这里,假设从区域113处显示的候选标签中选择任意标签并按压区域112处显示的添加按钮112A的预定触摸操作被执行。于是,控制器20通过在与显示期间的已记录图像50相对应的管理信息的标签名称中写入所选标签的标签名称,来向显示期间的已记录图像50添加标签,其中,所述标签名称被登记在图像管理数据库Pd中。
当所选择的标签是从成像后的图像中检测的新标签(即,没有被登记在已登记标签数据库中的标签)时,控制器20在已登记标签数据库中再一次登记该标签。结果,该标签从此之后可以被用作已登记标签。
这里,假设按压区域111处显示的箭头按钮111A或111B的预定触摸操作被执行。于是,控制器20将区域111处将显示的已记录图像50切换至前一个或下一个已记录图像,如图15中所示。
另外,假设从在区域113处被持续显示的候选标签中选择任意标签并按压区域112处显示的添加按钮112A的预定触摸操作被执行。于是,控制器20通过在与显示期间的已记录图像50相对应的管理信息的标签名称中写入所选标签的标签名称,向显示期间的已记录图像50添加标签,其中,所述标签名称被登记在图像管理数据库Pd中。
根据以上内容,数码相机1可以连续向多个已记录图像添加从在区域113处持续显示的候选标签中选择的标签。
当快门按钮7一旦被释放后被再次半按压时,控制器20通过使用字符识别引擎32来从当时通过成像器件25捕捉的成像后的图像中再次检测字符串。控制器20用新检测的字符串和关于被检测字符串的相似已登记标签来更新区域113处显示的候选标签。
如上所述,数码相机1可以通过仅重复快门按钮7的半按压的简单操作来重复执行字符串的检测。据此,数码相机1可以简单地取消所检测的字符串,检测其他字符串,或再次执行字符串的检测。
另一方面,在字符串由于某种原因没有被从成像后的图像中检测出来时,字符识别引擎32向控制器20返回错误。然后,控制器20在右上区域112处显示指明字符串没有被检测到的字符信息(例如,“字符串没有被检测到”),如图16中所示。
因此,当字符串没有被检测到时,数码相机1向用户通知该情况。
此时,控制器20还显示指示用户在区域114处再次捕捉期望被作为标签添加至已记录图像的字符串并半按压快门按钮7的字符信息(例如,“再次捕捉期望被作为标签登记的字符串并半按压快门按钮”)。
因此,当字符串没有被检测出来时,数码相机1提示用户在区域114处再次捕捉期望被作为标签添加至已记录图像的字符串,并半按压快门按钮7。
如上所述,数码相机1不仅向已记录图像添加预先登记的标签,而且从成像后的图像中检测字符串,并将包括字符串的标签添加至已记录图像。
据此,数码相机1可以向已记录图像添加用户所期望的包括字符串的标签,即使其不具有诸如键盘之类的字符输入工具。
在数码相机1中,作为标签添加的目标的已记录图像50和其上写有将作为标签被添加至已记录图像50的字符串的拍摄对象的成像后的图像114A被同时显示在新标签添加画面110上。
根据以上内容,在允许用户核对将作为标签添加的目标的已记录图像50并核对将作为标签被添加至已记录图像50的字符串的同时,数码相机1能够向已记录图像50添加包括字符串的标签。
另外,数码相机1不仅显示从成像后的图像中检测的字符串,而且显示至少包括字符串的第一字符的已登记标签,该些标签是被作为将被添加至已记录图像50的标签的候选从已登记标签数据库中搜索的。
根据以上内容,当存在类似于被检测字符串的已登记标签时,数码相机1能够将已登记标签呈现为将被添加至已记录图像50的标签的候选。根据该呈现,可以向用户通知类似的标签已经被登记,结果,可以避免多个类似的标签被不必要地登记。
另外,在以上情况下,当用户搜索所期望的已登记标签时,允许其上写有被用作搜索条件的字符串的拍摄对象被数码相机1捕捉,从而甚至在很多已登记标签被登记时也快速搜索所期望的已登记标签。
在以上描述中,说明了向静止图像添加标签的情况,但是,也可以通过与向静止图像添加的情况相同的方式向运动图像添加标签。
1-4 标签添加处理过程
接着,将参考图17详细说明从将作为标签的字符串从成像图像中的检测到标签的添加的一系列处理过程(也称为标签添加处理过程)。标签添加处理过程是由数码相机1的控制器20根据安装在闪速存储器22中的程序执行的过程。
在将显示切换到新标签添加画面110之后,控制器20开始标签添加处理过程RT,并进行到步骤SP1。在步骤SP1,当在新标签添加画面110的区域111处显示已记录图像并在区域114处显示成像后的图像时,控制器20等待快门按钮7被按压。控制器20在识别出快门按钮7已经被按压时获得肯定性结果,然后进行到步骤SP2。
在步骤S2中,控制器20确定字符识别引擎32是否已经从通过成像器件25在当时捕捉的成像后的图像中检测到了字符串。
当在步骤SP2中获得肯定性结果时,这意味着字符串可能已经被字符识别引擎32从成像图像中检测出来,然后,控制器20进行到步骤SP3。
在步骤SP3,控制器20在新标签添加画面110的左下区域113处显示作为候选标签的已经被检测出来的字符串(被检测字符串),进行到下一步骤SP4。在步骤SP4,控制器20确定至少包括被检测字符串的第一字符的相似已登记标签是否被登记在了已登记标签数据库中。
当在步骤SP4中获得肯定性结果时,这意味着相似已登记标签被登记在已登记标签数据库中,控制器20进行到步骤SP5。
在步骤SP5,控制器20在区域113处显示作为候选标签的从已登记标签数据库中找出的已登记标签,进行到下一步骤SP6。当以上步骤SP4处获得否定性结果时,即,当任意相似已登记标签都没有被登记在已登记标签数据库中时,控制器20跳过步骤SP5,进行到步骤SP6。
在步骤SP6,控制器20等待,直到任意标签被从区域113处显示的候选标签中选出并且区域112处显示的添加按钮112A被按压为止。
这里,当任意标签被从区域113处显示的候选标签中选出并且区域112中显示的添加按钮112A被按压时,控制器20在步骤SP6中获得肯定性结果,并进行到步骤SP7。
在步骤SP7,控制器20确定所选择的标签是否是没有登记在已登记标签数据库中的新标签。当在步骤SP7获得肯定性结果时,这意味着所选择的标签是从成像后的图像中检测的新标签,并且控制器20进行到步骤SP8。
在步骤SP8,控制器20在已登记标签数据库中登记新标签,进行到下一步骤SP9。当在以上步骤SP7中获得否定性结果时,即,当所选择的标签不是新标签而是已登记的标签时,控制器20跳过步骤SP8进行到步骤SP9。
在步骤SP9,控制器20在与区域111处的显示期间的已记录图像相对应的管理信息的标签名称中写入所选标签的标签名称,从而向已记录图像添加标签,并且标签添加处理过程RT1结束,其中所述标签名称被登记在图像管理数据库Pd中。
当以上步骤SP2处获得否定性结果时,即,当字符识别引擎32没有从成像后的图像中检测到字符串时,控制器20进行到步骤SP10。
在步骤SP10,控制器20在区域112处显示指明字符串还没有被从成像后的图像中检测出来的字符信息,从而向用户通知这个事实。之后,控制器20再次返回SP1,等待快门按钮7被半按压。
根据标签添加处理过程RT1,控制器20通过从成像后的图像中检测将作为标签的字符串来添加标签。
(1-5)第一实施例中的操作和优点
在以上的配置中,数码相机1响应于预定触摸操作在TP显示器8上显示新标签添加画面110。新标签添加画面110被划分为四个区域111、112、113和114。
数码相机1在作为这些区域之一的区域111处显示将作为标签添加的目标的已记录图像。同时,数码相机1在区域114处显示通过成像器件25捕捉的成像后的图像。
这里,当数码相机1的相机透镜部3被指向其上写有期望被作为标签添加的字符串的拍摄对象时,其上写有期望被作为标签添加的字符串的拍摄对象的成像后的图像被显示在区域114处。
结果,数码相机1允许用户同时核对将作为标签添加的目标的已记录图像和处于一个画面上的其上写有期望被作为标签添加至已记录图像的字符串的拍摄对象的成像后的图像。
当快门按钮7被识别出这些图像的用户半按压时,数码相机1从当时由成像器件25捕捉的成像后的图像中检测字符串,并将该字符串作为将被添加至已记录图像的标签的候选显示在区域113处。
这里,假设向区域111处显示的已记录图像添加字符串作为标签的预定触摸操作被执行。然后,数码相机1通过将所选标签的标签名称写在区域111处显示的已记录图像的管理信息中,将标签添加至已记录图像。
如上所述,数码相机1可以在允许用户核对作为标签添加的目标的已记录图像并允许用户核对其上写有将作为标签被添加至已记录图像的字符串的成像后的图像的同时,向已记录图像添加包括字符串的标签。换言之,数码相机1可以在不切换画面的条件下,轻松地允许用户核对已记录图像和其上写有期望作为标签被添加的字符串的成像后的图像。
数码相机1还不仅显示所检测的字符串,而且显示以与作为将添加至已记录图像的标签的候选的区域113处的字符串的第一个字符相同的字符开始的已登记标签(相似已登记标签)。
根据以上内容,数码相机1不仅可以向已记录图像添加从成像后的图像中检测的字符串,而且可以向已记录图像添加包括该字符串的至少一部分的已登记标签。
另外,当向已记录图像添加从区域113处显示的候选中选择的标签时,数码相机1仅在该标签是未登记的标签时将该标签登记到内置于闪速存储器22中的已登记标签数据库。
因此,数码相机1可以避免重复标签被登记,结果,闪速存储器22的容量可以被有效利用。
根据以上配置,数码相机1在相同画面上显示已记录图像和通过成像器件25捕捉的成像后的图像,将字符识别引擎32从成像后的图像中检测的字符串作为标签添加至相同画面上显示的已记录图像,从而在允许用户核对将作为标签添加的目标的已记录图像并核对将作为字符串检测的目标的成像后的图像的同时,将从成像后的图像中检测的字符串作为标签添加至已记录图像。因此,相对于已记录图像的核对和成像后的图像的核对在不同画面上被执行的情况,数码相机1能够更容易地向已记录图像添加标签。
【2.第二实施例】
接着,将说明第二实施例。在以上的第一实施例中,数码相机1从其上写有字符串的拍摄对象的成像后的图像中检测字符串,将该字符串作为标签添加至已记录图像。相应地,在第二实施例中,数码相机1从其上写有二维编码的拍摄对象的成像后的图像中读取该二维编码,并将作为结果来获取的字符串作为标签添加至已记录图像。
因此,在第二实施例的数码相机1中,二维编码识别引擎200代替字符识别引擎32被设置,如图18中所示。除了二维编码识别引擎200以外的配置和各画面的配置基本与第一实施例的相同。
所以,这里将主要说明从二维编码从成像后的图像中的读取开始直到字符串的检测的操作。
(2-1)从二维编码检测字符串
首先,控制器20以与第一实施例相同的方式在TP显示器8上显示新标签添加画面110。
此时,控制器20实时地在左上区域111处显示已记录图像50、箭头按钮111A和111B,并在右下区域114处显示通过成像器件25捕捉的成像后的图像114A。
控制器20在右上区域112a处显示字符信息(未示出),该信息指示用户在区域114处捕捉其中存储了将作为标签的字符串的二维编码并半按压快门按钮7(例如,“捕捉二维编码并半按压快门按钮”)。
这里,假设例如数码相机1的相机透镜部3被用户指向其中写入了存储期望作为标签被添加的字符串的二维编码的拍摄对象(例如,信息杂志)。
然后,其中写入了二维编码的拍摄对象的成像后的图像114A被显示在右下区域114处,如图19中所示。
当快门按钮7在这种状态下被半按压时,控制器20通过使用二维编码识别引擎200从当时通过成像器件25捕捉的成像后的图像(即,当时在区域114处显示的成像后的图像114A)读取二维编码。
实际上,当快门按钮7被半按压时,控制器20控制数字信号处理单元27输出当时通过成像器件25捕捉的成像后的图像的图像数据。
然后,控制器20将从数字信号处理单元27输出的图像数据传送至二维编码识别引擎200。二维编码识别引擎200基于所传送的图像数据从成像后的图像中读取二维编码。这里,当二维编码可以基于图像数据从成像后的图像中读取时,二维编码识别引擎200获取包括在二维编码中的字符串作为读取结果,并将包括在字符串中的字符的字符编码依次传送至控制器20。
控制器20基于所传送的字符编码渲染字符字体,从而生成从二维编码识别引擎200检测的字符串的图形数据。该图形数据被控制器20存储在RAM 23的规定区域中,然后,被从RAM 23中读取并被传送至数字信号处理单元27。
结果,基于图形数据的字符串,即,从通过成像器件25捕捉的成像后的图像中读取的二维编码中所存储的字符串作为被添加至已记录图像50的标签的候选显示在区域113的上端。
当存在以与字符串的第一字符相同的字符开始的已登记标签时,控制器20还在区域113处显示这些标签作为被添加的标签的候选。
另外,此时,控制器20使用二维编码识别引擎200获取指明二维编码从成像后的图像的哪个位置被读取的编码读取位置信息。然后,控制器20显示指明二维编码从成像后的图像114A的哪个位置被读取的标记Mk,从而使得标记Mk被基于编码读取位置信息叠加在右下区域114处的成像后的图像114A上。
另外,此时,控制器20在右上区域112处显示添加按钮112A。
这里,假设从区域113处显示的候选中选择任意标签和按压区域112处显示的添加按钮112A的预定触摸操作被执行。然后,控制器20通过在与显示期间的已记录图像50相对应的管理信息的标签名称中写入所选标签的标签名称,将标签添加至显示期间的已记录图像50,其中,所述标签名称被登记在图像管理数据库Pd中。
如上所述,在第二实施例中,二维编码被从其中写有二维编码的拍摄对象的成像后的图像中读取,并且作为读取结果来获取的字符串可以被作为标签添加至已记录图像。
在二维编码中,数百至数千个字符可以被存储,尽管其取决于编码的类型。所以,可以作为标签的多个字符串可以被存储在二维编码中。
这里,假设二维编码识别引擎200实际上从成像后的图像读取了存储多个字符串(例如,“桜本町(樱本街)”、“桜本町駅(樱本街车站)”和“桜本町公園(樱本街公园”)的二维编码。然后,二维编码识别引擎200获取存储在作为读取结果的二维编码中的多个字符串,将被包括在字符串中的字符的字符编码依次传送至控制器20。
此时,二维编码识别引擎200将例如指明字符串的最后一个字符之后的换行的字符编码(也称为换行码)传送至控制器20,从而使得控制器20可以区分各字符串之间的边界。
控制器20通过基于所传送的字符编码和换行码渲染字符字体来生成二维编码识别引擎200检测的多个字符串的图形数据。该图形数据被控制器20存储在RAM 23的规定区域中,从RAM 23中读取并传送至数字信号处理单元27。
结果,基于图形数据的多个字符串,即,存储在二维编码中的多个字符串作为将被添加至已记录图像50的候选标签显示在区域113的上端处的列表中,如图20中所示。
另外,此时,当存在以与这些多个字符串的第一个字符相同的字符开始的已登记标签时,控制器20还在区域113处显示这些字符串作为将被添加的候选标签。
另外,在这种情况下,将被添加至已记录图像的多个标签可以从区域113处显示的多个候选标签中选择。
假设从区域113处显示的多个候选标签中选择多个标签并按压区域112处显示的添加按钮112A的规定触摸操作被执行,如图21中所示。然后,控制器20通过在与显示期间的已记录图像50相对应的管理信息的标签名称中写入所选择的多个标签的标签名称,来将多个标签添加至显示期间的已记录图像50,其中,所述标签名称被登记在图像管理数据库Pd中。
如上所述,根据第二实施例的数码相机1能够通过使用二维编码并一次向已记录图像添加所检测的多个字符串作为多个标签,来一次从成像后的图像中检测多个字符串。
因此,根据第二实施例的数码相机1能够在多个标签被添加至已记录图像的情况下,在短时间内更有效率地添加标签。
【3.其他实施例】
3-1 其他实施例中的实施例1
在以上的第一实施例中,在快门按钮7被半按压并且从成像后的图像中检测的字符串被显示在区域113处之后,当快门按钮7被再次半按压时,前一次检测的字符串被删除并且新检测的字符串被显示在区域113处。
本发明不限于以上内容,并且优选地,在以上情况下,前一次检测的字符串没有被从区域113处删除并留在例如新检测的字符串和类似于图22中所示的字符串的已登记标签之间。换言之,每当快门按钮7被按压时,各次检测的字符串被添加至区域113。结果,过去检测的字符串被作为日志显示在区域113处。这些日志也将称为候选标签。
根据以上内容,当用户期望向已记录图像添加多个标签时,通过在数码相机1中连续拍摄其中写入了各个不同期望字符串的拍摄对象,包括日志的多个被检测字符串作为候选标签显示在区域113中。
此时,用户选择区域113处显示的多个候选标签,按压区域112处显示的添加按钮112A,从而一次向已记录图像添加多个标签。
如上所述,所检测的字符串的日志被显示在区域113处,从而进一步改善了向已记录图像添加多个标签时的可用性。特别地,这在相同的多个标签被添加至多个已记录图像时有效。区域113处显示的过去检测的被检测字符串的相似已登记标签的显示取决于这种情况。当它们被显示时,例如,关于前一次检测的字符串的相似已登记标签在关于这次检测的字符串的相似已登记标签下方显示。
这里描述了所检测的字符串的日志被刚好在此时检测的字符串下方显示的情况,并且优选地,例如,日志可以在关于此时检测的字符串的相似已登记标签下方显示。
3-2 其他实施例中的实施例2
在标签被添加至TP显示器8处显示的已记录图像50的情况下,优选地,指明标签被添加的图标Ic被叠加在已记录图像50的规定位置(例如,角落处)处显示出来,如图23和图24中所示。另外,优选地,当按压图标Ic的预定触摸操作被执行时,在控制器20的控制下显示弹出窗口,其中,被添加至已记录图像50的标签被显示在画面中的规定区域处(例如,图标Ic的附近)。
根据以上内容,可以使用户识别出标签是否被添加至了显示期间的已记录图像50以及如果标签被添加的话哪个标签被添加。
优选地还有,标签本身被叠加在已记录图像50之上显示而不是图标Ic。另外,当多个标签被添加至已记录图像50时,标签的数目可以被显示在图标Ic中。
3-3 其他实施例中的实施例3
在以上的第二实施例中,字符串被通过读取二维编码检测,然而,字符串优选地被通过读取一维编码检测。更优选地,不仅关于成像后的图像的字符识别和编码读取而且关于其的图像分析被执行,以从成像后的图像中提取特征点并从规定的数据库中获取与这些特征点相关联的字符串。
在这种情况下,图像分析引擎210代替字符识别引擎32被设置在数码相机1中,图25中所示。在数码相机1中,当快门按钮7在新标签添加画面110被显示的情况下被半按压时,控制器20通过使用图像分析引擎210来对当时通过成像器件25捕捉的成像后的图像执行图像分析。
结果,图像分析引擎210从成像后的图像中提取特征点,并将它们传送至控制器20。作为特征点,例如,形状、颜色、各部分的比例等可以被引用。关于用于提取特征点的算法,可以使用现存的算法。
在数码相机1的闪速存储器22中,其中登记了预先从各种成像后的图像中获取的特征点和与各特征点相关联的字符串的数据库被记录。所以,当特征点从图像分析引擎210被传送时,控制器20从数据库获取对应于特征点的字符串。
然后,控制器20在新标签添加画面110的区域113处显示字符串作为从成像后的图像检测的字符串。
数据库可以通过使用个人计算机(下文中也称为PC)来创建。据此,数据库可以被创建,其中用户输入的任意字符串(例如,用户名)被PC通过与图像分析引擎210相同的算法与从拍摄到PC中的图像(例如,用户面部的图像)提取的特征点相关联。
数据库通过例如接口终端10或记录介质30被记录在数码相机1的闪速存储器22中。
根据以上内容,当数码相机1在添加标签时对用户的面部进行成像时,可以在新标签添加画面110的区域113处显示用户名作为候选标签。
从而,向已记录图像添加标签时的可用性被进一步改善。
3-4 其他实施例中的实施例4
优选地还有,用于从已记录图像中删除所添加的标签的删除按钮112B被附加显示在TP显示器8上显示的新标签添加画面110的区域112处,如图26所示。当按压删除按钮112B的预定触摸操作被执行时,控制器20从区域111处显示的已记录图像50中删除所添加的标签。
另外,优选地,用于将从成像后的图像中检测的字符串登记为新标签(没有被添加到显示期间的已记录图像50中)的登记按钮112C被附加地显示在区域112处。当按压登记按钮112C的预定触摸操作被执行时,控制器20将区域113处显示的被检测字符串作为新标签登记在已登记标签数据库中。
根据以上内容,可以在相同的新标签添加画面110上执行诸如标签的添加、已添加标签的删除、以及新标签的登记之类的有关标签的各种操作。
3-5 其他实施例中的实施例5
在以上的第一实施例中,在一个任意的已记录图像被选择并且该已记录图像被显示在TP显示器8(图5)中的状态下,当用于添加标签的预定触摸操作被执行时,标签添加/删除窗口80被显示,如图8中所示。
本发明不限于以上内容,并且优选地还有,即使在根据时间序列分组的列表画面40(图4)被显示的情况下,标签添加/删除窗口80也响应于添加标签的预定触摸操作而被显示,如图27中所示。
在这种情况下,数码相机1在那之后针对与每次显示的缩略图相对应的所有已记录图像执行标签的添加或已添加标签的删除。
例如,假设在标签添加/删除窗口80的添加按钮80A被按压之后,新的/已登记的标签添加窗口90的新按钮90A被按压。然后,控制器20显示新标签添加画面110,在该画面中,刚刚被显示的根据时间序列分组的列表画面40被减小地显示在TP显示器8上的区域111中,如图28中所示。
然后,假设任意标签被从新标签添加画面110的区域113处显示的候选标签中选择,并且区域112处显示的添加按钮112A被按压。然后,控制器20针对与在区域111处的根据时间序列分组的列表画面40上显示的缩略图相对应的所有已记录图像添加从区域113中选择的标签。
根据以上内容,可以在短时间内更有效率地将标签添加至多个已记录图像。在这种情况下,通过使用根据时间序列分组的列表画面40,标签的添加或所添加的标签的删除被一次针对多个已记录图像执行。然而,也可以在使用根据图像拍摄日期的列表画面60或根据标签的列表画面70时执行相同的操作。
3-6 其他实施例中的实施例6
另外,在第一实施例中,通过从已登记标签数据库中搜索如下已登记标签来在区域113处对它们进行显示,所述已登记标签以与从成像后的图像检测的字符串的第一字符相同的字符开始。本发明不限于此,并且优选地还有,包括被检测字符串中包含的多个字符中的至少一个字符的已登记标签被从已登记标签数据库中搜索,并被显示在区域113处。
3-7 其他实施例中的实施例7
另外,在第一实施例中,当快门按钮7被半按压时,当时通过成像器件25捕捉的成像后的图像的图像数据被传送至字符识别引擎32,以从成像后的图像(静止图像)中检测该字符串。本发明不限于此,并且优选地还有,在将显示器切换到新标签添加画面110后,通过成像器件25捕捉的成像后的图像的图像数据被例如逐帧地连续传送至字符识别引擎32,从而实时地从成像后的图像(运动图像)中检测字符串。
3-8 其他实施例中的实施例8
另外,在以上实施例中,图像数据被记录在缝隙9中***的记录介质30中。本发明不限于此,优选地还有,作为记录介质30的替代物的闪速存储器或硬盘被设置在数码相机1中,并且图像数据被记录在其中。
3-9 其他实施例中的实施例9
另外,在以上实施例中,诸如标签添加的各种操作通过TP显示器8的触摸面板来执行。本发明不限于此,优选地还有,作为对于触摸面板的替代物的操作按钮被设置在数码相机1中,并且各种操作通过操作按钮来执行。
3-10 其他实施例中的实施例10
另外,在以上实施例中,用于执行标签添加处理的程序被预先写在闪速存储器22中。本发明不限于此,优选地还有,该程序被记录在记录介质30中,数码相机1从记录介质30读取程序并将该程序安装在闪速存储器22中。更优选地,从通过接口终端10连接的PC传送的程序被安装在闪速存储器22中。
在这种情况下,PC侧可以通过从网络上的规定服务器下载程序或从规定的记录介质读取程序来获取该程序。作为规定的记录介质,例如,诸如CD(致密盘)、DVD(数字通用光盘)或存储器卡之类的可选记录介质可以被使用。
3-11 其他实施例中的实施例11
另外,在以上实施例中,相机透镜部3、成像器件25和模拟信号处理单元26被作为成像单元设置在数码相机1处。另外,记录介质30被作为图像记录单元安置在数码相机1上。而且,控制器20被作为回放单元设置在数码相机1处。另外,字符识别引擎32、二维识别引擎200、图像分析引擎210和控制器20被作为字符信息检测单元设置在数码相机1处。
而且,控制器20、数字信号处理单元27和显示处理单元28被作为显示控制单元设置在数码相机1处。另外,控制器20被作为字符信息关联单元设置在数码相机1处。另外,快门按钮7被作为指令输入单元设置在数码相机1处。另外,闪速存储器22被作为字符信息记录单元设置在数码相机1处。另外,控制器20被作为搜索单元设置在数码相机1处。
本发明不限于此,优选地还有,以上描述的数码相机1的各功能单元由其他各种硬件或软件(如果它们具有相同的功能的话)形成。例如,优选地还有,通过从控制器20去除这些功能,提供分别负责回放单元、字符信息关联单元和搜索单元的功能的硬件。另外,优选地还有,控制器20通过软件来负责字符信息检测单元的功能。
另外,本发明如果是包括相同功能的成像设备则不限于数码相机1,并且其可以被应用于具有摄像功能的诸如数码便携式摄像机、PC、游戏机、蜂窝电话装置之类的其他各种成像设备。
另外,本发明不限于其中字符串被作为标签添加到图像的数码相机1,并且可以被应用于其他各种成像设备(如果它们将任意字符信息与图像相关联的话)。
3-12 其他实施例中的实施例12
另外,本发明不限于以上已经说明的第一和第二实施例以及其他实施例1至11。也就是说,本发明的申请范围延伸至以上已经说明的第一和第二实施例以及其他实施例1至11中的部分或全部被随意结合的形式或其多个部分被提取的形式。
例如,第一实施例和第二实施例可以被结合。据此,当其中写有字符串的拍摄对象被成像时,该字符串被字符识别引擎32检测,并且当其中写有二维编码的拍摄对象被成像时,该字符串被二维编码识别引擎200检测。
另外,例如,其他实施例中的实施例2和实施例4可以被结合。据此,可以通过从指明任意标签被添加的图标Ic被按压时显示的弹出窗口中选择该标签并按压区域112处的删除按钮112B来从已记录图像中删除任意标签。
本发明可以被用于例如能够向图像添加标签的数码相机、数码便携式摄像机等。
本领域技术人员应该理解,基于涉及要求和其他因素,可以想到各种修改、组合、子组合以及改变,只要它们在所附权利要求和其等同物的范围内。
Claims (12)
1.一种成像设备,包括:
成像单元,被配置为对拍摄对象进行成像,并输出成像后的图像;
图像记录单元,被配置为记录图像;
回放单元,被配置为回放所述图像记录单元中记录的已记录图像;
字符信息检测单元,被配置为从由所述成像单元输出的成像后的图像中检测字符信息;
显示控制单元,被配置为在相同画面上显示由所述回放单元回放的已记录图像和从所述成像单元输出的成像后的图像;以及
字符信息关联单元,被配置为将所述字符信息检测单元从所述画面上显示的所述成像后的图像中检测的字符信息与相同画面上显示的所述已记录图像相关联。
2.根据权利要求1所述的成像设备,
其中,在所述画面上,除了所述回放单元回放的已记录图像和从所述成像单元输出的成像后的图像外,还显示所述字符信息检测单元从所述成像后的图像中检测出的字符信息。
3.根据权利要求1所述的成像设备,
其中,所述回放单元回放多个已记录图像,
其中,所述显示控制单元在所述画面上以列表方式显示所述回放单元回放的所述多个已记录图像,并且
其中,所述字符信息关联单元将所述字符信息检测单元检测出的字符信息与所述画面上以列表方式显示的多个已记录图像的相应已记录图像相关联。
4.根据权利要求2所述的成像设备,还包括:
指令输入单元,被配置为输入指示所述字符信息检测单元检测所述字符信息的指令,并且
其中,当所述指令通过所述指令输入单元被输入时,所述字符信息检测单元从输出自所述成像单元的成像后的图像中检测字符信息。
5.根据权利要求4所述的成像设备,其中,每当所述指令通过所述指令输入单元被输入时,所述字符信息检测单元从输出自所述成像单元的成像后的图像中检测字符信息。
6.根据权利要求5所述的成像设备,
其中,每当字符信息被所述字符信息检测单元检测出来时,所述显示控制单元在所述画面上另外显示所检测的字符信息,并且
其中,所述字符信息关联单元将从所述画面上显示的字符信息中选择的字符信息与所述已记录图像相关联。
7.根据权利要求5所述的成像设备,
其中,所述指令输入单元是快门按钮,每当所述快门按钮被半按压时,所述指令输入单元输入指示所述字符信息检测单元检测字符信息的指令。
8.根据权利要求2所述的成像设备,还包括:
字符信息记录单元,被配置为记录通过所述字符信息关联单元与所述已记录图像相关联的字符信息;以及
搜索单元,被配置为从所述字符信息记录单元中搜索包括所述画面上显示的字符信息中包含的字符中的至少一个字符的字符信息,并且
其中,除了所述回放单元回放的已记录图像、所述成像单元输出的成像后的图像以及所述字符信息检测单元检测出的字符信息以外,所述显示控制单元还在所述画面上显示所述搜索单元搜索出的字符信息,并且
其中,所述字符信息关联单元将所述字符信息检测单元检测出的字符信息和从所述搜索单元搜索出的字符信息中选择的字符信息与所述已记录图像相关联。
9.根据权利要求1所述的成像设备,
其中,所述图像是静止图像或运动图像、或它们二者。
10.根据权利要求1所述的成像设备,
其中,所述图像记录单元是可移除的记录介质。
11.一种字符信息关联方法,包括以下步骤:
通过成像单元对拍摄对象进行成像并输出成像后的图像,以及通过回放单元回放图像记录单元中记录的已记录图像;
通过显示控制单元在相同画面上显示由所述回放单元回放的已记录图像和从所述成像单元输出的成像后的图像;以及
通过字符信息关联单元将由字符信息检测单元从所述画面上显示的、所述成像单元输出的成像后的图像中检测出的字符信息与在相同画面上显示的已记录图像相关联。
12.一种字符信息关联程序,所述字符信息关联程序使成像设备执行以下步骤:
通过成像单元对拍摄对象进行成像并输出成像后的图像,以及通过回放单元回放所述图像记录单元中记录的已记录图像;
通过显示控制单元在相同画面上显示由所述回放单元回放的已记录图像和从所述成像单元输出的成像后的图像;以及
通过字符信息关联单元将由字符信息检测单元从所述画面上显示的、所述成像单元输出的成像后的图像中检测出的字符信息与在相同画面上显示的已记录图像相关联。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008084125A JP4517310B2 (ja) | 2008-03-27 | 2008-03-27 | 撮像装置、文字情報関連付け方法及び文字情報関連付けプログラム |
JP2008-084125 | 2008-03-27 | ||
JP2008084125 | 2008-03-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101547303A true CN101547303A (zh) | 2009-09-30 |
CN101547303B CN101547303B (zh) | 2011-11-09 |
Family
ID=41117367
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009101270986A Expired - Fee Related CN101547303B (zh) | 2008-03-27 | 2009-03-27 | 成像设备、字符信息关联方法、和字符信息关联*** |
Country Status (3)
Country | Link |
---|---|
US (1) | US8705878B2 (zh) |
JP (1) | JP4517310B2 (zh) |
CN (1) | CN101547303B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102215342A (zh) * | 2010-04-09 | 2011-10-12 | 索尼公司 | 成像设备、显示控制方法和程序 |
CN102957793A (zh) * | 2011-08-18 | 2013-03-06 | Lg电子株式会社 | 移动终端及其控制方法 |
CN103020144A (zh) * | 2012-11-21 | 2013-04-03 | 用友软件股份有限公司 | 文件管理***和文件管理方法 |
CN103716535A (zh) * | 2013-12-12 | 2014-04-09 | 乐视致新电子科技(天津)有限公司 | 一种切换拍摄模式方法和电子设备 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012039174A (ja) | 2010-08-03 | 2012-02-23 | Ricoh Co Ltd | 撮像装置及び撮像方法 |
JP2014067266A (ja) * | 2012-09-26 | 2014-04-17 | Kyocera Corp | 電子機器、制御方法、及び制御プログラム |
US20190205450A1 (en) * | 2018-01-03 | 2019-07-04 | Getac Technology Corporation | Method of configuring information capturing device |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5987459A (en) * | 1996-03-15 | 1999-11-16 | Regents Of The University Of Minnesota | Image and document management system for content-based retrieval |
JP3799745B2 (ja) * | 1997-06-16 | 2006-07-19 | カシオ計算機株式会社 | 画像処理装置 |
KR20020050780A (ko) * | 2000-12-21 | 2002-06-27 | 조명래 | 상황 정보 처리 장치 및 그 처리 방법 |
JP4812190B2 (ja) * | 2001-06-20 | 2011-11-09 | オリンパス株式会社 | 画像ファイル装置 |
US6516154B1 (en) * | 2001-07-17 | 2003-02-04 | Eastman Kodak Company | Image revising camera and method |
JP2003274320A (ja) * | 2002-03-15 | 2003-09-26 | Konica Corp | 画像撮像装置、画像情報処理装置及び画像情報処理方法 |
US20050078190A1 (en) * | 2002-10-23 | 2005-04-14 | Bloom Daniel M. | System and method for associating information with captured images |
DE10354556B4 (de) * | 2002-11-25 | 2008-10-09 | Samsung Electronics Co., Ltd., Suwon | Vorrichtung und Verfahren zum Anzeigen von Bildern in einem mobilen Endgerät |
WO2005106706A2 (de) * | 2004-04-27 | 2005-11-10 | Siemens Aktiengesellschaft | Verfahren sowie anordnung zum automatischen übersetzen eines textes |
JP2006059075A (ja) * | 2004-08-19 | 2006-03-02 | Fuji Xerox Co Ltd | 文書処理装置およびプログラム |
JP4457358B2 (ja) * | 2006-05-12 | 2010-04-28 | 富士フイルム株式会社 | 顔検出枠の表示方法、文字情報の表示方法及び撮像装置 |
JP2008022280A (ja) * | 2006-07-12 | 2008-01-31 | Fujifilm Corp | 撮影装置、方法およびプログラム |
US20080317346A1 (en) * | 2007-06-21 | 2008-12-25 | Microsoft Corporation | Character and Object Recognition with a Mobile Photographic Device |
US20090015592A1 (en) * | 2007-07-11 | 2009-01-15 | Lsi Corporation | Display with efficient memory usage |
CN101102507B (zh) * | 2007-08-01 | 2010-09-15 | 北京创毅视讯科技有限公司 | 移动多媒体广播数据的传输方法、装置和*** |
US20100104187A1 (en) * | 2008-10-24 | 2010-04-29 | Matt Broadbent | Personal navigation device and related method of adding tags to photos according to content of the photos and geographical information of where photos were taken |
-
2008
- 2008-03-27 JP JP2008084125A patent/JP4517310B2/ja not_active Expired - Fee Related
-
2009
- 2009-03-25 US US12/410,507 patent/US8705878B2/en not_active Expired - Fee Related
- 2009-03-27 CN CN2009101270986A patent/CN101547303B/zh not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102215342A (zh) * | 2010-04-09 | 2011-10-12 | 索尼公司 | 成像设备、显示控制方法和程序 |
CN102957793A (zh) * | 2011-08-18 | 2013-03-06 | Lg电子株式会社 | 移动终端及其控制方法 |
US8923572B2 (en) | 2011-08-18 | 2014-12-30 | Lg Electronics Inc. | Mobile terminal and control method thereof |
CN103020144A (zh) * | 2012-11-21 | 2013-04-03 | 用友软件股份有限公司 | 文件管理***和文件管理方法 |
CN103020144B (zh) * | 2012-11-21 | 2015-11-18 | 用友汽车信息科技(上海)股份有限公司 | 文件管理***和文件管理方法 |
CN103716535A (zh) * | 2013-12-12 | 2014-04-09 | 乐视致新电子科技(天津)有限公司 | 一种切换拍摄模式方法和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
US20090245752A1 (en) | 2009-10-01 |
JP4517310B2 (ja) | 2010-08-04 |
CN101547303B (zh) | 2011-11-09 |
US8705878B2 (en) | 2014-04-22 |
JP2009239696A (ja) | 2009-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101547303B (zh) | 成像设备、字符信息关联方法、和字符信息关联*** | |
JP3780623B2 (ja) | 動画像の記述方法 | |
US7949207B2 (en) | Video structuring device and method | |
US20110052086A1 (en) | Electronic Apparatus and Image Processing Method | |
JP4197014B2 (ja) | 映像の検索方法および装置 | |
JP2011244043A (ja) | 映像記録再生装置 | |
JP4333808B2 (ja) | 映像の検索方法および装置 | |
JP2005284367A (ja) | コンテンツ表示方法およびシステム | |
JP3997882B2 (ja) | 映像の検索方法および装置 | |
WO2010137026A1 (en) | Method and computer program product for enabling organization of media objects | |
JP3931890B2 (ja) | 映像の検索方法および装置 | |
JP4796022B2 (ja) | 画像記録装置、制御プログラム、コンピュータ読み取り可能な記録媒体、及び画像記録方法 | |
JP2008003972A (ja) | メタデータ生成装置およびメタデータ生成方法 | |
JP2005039354A (ja) | メタデータ入力方法と編集システム | |
JP2009212935A (ja) | 画像処理装置および方法、並びにプログラム | |
JP7483784B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN111461103B (zh) | 一种点读场景去干扰的方法、装置、电子设备和存储介质 | |
KR20100018660A (ko) | 영상 데이터의 파일명 생성 방법 | |
JP2000276489A (ja) | 情報処理装置 | |
JP2005354416A5 (zh) | ||
CN117093746A (zh) | 视频预览方法、视频预览装置和电子设备 | |
JP4549325B2 (ja) | 映像情報インデキシング支援装置、プログラム及び記憶媒体 | |
CN116320789A (zh) | 一种本地图像处理方法、装置、图像采集设备及存储介质 | |
KR200316206Y1 (ko) | 다중 얼굴 검출 데이터를 이용한 디지털 영상감시장치. | |
JP2010212821A (ja) | 記録再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111109 Termination date: 20210327 |