WO2010070870A1 - 情報取得装置、情報取得方法およびプログラム - Google Patents
情報取得装置、情報取得方法およびプログラム Download PDFInfo
- Publication number
- WO2010070870A1 WO2010070870A1 PCT/JP2009/006854 JP2009006854W WO2010070870A1 WO 2010070870 A1 WO2010070870 A1 WO 2010070870A1 JP 2009006854 W JP2009006854 W JP 2009006854W WO 2010070870 A1 WO2010070870 A1 WO 2010070870A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- unit
- information acquisition
- identification target
- display information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
Definitions
- the present invention relates to an information acquisition device, an information acquisition method, and a program.
- a method of capturing an image with a camera and selecting and displaying related information based on the captured image For example, when a two-dimensional code is imaged, there is a method of displaying a web page corresponding to a URL (Uniform Resource Locator) obtained by decoding the two-dimensional code.
- URL Uniform Resource Locator
- a device for selecting information recognizes in advance the identification objects shown on the image, and assigns the order to each identification object. Each time the selection button is pressed, the identification objects to be selected are changed in order. The user presses the selection button until the desired identification target is selected, and the desired identification target is selected and the determination button is pressed. It is detected that the user has pressed the decision button, and the identification target at that time is selected.
- the related information acquisition methods such as the above-described method have a problem that an operation for selecting only one when there are a plurality of identification targets is complicated, or advance preparation is necessary.
- there is the above-described method for selecting one of a plurality of two-dimensional codes by causing only one two-dimensional code to be reflected on the camera which is often used in a method of imaging a two-dimensional code with a camera. .
- this method it is necessary to adjust the position of the camera so that only one two-dimensional code is reflected on the camera. In particular, when the position of the camera is far from the identification target and the zoom function of the camera is not sufficient, one identification target cannot be selected.
- An object of the present invention is to provide an information acquisition apparatus that can easily select an identification target when there are a plurality of identification targets.
- the information acquisition apparatus captures an image of a subject that is a visually identifiable identification target and has an identification target associated with display information, and is a captured image of the imaging result.
- An imaging unit that outputs the image
- an area setting unit that designates an area in the captured image based on a position on the subject, which is indicated by a pointing device, and the identification target is detected from within the area of the captured image.
- a display information acquisition unit that acquires the display information associated with the identification target and sets the acquired display information as information to be displayed.
- the region setting unit is a region of the captured image corresponding to the region on the subject, which is indicated by a pointing device capable of indicating the region on the subject. May be designated as the region.
- the information acquisition apparatus may further include a coordinate storage unit that stores a plurality of detected coordinates, and the region specifying unit reads the coordinates from the coordinate storage unit. Then, a trajectory that is a set of the coordinates may be generated, and an area in the captured image may be designated based on the generated trajectory.
- the trajectory may be a set of coordinates detected within a predetermined time, and the region designating unit approximates the trajectory.
- An ellipse may be calculated, and the calculated ellipse may be used as the area to be specified.
- the region setting unit is a region of the captured image corresponding to the region on the subject, which is indicated by a pointing device capable of indicating the region on the subject. May be designated as the region.
- the information acquisition apparatus may further include an information storage unit that stores the information for display in association with information for identifying the identification target, the display information acquisition unit Detects the identification target from within the region of the captured image, acquires the display information associated with the information for identifying the identification target from the information storage unit, and acquires the display information acquired May be information to be displayed.
- the identification target may be a visually identifiable information code that encodes the display information
- the display information acquisition unit includes: The display information associated with the identification information may be acquired by performing decoding corresponding to the encoding on the detected identification target.
- the identification target may be a visually identifiable information code encoded with location information indicating the location of the display information.
- the display information acquisition unit acquires the location information associated with the identification information by performing decoding corresponding to the encoding with respect to the detected identification target, and displays the location information based on the location information. May be obtained.
- the display information may be information indicating a state of the managed device, and the identification target is information indicating the state of the managed device.
- the display information acquisition unit may detect the identification target from within the area of the captured image, and the managed information associated with the identification target may be associated with identification information of a target managed device. Obtaining the identification information of the device, obtaining information indicating the state of the managed device using the identification information from a management server having information indicating the state of the managed device, and obtaining the acquired information on the managed device A display information acquisition unit that uses information indicating a state as information to be displayed may be included.
- the information acquisition apparatus captures an image of a subject that is a visually identifiable identification target and has an identification target associated with display information, and is a captured image of the imaging result.
- An area setting unit for designating an area in the captured image based on a position on the subject, which is indicated by a pointing device, and the identification target is selected from within the area of the captured image.
- a display information acquisition unit that detects, acquires the display information associated with the identification target, and sets the acquired display information as information to be displayed.
- the information acquisition device images a subject having an identification target that is visually identifiable and is associated with display information, and the imaging result An imaging process for outputting the captured image, an area setting process for designating an area in the captured image based on a position on the subject, which is indicated by a pointing device, and the information acquisition apparatus , Detecting the identification target from within the region of the captured image, acquiring the display information associated with the identification target, and obtaining the display information as the information to be displayed Process.
- the program according to the present invention is connected to an imaging unit that captures an image of a subject that is a visually identifiable identification target and has an identification target associated with display information, and outputs a captured image of the imaging result.
- the display information associated with the identification target is acquired, and a display information acquisition process is performed in which the acquired display information is information to be displayed.
- the user when there are a plurality of identification objects, the user can easily select the identification object using the pointing device and call the corresponding information.
- FIG. 6 is a diagram illustrating an example in which a certain position on a subject is indicated by a pointing device in the first embodiment.
- a 1st embodiment it is a key map showing an example of a storage area which constitutes an indication position storage part.
- a spot moves when a user operates a pointing device.
- FIG. 6 is a conceptual diagram in which spot images that are picked up when the designated position moves as shown in FIG. 5 are superimposed in the first embodiment.
- FIG. 6 is a conceptual diagram illustrating an example in which a region for pattern recognition is extracted from a captured image using a mask created by a region specifying unit in the first embodiment.
- FIG. 6 is a key map showing an example of a pattern picture and a pattern number which a pattern storage part memorizes.
- 1st Embodiment it is a conceptual diagram showing the memory content of an information storage part.
- 1st Embodiment it is a figure showing the example which the display part displayed display information.
- movement of the information acquisition apparatus in 1st Embodiment It is a block diagram which shows the structure of the information acquisition apparatus by 2nd Embodiment of this invention.
- 3rd Embodiment it is a conceptual diagram showing the example of the pattern image memorize
- 3rd Embodiment it is a conceptual diagram showing the example of the information generation rule which an information generation rule memory
- 4th Embodiment it is a conceptual diagram showing the example of the information generation rule which an information generation rule memory
- 5th Embodiment it is a conceptual diagram showing the example of the status information of the managed apparatus which a management server has.
- FIG. 1 is a schematic block diagram showing the configuration of the information acquisition device in the first embodiment of the present invention.
- the information acquisition apparatus 1a of FIG. 1 includes an imaging unit 10, a processing unit 11a, a storage unit 12a, and a display unit 13.
- the processing unit 11a includes an area setting unit 15a, a pattern recognition unit 114a, and a display information acquisition unit 115a.
- the region setting unit 15a includes a designated position detection unit 111, a locus extraction unit 112, and a region designation unit 113a.
- the storage unit 12a includes an image storage unit 121, an indicated position storage unit 122, a pattern storage unit 123a, and an information storage unit 124a.
- the information acquisition device 1a images the subject 20a.
- the subject 20a has four identification objects 2a, 2b, 2c, and 2d.
- the identification target is a symbol visually identifiable from outside the subject, such as a pattern attached to the surface of the subject, and is associated with information (display information) to be displayed by the information acquisition device 1a. Symbol. A certain position (point) on the subject 20a is indicated by the user operating the pointing device 3a.
- the number of identification objects is not limited to four, but may be plural.
- FIG. 2 is a diagram illustrating an example of a subject in the present embodiment.
- the subject 20a has four identification objects 2a, 2b, 2c, and 2d.
- the subject 20a is, for example, a layout diagram of devices in a certain factory.
- the identification objects 2a, 2b, 2c, and 2d are, for example, symbols representing one device (device names “aaa”, “bbb”, “ccc”, “ddd”).
- FIG. 3 is a diagram illustrating an example in which a certain position on the subject 20a is indicated by the pointing device 3a.
- a point formed on the subject by the pointing device is referred to as a spot
- a position on the subject indicated by the spot is referred to as an instruction position.
- the pointing device 3a is a laser pointer
- the light spot P formed by the laser beam on the subject 20a is a spot.
- the tip of the pointer is a spot.
- the imaging unit 10 periodically images the subject 20a at a predetermined time interval, and writes a still image obtained as a result of the imaging in the image storage unit 121 as a captured image.
- the image storage unit 121 stores the latest captured image captured by the imaging unit 10.
- the designated position detection unit 111 detects a spot image on a captured image (hereinafter simply referred to as “captured image”) stored in the image storage unit 121.
- the designated position detection unit 111 detects a spot image, detects coordinates on the captured image corresponding to the designated position, and writes the detected coordinates in the designated position storage unit 122.
- the coordinates on the captured image are uniquely determined according to a coordinate system provided in advance. For example, a coordinate system in which the upper left of the captured image is the origin, the X axis is the right direction, the Y axis is the lower direction, and one pixel of the image is a coordinate unit is provided in advance.
- a method for detecting a spot image an existing method can be used.
- the pointing device is a laser pointer
- a method of extracting only a spot color using a hue filter or a method of extracting a region moving at a certain speed by taking a temporal difference can be used.
- the designated position detection unit 111 writes information indicating that the designated position is not detected in the designated position storage unit 122.
- the designated position storage unit 122 stores, in a time series, coordinates for a fixed time from the latest coordinates among the coordinates written by the designated position detection unit 111.
- FIG. 4 is a conceptual diagram illustrating an example of a storage area that constitutes the designated position storage unit 122.
- the designated position storage unit 122 stores coordinates of designated positions for 30 imaging operations.
- the designated position storage unit 122 stores a time stamp, an X coordinate, and a Y coordinate in association with each other.
- the X coordinate value “152” and the Y coordinate value “21” are stored in association with the time stamp “1”
- the X coordinate “120” is stored in association with the time stamp “2”.
- the indicated position detection unit 111 writes the detection results in order from the time stamp 1 line, and after writing up to the time stamp 30 line, writes the detection result again in order from the time stamp 1 line.
- information indicating that the indicated position has not been detected for example, information in which the value of the X coordinate is a negative value is used.
- FIG. 5 is a diagram illustrating an example in which the spot P moves when the user operates the pointing device.
- the information acquisition apparatus 1a selects the one identification object.
- the surrounding operation may be incomplete as shown in FIG.
- FIG. 6 is a conceptual diagram in which spot images that are captured when the designated position moves as shown in FIG. 5 are superimposed.
- P1, P2,..., Pn-1, and Pn are spots.
- the determined number of coordinates are read out and output to the area designating unit 113a as a set of coordinates.
- a set of coordinates output by the trajectory extraction unit 112 is referred to as a “trajectory”.
- the number of coordinates that the trajectory extraction unit 112 reads out the coordinates is, for example, a certain number preset by the user. Since the imaging unit 10 periodically performs imaging, by performing such processing, the coordinates of the designated position within a certain time can be obtained. In this case, the user sets a smaller number as the speed at which the pointing device is operated is higher. With this setting, a trajectory that does not include the coordinates detected during the operation before the operation surrounding the identification target can be output to the region specifying unit 113a.
- the area designating unit 113a uses the trajectory input from the trajectory extracting unit 112 to obtain an area where the user has performed an operation, and designates the obtained area as an area for pattern recognition.
- the center representing the ellipse that approximates the input trajectory by using an existing method such as an ellipse approximation method by the least square method or an ellipse approximation method by the Hough transform, for example.
- the inclination, axial length can be obtained, and the center, inclination, and axial length of this ellipse can be used.
- the area designating unit 113a creates a mask for extracting the obtained elliptical area on the captured image, and outputs the mask to the pattern recognition unit 114a.
- the mask is, for example, a set of bits corresponding to each pixel of the captured image, and the bit value “1” indicates that the corresponding pixel is in an area where pattern recognition is performed, and the bit value “0”. "Represents that the corresponding pixel is outside the region where pattern recognition is performed.
- FIG. 7 is a diagram illustrating an example when the identification target is elongated.
- An ellipse L1 shown in FIG. 7 represents an approximation of the locus by an ellipse.
- the ellipse L1 surrounds the entire identification target (B) surrounded by the trajectory and does not surround the other identification targets (A, C).
- FIG. 7 represents approximation by a circle of the locus.
- the circle L2 surrounds only a part of the identification object (B) surrounded by the trajectory, and also surrounds a part of the other identification objects (A, C). If the locus is approximated by an ellipse in this way, even if the identification objects are elongated and the identification objects are close to each other, one identification object can be surrounded. Therefore, an ellipse is more suitable as a figure that approximates the locus.
- FIG. 8 is a diagram illustrating a state in the middle of the operation surrounding the identification target. A rectangle L4 shown in FIG. 8 represents the approximation by the rectangle of the locus. In FIG.
- an ellipse L3 shown in FIG. 8 represents an approximation of the locus by an ellipse.
- An ellipse L3 surrounds the entire identification target. If the trajectory is approximated by an ellipse in this way, the entire identification target can be surrounded even when a part of the identification target is located above the trajectory. Therefore, an ellipse is more suitable as a figure that approximates the locus.
- FIG. 9A is a conceptual diagram illustrating an example of a mask created by the area designating unit 113a.
- a hatched portion corresponds to a region in the captured image where pattern recognition is not performed.
- the value of the bit of the mask M in this part is “0”.
- a portion without hatching corresponds to a region for pattern recognition in the captured image.
- the value of the bit of the mask M in this part is “1”.
- FIG. 9B is a conceptual diagram illustrating an example in which the pattern recognition unit 114a extracts a region for pattern recognition from a captured image using the mask M created by the region specification unit 113a.
- the pattern recognition unit 114a performs pattern recognition on a region including the identification target 2a in the captured image corresponding to the portion where the bit value in the mask M is “1”.
- FIG. 10 is a conceptual diagram showing an example of pattern images and pattern numbers stored in the pattern storage unit 123a.
- the pattern storage unit 123a stores in advance each of the plurality of pattern images used for pattern recognition by the pattern recognition unit 114a in association with the pattern number. For example, pattern number “1” and pattern image G1, pattern number “2”, pattern image G2, pattern number “3” and pattern image G3, pattern number “4” and pattern image G4 are stored in association with each other. Yes.
- the pattern recognition unit 114a calculates the similarity between each pattern image stored in the pattern storage unit 123a and the image in the region determined by the region designating unit 113a by pattern recognition, and is greater than or equal to a predetermined similarity. Then, the pattern image having the highest similarity is selected.
- a pattern recognition method an existing method such as a method of obtaining similarity between an image in a region and each image pattern using template matching can be used.
- the pattern recognition unit 114a refers to the pattern storage unit 123a, acquires a pattern number corresponding to the pattern image selected as a result of pattern recognition, and outputs the pattern number to the display information acquisition unit 115a.
- FIG. 11 is a conceptual diagram showing the storage contents of the information storage unit 124a.
- the information storage unit 124a stores a pattern number and display information in association with each other in advance.
- the display information is a display character string representing the name of the device.
- the information storage unit 124a displays a display character string “device aaa” and a pattern number “1” representing the name of the device aaa, a display character string “device bb” and a pattern number “2” representing the name of the device bbb.
- each piece of display information is associated with a pattern image in the pattern storage unit 123a, which is identification information.
- a display character string “Is device aaa” indicating the name of the device aaa shown in FIG. 11 is associated with the pattern image G1 of FIG. 10 and the pattern number “1”.
- the display information acquisition unit 115a refers to the information storage unit 124a and acquires display information corresponding to the pattern number input from the pattern recognition unit 114a. Furthermore, the display information acquisition unit 115a determines the information to be displayed as information to be displayed (display information).
- the display unit 13 displays the display information determined by the display information acquisition unit 115a.
- FIG. 12 is a diagram illustrating an example in which the display unit 13 displays display information.
- a screen D displayed by the display unit 13 is a screen representing a display character string “device aaa” in the information storage unit 124 a acquired by the display information acquisition unit 115 a as display information.
- FIG. 13 is a flowchart showing the operation of the information acquisition apparatus 1a in the present embodiment.
- the imaging unit 10 images the subject 20a and outputs the captured still image to the image storage unit 121 (S1).
- the designated position detection unit 111 attempts to detect the designated position in the captured image (S2), and determines whether the designated position has been successfully detected (S3). If it is determined in step S3 that the designated position has not been detected, the designated position detection unit 111 stores information indicating that the designated position has not been detected in the designated position storage unit 122 (S5), and then returns to step S1. “Imaging (S1)” The following steps are repeated. If it is determined in step S3 that the designated position has been detected, the designated position detection unit 111 stores the detected designated position in the designated position storage unit 122 (S4).
- the trajectory extraction unit 112 extracts an indicated position within a predetermined time as a trajectory from the indicated positions stored in the indicated position storage unit 122, and outputs it to the area specifying unit 113a (S6).
- the area designating unit 113a designates an area for pattern recognition based on the extracted trajectory (S7).
- the pattern recognition unit 114a attempts pattern recognition between the image in the captured image in the region determined in step S6 and the pattern image stored in the pattern storage unit 123a (S8), and the pattern that has succeeded in pattern recognition It is determined whether there is an image (S9). If it is determined in step S9 that the pattern recognition has failed for all pattern images, the steps after step S1 are repeated. If it is determined that pattern recognition has succeeded for any one of the pattern images, the pattern recognition unit 114a refers to the pattern storage unit 123a and acquires a pattern number associated with the pattern image that has been successfully recognized. Further, the pattern recognition unit 114a outputs the pattern number to the display information acquisition unit 115a.
- the display information acquisition unit 115a refers to the information storage unit 124a, acquires information associated with the pattern number input from the display information acquisition unit 115a as display information (S10), and displays the information. It is displayed on the part 13 (S11). Thereafter, the steps after step S1 are repeated.
- the present embodiment when there are a plurality of identification objects, one identification object is detected from the area designated by the pointing device. With this configuration, it is not necessary to adjust the position of the camera so that only one identification target is imaged. Further, it is not necessary to prepare in advance such as recognizing the identification target in advance on the image. Further, even when there are many identification objects, the time required to select a desired identification object is the same as when there are few identification objects. Moreover, since the area
- the pointing device used in this embodiment may be a pointing device that can point to one point, such as a pointer or a human finger, in addition to a laser pointer.
- the designated position detection unit 111 detects the designated position according to the pointing device to be used. For example, the color of the tip of the pointer is detected and used as the designated position, or the shape of a human hand is recognized by image recognition and the tip is used as the designated position.
- the imaging unit 10, the storage unit 12 a, and the display unit 13 are independent imaging devices, storage devices, and monitors, and the information acquisition device 1 a is realized by connecting these to the information acquisition device. May be.
- the storage unit 12a may be configured by a nonvolatile memory such as a hard disk device, a magneto-optical disk device, or a flash memory, a volatile memory such as a RAM (Random Access Memory), or a combination thereof.
- the processing unit 11a may be realized by dedicated hardware, or may be realized by a memory and a microprocessor.
- FIG. 14 is a schematic block diagram showing the configuration of the information acquisition device 1b in the second embodiment of the present invention.
- the information acquisition device 1b includes an imaging unit 10, a processing unit 11b, a storage unit 12b, and a display unit 13.
- the processing unit 11b includes an area setting unit 15b, a pattern recognition unit 114a, and a display information acquisition unit 115a.
- the storage unit 12b includes an image storage unit 121, a pattern storage unit 123a, and an information storage unit 124a.
- the area setting unit 15b includes an instruction area detection unit 113b. In the information acquisition apparatus 1b of FIG.
- the same reference numerals (10, 13, 114a, 115a, 121, 123a, 124a) are assigned to the portions corresponding to the respective parts of the information acquisition apparatus 1a of FIG. To do.
- the subject in the present embodiment corresponds to the subject in FIG. 1, and the same reference numerals (2a, 2b, 2c, 2d, 20a) as those in FIG.
- the second embodiment of the present invention shown in FIG. 14 is that the pointing device 3b has a configuration as described later, the area setting unit 15b does not include the indicated position detection unit 111 and the locus extraction unit 112, 1 is different from the first embodiment of the present invention shown in FIG. 1 in that the storage unit 12b does not include the indication position storage unit 122.
- FIG. 15 is a diagram illustrating an example of the pointing device of the present embodiment.
- the pointing device 3b can indicate an area (instruction area) R on the subject 20a.
- an area (instruction area) R on the subject 20a.
- the instruction area detection unit 113b detects an image of the instruction area from the captured image stored in the image storage unit 121, and creates a mask for extracting the area. Further, the instruction area detection unit 113b outputs the mask to the pattern recognition unit 114a as an area for pattern recognition.
- the display information acquisition unit 115a acquires the display information, and the display unit 13 displays the display information.
- an existing method is used such as extracting only the image of the area corresponding to the color of the light circle 31 using a hue filter. Can do.
- FIG. 16 is a block diagram showing the configuration of the information acquisition device 1c in the third embodiment of the present invention.
- the information acquisition device 1c includes an imaging unit 10, a processing unit 11c, and a storage unit 12c.
- the processing unit 11c includes an area setting unit 15a, a pattern recognition unit 114b, and a display information acquisition unit 115b.
- the storage unit 12c includes an image storage unit 121, an indicated position storage unit 122, a pattern storage unit 123b, and an information generation rule storage unit 124b.
- the region setting unit 15a includes a designated position detection unit 111, a locus extraction unit 112, and a region designation unit 113a. In the information acquisition device 1c of FIG.
- FIG. 17 is a diagram illustrating an example of the subject 20b in the present embodiment.
- a subject 20b has four identification objects 2e, 2f, 2g, and 2h, which are two-dimensional codes in which display information is encoded.
- the number of identification objects is not limited to four, and may be any number.
- the area specifying unit 113a performs pattern recognition on the area including the image of the identification target 2e, as in the first embodiment. Is specified.
- the pattern recognition unit 114b performs pattern recognition on the area where pattern recognition is performed. If the recognition is successful, the pattern recognition unit 114b determines that the identification target 2e in the pattern recognition region is a two-dimensional code, and outputs an image of the two-dimensional code part to the display information acquisition unit 115b.
- FIG. 18 is a conceptual diagram illustrating an example of a pattern image stored in the pattern storage unit 123b in the present embodiment. The pattern image shown in FIG. 18 is only the outer frame portion. The blank part in the frame is a part where the two-dimensional code is displayed and is not subject to pattern recognition. The pattern recognition unit 114b attempts pattern recognition between the image of the area specified by the area specifying unit 113a and the pattern image stored in the pattern storage unit 123b.
- the pattern recognition unit 114b recognizes that the image of the region specified by the region specifying unit 113a includes a two-dimensional code, and the image of the part inside the frame that has succeeded in pattern recognition is The two-dimensional code image is output to the display information acquisition unit 115b.
- a pattern recognition method an existing method such as template matching can be used as in the first embodiment. In this case, for example, when the obtained similarity is equal to or greater than a predetermined value, it is determined that the pattern recognition is successful.
- FIG. 19 is a conceptual diagram illustrating an example of information indicating an information generation rule stored in the information generation rule storage unit 124b.
- the information indicating the information generation rule shown in FIG. 19 includes information indicating the rule “text obtained by decoding the two-dimensional code in the pattern is used as display information” and the encoding used to generate the two-dimensional code. And a corresponding decoding rule (a rule for converting a two-dimensional code into text).
- the display information acquisition unit 115b decodes the image of the two-dimensional code input from the pattern recognition unit 114b into text according to the decoding rule of the information generation rule storage unit 124b.
- the display information acquisition unit 115b uses the decoding result text as display information in accordance with the rule “uses the text obtained by decoding the two-dimensional code in the pattern as display information” in the information generation rule storage unit 124b. Output to the display unit 13.
- the display unit 13 displays the display information input from the display information acquisition unit 115b.
- display information is generated based on a decoding rule, so that new information can be added without adding information to the pattern storage unit 123b and the information generation rule storage unit 124b.
- An identification object can be used.
- the symbols representing the two-dimensional code used in the present embodiment may be symbols other than the format shown in FIG.
- the pattern storage unit 123b stores a pattern for identifying the two-dimensional code.
- the pattern recognition unit 114b uses the pattern stored in the pattern storage unit 123b to determine whether the image input from the region specifying unit 113a is a two-dimensional code, and outputs the two-dimensional code image to the display information acquisition unit 115b. .
- FIG. 20 is a block diagram showing the configuration of the information acquisition device 1d in the fourth embodiment of the present invention.
- the information acquisition device 1d includes an imaging unit 10, a processing unit 11d, a storage unit 12c, a display unit 13, and a communication unit 14a.
- the processing unit 11d includes an area setting unit 15a, a pattern recognition unit 114b, and a display information acquisition unit 115c.
- the storage unit 12c includes an image storage unit 121, an indicated position storage unit 122, a pattern storage unit 123b, and an information generation rule storage unit 124c.
- the region setting unit 15a includes a designated position detection unit 111, a locus extraction unit 112, and a region designation unit 113a.
- the same reference numerals (10, 12c, 13, 111, 112, 113a, 114b, 121, 122) are given to the portions corresponding to the information acquisition apparatus 1c of FIG. Is omitted.
- the pointing device in FIG. 20 corresponds to the pointing device in FIG.
- the pointing device of FIG. 20 is denoted by the same reference numeral (3a) as that of FIG.
- the information acquisition device 1d includes a communication unit 14a and is connected to the network 50.
- the communication unit 14 a is an interface that communicates with the network 50.
- the network 50 is, for example, the Internet, and includes a web server group connected to the network.
- the subject 20c has identification objects 2i, 2j, 2k, and 2l.
- the identification objects 2i, 2j, 2k, and 2l include, for example, a two-dimensional code in which URL (Uniform Resource Locator) information of a web page included in a web server placed in the network 50 is encoded.
- URL Uniform Resource Locator
- the pattern recognition unit 114b transmits the region in the frame to the display information acquisition unit 115c as an image of a two-dimensional code, as in the third embodiment. Output.
- FIG. 21 is a conceptual diagram illustrating an example of information representing an information generation rule stored in the information generation rule storage unit 124c.
- the information representing the information generation rule shown in FIG. 21 includes information representing a rule of “calling a web page of a URL obtained by decoding a two-dimensional code in a pattern” and a decoding rule (two-dimensional code, URL Information representing rules for conversion to text to represent.
- the display information acquisition unit 115c decodes the two-dimensional code image input from the pattern recognition unit 114b into a URL displayed in text according to the decoding rule of the information generation rule storage unit 124c.
- the display information acquisition unit 115c passes through the communication unit 14a in accordance with the rule of “calling the web page of the URL obtained by decoding the two-dimensional code in the pattern” stored in the information generation rule storage unit 124c. Then, a web page corresponding to the URL (that is, data for displaying the web page) is obtained from a web server placed in the network 50. The display unit 13 displays the acquired web page.
- a URL web page obtained from a two-dimensional code is displayed.
- information other than information prepared in advance in the information acquisition device or the subject such as information stored in the information generation rule storage unit or information encoded in a two-dimensional code, is displayed. be able to.
- FIG. 22 is a block diagram showing the configuration of the information acquisition device 1e in the fifth embodiment of the present invention.
- the information acquisition device 1e includes an imaging unit 10, a processing unit 11e, a storage unit 12a, a display unit 13, and a communication unit 14b.
- the processing unit 11e includes an area setting unit 15a, a pattern recognition unit 114a, and a display information acquisition unit 115d.
- the storage unit 12a includes an image storage unit 121, an indicated position storage unit 122, a pattern storage unit 123a, and an information storage unit 124a.
- the region setting unit 15a includes a designated position detection unit 111, a locus extraction unit 112, and a region designation unit 113a. In the information acquisition device 1e of FIG.
- the same reference numerals (10, 12a, 13, 111, 112, 113a, 114a, 121, 122, 123a, 124a) are attached to the portions corresponding to the information acquisition device 1a of FIG. The description is omitted.
- the subject 20a and the laser pointer shown in FIG. 22 correspond to the subject 20a and the laser pointer 3a shown in FIG.
- the same reference numerals (2a, 2b, 2c, 2d, 3a, 20a) as those in FIG. 1 are given to the subject 20a and the laser pointer 3a shown in FIG. 22 differs from the information acquisition apparatus 1a of FIG. 1 in that the information acquisition apparatus 1e of FIG. 22 includes a communication unit 14b, a management server 7, a management network 51, and managed devices 6a, 6b, 6c, and 6d.
- the managed devices 6a, 6b, 6c, and 6d are devices to be managed by the management server 7, and are, for example, servers and storage devices.
- the identification objects 2a, 2b, 2c, and 2d are symbols representing the managed devices 6a, 6b, 6c, and 6d, for example, in the layout in the factory.
- the identification target 2a and the managed device 6a, the identification target 2b and the managed device 6b, the identification target 2c and the managed device 6c, and the identification target 2d and the managed device 6d are associated with each other.
- the management server 7 is a server for managing the managed devices 6a, 6b, 6c and 6d.
- the management network 51 is a network for communication between the managed devices 6a, 6b, 6c, and 6d and the management server 7.
- FIG. 23 is a conceptual diagram illustrating an example of status information of managed devices included in the management server 7.
- the management server 7 acquires status information of the managed devices 6a, 6b, 6c, and 6d from each managed device via the management network 51.
- the status information of the managed devices 6a, 6b, 6c, and 6d is information indicating, for example, a load status or a failure status of the managed device.
- the management server 7 periodically acquires the status information of the managed devices 6a, 6b, 6c, and 6d, and updates the status information of the managed devices 6a, 6b, 6c, and 6d stored in the own management server (management server 7). To do.
- the communication unit 14 b is an interface for the information acquisition apparatus 1 e to communicate with the management server 7.
- the pattern recognition unit 114a displays the pattern number “1” corresponding to the identification target 2a as a display information acquisition unit, as in the first embodiment. 115d.
- information for specifying the managed device such as the network addresses of the managed devices 6a, 6b, 6c, and 6d is stored in association with the pattern number.
- the display information acquisition unit 115d acquires information for specifying any of the managed devices 6a to 6d corresponding to the pattern number input from the pattern recognition unit 114a, and the acquired information is transmitted to the management server 7 through the communication unit 14b. Output to.
- the management server 7 outputs status information corresponding to information specifying any one of the managed devices 6a to 6d input from the display information acquisition unit 115d to the display information acquisition unit 115d through the communication unit 14b.
- the display information acquisition unit 115d outputs the state information input from the management server 7 to the display unit 13 as display information, and the display unit 13 displays it.
- the management server displays the status information of the managed device that is updated as needed, so that information that dynamically changes with time can be called and displayed.
- the identification objects 2a, 2b, 2c, and 2d are displayed on the subject 20a different from the managed devices 6a, 6b, 6c, and 6d.
- the identification objects 2a, 2b, 2c, and 2d may be displayed on the surface of the managed devices 6a, 6b, 6c, and 6d.
- the program for realizing the functions of the trajectory extraction unit 112, the region specification unit 113a, the pattern recognition unit 114a, the display information acquisition unit 115d, and the communication unit 14b is recorded on a computer-readable recording medium, Processing of each unit may be performed by causing a computer system to read and execute a program recorded on the recording medium.
- the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
- “Computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage device such as a hard disk built in a computer system.
- the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. And those that hold a program for a certain period of time, such as a volatile memory inside a computer system serving as a server or client in that case.
- the above program may realize part of the functions described above, and may further realize the functions described above in combination with a program already recorded in a computer system.
- the present invention is suitable for use in a guidance information display system such as a layout in a factory or a navigation system for a museum, or an information monitoring system for equipment in a data center or a plant, but is not limited thereto.
Landscapes
- Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
本発明の情報取得装置は、視覚的に識別可能な識別対象であって、表示用の情報と対応付けられた識別対象を有する被写体を撮像し、撮像結果の撮像画像を出力する撮像部と、ポインティングデバイスによって示される、被写体上の位置に基づいて、撮像画像中の領域を指定する領域設定部と、撮像画像の領域内から識別対象を検出し、識別対象に対応付けられた表示用の情報を取得し、取得した表示用の情報を表示すべき情報とする表示情報取得部とを具備する。
Description
本発明は情報取得装置、情報取得方法およびプログラムに関する。
ユーザが求める情報を選択および表示する方法の一つに、カメラで撮像を行い、撮像された画像に基づいて、関連する情報を選択および表示する方法が知られている。
例えば、2次元コードが撮像されると、その2次元コードをデコードして得られるURL(Uniform Resource Locator)に対応するウェブページを表示する方法がある。
例えば、2次元コードが撮像されると、その2次元コードをデコードして得られるURL(Uniform Resource Locator)に対応するウェブページを表示する方法がある。
あるいは、情報に対応付けられたシンボルである複数の識別対象が画像上に映っている場合、画像上に映っている識別対象中の1個をユーザが選択することにより、表示すべき情報を選択できる。複数の識別対象から1個を選択する方法としては、例えば、以下の方法がある。情報を選択する装置が画像上に映っている識別対象を予め認識し、各識別対象に順番を付けておく。選択ボタンが押されるたびに、順に選択する識別対象を変更される。ユーザが、所望の識別対象が選択されるまで選択ボタンを押し、所望の識別対象が選択されて決定ボタンを押す。ユーザにより決定ボタンが押されたことを検出し、そのときの識別対象を選択する。
しかしながら、前述の方法を始めとする関連する情報取得方法では、複数の識別対象がある場合に1つのみを選択するための操作が煩雑、または、事前準備が必要であるという問題がある。
例えば、カメラにより2次元コードを撮像する方法でよく用いられる、1個の2次元コードのみをカメラに映るようにすることで複数の2次元コードの中から1個を選択する前述の方法がある。この方法では、1個の2次元コードのみがカメラに映るようにカメラの位置を調節する必要がある。特に、カメラの位置が識別対象から遠く、カメラのズーム機能が十分でない場合は、1個の識別対象を選択できない。
例えば、カメラにより2次元コードを撮像する方法でよく用いられる、1個の2次元コードのみをカメラに映るようにすることで複数の2次元コードの中から1個を選択する前述の方法がある。この方法では、1個の2次元コードのみがカメラに映るようにカメラの位置を調節する必要がある。特に、カメラの位置が識別対象から遠く、カメラのズーム機能が十分でない場合は、1個の識別対象を選択できない。
ユーザが選択ボタンと決定ボタンを用いて画像上に映っている識別対象中の1個を選択する前述の方法がある。この方法では、この方法を実現する装置が、識別対象の画像を予め認識しておく等の事前準備が必要となる。また、識別対象が多い場合、ユーザは、所望の識別対象を選択するために繰り返し選択ボタンを押す必要があり、選択に時間がかかる。
本発明は、このような事情に鑑みてなされた。本発明の目的の一例は、複数の識別対象がある場合に、識別対象を容易に選択できる情報取得装置を提供することにある。
本発明の第1の実施態様に係る情報取得装置は、視覚的に識別可能な識別対象であって、表示用の情報と対応付けられた識別対象を有する被写体を撮像し、撮像結果の撮像画像を出力する撮像部と、ポインティングデバイスによって示される、前記被写体上の位置に基づいて、前記撮像画像中の領域を指定する領域設定部と、前記撮像画像の前記領域内から前記識別対象を検出し、前記識別対象に対応付けられた前記表示用の情報を取得し、取得した前記表示用の情報を表示すべき情報とする表示情報取得部とを具備する。
本発明の第1の実施態様に係る情報取得装置において、前記領域設定部は、前記被写体上の領域を指示可能なポインティングデバイスによって示された、前記被写体上の領域に対応する前記撮像画像の領域を前記領域として指定してもよい。
本発明の第1の実施態様に係る情報取得装置は、検出された複数の前記座標を記憶する座標記憶部をさら備えてもよく、前記領域指定部は、前記座標記憶部から前記座標を読み出して、前記座標の集合である軌跡を生成し、生成した前記軌跡に基づき前記撮像画像中の領域を指定してもよい。
本発明の第1の実施態様に係る情報取得装置において、前記軌跡は、予め定められた時間内に検出された前記座標の集合であってもよく、前記領域指定部は、前記軌跡を近似する楕円を算出し、算出した前記楕円を、指定する前記領域としてもよい。
本発明の第1の実施態様に係る情報取得装置において、前記領域設定部は、前記被写体上の領域を指示可能なポインティングデバイスによって示された、前記被写体上の領域に対応する前記撮像画像の領域を前記領域として指定してもよい。
本発明の第1の実施態様に係る情報取得装置は、前記識別対象を識別する情報と対応付けて前記表示用の情報を記憶する情報記憶部をさらに具備してもよく、前記表示情報取得部は、前記撮像画像の前記領域内から前記識別対象を検出し、前記識別対象を識別する情報に対応付けられた前記表示用の情報を前記情報記憶部より取得し、取得した前記表示用の情報を表示すべき情報としてもよい。
本発明の第1の実施態様に係る情報取得装置において、前記識別対象は、前記表示用の情報をエンコードした、視覚的に識別可能な情報コードであってもよく、前記表示情報取得部は、検出した前記識別対象に対して、前記エンコードに対応したデコードを行うことで、前記識別情報に対応付けられた前記表示用の情報を取得してもよい。
本発明の第1の実施態様に係る情報取得装置において、前記識別対象は、前記表示用の情報の所在を示す所在情報をエンコードした、視覚的に識別可能な情報コードであってもよく、前記表示情報取得部は、検出した前記識別対象に対して、前記エンコードに対応したデコードを行うことで、前記識別情報に対応付けられた前記所在情報を取得し、前記所在情報に基づいて前記表示用の情報を取得してもよい。
本発明の第1の実施態様に係る情報取得装置において、前記表示用の情報は被管理機器の状態を表す情報であってもよく、前記識別対象は、前記被管理機器の状態を表す情報が対象とする被管理機器の識別情報と対応付けられてもよく、前記表示情報取得部は、前記撮像画像の前記領域内から前記識別対象を検出し、前記識別対象に対応付けられた前記被管理機器の前記識別情報を取得し、前記識別情報を用いて前記被管理機器の状態を表す情報を、前記被管理機器の状態を表す情報を有する管理サーバから取得し、取得した前記被管理機器の状態を表す情報を前記表示すべき情報とする表示情報取得部とを具備してもよい。
本発明の第2の実施態様に係る情報取得装置は、視覚的に識別可能な識別対象であって、表示用の情報と対応付けられた識別対象を有する被写体を撮像し、撮像結果の撮像画像を出力する撮像装置と接続され、ポインティングデバイスによって示される、前記被写体上の位置に基づいて、前記撮像画像中の領域を指定する領域設定部と、前記撮像画像の前記領域内から前記識別対象を検出し、前記識別対象に対応付けられた前記表示用の情報を取得し、取得した前記表示用の情報を表示すべき情報とする表示情報取得部とを具備する。
本発明の情報取得装置の情報取得方法は、前記情報取得装置が、視覚的に識別可能な識別対象であって、表示用の情報と対応付けられた識別対象を有する被写体を撮像し、撮像結果の撮像画像を出力する撮像過程と、前記情報取得装置が、ポインティングデバイスによって示される、前記被写体上の位置に基づいて、前記撮像画像中の領域を指定する領域設定過程と、前記情報取得装置が、前記撮像画像の前記領域内から前記識別対象を検出し、前記識別対象に対応付けられた前記表示用の情報を取得し、取得した前記表示用の情報を表示すべき情報とする表示情報取得過程とを備える。
本発明のプログラムは、視覚的に識別可能な識別対象であって、表示用の情報と対応付けられた識別対象を有する被写体を撮像し、撮像結果の撮像画像を出力する撮像部に接続される情報取得装置のコンピュータに実行させるプログラムである。このプログラムは、コンピュータに、ポインティングデバイスによって示される、前記被写体上の位置に基づいて、前記撮像画像中の領域を指定する領域設定過程と、前記撮像画像の前記領域内から前記識別対象を検出し、該識別対象に対応付けられた前記表示用の情報を取得し、取得した前記表示用の情報を表示すべき情報とする表示情報取得過程とを実行させる。
この発明によれば、複数の識別対象がある場合に、ユーザは、ポインティングデバイスを用いて識別対象を容易に選択して対応する情報を呼び出すことができる。
<第1の実施形態>
以下、図面を参照して、本発明の実施形態について説明する。図1は、この発明の第1の実施形態における、情報取得装置の構成を示す概略ブロック図である。
図1の情報取得装置1aは、撮像部10と、処理部11aと、記憶部12aと、表示部13とを具備する。
処理部11aは、領域設定部15aと、パターン認識部114aと、表示情報取得部115aとを具備する。
領域設定部15aは、指示位置検出部111と、軌跡抽出部112と、領域指定部113aとを具備する。
記憶部12aは、画像記憶部121と、指示位置記憶部122と、パターン記憶部123aと、情報記憶部124aとを具備する。
以下、図面を参照して、本発明の実施形態について説明する。図1は、この発明の第1の実施形態における、情報取得装置の構成を示す概略ブロック図である。
図1の情報取得装置1aは、撮像部10と、処理部11aと、記憶部12aと、表示部13とを具備する。
処理部11aは、領域設定部15aと、パターン認識部114aと、表示情報取得部115aとを具備する。
領域設定部15aは、指示位置検出部111と、軌跡抽出部112と、領域指定部113aとを具備する。
記憶部12aは、画像記憶部121と、指示位置記憶部122と、パターン記憶部123aと、情報記憶部124aとを具備する。
情報取得装置1aは、被写体20aを撮像する。被写体20aは、4個の識別対象2a、2b、2c、2dを有する。識別対象は、被写体の表面に付された模様等、被写体の外から視覚的に識別可能なシンボルであり、かつ、情報取得装置1aが表示するための情報(表示用の情報)と対応付けられたシンボルである。
被写体20a上のある位置(点)が、ユーザによりポインティングデバイス3aが操作されることによって示される。
識別対象の数は4個に限らず、複数であればよい。
被写体20a上のある位置(点)が、ユーザによりポインティングデバイス3aが操作されることによって示される。
識別対象の数は4個に限らず、複数であればよい。
図2は、本実施形態における被写体の例を示す図である。図2において、被写体20aは、4個の識別対象2a、2b、2c、2dを有する。
被写体20aは、例えば、ある工場内における装置の配置図である。識別対象2a、2b、2c、2dは、例えば、各々1個の装置(装置名「aaa」、「bbb」、「ccc」、「ddd」)を表すシンボルである。
被写体20aは、例えば、ある工場内における装置の配置図である。識別対象2a、2b、2c、2dは、例えば、各々1個の装置(装置名「aaa」、「bbb」、「ccc」、「ddd」)を表すシンボルである。
図3は、被写体20a上のある位置が、ポインティングデバイス3aによって示された例を示す図である。
以下では、ポインティングデバイスが被写体上に形成する点をスポット、スポットによって示される被写体上の位置を指示位置という。例えば、ポインティングデバイス3aがレーザポインタの場合、そのレーザビームが被写体20a上に形成する光点Pがスポットである。ポインティングデバイス3aが指し棒の場合、この指し棒の先端がスポットである。
以下では、ポインティングデバイスが被写体上に形成する点をスポット、スポットによって示される被写体上の位置を指示位置という。例えば、ポインティングデバイス3aがレーザポインタの場合、そのレーザビームが被写体20a上に形成する光点Pがスポットである。ポインティングデバイス3aが指し棒の場合、この指し棒の先端がスポットである。
撮像部10は、予め定められた時間間隔で定期的に被写体20aを撮像し、撮像の結果得られる静止画像を撮像画像として画像記憶部121に書き込む。
画像記憶部121は、撮像部10が撮像した最新の撮像画像を記憶する。
画像記憶部121は、撮像部10が撮像した最新の撮像画像を記憶する。
指示位置検出部111は、画像記憶部121に記憶された撮像画像(以下、単に「撮像画像」という)上において、スポットの画像を検出する。指示位置検出部111は、スポットの画像を検出によって、指示位置に対応する撮像画像上の座標を検出し、指示位置記憶部122に書き込む。撮像画像上の座標は、予め設けられた座標系に従い、一意に定まる。例えば、撮像画像の左上を原点とし、右方向にX軸、下方向にY軸をとり、画像の1ピクセルを座標の単位とする座標系を予め設けておく。スポットの画像を検出する方法としては、既存の方法を用いることができる。例えば、ポインティングデバイスがレーザポインタの場合、色相フィルタを用いてスポットの色のみを抽出する方法や、時間的差分を取って一定の速度以上で動いている領域を抽出する方法を用いることができる。
指示位置が検出されなかった場合は、指示位置検出部111は、指示位置が未検出であることを示す情報を、指示位置記憶部122に書き込む。
指示位置が検出されなかった場合は、指示位置検出部111は、指示位置が未検出であることを示す情報を、指示位置記憶部122に書き込む。
指示位置記憶部122は、指示位置検出部111により書き込まれた座標のうち、最新の座標から一定時間分の座標を時系列に記憶する。
図4は、指示位置記憶部122を構成する記憶領域の例を表す概念図である。図4において、指示位置記憶部122は、撮像30回分の指示位置の座標を記憶している。
図4に示すように、指示位置記憶部122は、タイムスタンプと、X座標とY座標とを対応付けて記憶している。例えば、タイムスタンプ「1」に対応付けて、X座標の値「152」とY座標の値「21」とを対応付けて記憶し、タイムスタンプ「2」に対応付けて、X座標「120」とY座標「32」とを対応付けて記憶している。
指示位置検出部111は、検出結果を、タイムスタンプ1の行から順に書き込み、タイムスタンプ30の行まで書き込んだら、再度、タイムスタンプ1の行から順に書き込む。
指示位置が未検出であることを示す情報としては、例えばX座標の値を負の値とした情報を用いる。
図4は、指示位置記憶部122を構成する記憶領域の例を表す概念図である。図4において、指示位置記憶部122は、撮像30回分の指示位置の座標を記憶している。
図4に示すように、指示位置記憶部122は、タイムスタンプと、X座標とY座標とを対応付けて記憶している。例えば、タイムスタンプ「1」に対応付けて、X座標の値「152」とY座標の値「21」とを対応付けて記憶し、タイムスタンプ「2」に対応付けて、X座標「120」とY座標「32」とを対応付けて記憶している。
指示位置検出部111は、検出結果を、タイムスタンプ1の行から順に書き込み、タイムスタンプ30の行まで書き込んだら、再度、タイムスタンプ1の行から順に書き込む。
指示位置が未検出であることを示す情報としては、例えばX座標の値を負の値とした情報を用いる。
図5は、ユーザがポインティングデバイスを操作することにより、スポットPが動く例を表す図である。本実施形態では、ユーザが、ポインティングデバイス3aを用いて、識別対象のうちの1個を囲む動作をすると、情報取得装置1aがその1個の識別対象を選択する。ただし、囲む動作は図5に示すように不完全であってもよい。
図6は、指示位置が図5のように動いた場合に撮像される、スポットの画像を重ね合わせた概念図である。図6のP1、P2、…、Pn-1、Pnは、各々スポットである。
指示位置検出部111が、各スポットの画像の座標を検出して指示位置記憶部122に書き込むと、軌跡抽出部112は、指示位置記憶部122に記憶された座標のうち、直近の予め定められた個数の座標を読み出し、それを座標の集合として領域指定部113aに出力する。
以下では、軌跡抽出部112が出力する座標の集合を「軌跡」と呼ぶ。
軌跡抽出部112が座標を読み出す個数、すなわち軌跡を構成する座標の数は、例えばユーザによって予め設定される一定の個数である。撮像部10は定期的に撮像を行うので、このような処理をすることで、一定の時間内の指示位置の座標を得ることができる。この場合、ユーザは、ポインティングデバイスを操作する速度が速いときほど、個数を少なく設定しておく。この設定により、識別対象を囲む操作の前の操作時に検出された座標を含まない軌跡を、領域指定部113aに出力することができる。
図6は、指示位置が図5のように動いた場合に撮像される、スポットの画像を重ね合わせた概念図である。図6のP1、P2、…、Pn-1、Pnは、各々スポットである。
指示位置検出部111が、各スポットの画像の座標を検出して指示位置記憶部122に書き込むと、軌跡抽出部112は、指示位置記憶部122に記憶された座標のうち、直近の予め定められた個数の座標を読み出し、それを座標の集合として領域指定部113aに出力する。
以下では、軌跡抽出部112が出力する座標の集合を「軌跡」と呼ぶ。
軌跡抽出部112が座標を読み出す個数、すなわち軌跡を構成する座標の数は、例えばユーザによって予め設定される一定の個数である。撮像部10は定期的に撮像を行うので、このような処理をすることで、一定の時間内の指示位置の座標を得ることができる。この場合、ユーザは、ポインティングデバイスを操作する速度が速いときほど、個数を少なく設定しておく。この設定により、識別対象を囲む操作の前の操作時に検出された座標を含まない軌跡を、領域指定部113aに出力することができる。
領域指定部113aは、軌跡抽出部112から入力された軌跡を用いて、ユーザが囲む動作を行った領域を求め、求めた領域をパターン認識を行う領域として指定する。
パターン認識を行う領域の指定には、例えば、最小二乗法による楕円近似の方法、または、ハフ変換による楕円近似の方法などの既存の方法を用いて、入力された軌跡を近似する楕円を表す中心、傾き、軸長を求め、この楕円の中心、傾き、軸長を用いることが出来る。領域指定部113aは、撮像画像上において、得られた楕円の領域を抽出するためのマスクを作成し、パターン認識部114aへ出力する。マスクは例えば、撮像画像の各ピクセルに対応するビット(bit)の集合であり、ビットの値「1」は、対応するピクセルがパターン認識を行う領域内であることを表し、ビットの値「0」は、対応するピクセルがパターン認識を行う領域外であることを表す。
パターン認識を行う領域の指定には、例えば、最小二乗法による楕円近似の方法、または、ハフ変換による楕円近似の方法などの既存の方法を用いて、入力された軌跡を近似する楕円を表す中心、傾き、軸長を求め、この楕円の中心、傾き、軸長を用いることが出来る。領域指定部113aは、撮像画像上において、得られた楕円の領域を抽出するためのマスクを作成し、パターン認識部114aへ出力する。マスクは例えば、撮像画像の各ピクセルに対応するビット(bit)の集合であり、ビットの値「1」は、対応するピクセルがパターン認識を行う領域内であることを表し、ビットの値「0」は、対応するピクセルがパターン認識を行う領域外であることを表す。
軌跡を近似する図形は楕円に限られず、例えば、円や矩形でもよいが、楕円がより好適である。軌跡を近似する図形として楕円がより好適であることを図7および図8を用いて説明する。
図7は、識別対象が細長い場合の例を示す図である。図7に示す楕円L1は、軌跡の楕円による近似を表す。楕円L1は、軌跡が囲む識別対象(B)の全部を囲み、他の識別対象(A、C)を囲まない。一方、図7に示す円L2は、軌跡の円による近似を表す。円L2は軌跡が囲む識別対象(B)の一部のみを囲み、他の識別対象(A、C)の一部も囲む。このように軌跡を楕円により近似すれば、識別対象が細長くかつ、識別対象同士が近接する場合でも、1個の識別対象を囲むことができる。よって、軌跡を近似する図形として楕円がより好適である。
図8は、識別対象を囲む動作の途中の様子を示す図である。図8に示す矩形L4は、軌跡の矩形による近似を表す。図8において、識別対象の一部が軌跡よりも上に位置するため、例えば最小二乗法では、識別対象全体を囲む矩形が得られない。一方、図8に示す楕円L3は、軌跡の楕円による近似を表す。楕円L3は、識別対象の全体を囲む。このように軌跡を楕円により近似すれば、識別対象の一部が軌跡よりも上に位置する場合でも、識別対象の全体を囲むことができる。よって、軌跡を近似する図形として楕円がより好適である。
図7は、識別対象が細長い場合の例を示す図である。図7に示す楕円L1は、軌跡の楕円による近似を表す。楕円L1は、軌跡が囲む識別対象(B)の全部を囲み、他の識別対象(A、C)を囲まない。一方、図7に示す円L2は、軌跡の円による近似を表す。円L2は軌跡が囲む識別対象(B)の一部のみを囲み、他の識別対象(A、C)の一部も囲む。このように軌跡を楕円により近似すれば、識別対象が細長くかつ、識別対象同士が近接する場合でも、1個の識別対象を囲むことができる。よって、軌跡を近似する図形として楕円がより好適である。
図8は、識別対象を囲む動作の途中の様子を示す図である。図8に示す矩形L4は、軌跡の矩形による近似を表す。図8において、識別対象の一部が軌跡よりも上に位置するため、例えば最小二乗法では、識別対象全体を囲む矩形が得られない。一方、図8に示す楕円L3は、軌跡の楕円による近似を表す。楕円L3は、識別対象の全体を囲む。このように軌跡を楕円により近似すれば、識別対象の一部が軌跡よりも上に位置する場合でも、識別対象の全体を囲むことができる。よって、軌跡を近似する図形として楕円がより好適である。
図9Aは、領域指定部113aが作成したマスクの例を示す概念図である。
図9Aにおいて、斜線によるハッチングで示した部分は、撮像画像中の、パターン認識を行わない領域に対応する。この部分におけるマスクMのビットの値は「0」となっている。一方、ハッチングの無い部分は、撮像画像中の、パターン認識を行う領域に対応する。この部分におけるマスクMのビットの値は「1」となっている。
図9Bは、領域指定部113aが作成したマスクMを用いて、パターン認識部114aが、撮像画像からパターン認識を行う領域を抽出した例を示す概念図である。パターン認識部114aは、マスクM中のビットの値が「1」の部分に対応する、撮像画像中の識別対象2aを含む領域に対してパターン認識を行う。
図10は、パターン記憶部123aが記憶する、パターン画像とパターン番号の例を表す概念図である。本実施形態では、パターン記憶部123aは、パターン認識部114aによってパターン認識に用いられる複数のパターン画像各々を、パターン番号と対応付けて、予め記憶している。例えば、パターン番号「1」とパターン画像G1、パターン番号「2」と、パターン画像G2、パターン番号「3」とパターン画像G3、パターン番号「4」とパターン画像G4が予め対応付けて記憶している。
図9Aにおいて、斜線によるハッチングで示した部分は、撮像画像中の、パターン認識を行わない領域に対応する。この部分におけるマスクMのビットの値は「0」となっている。一方、ハッチングの無い部分は、撮像画像中の、パターン認識を行う領域に対応する。この部分におけるマスクMのビットの値は「1」となっている。
図9Bは、領域指定部113aが作成したマスクMを用いて、パターン認識部114aが、撮像画像からパターン認識を行う領域を抽出した例を示す概念図である。パターン認識部114aは、マスクM中のビットの値が「1」の部分に対応する、撮像画像中の識別対象2aを含む領域に対してパターン認識を行う。
図10は、パターン記憶部123aが記憶する、パターン画像とパターン番号の例を表す概念図である。本実施形態では、パターン記憶部123aは、パターン認識部114aによってパターン認識に用いられる複数のパターン画像各々を、パターン番号と対応付けて、予め記憶している。例えば、パターン番号「1」とパターン画像G1、パターン番号「2」と、パターン画像G2、パターン番号「3」とパターン画像G3、パターン番号「4」とパターン画像G4が予め対応付けて記憶している。
パターン認識部114aは、パターン記憶部123aに記憶されたパターン画像各々と、領域指定部113aにより決定された領域内の画像との類似度をパターン認識により算出し、予め決められた類似度以上であって最も類似度の高いパターン画像を選択する。
パターン認識の方法としては、テンプレートマッチングを用いて、領域中の画像と各画像パターンとの類似度を求める方法など、既存の方法を用いることができる。
パターン認識部114aは、パターン記憶部123aを参照して、パターン認識の結果選択されたパターン画像に対応するパターン番号を取得し、そのパターン番号を表示情報取得部115aに出力する。
パターン認識の方法としては、テンプレートマッチングを用いて、領域中の画像と各画像パターンとの類似度を求める方法など、既存の方法を用いることができる。
パターン認識部114aは、パターン記憶部123aを参照して、パターン認識の結果選択されたパターン画像に対応するパターン番号を取得し、そのパターン番号を表示情報取得部115aに出力する。
図11は、情報記憶部124aの記憶内容を表す概念図である。
情報記憶部124aは、パターン番号と、表示用の情報とを、対応付けて予め記憶している。例えば、図11において、表示用の情報は、装置の名称を表す表示用の文字列である。情報記憶部124aは、装置aaaの名称を表す表示用の文字列「装置aaaです」とパターン番号「1」、装置bbbの名称を表す表示用の文字列「装置bbbです」とパターン番号「2」、装置cccの名称を表す表示用の文字列「装置cccです」とパターン番号「3」、装置dddの名称を表す表示用の文字列「装置dddです」とパターン番号「4」とを対応付けて予め記憶している。
このパターン番号により、表示用の情報の各々は、識別対象を識別情報である、パターン記憶部123aのパターン画像と対応付けられている。例えば、図11に示す装置aaaの名称を表す表示用の文字列「装置aaaです」は、図10のパターン画像G1と、パターン番号「1」と対応付けられている。
情報記憶部124aは、パターン番号と、表示用の情報とを、対応付けて予め記憶している。例えば、図11において、表示用の情報は、装置の名称を表す表示用の文字列である。情報記憶部124aは、装置aaaの名称を表す表示用の文字列「装置aaaです」とパターン番号「1」、装置bbbの名称を表す表示用の文字列「装置bbbです」とパターン番号「2」、装置cccの名称を表す表示用の文字列「装置cccです」とパターン番号「3」、装置dddの名称を表す表示用の文字列「装置dddです」とパターン番号「4」とを対応付けて予め記憶している。
このパターン番号により、表示用の情報の各々は、識別対象を識別情報である、パターン記憶部123aのパターン画像と対応付けられている。例えば、図11に示す装置aaaの名称を表す表示用の文字列「装置aaaです」は、図10のパターン画像G1と、パターン番号「1」と対応付けられている。
表示情報取得部115aは、情報記憶部124aを参照して、パターン認識部114aから入力されたパターン番号に対応する表示用の情報を取得する。さらに、表示情報取得部115aは、この表示用の情報を、表示すべき情報(表示情報)に決定する。
表示部13は、表示情報取得部115aにより決定された表示情報を表示する。
図12は、表示部13が表示情報を表示した例を表す図である。図12において、表示部13が表示する画面Dは、表示情報取得部115aが表示用の情報として取得した、情報記憶部124a中の表示用の文字列「装置aaaです」を表す画面である。
表示部13は、表示情報取得部115aにより決定された表示情報を表示する。
図12は、表示部13が表示情報を表示した例を表す図である。図12において、表示部13が表示する画面Dは、表示情報取得部115aが表示用の情報として取得した、情報記憶部124a中の表示用の文字列「装置aaaです」を表す画面である。
図13は、本実施形態における情報取得装置1aの動作を示すフローチャートである。
撮像部10は、被写体20aを撮像し、画像記憶部121に撮像した静止画像を出力する(S1)。
次に、指示位置検出部111は、撮像画像中の指示位置の検出を試み(S2)、指示位置の検出に成功したか否かを判定する(S3)。
ステップS3にて、指示位置が検出されなかったと判定した場合、指示位置検出部111は、指示位置記憶部122に指示位置が未検出との情報を格納した後(S5)、ステップS1に戻り、「撮像(S1)」以下のステップを繰り返す。
ステップS3にて、指示位置が検出されたと判定した場合、指示位置検出部111は、検出された指示位置を指示位置記憶部122に記憶する(S4)。
撮像部10は、被写体20aを撮像し、画像記憶部121に撮像した静止画像を出力する(S1)。
次に、指示位置検出部111は、撮像画像中の指示位置の検出を試み(S2)、指示位置の検出に成功したか否かを判定する(S3)。
ステップS3にて、指示位置が検出されなかったと判定した場合、指示位置検出部111は、指示位置記憶部122に指示位置が未検出との情報を格納した後(S5)、ステップS1に戻り、「撮像(S1)」以下のステップを繰り返す。
ステップS3にて、指示位置が検出されたと判定した場合、指示位置検出部111は、検出された指示位置を指示位置記憶部122に記憶する(S4)。
次に、軌跡抽出部112は、指示位置記憶部122に記憶された指示位置のうち、予め定められた時間内の指示位置を軌跡として抽出し、領域指定部113aに出力する(S6)。
次に、領域指定部113aは、抽出した軌跡に基づいて、パターン認識を行う領域を指定する(S7)。
次に、領域指定部113aは、抽出した軌跡に基づいて、パターン認識を行う領域を指定する(S7)。
パターン認識部114aは、撮像画像中の、ステップS6で決定された領域内の画像と、パターン記憶部123aに格納されたパターン画像との、パターン認識を試み(S8)、パターン認識に成功したパターン画像があったか否かを判定する(S9)。
ステップS9にて、全てのパターン画像についてパターン認識に失敗したと判定した場合、ステップS1以下のステップを繰り返す。
いずれかのパターン画像についてパターン認識に成功したと判定した場合、パターン認識部114aは、パターン記憶部123aを参照して、パターン認識に成功したパターン画像に対応付けられたパターン番号を取得する。さらに、パターン認識部114aは、そのパターン番号を、表示情報取得部115aに出力する。表示情報取得部115aは、情報記憶部124aを参照して、表示情報取得部115aから入力されたパターン番号に対応付けられた情報を、表示用の情報として取得し(S10)、その情報を表示部13に表示する(S11)。その後、ステップS1以下のステップを繰り返す。
ステップS9にて、全てのパターン画像についてパターン認識に失敗したと判定した場合、ステップS1以下のステップを繰り返す。
いずれかのパターン画像についてパターン認識に成功したと判定した場合、パターン認識部114aは、パターン記憶部123aを参照して、パターン認識に成功したパターン画像に対応付けられたパターン番号を取得する。さらに、パターン認識部114aは、そのパターン番号を、表示情報取得部115aに出力する。表示情報取得部115aは、情報記憶部124aを参照して、表示情報取得部115aから入力されたパターン番号に対応付けられた情報を、表示用の情報として取得し(S10)、その情報を表示部13に表示する(S11)。その後、ステップS1以下のステップを繰り返す。
以上のように、本実施形態では、複数の識別対象が存在する場合に、1個の識別対象を、ポインティングデバイスにより指定された領域から検出する。この構成により、1個の識別対象のみが撮像されるようにカメラの位置を調節する必要が無い。また、画像上において識別対象を予め認識しておく等の事前準備も不要である。また、識別対象が多い場合でも、所望の識別対象を選択するのに必要な時間は、識別対象が少ない場合と変わらない。
また、識別対象を検出する領域は、ポインティングデバイスで識別対象を囲む動きをすることによって行われるので、ユーザは、実際の識別対象を見ながら選択を行うことができる。
また、本実施形態では、パターン認識を撮像画像全体ではなく部分的な領域にのみ行うため、情報取得装置1aは、パターン認識をより高速に行える。
また、識別対象を検出する領域は、ポインティングデバイスで識別対象を囲む動きをすることによって行われるので、ユーザは、実際の識別対象を見ながら選択を行うことができる。
また、本実施形態では、パターン認識を撮像画像全体ではなく部分的な領域にのみ行うため、情報取得装置1aは、パターン認識をより高速に行える。
本実施形態で用いるポインティングデバイスは、レーザポインタの他、例えば指し棒や人間の指のように、一点を指すことができるポインティングデバイスであればよい。この場合、指示位置検出部111は用いるポインティングデバイスに応じて、指示位置を検出する。例えば指し棒の先端の色を検出して指示位置とし、あるいは、画像認識により人の手の形を認識してその先端を指示位置とする。
また、情報取得装置1aの全ての部分が同一の筐体に含まれる必要は無い。例えば、撮像部10や、記憶部12aや、表示部13は、それぞれ独立の撮像装置や、記憶装置や、モニタであって、これらを情報取得装置に接続することで、情報取得装置1aを実現してもよい。
また、情報取得装置1aの全ての部分が同一の筐体に含まれる必要は無い。例えば、撮像部10や、記憶部12aや、表示部13は、それぞれ独立の撮像装置や、記憶装置や、モニタであって、これらを情報取得装置に接続することで、情報取得装置1aを実現してもよい。
記憶部12aは、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、RAM(Random Access Memory)のような揮発性のメモリ、あるいはこれらの組み合わせにより構成されてもよい。
処理部11aは専用のハードウェアにより実現されてもよく、また、メモリおよびマイクロプロセッサにより実現されてもよい。
処理部11aは専用のハードウェアにより実現されてもよく、また、メモリおよびマイクロプロセッサにより実現されてもよい。
<第2の実施形態>
図14は、本発明の第2の実施形態における、情報取得装置1bの構成を示す概略ブロック図である。情報取得装置1bは撮像部10と、処理部11bと、記憶部12bと、表示部13を具備する。処理部11bは、領域設定部15bと、パターン認識部114aと、表示情報取得部115aとを具備する。記憶部12bは、画像記憶部121と、パターン記憶部123aと、情報記憶部124aとを具備する。領域設定部15bは、指示領域検出部113bを具備する。
図14の情報取得装置1bにおいて、図1の情報取得装置1aの各部に対応する部分には同一の符号(10、13、114a、115a、121、123a、124a)を付し、その説明を省略する。本実施形態における被写体は、図1の被写体に対応しており、図1の符号と同一の符号(2a、2b、2c、2d、20a)を付して説明を省略する。
図14に示す本発明の第2の実施形態は、ポインティングデバイス3bが後述のような構成である点と、領域設定部15bが指示位置検出部111と軌跡抽出部112とを具備しない点と、記憶部12bが指示位置記憶部122を具備しない点とで図1に示す本発明の第1の実施形態と異なる。
図14は、本発明の第2の実施形態における、情報取得装置1bの構成を示す概略ブロック図である。情報取得装置1bは撮像部10と、処理部11bと、記憶部12bと、表示部13を具備する。処理部11bは、領域設定部15bと、パターン認識部114aと、表示情報取得部115aとを具備する。記憶部12bは、画像記憶部121と、パターン記憶部123aと、情報記憶部124aとを具備する。領域設定部15bは、指示領域検出部113bを具備する。
図14の情報取得装置1bにおいて、図1の情報取得装置1aの各部に対応する部分には同一の符号(10、13、114a、115a、121、123a、124a)を付し、その説明を省略する。本実施形態における被写体は、図1の被写体に対応しており、図1の符号と同一の符号(2a、2b、2c、2d、20a)を付して説明を省略する。
図14に示す本発明の第2の実施形態は、ポインティングデバイス3bが後述のような構成である点と、領域設定部15bが指示位置検出部111と軌跡抽出部112とを具備しない点と、記憶部12bが指示位置記憶部122を具備しない点とで図1に示す本発明の第1の実施形態と異なる。
図15は、本実施形態のポインティングデバイスの例を示す図である。ポインティングデバイス3bは、被写体20a上の領域(指示領域)Rを指示できる。例えば、レーザビームが広がって、被写体20a上に光の円31を形成するレーザポインタである。
指示領域検出部113bは、画像記憶部121に記憶された撮像画像中から指示領域の画像を検出して、その領域を抽出するマスクを作成する。さらに、指示領域検出部113bは、そのマスクをパターン認識部114aへ、パターン認識を行う領域として出力する。以下、第1の実施形態と同様にして、表示情報取得部115aが表示情報を取得し、表示部13が表示情報を表示する。
指示領域の画像を検出する方法としては、例えば、ポインティングデバイスがレーザポインタの場合、色相フィルタを用いて光の円31の色に該当する領域の画像のみを抽出する等、既存の方法を用いることができる。
指示領域検出部113bは、画像記憶部121に記憶された撮像画像中から指示領域の画像を検出して、その領域を抽出するマスクを作成する。さらに、指示領域検出部113bは、そのマスクをパターン認識部114aへ、パターン認識を行う領域として出力する。以下、第1の実施形態と同様にして、表示情報取得部115aが表示情報を取得し、表示部13が表示情報を表示する。
指示領域の画像を検出する方法としては、例えば、ポインティングデバイスがレーザポインタの場合、色相フィルタを用いて光の円31の色に該当する領域の画像のみを抽出する等、既存の方法を用いることができる。
以上のように、本実施形態では、指示領域の画像を検出して、パターンマッチを行う領域とすればよく、軌跡から近似楕円を求める必要がないので、計算量が削減できる。
<第3の実施形態>
図16は、本発明の第3の実施形態における、情報取得装置1cの構成を示すブロック図である。情報取得装置1cは、撮像部10と、処理部11cと、記憶部12cとを具備する。処理部11cは、領域設定部15aと、パターン認識部114bと、表示情報取得部115bとを具備する。記憶部12cは、画像記憶部121と、指示位置記憶部122と、パターン記憶部123bと、情報生成規則記憶部124bとを具備する。領域設定部15aは、指示位置検出部111と、軌跡抽出部112と、領域指定部113aとを具備する。
図16の情報取得装置1cにおいて、図1の情報取得装置1aに対応する部分には同一の符号(10、13、111、112、113a、121、122)を付し、その説明を省略する。図16のポインティングデバイスは、図1のポインティングデバイスに対応している。図16のポインティングデバイスには、図1の符号と同一の符号(3a)を付して説明を省略する。
図17は、本実施形態における被写体20bの例を表す図である。図17において、被写体20bは、表示用の情報がエンコードされた2次元コードである、4個の識別対象2e、2f、2g、2hを有する。識別対象の個数は4個に限られず、複数であればよい。
図16は、本発明の第3の実施形態における、情報取得装置1cの構成を示すブロック図である。情報取得装置1cは、撮像部10と、処理部11cと、記憶部12cとを具備する。処理部11cは、領域設定部15aと、パターン認識部114bと、表示情報取得部115bとを具備する。記憶部12cは、画像記憶部121と、指示位置記憶部122と、パターン記憶部123bと、情報生成規則記憶部124bとを具備する。領域設定部15aは、指示位置検出部111と、軌跡抽出部112と、領域指定部113aとを具備する。
図16の情報取得装置1cにおいて、図1の情報取得装置1aに対応する部分には同一の符号(10、13、111、112、113a、121、122)を付し、その説明を省略する。図16のポインティングデバイスは、図1のポインティングデバイスに対応している。図16のポインティングデバイスには、図1の符号と同一の符号(3a)を付して説明を省略する。
図17は、本実施形態における被写体20bの例を表す図である。図17において、被写体20bは、表示用の情報がエンコードされた2次元コードである、4個の識別対象2e、2f、2g、2hを有する。識別対象の個数は4個に限られず、複数であればよい。
まず、ポインティングデバイス3aを用いて識別対象2eを囲む動きがなされると、第1の実施形態と同様にして、領域指定部113aが、識別対象2eの画像を含む領域を、パターン認識を行う領域に指定する。
次に、パターン認識部114bは、パターン認識を行う領域に対してパターン認識を行う。パターン認識部114bは、認識に成功すればパターン認識を行う領域内の識別対象2eが2次元コードであると判定して、表示情報取得部115bへ2次元コード部分の画像を出力する。
図18は、本実施形態において、パターン記憶部123bに記憶されるパターン画像の例を表す概念図である。図18に示すパターン画像は外枠の部分のみである。枠内の空白部分は、2次元コードが表示される部分であり、パターン認識の対象外である。
パターン認識部114bは、領域指定部113aから指定された領域の画像と、パターン記憶部123bの記憶するパターン画像とのパターン認識を試みる。パターン認識に成功した場合、パターン認識部114bは、領域指定部113aから指定された領域の画像には2次元コードが含まれると認識し、パターン認識に成功した枠の内部の部分の画像を、2次元コードの画像として表示情報取得部115bに出力する。
パターン認識の方法としては、第1の実施形態と同様、テンプレートマッチングなど、既存の方法を用いることができる。この場合、例えば、得られた類似度が予め定められた値以上の場合は、パターン認識に成功したと判定する。
図18は、本実施形態において、パターン記憶部123bに記憶されるパターン画像の例を表す概念図である。図18に示すパターン画像は外枠の部分のみである。枠内の空白部分は、2次元コードが表示される部分であり、パターン認識の対象外である。
パターン認識部114bは、領域指定部113aから指定された領域の画像と、パターン記憶部123bの記憶するパターン画像とのパターン認識を試みる。パターン認識に成功した場合、パターン認識部114bは、領域指定部113aから指定された領域の画像には2次元コードが含まれると認識し、パターン認識に成功した枠の内部の部分の画像を、2次元コードの画像として表示情報取得部115bに出力する。
パターン認識の方法としては、第1の実施形態と同様、テンプレートマッチングなど、既存の方法を用いることができる。この場合、例えば、得られた類似度が予め定められた値以上の場合は、パターン認識に成功したと判定する。
図19は、情報生成規則記憶部124bが記憶する情報生成規則を表す情報の例を表す概念図である。図19に示す情報生成規則を表す情報は、「パターン内の2次元コードをデコードして得られたテキストを表示情報とする」という規則を表す情報と、2次元コードの生成に用いたエンコードに対応するデコード規則(2次元コードをテキストに変換するための規則)を表す情報とを有する。
表示情報取得部115bは、情報生成規則記憶部124bのデコード規則に従って、パターン認識部114bから入力される2次元コードの画像をテキストにデコードする。さらに、表示情報取得部115bは、情報生成規則記憶部124bの、「パターン内の2次元コードをデコードして得られたテキストを表示情報とする」という規則に従って、デコード結果のテキストを表示情報として表示部13へ出力する。
表示部13は、表示情報取得部115bから入力された表示情報を表示する。
表示情報取得部115bは、情報生成規則記憶部124bのデコード規則に従って、パターン認識部114bから入力される2次元コードの画像をテキストにデコードする。さらに、表示情報取得部115bは、情報生成規則記憶部124bの、「パターン内の2次元コードをデコードして得られたテキストを表示情報とする」という規則に従って、デコード結果のテキストを表示情報として表示部13へ出力する。
表示部13は、表示情報取得部115bから入力された表示情報を表示する。
本実施形態では、第1の実施形態の効果に加え、表示情報の生成はデコード規則に基づいて行うため、パターン記憶部123bと情報生成規則記憶部124bに情報を追加しなくても、新たな識別対象を用いることができる。
本実施形態で用いられる2次元コードを表すシンボルは、図18に示す形式以外のシンボルでもよい。その場合、パターン記憶部123bは、2次元コードを識別するパターンを記憶する。パターン認識部114bは、パターン記憶部123bのパターンを用いて、領域指定部113aから入力された画像が2次元コードか否かを判断し、2次元コードの画像を表示情報取得部115bへ出力する。
本実施形態で用いられる2次元コードを表すシンボルは、図18に示す形式以外のシンボルでもよい。その場合、パターン記憶部123bは、2次元コードを識別するパターンを記憶する。パターン認識部114bは、パターン記憶部123bのパターンを用いて、領域指定部113aから入力された画像が2次元コードか否かを判断し、2次元コードの画像を表示情報取得部115bへ出力する。
<第4の実施形態>
図20は、本発明の第4の実施形態における、情報取得装置1dの構成を示すブロック図である。情報取得装置1dは、撮像部10と、処理部11dと、記憶部12cと、表示部13と、通信部14aとを具備する。処理部11dは、領域設定部15aと、パターン認識部114bと、表示情報取得部115cとを具備する。記憶部12cは、画像記憶部121と、指示位置記憶部122と、パターン記憶部123bと、情報生成規則記憶部124cとを具備する。領域設定部15aは、指示位置検出部111と、軌跡抽出部112と、領域指定部113aとを具備する。
図20の情報取得装置1dにおいて、図16の情報取得装置1cに対応する部分には同一の符号(10、12c、13、111、112、113a、114b、121、122)を付し、その説明を省略する。図20のポインティングデバイスは、図16のポインティングデバイスに対応している。図20のポインティングデバイスには、図16の符号と同一の符号(3a)を付して説明を省略する。
図20は、本発明の第4の実施形態における、情報取得装置1dの構成を示すブロック図である。情報取得装置1dは、撮像部10と、処理部11dと、記憶部12cと、表示部13と、通信部14aとを具備する。処理部11dは、領域設定部15aと、パターン認識部114bと、表示情報取得部115cとを具備する。記憶部12cは、画像記憶部121と、指示位置記憶部122と、パターン記憶部123bと、情報生成規則記憶部124cとを具備する。領域設定部15aは、指示位置検出部111と、軌跡抽出部112と、領域指定部113aとを具備する。
図20の情報取得装置1dにおいて、図16の情報取得装置1cに対応する部分には同一の符号(10、12c、13、111、112、113a、114b、121、122)を付し、その説明を省略する。図20のポインティングデバイスは、図16のポインティングデバイスに対応している。図20のポインティングデバイスには、図16の符号と同一の符号(3a)を付して説明を省略する。
図20に示す情報取得装置1dは、この情報取得装置1dが、通信部14aを具備し、ネットワーク50に接続されている点で図16に示す情報取得装置1cと異なる。
通信部14aは、ネットワーク50と通信を行うインターフェイスである。ネットワーク50は、例えばインターネットであり、ネットワークに接続されたウェブサーバ群を含む。
被写体20cは、識別対象2i,2j,2k,2lを有する。識別対象2i、2j、2k、2lは、例えば、ネットワーク50内に置かれたウェブサーバが有するウェブページのURL(Uniform Resource Locator)情報がエンコードされた2次元コードからなる。
被写体20cは、識別対象2i,2j,2k,2lを有する。識別対象2i、2j、2k、2lは、例えば、ネットワーク50内に置かれたウェブサーバが有するウェブページのURL(Uniform Resource Locator)情報がエンコードされた2次元コードからなる。
まず、ポインティングデバイス3aを用いて識別対象2iを囲む動きがなされると、第3の実施形態と同様、パターン認識部114bが、枠内の領域を2次元コードの画像として表示情報取得部115cに出力する。
図21は、情報生成規則記憶部124cが記憶する情報生成規則を表す情報の例を表す概念図である。図21に示す情報生成規則を表す情報は、「パターン内の2次元コードをデコードして得られたURLのウェブページを呼び出す」という規則を表す情報と、デコード規則(2次元コードを、URLを表すテキストに変換するための規則)を表す情報とを有する。
表示情報取得部115cは、情報生成規則記憶部124cのデコード規則に従って、パターン認識部114bから入力される2次元コードの画像を、テキストで表示されたURLにデコードする。さらに、表示情報取得部115cは、情報生成規則記憶部124cに記憶されている「パターン内の2次元コードをデコードして得られたURLのウェブページを呼び出す」という規則に従って、通信部14aを介してネットワーク50内に置かれたウェブサーバからURLに対応するウェブページ(すなわち、ウェブページを表示するためのデータ)を取得する。
表示部13は取得されたウェブページを表示する。
表示情報取得部115cは、情報生成規則記憶部124cのデコード規則に従って、パターン認識部114bから入力される2次元コードの画像を、テキストで表示されたURLにデコードする。さらに、表示情報取得部115cは、情報生成規則記憶部124cに記憶されている「パターン内の2次元コードをデコードして得られたURLのウェブページを呼び出す」という規則に従って、通信部14aを介してネットワーク50内に置かれたウェブサーバからURLに対応するウェブページ(すなわち、ウェブページを表示するためのデータ)を取得する。
表示部13は取得されたウェブページを表示する。
本実施形態では、第1の実施形態の効果に加え、2次元コードから得られるURLのウェブページを表示する。この構成により、情報生成規則記憶部に記憶させておいた情報、あるいは、2次元コードにエンコードしておいた情報など、情報取得装置または被写体に予め準備しておいた情報以外の情報を表示することができる。
<第5の実施形態>
図22は、本発明の第5の実施形態における、情報取得装置1eの構成を示すブロック図である。情報取得装置1eは、撮像部10と、処理部11eと、記憶部12aと、表示部13と、通信部14bとを具備する。処理部11eは、領域設定部15aと、パターン認識部114aと、表示情報取得部115dとを具備する。記憶部12aは、画像記憶部121と、指示位置記憶部122と、パターン記憶部123aと、情報記憶部124aとを具備する。領域設定部15aは、指示位置検出部111と、軌跡抽出部112と、領域指定部113aとを具備する。
図22の情報取得装置1eにおいて、図1の情報取得装置1aに対応する部分には同一の符号(10、12a、13、111、112、113a、114a、121、122、123a、124a)を付し、その説明を省略する。図22に示す被写体20aと、レーザポインタとは、図1に示す被写体20aと、レーザポインタ3aとに対応している。図1に示す被写体20aと、レーザポインタ3aとには、図1と同一の符号(2a、2b、2c、2d、3a、20a)を付して説明を省略する。
図22の情報取得装置1eは、通信部14b、管理サーバ7、管理ネットワーク51、被管理機器6a、6b、6c、6dを具備する点で図1の情報取得装置1aと異なる。
図22は、本発明の第5の実施形態における、情報取得装置1eの構成を示すブロック図である。情報取得装置1eは、撮像部10と、処理部11eと、記憶部12aと、表示部13と、通信部14bとを具備する。処理部11eは、領域設定部15aと、パターン認識部114aと、表示情報取得部115dとを具備する。記憶部12aは、画像記憶部121と、指示位置記憶部122と、パターン記憶部123aと、情報記憶部124aとを具備する。領域設定部15aは、指示位置検出部111と、軌跡抽出部112と、領域指定部113aとを具備する。
図22の情報取得装置1eにおいて、図1の情報取得装置1aに対応する部分には同一の符号(10、12a、13、111、112、113a、114a、121、122、123a、124a)を付し、その説明を省略する。図22に示す被写体20aと、レーザポインタとは、図1に示す被写体20aと、レーザポインタ3aとに対応している。図1に示す被写体20aと、レーザポインタ3aとには、図1と同一の符号(2a、2b、2c、2d、3a、20a)を付して説明を省略する。
図22の情報取得装置1eは、通信部14b、管理サーバ7、管理ネットワーク51、被管理機器6a、6b、6c、6dを具備する点で図1の情報取得装置1aと異なる。
被管理機器6a、6b、6c、6dは、管理サーバ7の管理対象となる機器であり、例えばサーバやストレージ装置である。識別対象2a、2b、2c、2dはそれぞれ、例えば、工場内の配置図において、被管理機器6a、6b、6c、6dを表すシンボルである。識別対象2aと被管理機器6a、識別対象2bと被管理機器6b、識別対象2cと被管理機器6c、識別対象2dと被管理機器6dとが、各々対応付けられている。
管理サーバ7は被管理機器6a、6b、6c、6dを管理するためのサーバである。
管理ネットワーク51は、被管理機器6a、6b、6c、6dと管理サーバ7とが通信を行うためのネットワークである。
管理サーバ7は被管理機器6a、6b、6c、6dを管理するためのサーバである。
管理ネットワーク51は、被管理機器6a、6b、6c、6dと管理サーバ7とが通信を行うためのネットワークである。
図23は、管理サーバ7が有する被管理機器の状態情報の例を表す概念図である。
管理サーバ7は管理ネットワーク51を介して被管理機器6a、6b、6c、6dの状態情報を各々の被管理機器から取得する。被管理機器6a、6b、6c、6dの状態情報は、例えば、被管理機器の負荷の状況や障害の状態などを示す情報である。管理サーバ7は被管理機器6a、6b、6c、6dの状態情報を定期的に取得し、自管理サーバ(管理サーバ7)が記憶する被管理機器6a、6b、6c、6dの状態情報を更新する。
通信部14bは、情報取得装置1eが管理サーバ7と通信を行うためのインターフェイスである。
管理サーバ7は管理ネットワーク51を介して被管理機器6a、6b、6c、6dの状態情報を各々の被管理機器から取得する。被管理機器6a、6b、6c、6dの状態情報は、例えば、被管理機器の負荷の状況や障害の状態などを示す情報である。管理サーバ7は被管理機器6a、6b、6c、6dの状態情報を定期的に取得し、自管理サーバ(管理サーバ7)が記憶する被管理機器6a、6b、6c、6dの状態情報を更新する。
通信部14bは、情報取得装置1eが管理サーバ7と通信を行うためのインターフェイスである。
まず、ポインティングデバイス3aを用いて識別対象2aを囲む動きがなされると、第1の実施形態と同様に、パターン認識部114aが、識別対象2aに対応するパターン番号「1」を表示情報取得部115dに出力する。
情報記憶部124aには、被管理機器6a、6b、6c、6dのネットワークアドレス等、被管理機器を特定する情報が、パターン番号と対応付けて記憶されている。
表示情報取得部115dは、パターン認識部114aから入力されたパターン番号に対応する、被管理機器6a~6dのいずれかを特定する情報を取得し、その取得した情報を通信部14bを通じて管理サーバ7へ出力する。
管理サーバ7は、表示情報取得部115dから入力された被管理機器6a~6dのいずれかを特定する情報に対応する状態情報を、通信部14bを通じて表示情報取得部115dへ出力する。
表示情報取得部115dは、管理サーバ7から入力された状態情報を、表示情報として表示部13へ出力し、表示部13がこれを表示する。
表示情報取得部115dは、パターン認識部114aから入力されたパターン番号に対応する、被管理機器6a~6dのいずれかを特定する情報を取得し、その取得した情報を通信部14bを通じて管理サーバ7へ出力する。
管理サーバ7は、表示情報取得部115dから入力された被管理機器6a~6dのいずれかを特定する情報に対応する状態情報を、通信部14bを通じて表示情報取得部115dへ出力する。
表示情報取得部115dは、管理サーバ7から入力された状態情報を、表示情報として表示部13へ出力し、表示部13がこれを表示する。
本実施形態は、第1の実施形態の効果に加え、管理サーバが随時更新を行う被管理機器の状態情報を表示するので、時間により動的に変化する情報を呼び出して表示することができる。
上記の説明では、識別対象2a、2b、2c、2dは、被管理機器6a、6b、6c、6dとは別の被写体20a上に表示されていた。しかしながら、識別対象2a、2b、2c、2dは、被管理機器6a、6b、6c、6dの表面に表示されていてもよい。
図1における処理部11aと、領域設定部15aと、指示位置検出部111と、軌跡抽出部112と、領域指定部113aと、パターン認識部114aと、表示情報取得部115aと、図14における処理部11bと、領域設定部15bと、指示領域検出部113bと、図16における処理部11cと、領域設定部15aと、指示位置検出部111と、軌跡抽出部112と、領域指定部113aと、パターン認識部114bと、表示情報取得部115bと、図20における処理部11dと、領域設定部15aと、指示位置検出部111と、軌跡抽出部112と、領域指定部113aと、パターン認識部114bと、表示情報取得部115cと、通信部14aと、図22における処理部11aと、領域設定部15aと、指示位置検出部111と、軌跡抽出部112と、領域指定部113aと、パターン認識部114aと、表示情報取得部115dと、通信部14bとの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含む。
「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含む。
「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。上記プログラムは、前述した機能の一部を実現しても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現しても良い。
「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。上記プログラムは、前述した機能の一部を実現しても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現しても良い。
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
この出願は、2008年12月18日に出願された日本出願特願2008-322368を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、工場内の配置図や、博物館等のナビゲーションシステムといった、案内情報表示システムや、データセンターやプラント等における機器の情報監視システムに用いて好適であるが、これに限定されない。
1a、1b、1c、1d、1e 情報取得装置
2a、2b、2c、2d、2e、2f、2g、2h 識別対象
2i、2j、2k、2l 識別対象
3a、3b ポインティングデバイス
6a、6b、6c、6d 被管理機器
7 管理サーバ
10 撮像部
11a、11b、11c、11d、11e 処理部
12a、12b、12c 記憶部
13 表示部
14a、14b 通信部
15a、15b 領域設定部
20a、20b、20c 被写体
50 ネットワーク
51 管理ネットワーク
111 指示位置検出部
112 軌跡抽出部
113a 領域指定部
113b 指示領域検出部
114a、114b パターン認識部
115a、115b、115c、115d 表示情報取得部
121 画像記憶部
122 指示位置記憶部
123a、123b パターン記憶部
124a 情報記憶部
124b、124c 情報生成規則記憶部
2a、2b、2c、2d、2e、2f、2g、2h 識別対象
2i、2j、2k、2l 識別対象
3a、3b ポインティングデバイス
6a、6b、6c、6d 被管理機器
7 管理サーバ
10 撮像部
11a、11b、11c、11d、11e 処理部
12a、12b、12c 記憶部
13 表示部
14a、14b 通信部
15a、15b 領域設定部
20a、20b、20c 被写体
50 ネットワーク
51 管理ネットワーク
111 指示位置検出部
112 軌跡抽出部
113a 領域指定部
113b 指示領域検出部
114a、114b パターン認識部
115a、115b、115c、115d 表示情報取得部
121 画像記憶部
122 指示位置記憶部
123a、123b パターン記憶部
124a 情報記憶部
124b、124c 情報生成規則記憶部
Claims (12)
- 視覚的に識別可能な識別対象であって、表示用の情報と対応付けられた識別対象を有する被写体を撮像し、撮像結果の撮像画像を出力する撮像部と、
ポインティングデバイスによって示される、前記被写体上の位置に基づいて、前記撮像画像中の領域を指定する領域設定部と、
前記撮像画像の前記領域内から前記識別対象を検出し、前記識別対象に対応付けられた前記表示用の情報を取得し、取得した前記表示用の情報を表示すべき情報とする表示情報取得部と
を具備する情報取得装置。 - 前記領域設定部は、
前記ポインティングデバイスによって示される前記被写体上の位置に対応する、前記撮像画像上の座標を検出する指示位置検出部と
前記指示位置検出部が検出した前記座標に基づいて前記撮像画像中の領域を指定する領域指定部と
を具備する請求項1に記載の情報取得装置。 - 検出された複数の前記座標を記憶する座標記憶部をさらに備え、
前記領域指定部は、前記座標記憶部から前記座標を読み出して、前記座標の集合である軌跡を生成し、生成した前記軌跡に基づき前記撮像画像中の領域を指定する
請求項2に記載の情報取得装置。 - 前記軌跡は、予め定められた時間内に検出された前記座標の集合であり、
前記領域指定部は、前記軌跡を近似する楕円を算出し、算出した前記楕円を、指定する前記領域とする
請求項3に記載の情報取得装置。 - 前記領域設定部は、前記被写体上の領域を指示可能なポインティングデバイスによって示された、前記被写体上の領域に対応する前記撮像画像の領域を前記領域として指定する
請求項1に記載の情報取得装置。 - 前記識別対象を識別する情報と対応付けて前記表示用の情報を記憶する情報記憶部をさらに具備し、
前記表示情報取得部は、前記撮像画像の前記領域内から前記識別対象を検出し、前記識別対象を識別する情報に対応付けられた前記表示用の情報を前記情報記憶部より取得し、取得した前記表示用の情報を表示すべき情報とする
請求項1から請求項5のいずれかの項に記載の情報取得装置。 - 前記識別対象は、前記表示用の情報をエンコードした、視覚的に識別可能な情報コードであって、
前記表示情報取得部は、検出した前記識別対象に対して、前記エンコードに対応したデコードを行うことで、前記識別情報に対応付けられた前記表示用の情報を取得する
請求項1から請求項5のいずれかの項に記載の情報取得装置。 - 前記識別対象は、前記表示用の情報の所在を示す所在情報をエンコードした、視覚的に識別可能な情報コードであって、
前記表示情報取得部は、検出した前記識別対象に対して、前記エンコードに対応したデコードを行うことで、前記識別情報に対応付けられた前記所在情報を取得し、前記所在情報に基づいて前記表示用の情報を取得する
請求項1から請求項5のいずれかの項に記載の情報取得装置。 - 前記表示用の情報は被管理機器の状態を表す情報であり、前記識別対象は、前記被管理機器の状態を表す情報が対象とする被管理機器の識別情報と対応付けられ、
前記表示情報取得部は、前記撮像画像の前記領域内から前記識別対象を検出し、前記識別対象に対応付けられた前記被管理機器の前記識別情報を取得し、前記識別情報を用いて前記被管理機器の状態を表す情報を、前記被管理機器の状態を表す情報を有する管理サーバから取得し、取得した前記被管理機器の状態を表す情報を前記表示すべき情報とする表示情報取得部と
を具備する請求項1から請求項5のいずれかの項に記載の情報取得装置。 - 視覚的に識別可能な識別対象であって、表示用の情報と対応付けられた識別対象を有する被写体を撮像し、撮像結果の撮像画像を出力する撮像装置と接続される情報取得装置であって、
ポインティングデバイスによって示される、前記被写体上の位置に基づいて、前記撮像画像中の領域を指定する領域設定部と、
前記撮像画像の前記領域内から前記識別対象を検出し、前記識別対象に対応付けられた前記表示用の情報を取得し、取得した前記表示用の情報を表示すべき情報とする表示情報取得部と
を具備する情報取得装置。 - 情報取得装置の情報取得方法において、
前記情報取得装置が、視覚的に識別可能な識別対象であって、表示用の情報と対応付けられた識別対象を有する被写体を撮像し、撮像結果の撮像画像を出力する撮像過程と、
前記情報取得装置が、ポインティングデバイスによって示される、前記被写体上の位置に基づいて、前記撮像画像中の領域を指定する領域設定過程と、
前記情報取得装置が、前記撮像画像の前記領域内から前記識別対象を検出し、前記識別対象に対応付けられた前記表示用の情報を取得し、取得した前記表示用の情報を表示すべき情報とする表示情報取得過程と
を備える情報取得方法。 - 視覚的に識別可能な識別対象であって、表示用の情報と対応付けられた識別対象を有する被写体を撮像し、撮像結果の撮像画像を出力する撮像部に接続される情報取得装置のコンピュータに、
ポインティングデバイスによって示される、前記被写体上の位置に基づいて、前記撮像画像中の領域を指定する領域設定過程と、
前記撮像画像の前記領域内から前記識別対象を検出し、前記識別対象に対応付けられた前記表示用の情報を取得し、取得した前記表示用の情報を表示すべき情報とする表示情報取得過程と
を実行させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008322368 | 2008-12-18 | ||
JP2008-322368 | 2008-12-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2010070870A1 true WO2010070870A1 (ja) | 2010-06-24 |
Family
ID=42268550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2009/006854 WO2010070870A1 (ja) | 2008-12-18 | 2009-12-14 | 情報取得装置、情報取得方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2010070870A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015052874A (ja) * | 2013-09-06 | 2015-03-19 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
CN108205594A (zh) * | 2018-01-02 | 2018-06-26 | 联想(北京)有限公司 | 一种图像处理方法和电子设备 |
CN108303062A (zh) * | 2016-12-27 | 2018-07-20 | 株式会社和冠 | 图像信息处理装置及图像信息处理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07200160A (ja) * | 1993-12-28 | 1995-08-04 | Hitachi Ltd | 情報提供装置及び情報表示装置 |
JPH08179875A (ja) * | 1994-12-22 | 1996-07-12 | Canon Inc | 指示位置検出方法及び装置 |
JPH10105331A (ja) * | 1996-09-27 | 1998-04-24 | Hitachi Ltd | 遠隔指示入力システム |
JPH11203381A (ja) * | 1998-01-19 | 1999-07-30 | Toyota Central Res & Dev Lab Inc | 情報閲覧システム |
-
2009
- 2009-12-14 WO PCT/JP2009/006854 patent/WO2010070870A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07200160A (ja) * | 1993-12-28 | 1995-08-04 | Hitachi Ltd | 情報提供装置及び情報表示装置 |
JPH08179875A (ja) * | 1994-12-22 | 1996-07-12 | Canon Inc | 指示位置検出方法及び装置 |
JPH10105331A (ja) * | 1996-09-27 | 1998-04-24 | Hitachi Ltd | 遠隔指示入力システム |
JPH11203381A (ja) * | 1998-01-19 | 1999-07-30 | Toyota Central Res & Dev Lab Inc | 情報閲覧システム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015052874A (ja) * | 2013-09-06 | 2015-03-19 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
CN108303062A (zh) * | 2016-12-27 | 2018-07-20 | 株式会社和冠 | 图像信息处理装置及图像信息处理方法 |
CN108205594A (zh) * | 2018-01-02 | 2018-06-26 | 联想(北京)有限公司 | 一种图像处理方法和电子设备 |
CN108205594B (zh) * | 2018-01-02 | 2023-01-06 | 联想(北京)有限公司 | 一种图像处理方法和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111937046B (zh) | 混合现实***、存储介质、方法和便携式终端装置 | |
JP2011227649A (ja) | 画像処理システム、画像処理装置、画像処理方法及びプログラム | |
WO2011046127A1 (ja) | データ収集システム、携帯端末、シール及びデータ収集方法 | |
JP2007079943A (ja) | 文字読取プログラム、文字読取方法および文字読取装置 | |
JP2006277310A (ja) | 手書き情報更新システム、手書き情報更新方法および手書き情報更新装置 | |
WO2010070870A1 (ja) | 情報取得装置、情報取得方法およびプログラム | |
JP2017085533A (ja) | 情報処理システム、及び情報処理方法 | |
JP2015114758A (ja) | 情報コード生成方法、情報コード、情報コード読取装置、及び情報コード利用システム | |
JP2010205121A (ja) | 情報処理装置および携帯端末 | |
JP6098611B2 (ja) | 画像処理装置、端末装置、処理方法、および制御プログラム | |
JP4669838B2 (ja) | 情報処理装置およびプログラム | |
US20030189546A1 (en) | Control system and method in a computer environment | |
US20160044187A1 (en) | Device control system and device control method | |
JP6327454B2 (ja) | 計測システム、計測情報表示方法及びプログラム | |
JP6652446B2 (ja) | 作業支援装置 | |
JP2016181199A (ja) | 画像投影装置、画像投影方法及びプログラム | |
JP2006134105A (ja) | 帳票読取装置 | |
JP6408055B2 (ja) | 情報処理装置、方法及びプログラム | |
JP2020170273A (ja) | 文字認識システム、文字認識サーバープログラム及び文字認識クライアントプログラム | |
JP2016062336A (ja) | 動作指示システム、動作指示方法、装着端末、および、動作指示管理サーバ | |
JP2020173601A (ja) | 二次元コード、認識処理プログラム、認識処理装置、及び認識処理方法 | |
JP6165595B2 (ja) | 帳票識別システム | |
KR20150095034A (ko) | 광학 인식 코드를 이용한 다국어 지원 서비스 | |
JP2020091748A (ja) | 端末装置、プログラム、画像管理方法 | |
JP6959529B2 (ja) | 入力情報管理プログラム、入力情報管理方法、および情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 09833178 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 09833178 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |