WO2018207287A1 - 撮影補助装置および撮影補助方法 - Google Patents

撮影補助装置および撮影補助方法 Download PDF

Info

Publication number
WO2018207287A1
WO2018207287A1 PCT/JP2017/017709 JP2017017709W WO2018207287A1 WO 2018207287 A1 WO2018207287 A1 WO 2018207287A1 JP 2017017709 W JP2017017709 W JP 2017017709W WO 2018207287 A1 WO2018207287 A1 WO 2018207287A1
Authority
WO
WIPO (PCT)
Prior art keywords
determination unit
camera
inspection
type
captured image
Prior art date
Application number
PCT/JP2017/017709
Other languages
English (en)
French (fr)
Inventor
隼也 大澤
博彦 樋口
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US16/603,129 priority Critical patent/US11070719B2/en
Priority to CN201780090337.8A priority patent/CN110651465B/zh
Priority to PCT/JP2017/017709 priority patent/WO2018207287A1/ja
Priority to JP2019516796A priority patent/JP6567225B2/ja
Publication of WO2018207287A1 publication Critical patent/WO2018207287A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present invention relates to a photographing assistance device and a photographing assistance method for assisting photographing with a camera.
  • Maintenance and inspection work is indispensable for mechanical equipment such as water treatment equipment, plant equipment, power generation equipment, or building equipment.
  • an operator may have to confirm the state of a meter or the like installed in a place that cannot be visually confirmed directly.
  • the operator holds the camera, moves the camera to a position where the meter or the like can be photographed, and confirms the state of the meter or the like from the photograph taken at that position.
  • the operator takes a picture of a target object such as a meter, and then looks at the photographed photograph to confirm that the target object is within an appropriate angle. It is necessary to repeat the work to do many times. For this reason, there is a technology for assisting the operator's imaging operation so that the operator can shoot an object that cannot be visually confirmed directly (hereinafter also referred to as “invisible object”) within an appropriate angle. Desired.
  • Patent Document 1 when taking a selfie with a portable camera, if the user cannot confirm whether his / her face is within the angle of view on the liquid crystal screen, the direction of the face is detected from the image reflected on the portable camera and used. Compared with the pre-stored face direction set by the user, the user guides the user to move the mobile camera with an audio guide so that the two match.
  • An imaging apparatus that can take a picture of the camera is disclosed.
  • the present invention has been made to solve the above-described problems, and can assist a user in photographing operation so that the user can photograph an invisible object at an appropriate angle. It is an object of the present invention to provide an apparatus and a photographing assistance method.
  • the moving speed determining unit determines whether or not the moving speed of the camera is equal to or higher than the threshold and the moving speed determining unit determines that the moving speed of the camera is equal to or higher than the threshold
  • an object outline determination unit that determines whether an inspection target candidate that is an object that can be an object to be inspected is included in the captured image
  • an object outline determination unit When it is determined that the inspection target candidate appears in the captured image, the movement speed instruction unit that outputs an instruction to slow down the movement speed of the camera and the movement speed determination unit indicate that the movement speed of the camera is less than a threshold value.
  • an object type determination unit that determines the type of the object in the captured image, and an object determined by the object type determination unit Determine whether the type matches the type of the inspection object to be inspected at present, and if the type of the object matches the type of the inspection object, determine the current position of the camera as the shooting position, A photographing position determining unit that outputs an instruction to stop the movement of the camera.
  • the user can shoot an invisible object in an appropriate angle.
  • FIG. 3 is a block diagram illustrating a functional configuration of the photographing assisting apparatus according to the first embodiment.
  • this Embodiment 1 it is a figure which shows an example of the summary image data memorize
  • this Embodiment 1 it is a figure which shows an example of the detailed image data memorize
  • this Embodiment 1 it is a figure which shows an example of the inspection procedure data memorize
  • 4 is a flowchart for explaining the overall operation of the photographing assisting apparatus according to the first embodiment.
  • Embodiment 2 it is a figure for demonstrating an example when the target object which caught the angle of view of the present camera is not a correct inspection object. It is a figure which shows the outline
  • FIG. 11B is a diagram showing data on the center coordinates of each inspection object on each two-dimensional image or three-dimensional point cloud model.
  • FIG. 6 is a flowchart for explaining the overall operation of the photographing assisting apparatus according to the second embodiment.
  • this Embodiment 2 it is a figure which shows an example of the target object position data memorize
  • Embodiment 1 FIG. 1
  • FIG. 1 is a block diagram illustrating a functional configuration of the photographing assisting apparatus 1 according to the first embodiment.
  • the photographing assisting device 1 is mounted on a mobile terminal 100 such as a smartphone or tablet equipped with a camera 2, various sensors (not shown) such as an acceleration sensor or a gyro sensor, and a speaker 3.
  • a mobile terminal 100 such as a smartphone or tablet equipped with a camera 2
  • various sensors such as an acceleration sensor or a gyro sensor
  • a speaker 3 a speaker 3.
  • the portable terminal 100 equipped with the photographing assisting device 1 is a portable terminal that is carried by the worker when the worker performs maintenance and inspection work in the machine facility.
  • the mechanical equipment is, for example, water treatment equipment, plant equipment, power generation equipment, or building equipment.
  • the worker is also a user of the portable terminal 100 on which the photographing assisting device 1 is mounted.
  • the worker confirms the state of an object (invisible object) such as a meter installed in a place where the worker cannot directly visually check.
  • an object invisible object
  • the operator holds the mobile terminal 100 in his / her hand, searches for a position where the invisible object or the invisible object can be photographed, and photographs the invisible object with the mobile terminal 100, and the invisible object Maintenance inspection work is performed by checking the state of the invisible object by looking at the image taken.
  • the imaging assisting device 1 assists an imaging operation by an operator so that an invisible object can be captured at an appropriate angle during maintenance inspection work.
  • there are a plurality of invisible objects and an operator photographs each invisible object in a predetermined order and checks the state of each invisible object by looking at the captured image. Maintenance and inspection work shall be conducted.
  • the imaging assistance device 1 includes a movement speed calculation unit 11, a movement speed determination unit 12, an object outline determination unit 13, a movement speed instruction unit 14, an object type determination unit 15, a shooting position determination unit 16, and the like.
  • the imaging assistance device 1 refers to a pre-generated database (DB) 4 generated in advance by an administrator or an operator, and acquires various types of information stored in the pre-generated DB 4.
  • the pre-generated DB 4 is provided, for example, in a place where the photographing auxiliary device 1 can be referred to via a network.
  • the pre-generated DB 4 includes a summary image DB 41, a detailed image DB 42, and an inspection procedure DB 43. Details of the summary image DB 41, the detailed image DB 42, and the inspection procedure DB 43 will be described later.
  • the movement speed calculation unit 11 calculates the speed of the hand based on information acquired from various sensors mounted on the mobile terminal 100 such as an acceleration sensor or a gyro sensor.
  • the hand speed is the moving speed of the hand of an operator who holds the mobile terminal 100 and operates the mobile terminal 100 to photograph the object. That is, the moving speed of the hand is substantially the same as the moving speed of the camera 2 of the mobile terminal 100. In the following description, the moving speed of the camera 2 is described as the “hand speed” of the operator.
  • the movement speed calculation unit 11 outputs information regarding the calculated hand speed to the movement speed determination unit 12.
  • the movement speed determination unit 12 determines whether or not the hand speed is equal to or higher than a specified speed (hereinafter also simply referred to as “threshold”) based on the information regarding the hand speed output from the movement speed calculation unit 11. To do.
  • the prescribed speed refers to a lower limit value of a hand speed range in which blurring or blurring is likely to occur in an image captured by a camera (hereinafter referred to as “captured image”).
  • a captured image is an image captured by a camera and displayed on a liquid crystal screen or the like in order to confirm a shooting range using a liquid crystal screen or the like before the user takes a picture in the digital camera.
  • An administrator or an operator can previously calculate the specified speed based on the focal length at which the captured image is likely to be blurred or blurred, the presence / absence of a camera shake correction function, and the like, and the photographing assisting device 1 can be referred to. It is set in a specified speed storage unit (not shown) provided in the place.
  • the camera 2 is a camera having a frame rate of 30 FPS (Frames Per Second), and an administrator or an operator blurs if a hand moves 1 cm between frames.
  • the specified speed is set to 30 cm / s.
  • the moving speed determination unit 12 outputs information related to the determination result as to whether or not the hand speed is equal to or higher than the specified speed to the object outline determination unit 13 and the object type determination unit 15.
  • the object outline determination unit 13 captures the captured image acquired from the camera 2 and the outline image stored in the outline image DB 41 when the moving speed determination unit 12 determines that the hand speed is equal to or higher than the specified speed. Based on the data, the outline of the object shown in the captured image is confirmed, and a rough determination is made as to whether or not the invisible object is shown in the captured image. Specifically, the object outline determination unit 13 determines that the outer shape of the object shown in the captured image is, for example, “ ⁇ (circle)” or “ ⁇ (square)” that is predetermined according to the invisible object.
  • the target object outline determination unit 13 determines whether the outline of the object shown in the captured image has a predetermined shape such as “circle (circle)” or “square (square)”. Confirm by using template matching as a template image. As a result of performing the template matching, when it is confirmed that an object that matches the shape indicated by the outline image data is captured in the captured image, the object outline determination unit 13 determines that an object that appears to be an invisible object is present. It is determined that the captured image is captured.
  • the object outline determination unit 13 performs a rough determination as to whether or not the invisible object appears in the captured image by the above method. As described above, the determination by the object outline determination unit 13 is a rough determination, and does not determine whether the object shown in the captured image is an invisible object.
  • the object outline determination unit 13 determines an object (hereinafter referred to as “inspection object candidate”) as a candidate for an invisible object that is an object to be inspected. Note that an acquisition unit (not shown) of the imaging assistance device 1 acquires a captured image from the camera 2. And the target object outline
  • FIG. 2 is a diagram showing an example of summary image data stored in the summary image DB 41 in the first embodiment.
  • the summary image DB 41 stores image data such as a circle image of the outer frame shape of the meter or a square image of the outer frame shape of the switch as the summary image data.
  • These meters, switches, and the like are installed in a place where an operator cannot directly visually check and are objects of inspection, and are examples of invisible objects.
  • image data indicating an outer shape such as an outer frame shape of the invisible object is stored as overview image data.
  • the object outline determination unit 13 determines whether the inspection target candidate is reflected in the captured image by the above method.
  • the method for determining whether the inspection target candidate is included in the captured image is not limited to this.
  • the object outline determination unit 13 may use an existing Hough transform technique to check whether the shape of “ ⁇ (circle)” is reflected.
  • the object outline determination unit 13 includes the outer frame of the marker. It may be determined whether the inspection target candidate is reflected in the captured image by confirming that the square of the shape is reflected in the captured image.
  • the target object outline determination unit 13 outputs the determination result to the movement speed instruction unit 14.
  • the moving speed instruction unit 14 When the determination result that the inspection target candidate is reflected in the captured image is output from the object outline determination unit 13, the moving speed instruction unit 14 outputs audio data to the speaker 3. The voice is output based on the voice data. This audio data indicates the audio content that instructs the operator to slow down the hand movement. Specifically, for example, the moving speed instruction unit 14 causes the speaker 3 to output a voice “It is in the vicinity. Please move your hand slowly”. This is merely an example, and the moving speed instruction unit 14 may use a sound effect such as “pea” to guide that there are inspection target candidates in the vicinity.
  • the object type determination unit 15 compares the detailed image data stored in the detailed image DB 42 with the captured image when the moving speed determination unit 12 determines that the hand speed is less than the specified speed.
  • the type of the invisible object shown in the captured image is determined.
  • the object type determination unit 15 determines the type of the object by performing template matching using the detailed image data as a template image, for example. When the speed of the hand is less than the specified speed, the captured image is not blurred or blurred, so it is possible to accurately determine what the object is in the captured image. That is, if an invisible object appears in the captured image, the object type determination unit 15 can determine the type of the invisible object.
  • FIG. 3 is a diagram showing an example of the detailed image data stored in the detailed image DB 42 in the first embodiment.
  • the detailed image DB 42 stores, as detailed image data, data of an image in which an object is shown in detail, such as a meter image or a switch image, for example.
  • data of an image showing an invisible object in detail is stored as summary image data.
  • peripheral information is added to the template image, and the type of the invisible object is determined from the difference in the template image. You may judge.
  • the object type determination unit 15 detects the marker and determines the type of the invisible object from the marker. May be. The object type determination unit 15 outputs the determination result of the invisible object type to the imaging position determination unit 16.
  • the shooting position determination unit 16 determines a shooting position for shooting the invisible object based on the determination result of the type of the invisible object output from the object type determination unit 15, and the speaker 3 is used for the operator. An instruction to stop the hand is output by voice or the like. Specifically, the imaging position determination unit 16 is based on the invisible object determined by the object type determination unit 15 and the inspection procedure data stored in the inspection procedure DB 43, and the invisible object reflected in the captured image. It is determined whether or not the object and the invisible object to be inspected currently defined that are defined in the inspection procedure data match, and if they match, the current hand position is determined as the imaging position. In the first embodiment, the invisible object that is identified from the inspection procedure data and should be inspected by the operator is also referred to as an inspection object. The shooting position determination unit 16 causes the speaker 3 to output a sound of content that instructs the operator to stop the hand at the current position.
  • FIG. 4 is a diagram illustrating an example of inspection procedure data stored in the inspection procedure DB 43 in the first embodiment.
  • the inspection procedure DB 43 as shown in FIG. 4, an inspection procedure that defines what work is performed on which invisible object in what order is defined.
  • a procedure ID is assigned for each work, and works corresponding to the work ID are arranged in ascending order of the work ID.
  • the worker performs the work corresponding to the work ID in ascending order of the work ID.
  • the information on the work content is displayed as text on a display unit (not shown) of the mobile terminal 100, for example, and the worker confirms the content of the text and holds the mobile terminal 100 with an invisible object to be inspected or The inspection work proceeds while searching for a position where an invisible object can be photographed. Then, when the inspection work is completed, the worker inputs the inspection result from an input unit (not shown) such as a touch panel of the mobile terminal 100. At this time, the worker inputs the inspection result so that the invisible object for which the inspection work is completed can be known. For example, the operator may input the name of the invisible object and the inspection result in association with each other, or may input the operation ID and the inspection result in association with each other.
  • the result reflection unit (not shown) of the mobile terminal 100 assigns an inspected flag to the corresponding procedure ID of the inspection procedure data, for example.
  • the imaging position determination unit 16 refers to the inspection procedure data and is currently inspecting the invisible object corresponding to the procedure ID to which the inspected flag is not assigned and corresponding to the smallest dot order ID. It is determined that the inspection object is an invisible object to be performed, and it is determined whether the inspection object matches the invisible object determined by the object type determination unit 15.
  • the inspected flag is cleared, for example, when the operator inputs information indicating that the inspection operation has been completed from the input unit, or when the mobile terminal 100 is powered off. In FIG.
  • the inspection procedure data is associated with a work place, a work target, an invisible object, and a work content for each procedure ID.
  • this is merely an example, and other information is provided. May be defined in association with each other.
  • the inspection procedure data only needs to be able to guide the operator about what invisible object is to be performed next based on the inspection procedure data.
  • the work object indicates a control panel or a distribution board to which an invisible object is attached.
  • the photographing position determining unit 16 When the photographing position is determined, the photographing position determining unit 16 outputs an instruction from the speaker 3 as a sound to the effect that the inspection target has been detected and to stop the movement of the hand. Specifically, the shooting position determination unit 16 outputs, for example, a sound “Meter A detected. Please stop your hand” from the speaker 3. Note that this is merely an example, and the shooting position determination unit 16 outputs, from the speaker 3 or the like, an instruction to detect the inspection target and stop the movement of the hand as a sound effect such as “pipipi”. May be.
  • the imaging position determination unit 16 detects, for example, the speaker 3 A guidance that the invisible object that has been made is not the inspection object is output. Specifically, the imaging position determination unit 16 outputs, for example, a voice “The meter B has been detected. Not the current inspection target” from the speaker 3. The imaging position determination unit 16 instructs the operator to search again for an invisible object to be inspected by causing the speaker 3 to output the guidance. In addition, when the shooting position is determined, the shooting position determination unit 16 outputs a position determination notification indicating that the shooting position has been determined to the shooting control unit 17.
  • the shooting control unit 17 controls the camera 2 to release the shutter using the position at the time when the position determination notification is acquired as the shooting position. As a result, the camera 2 automatically releases the shutter and takes a picture.
  • FIG. 5 is a flowchart for explaining the overall operation of the photographing assisting apparatus 1 according to the first embodiment.
  • the operator operates the mobile terminal 100 to activate the camera 2.
  • the operator searches for an invisible object or a position where the invisible object can be captured (step ST502).
  • the worker searches for an invisible object while causing the camera 2 to capture an image.
  • the captured images are sequentially output from the camera 2 to an acquisition unit (not shown) of the photographing assisting device 1.
  • the acquisition unit of the imaging assistance device 1 acquires a captured image and outputs the captured image to the moving speed calculation unit 11, the target object outline determination unit 13, and the target object type determination unit 15.
  • the moving speed calculation unit 11 calculates the speed of the hand based on information acquired from various sensors mounted on the portable terminal 100 such as an acceleration sensor or a gyro sensor (step ST503).
  • the movement speed calculation unit 11 outputs information regarding the calculated hand speed to the movement speed determination unit 12.
  • the movement speed determination unit 12 determines whether or not the hand speed is equal to or higher than a specified speed (threshold) based on the information about the hand speed output from the movement speed calculation unit 11 in step ST503 (step ST504).
  • the moving speed determination unit 12 determines whether the speed of the hand is 30 cm / second or more.
  • the movement speed calculation unit 11 calculates the hand speed
  • the movement speed determination unit 12 determines whether the hand speed calculated by the movement speed calculation unit 11 is equal to or higher than a specified speed.
  • the movement speed determination unit 12 acquires information on the movement speed of the hand from the portable terminal 100, You may make it determine whether the speed of a hand is more than regulation speed.
  • step ST504 when it is determined that the hand speed is equal to or higher than the specified speed (in the case of “YES” in step ST504), the object outline determination unit 13 is stored in the captured image acquired from the acquisition unit and the outline image DB 41. Based on the summary image data, it is determined whether or not the inspection target candidate is reflected in the captured image. (Step ST505).
  • the target object outline determination unit 13 outputs a determination result as to whether or not the inspection target candidate is captured in the captured image to the movement speed instruction unit 14.
  • step ST505 the movement speed instruction unit 14 outputs an inspection target candidate to the speaker 3 when a determination result indicating whether or not the inspection target candidate is reflected in the captured image is output from the object outline determination unit 13.
  • step ST506 An instruction to slow down the movement and the movement of the hand is output by voice or the like (step ST506). Then, it returns to step ST502. In addition, when it determines with the target object outline
  • the object type determination unit 15 includes the detailed image data stored in the detailed image DB 42, The type of the invisible object in the captured image is determined by collating with the captured image acquired from the acquisition unit (step ST507). The object type determination unit 15 outputs the determination result of the type of the invisible object to the imaging position determination unit 16.
  • step ST507 Based on the invisible object determined by the object type determination unit 15 in step ST507 and the inspection procedure data stored in the inspection procedure DB 43, the imaging position determination unit 16 and the invisible object reflected in the camera image, It is determined whether or not the inspection object that is the object to be inspected currently defined in the inspection procedure data matches (step ST508).
  • step ST508 when the invisible object determined by the object type determination unit 15 matches the inspection object (in the case of “YES” in step ST508), the imaging position determination unit 16 determines the current hand position. Are determined as shooting positions. Then, the shooting position determination unit 16 outputs an instruction to stop the operator from the speaker 3. Furthermore, the shooting position determination unit 16 outputs a position determination notification indicating that the shooting position has been determined to the shooting control unit 17.
  • the shooting control unit 17 controls the camera 2 to release the shutter using the position at the time when the position determination notification is acquired as the shooting position (step ST509). ).
  • step ST508 when the invisible object determined by the object type determination unit 15 and the inspection object defined in the inspection procedure data do not match (in the case of “NO” in step ST508), imaging is performed.
  • the position determination unit 16 causes the speaker 3 to output a guidance indicating that it is not an inspection object to be inspected, such as “Meter B has been detected. Instruct to search for the inspection object again. Then, it returns to step ST502.
  • the captured image is likely to be blurred or blurred.
  • the captured image is blurred or blurred, it is difficult to accurately determine what the object is in the captured image.
  • the distance between the camera 2 of the mobile terminal 100 held by the worker and the meter or the like cannot be secured, only a part of the meter or the like may be captured in the captured image.
  • the photographing assisting apparatus 1 when the speed of the hand movement is equal to or higher than the specified speed, first, the captured image captured by the camera while the operator searches for the invisible object. Guide the movement of the hand so that the object fits within the angle, determine whether the inspection target candidate is in the captured image, and notify the operator if the inspection target candidate is in the captured image To do. At that time, the operator is instructed to slow down the movement of the hand, and when the speed of movement of the hand of the worker is slower than the specified speed, the type of the invisible object is determined and the shooting position is determined. decide.
  • the photographing assistance device 1 guides the movement of the hand in two stages according to the speed of the operator's hand, and the type of the invisible object is specified by the speed of the hand being high and the occurrence of blurring and blurring.
  • the shooting position is determined.
  • FIG. 6 is a flowchart for explaining detailed operations of the object outline determination unit 13 and the moving speed instruction unit 14 of the photographing assisting apparatus 1 according to the first embodiment. That is, FIG. 6 is a flowchart for explaining detailed operations of step ST505 and step ST506 of FIG.
  • the object outline determination unit 13 acquires a capture image from the acquisition unit (step ST601). Moreover, the target object outline
  • the object outline determination unit 13 compares the captured image acquired in step ST601 with the outline image data acquired in step ST602, and calculates the similarity S1 (step ST603).
  • the similarity is, for example, a known cosine similarity.
  • Based on the similarity S1 an object appearing in the image can be confirmed, and it can be determined that the inspection target candidate is reflected in the captured image.
  • the object outline determination unit 13 compares all the objects shown in the captured image acquired in step ST601 with all the outline image data acquired in step ST602, and calculates the similarity S1.
  • the object outline determination unit 13 determines whether the similarity S1 with each outline image data is 70% or more for each object shown in the captured image (step ST604). This determination is made for all the similarities S1 calculated in step ST603.
  • the target object outline determination unit 13 has a similarity S1 of 70% or more with any of the outline image data acquired in step ST603 and any object in the captured image acquired in step ST601. If there is, it is determined that the similarity S1 is 70% or more.
  • the object outline determination unit 13 determines that the object shown in the captured image is defined by the outline image data.
  • a determination result indicating that the inspection target candidate is reflected in the captured image is output to the moving speed instruction unit 14 as if it matches the outer shape of the invisible object.
  • the fact that the object and the like of the invisible object coincide with each other in the captured image means that the camera 2 has captured an invisible object that can be an inspection object.
  • step ST604 when the determination result indicating that the inspection target candidate is reflected in the captured image is output from the target object determination unit 13, the moving speed instruction unit 14 has an inspection target candidate for the speaker 3. This is notified, and an instruction to slow down the movement of the hand is output by voice or the like (step ST605).
  • step ST604 when the similarity S1 is less than 70% in step ST604 (in the case of “NO” in step ST604), the process returns to step ST601, and the worker continues the invisible object while keeping the speed of the hand high. Search for.
  • the target object outline determination unit 13 may cause the speaker 3 to output an instruction to continue the operation of searching for the invisible target object, such as “Please continue as it is”, by voice or the like. Good.
  • FIG. 7 is a flowchart for explaining detailed operations of the object type determination unit 15, the shooting position determination unit 16, and the shooting control unit 17 of the shooting assistance apparatus 1 according to the first embodiment. That is, FIG. 7 is a flowchart for explaining the detailed operation of steps ST507 to ST509 in FIG.
  • the object type determination unit 15 acquires a capture image from the acquisition unit (step ST701). Further, the object type determination unit 15 refers to the detailed image DB 42 and acquires detailed image data (step ST702).
  • the object type determination unit 15 compares the captured image acquired in step ST701 with the detailed image data acquired in step ST702, and calculates the similarity S2 (step ST703).
  • the similarity is, for example, a known cosine similarity.
  • the object type determination unit 15 compares all the objects shown in the captured image acquired in step ST701 with all the summary image data acquired in step ST702, and calculates the similarity S2.
  • the object type determination unit 15 determines whether the degree of similarity S2 with each detailed image data is 95% or more for each object shown in the captured image (step ST704). This determination is made for all the similarities S2 calculated in step ST703.
  • the object type determination unit 15 has a similarity S2 of 95% or more with any of the detailed image data acquired in step ST703 and any of the objects in the captured image acquired in step ST701. If there is, it is determined that the similarity S2 is 95% or more.
  • the object type determination unit 15 is defined by the object shown in the captured image and the detailed image data.
  • the object type determination unit 15 also outputs to the imaging position determination unit 16 information on the invisible object defined by the detailed image data that has been determined to match.
  • the shooting position determination unit 16 acquires information on the invisible object that the object type determination unit 15 determines to be included in the captured image from the object type determination unit 15 and sets it as the object type data Dr (step). ST705). For example, when the invisible object shown in the captured image matches the image of “meter A” defined in the detailed image data (see FIG. 3), the object type determination unit 15 determines that the “meter A” Is output to the imaging position determination unit 16, and the imaging position determination unit 16 acquires the information of “Meter A” as the object type data Dr.
  • the imaging position determination unit 16 refers to the inspection procedure data in the inspection procedure DB 43, and acquires information on the inspection object that is the object to be inspected as inspection object type data Dn (step ST706). For example, in the inspection procedure data, if the inspection flag is assigned to the inspection objects having the procedure IDs P1 and P2, the imaging position determination unit 16 determines that the current inspection object is a “meter A having a procedure ID of P3. And the information “Meter A” is acquired as inspection object type data Dn.
  • the imaging position determination unit 16 determines whether or not the object type data Dr acquired in step ST705 matches the inspection object type data Dn acquired in step ST706 (step ST707).
  • step ST707 when the object type data Dr matches the inspection object type data Dn (in the case of “YES” in step ST707), the imaging position determination unit 16 determines the current hand position as the imaging position. To do. Then, the shooting position determination unit 16 outputs an instruction to stop the operator from the speaker 3 (step ST708). The shooting position determination unit 16 outputs a position determination notification indicating that the shooting position has been determined to the shooting control unit 17. When a position determination notification is output from the shooting position determination unit 16 in step ST708, the shooting control unit 17 controls the camera 2 to release the shutter using the position at the time when the position determination notification is acquired as the shooting position. (Step ST709).
  • step ST707 when the object type data Dr and the inspection object type data Dn do not match (in the case of “NO” in step ST707), the imaging position determination unit 16 determines the current position of the speaker 3 for example. Information indicating that the object is not an inspection object to be inspected is output, and the operator is instructed to search for the inspection object again (step ST710). Then, it returns to step ST701.
  • FIG. 8A and 8B are diagrams showing an example of the hardware configuration of the photographing assisting apparatus 1 according to Embodiment 1 of the present invention.
  • a movement speed calculation unit 11, a movement speed determination unit 12, an object outline determination unit 13, a movement speed instruction unit 14, an object type determination unit 15, and an imaging position determination unit 16 and each function of the imaging control unit 17 are realized by a processing circuit 801.
  • the photographing assisting device 1 shoots an object existing in a place that cannot be visually confirmed for the worker based on the camera image acquired from the camera 2 and the information stored in the pre-generated DB 4.
  • a processing circuit 801 for controlling processing for outputting guidance for assisting may be dedicated hardware as shown in FIG. 8A or a CPU (Central Processing Unit) 806 that executes a program stored in the memory 805 as shown in FIG. 8B.
  • CPU Central Processing Unit
  • the processing circuit 801 When the processing circuit 801 is dedicated hardware, the processing circuit 801 includes, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), and an FPGA (Field-Programmable). Gate Array) or a combination of these.
  • the processing circuit 801 is the CPU 806, the moving speed calculation unit 11, the moving speed determination unit 12, the object outline determination unit 13, the movement speed instruction unit 14, the object type determination unit 15, and the imaging position determination unit 16
  • Each function of the imaging control unit 17 is realized by software, firmware, or a combination of software and firmware. That is, the moving speed calculation unit 11, the moving speed determination unit 12, the object outline determination unit 13, the movement speed instruction unit 14, the object type determination unit 15, the shooting position determination unit 16, and the shooting control unit 17.
  • a processing circuit such as a HDD (Hard Disk Drive) 802, a CPU 806 that executes a program stored in the memory 805, or a system LSI (Large-Scale Integration).
  • the programs stored in the HDD 802, the memory 805, or the like include a moving speed calculation unit 11, a moving speed determination unit 12, an object outline determination unit 13, a movement speed instruction unit 14, and an object type determination unit 15. It can also be said that the computer executes the procedures and methods of the photographing position determination unit 16 and the photographing control unit 17.
  • the memory 805 includes, for example, RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory, etc.) Or a volatile semiconductor memory, a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, or a DVD (Digital Versatile Disc).
  • Some of these functions may be realized by dedicated hardware, and some may be realized by software or firmware.
  • the function of the moving speed calculation unit 11 is realized by a processing circuit 801 as dedicated hardware, and the moving speed determination unit 12, the object outline determination unit 13, the movement speed instruction unit 14, and the object type
  • the functions of the determination unit 15, the shooting position determination unit 16, and the shooting control unit 17 can be realized by the processing circuit reading and executing a program stored in the memory 805.
  • the memory 805 stores camera image data acquired from the camera 2 and data being processed by the processing circuit 801.
  • the photographing assisting device 1 also includes an input interface device 803 and an output interface device 804 that communicate with the camera 2 and the speaker 3 included in the mobile terminal 100 or an external device such as the pre-generated DB 4.
  • the acquisition unit of the photographing assisting apparatus 1 includes an input interface device 803.
  • the movement speed determination unit 12 that determines whether or not the movement speed of the camera 2 is equal to or higher than the threshold value and the movement speed determination unit 12 move the camera 2.
  • an object for determining whether or not an inspection target candidate that is an object to be inspected is included in the captured image
  • a movement speed instruction unit 14 that outputs an instruction to slow down the movement speed of the camera 2;
  • the moving speed determination unit 12 determines that the moving speed of the camera 2 is less than the threshold, the target for determining the type of the object shown in the captured image based on the captured image It is determined whether the type of the object determined by the type determining unit 15 and the object type determining unit 15 matches the type of the inspection object to be inspected at present, and the type of the object is the type of the inspection object
  • the movement of the hand is guided in two stages according to the speed of the movement of the hand that searches for an object existing in a place where visual confirmation cannot be performed.
  • movement can be assisted so that a user can image
  • the shooting control unit 17 is configured to output a shooting instruction to the camera 2. Therefore, the inspection object can be automatically photographed at an appropriate angle.
  • Embodiment 2 if the imaging position determination unit 16 determines that the invisible object determined by the object type determination unit 15 and the inspection object defined in the inspection procedure data do not match, the imaging position For example, the determination unit 16 outputs a guidance to the effect that the speaker 3 is not an inspection object to be inspected, and instructs the operator to search for the inspection object again.
  • the imaging position determination unit 16 determines that the invisible object determined by the object type determination unit 15 does not match the inspection object defined by the inspection procedure data. An embodiment for guiding the camera 2 toward the inspection object will be described.
  • FIG. 9 is a block diagram showing a functional configuration of the photographing assisting apparatus 1a according to the second embodiment of the present invention.
  • the photographing assisting device 1a according to the second embodiment is a portable device such as a smartphone or tablet equipped with a camera 2, various sensors (not shown) such as an acceleration sensor or a gyro sensor, and a speaker 3. Installed in the terminal 100.
  • various sensors such as an acceleration sensor or a gyro sensor
  • a speaker 3 Installed in the terminal 100.
  • the portable terminal 100 equipped with the photographing auxiliary device 1a performs maintenance inspection work in mechanical equipment such as water treatment equipment, plant equipment, power generation equipment, or building equipment, It is assumed that the portable terminal is carried by a worker who is a user.
  • the photographing assistance apparatus 1 a according to the second embodiment of the present invention further includes a peripheral position information notification unit 18, which is different from the photographing auxiliary apparatus 1 according to the first embodiment described with reference to FIG. 1.
  • the point to prepare is different.
  • symbol is attached
  • the pre-generated database 4a referred to by the imaging assistance device 1a is different in that it further includes an object position DB 44 in addition to the overview image DB 41, the detailed image DB 42, and the inspection procedure DB 43. Details of the object position DB 44 will be described later.
  • the invisible object determined by the object type determination unit 15 in the imaging position determination unit 16 does not match the inspection object specified from the inspection procedure data stored in the inspection procedure DB 43. If it is determined that, the speaker 3 outputs audio information or the like for guiding the position of the inspection object as viewed from the position of the camera 2 at that time. For example, as shown in FIG. 10, it is assumed that the current angle of view of the camera 2 matches the switch B, and the switch A, which is an inspection object to be inspected at present, is on the left side of the switch B. In this case, the peripheral position information notification unit 18 outputs, for example, a sound “Surface B is detected.
  • the current switch A to be inspected is on the left side” from the speaker 3, so that the operator is correct. Instruct the location of the inspection object.
  • the peripheral position information notification unit 18 calculates the correct position of the inspection object from the object position data stored in the object position DB 44.
  • FIG. 11 is a diagram illustrating an example of the object position data stored in the object position DB 44 in the second embodiment.
  • the object position data includes, as shown in FIG. 11, image data (FIG. 11A) showing in detail an invisible object that can be an inspection object using a two-dimensional or three-dimensional point cloud model, and each two-dimensional image.
  • image data FIG. 11A
  • information FIG. 11B
  • the center coordinates of each object are set in advance by an operator or the like. Specifically, for example, an operator or the like captures an invisible object at a certain position, and sets the center coordinates of each invisible object in the captured image.
  • the center coordinates of each invisible object are information for determining the positional relationship between the invisible objects when there are a plurality of invisible objects.
  • FIG. 11A the image data which copied in detail the invisible object which the board A has among the invisible objects which can become an inspection object is shown.
  • the invisible object determined by the object type determination unit 15 in the imaging position determination unit 16 does not match the inspection object specified from the inspection procedure data stored in the inspection procedure DB 43. Is determined, the position of the inspection object to be instructed to the operator is calculated based on the captured image and the image indicated by the object position data as shown in FIG. 11A.
  • the peripheral position information notifying unit 18 performs matching between the captured image and the image indicated by the object position data, and the captured image shows where in the image indicated by the preset object position data. It is specified whether it is.
  • the peripheral position information notification unit 18 may use an existing method such as template matching, SIFT (Scale-Invariant Feature Transform), or SURF (Speed-Up Robust Features) as a matching method.
  • the captured image shows a switch B that is an invisible object of the board A (see FIG. 12A)
  • the inspection object is a switch A that is an invisible object of the board A (see FIG. 11A).
  • the peripheral position information notification unit 18 matches the image shown in FIG. 12A with the image indicated by the object position data as shown in FIG. 11A, and the captured image is included in the image indicated by the object position data. Identify where the copy is.
  • the peripheral position information notification unit 18 specifies that the range indicated by 1201 in FIG. 12B is the range that is captured in the captured image.
  • the peripheral position information notification unit 18 uses the information on the center coordinates of the invisible object that can be each inspection object on each 2D image or 3D point cloud model in the object position data (see FIG. 11B). Based on the position coordinates corresponding to the center coordinates of the switch B in the captured image, the center coordinates Cr of the switch B on the image indicated by the object position data are specified. Then, the peripheral position information notification unit 18 compares the specified center coordinate Cr with the center coordinate Cn of the switch A that is the inspection target on the image indicated by the target position data, and the captured image is captured. In view of the position of the camera 2 at the time, it is calculated at which position the switch A that is the inspection object exists.
  • the peripheral position information notification unit 18 has a center coordinate Cr (200, 100), which is a position coordinate corresponding to the center coordinate of the switch B captured in the captured image, and is an inspection object. Since the center coordinate Cn of a certain switch A is (100, 100), it is calculated that the switch A is located on the left when viewed from the position of the camera 2.
  • the peripheral position information notification unit 18 specifies the invisible object determined by the object type determination unit 15 and the inspection procedure data stored in the inspection procedure DB 43 in the imaging position determination unit 16.
  • the speaker 3 outputs sound information or the like for guiding the position of the inspection object as viewed from the position of the camera 2 at that time.
  • the method of guiding the inspection object to the worker is not limited to this.
  • the peripheral position information notification unit 18 may cause the speaker 3 to output sound information or the like for guiding the distance from the position of the camera 2 to the inspection target at that time.
  • the peripheral position information notification unit 18 may output sound information or the like that guides the direction in which the inspection object is in view of the position of the camera 2 at that time from the speaker 3.
  • the peripheral position information notification unit 18 determines the distance from the position of the camera 2 to the inspection object, for example, the center coordinates Cr corresponding to the center coordinates of the switch B captured in the captured image, as described in the above example. And the center coordinates Cn of the switch A that is the inspection object. In the above example, the center coordinates Cn (100, 100) are located at a distance of 100 minutes in the right direction when viewed from the center coordinates Cr (200, 100). The peripheral position information notification unit 18 calculates the distance of 100 minutes using a ratio obtained in advance by how many centimeters the 100 minutes corresponds to.
  • the ratio is, for example, a ratio between a distance between invisible objects that can be inspected objects in a real space measured in advance and a coordinate difference on an image indicated by the object position data. Further, the ratio information is stored as ratio information in a location that can be referred to by the photographing assisting apparatus 1a, and the peripheral position information notification unit 18 calculates a distance of 100 minutes based on the ratio information. Can do.
  • the hardware configuration of the photographing assisting apparatus 1a according to the second embodiment of the present invention is the same as the configuration described with reference to FIGS. 8A and 8B in the first embodiment, and thus redundant description is omitted.
  • the peripheral position information notification unit 18 includes a movement speed calculation unit 11, a movement speed determination unit 12, an object outline determination unit 13a, a movement speed instruction unit 14, an object type determination unit 15, an imaging position determination unit 16, and an imaging control. Similar to the unit 17, it is realized by the processing circuit 801.
  • FIG. 13 is a flowchart for explaining the overall operation of the photographing assisting apparatus 1a according to the second embodiment.
  • steps ST1201 to ST1208 and step ST1210 are the same as the specific operations in steps ST501 to ST508 and step ST509 in FIG. 5 described in the first embodiment, respectively.
  • the duplicated explanation is omitted, and the specific operation of step ST1209 in FIG. 13 will be described below.
  • the imaging position determination unit 16 determines whether the invisible object determined by the object type determination unit 15 in step ST1207 matches the inspection object defined in the inspection procedure data (step ST1208). If they match (in the case of “YES” in step ST1208), the process proceeds to step ST1210.
  • step ST1208 when the invisible object determined by the object type determination unit 15 does not match the inspection object defined in the inspection procedure data (in the case of “NO” in step ST1208), the photographing position is determined.
  • the unit 16 outputs the information on the invisible object determined by the object type determination unit 15 and the information on the inspection object defined by the inspection procedure data to the peripheral position information notification unit 18.
  • the peripheral position information notification unit 18 determines whether the correct inspection object is based on the information on the invisible object determined by the object type determination unit 15 and the information on the inspection object, which are output from the imaging position determination unit 16 in step ST1208. Audio information or the like that guides which direction and distance the inspection object is to be in view of the position of the camera 2 at that time is output from the speaker 3 (step ST1209).
  • the peripheral position information notification unit 18 detects “switch B has been detected. "The switch A to be inspected is on the left side.” Then, it returns to step ST1202.
  • FIG. 14 is a flowchart for explaining the detailed operation of the peripheral position information notifying unit 18 of the photographing assisting apparatus 1a according to the second embodiment. That is, FIG. 14 is a flowchart for explaining the detailed operation of step ST1209 of FIG.
  • the peripheral position information notification unit 18 acquires information on the object type data Dr from the imaging position determination unit 16 (step ST1301).
  • the object type data Dr is information set by the imaging position determination unit 16 for the invisible object determined by the object type determination unit 15 (see step ST1205 in FIG. 13).
  • the peripheral position information notification unit 18 acquires information on the inspection object type data Dn from the imaging position determination unit 16 (step ST1302).
  • the inspection object type data Dn is information on the inspection object acquired by the imaging position determination unit 16 with reference to the inspection procedure data in the inspection procedure DB 43 (see step ST1206 in FIG. 2).
  • the peripheral position information notification unit 18 refers to the object position data stored in the object position DB 44, and is defined in the object position DB 44.
  • the center coordinates of the invisible object that matches the object type data Dr are defined in the object position DB 44.
  • Cr is acquired (step ST1303).
  • the peripheral position information notification unit 18 acquires the center coordinates Cn of the invisible object that matches the inspection object type data Dn defined in the object position DB 44 (step 1304).
  • the peripheral position information notification unit 18 includes the center coordinates Cr and the center coordinates. Information of (200, 100) and (100, 100) is acquired as Cn, respectively.
  • the peripheral position information notification unit 18 calculates the direction and distance from the object type data Dr to the inspection object type data Dn based on the center coordinates Cr acquired in step ST1303 and the center coordinates Cn acquired in step ST1304. (Step ST1305). For example, in the above example, when viewed from the center coordinate Cr (200, 100), the center coordinate Cn (100, 100) is located at a distance of 100 minutes in the right direction. That is, the inspection object type data Dn viewed from the object type data Dr is at a position moved by 100 coordinates in the right direction. As described above, the peripheral position information notification unit 18 calculates the distance moved by 100 coordinates based on the ratio information defined and stored in advance.
  • the peripheral position information notifying unit 18 outputs a voice or the like from the speaker 3 instructing to move the camera 2 to the direction and distance calculated in step ST1305 (step ST1306).
  • the peripheral position information notification unit 18 calculates the direction and distance from the object type data Dr to the inspection object type data Dn, and instructs the camera 2 to move to the calculated direction and distance.
  • the peripheral position information notifying unit 18 calculates the position from the object type data Dr to the inspection object type data Dn, and gives a voice or the like instructing to move the camera 2 to the calculated position. 3 can also be output.
  • the invisible object that can be the inspection object is shown in detail in a two-dimensional or three-dimensional point cloud model, and the invisible object.
  • Information on the center coordinates of the object is stored as object position data.
  • image data indicating an outline of an invisible object that can be an inspection object is represented by a two-dimensional or three-dimensional point cloud model, and the like. You may make it memorize as.
  • the moving speed determining unit 12 determines that the hand speed is equal to or higher than the specified speed (in the case of “YES” in step ST1204)
  • the object outline determining unit 13 determines whether the inspection target candidate is included in the captured image.
  • Determination is made (step ST1205).
  • the object outline determination unit 13 determines the inspection object candidate from the object position data as shown in FIG. 15 and the current moving direction of the camera 2 even if the inspection object candidate does not appear in the camera image.
  • the information indicating that the vehicle is approaching the inspection target candidate may be output to the moving speed instruction unit 14 as a determination result.
  • the moving speed instruction unit 14 may notify the operator that the inspection target candidate is in the vicinity of the speaker 3 and output a voice or the like instructing to slow down the hand movement. Good.
  • the imaging assistance device 1a has a plurality of invisible objects that can be the objects to be inspected, and the type of the invisible objects determined by the object type determination unit 15 is the inspection object. If it is determined that it does not match the type of the object, the object position includes image data showing in detail a plurality of invisible objects that can be the object and information for determining the positional relationship between the plurality of objects Based on the data, a peripheral position information notification unit 18 that outputs information for guiding the direction of the inspection object viewed from the camera 2 is provided. For this reason, an operator can be guided so that the inspection object can be correctly photographed.
  • the object outline determination unit 13 determines that the inspection target candidate is included in the captured image when the similarity S1 is 70% or more, and determines the object type. When the similarity S2 is 95% or more, the unit 15 determines that the object shown in the captured image matches the invisible object defined in the detailed image data up to the type.
  • the values of the degree S1 and the similarity degree S2 are not limited to this. The values of the similarity S1 and the similarity S2 can be set as appropriate.
  • the invention of the present application can be freely combined with each embodiment, modified with any component in each embodiment, or omitted with any component in each embodiment. .
  • the imaging assistance device is configured so that the user can capture an invisible object at an appropriate angle
  • the imaging assistance device can be applied to an imaging assistance device and an imaging assistance method that assist imaging with a camera. Can do.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

カメラの移動速度が閾値以上であるか否かを判定する移動速度判定部と、カメラの移動速度が閾値以上であると判定した場合、カメラから取得したキャプチャ画像に基づき、点検を行うべき対象物となり得る物体である点検対象候補が当該キャプチャ画像中に写っているかどうかの判定を行う対象物概要判定部と、点検対象候補がキャプチャ画像中に写っていると判定した場合、カメラの移動速度を遅くさせる指示を出力する移動速度指示部と、カメラの移動速度が閾値未満であると判定した場合、キャプチャ画像に基づき、当該キャプチャ画像中に写っている対象物の種別を判定する対象物種別判定部と、対象物種別判定部が判定した対象物の種別が、現在点検を行うべき点検対象物の種別と一致するかを判定し、一致する場合、現在の前記カメラの位置を撮影位置として決定し、当該カメラの動きを停止させる指示を出力する撮影位置決定部とを備える。

Description

撮影補助装置および撮影補助方法
　この発明は、カメラによる撮影を補助する撮影補助装置および撮影補助方法に関するものである。
　水処理設備、プラント設備、発電設備、またはビル設備等の機械設備では、保守点検作業が欠かせない。これらの機械設備の保守点検の際、作業者は、直接には目視確認できない場所に設置されているメータ等の状態を確認しなければならない場合がある。この場合、例えば、作業者がカメラを持ち、メータ等を撮影できそうな位置までカメラを移動し、その位置で撮影した写真からメータ等の状態を確認するという方法がある。しかし、この方法では、作業者は、メータ等の対象物を撮影できそうな位置で撮影を行った後、撮影した写真を見て、当該対象物が適切なアングル内に収まっているか等を確認する作業を何度も繰り返す必要がある。
　そのため、作業者が、直接には目視確認できない対象物（以下「不可視対象物」ともいう。）を適切なアングル内に収めて撮影することができるよう、作業者の撮影動作を補助する技術が求められる。
　特許文献１には、携帯カメラで自分撮りをする際、使用者が液晶画面で自分の顔が画角に入っているか確認できない場合、当該携帯カメラに映る画像から顔の方向を検出し、使用者が設定した、予め記憶されている顔の方向と比較して、両者が一致するように、音声によるガイドで使用者に当該携帯カメラの移動を促すことで、使用者が意図した方向から自分を撮影することができるようにした撮影装置が開示されている。
特開２０１１－２５０１３１号公報
　作業者が、機械設備の保守点検のために不可視対象物の撮影を行おうとする際、作業者は、不可視対象物または不可視対象物を撮影できそうな位置を手探りで探すため、カメラが捉える画像には、ボケまたはブレが生じやすい。したがって、特許文献１に開示された撮影装置において採用されている技術を、保守点検時の不可視対象物の撮影に適用した場合であっても、カメラが捉える画像のボケまたはブレにより、不可視対象物を正確に検出することができないため、適切にガイドを行うことができない。すなわち、従来の技術では、依然として、作業者が不可視対象物を適切なアングル内に収めて撮影することができるほどには、作業者の撮影動作を補助することができないという課題があった。
　この発明は上記のような課題を解決するためになされたもので、ユーザが、不可視対象物を適切なアングルに収めて撮影することができるよう、ユーザの撮影動作を補助することができる撮影補助装置および撮影補助方法を提供すること目的としている。
　この発明に係る撮影補助装置は、カメラの移動速度が閾値以上であるか否かを判定する移動速度判定部と、移動速度判定部が、カメラの移動速度が閾値以上であると判定した場合、カメラから取得したキャプチャ画像に基づき、点検を行うべき対象物となり得る物体である点検対象候補が当該キャプチャ画像中に写っているかどうかの判定を行う対象物概要判定部と、対象物概要判定部が、点検対象候補がキャプチャ画像中に写っていると判定した場合、カメラの移動速度を遅くさせる指示を出力する移動速度指示部と、移動速度判定部が、カメラの移動速度が閾値未満であると判定した場合、キャプチャ画像に基づき、当該キャプチャ画像中に写っている対象物の種別を判定する対象物種別判定部と、対象物種別判定部が判定した対象物の種別が、現在点検を行うべき点検対象物の種別と一致するかを判定し、当該対象物の種別が点検対象物の種別と一致する場合、現在の前記カメラの位置を撮影位置として決定し、当該カメラの動きを停止させる指示を出力する撮影位置決定部とを備えたものである。
　この発明によれば、ユーザは、不可視対象物を適切なアングルに収めて撮影することができる。
実施の形態１に係る撮影補助装置の機能構成を示したブロック図である。 この実施の形態１において、概要画像ＤＢに記憶されている概要画像データの一例を示す図である。 この実施の形態１において、詳細画像ＤＢに記憶されている詳細画像データの一例を示す図である。 この実施の形態１において、点検手順ＤＢに記憶されている点検手順データの一例を示す図である。 この実施の形態１に係る撮影補助装置の全体の動作を説明するためのフローチャートである。 この実施の形態１に係る撮影補助装置の対象物概要判定部および移動速度指示部の詳細な動作を説明するためのフローチャートである。 この実施の形態１に係る撮影補助装置の対象物種別判定部、撮影位置決定部、および、撮影制御部の詳細な動作を説明するためのフローチャートである。 図８Ａ，図８Ｂは、この発明の実施の形態１に係る撮影補助装置のハードウェア構成の一例を示す図である。 この発明の実施の形態２に係る撮影補助装置の機能構成を示したブロック図である。 実施の形態２において、現在のカメラの画角がとらえた対象物が、正しい点検対象ではない場合の一例を説明するための図である。この発明の実施の形態３におけるナビゲーションシステムの概要を示す図である。 この実施の形態２において、対象物位置ＤＢに記憶されている対象物位置データの一例を示す図であって、図１１Ａは、点検対象物を２次元または３次元点群モデル等で示した画像データを示す図であり、図１１Ｂは、各２次元画像または３次元点群モデル上で、各点検対象物の中心座標の情報を示す図である。 実施の形態２において、周辺位置情報通知部が、キャプチャ画像と、対象物位置データで示される画像とに基づき、作業者に指示する、点検対象物の位置を算出する方法の一例を説明するための図である。 この実施の形態２に係る撮影補助装置の周辺位置情報通知部の詳細な動作を説明するためのフローチャートである。 この実施の形態２に係る撮影補助装置の全体の動作を説明するためのフローチャートである。 この実施の形態２において、対象物位置ＤＢに記憶されている対象物位置データの一例を示す図である。
　以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
　図１は、実施の形態１に係る撮影補助装置１の機能構成を示したブロック図である。
　撮影補助装置１は、カメラ２、加速度センサまたはジャイロセンサ等の各種センサ（図示省略）、および、スピーカ３を搭載した、スマートフォンまたはタブレット等の携帯端末１００に搭載される。
　この実施の形態１では、一例として、撮影補助装置１を搭載した携帯端末１００は、作業者が機械設備における保守点検作業を行う際に当該作業者が携帯する携帯端末であることを想定している。なお、機械設備は、例えば、水処理設備、プラント設備、発電設備、またはビル設備である。また、作業者は、撮影補助装置１を搭載した携帯端末１００のユーザでもある。
　作業者は、保守点検作業において、作業者が直接には目視確認できない場所に設置されているメータ等の対象物（不可視対象物）の状態を確認する。その際、作業者は、例えば携帯端末１００を手に持ち、不可視対象物または不可視対象物を撮影できそうな位置を手探りで探し、携帯端末１００によって当該不可視対象物を撮影し、当該不可視対象物を撮影した画像を見て、当該不可視対象物の状態を確認することで、保守点検作業を行う。
　撮影補助装置１は、保守点検作業時に、不可視対象物を適切なアングルに収めて撮影することができるよう、作業者による撮影動作を補助する。
　なお、この実施の形態１では、不可視対象物は複数存在し、作業者は、予め決められた順番で各不可視対象物を撮影し、撮影した画像を見て、各不可視対象物の状態を確認し、保守点検作業を行うものとする。
　撮影補助装置１は、移動速度算出部１１と、移動速度判定部１２と、対象物概要判定部１３と、移動速度指示部１４と、対象物種別判定部１５と、撮影位置決定部１６と、撮影制御部１７とを備える。
　また、撮影補助装置１は、管理者または作業者等によって事前に生成されている事前生成データベース（ＤＢ）４を参照し、当該事前生成ＤＢ４に記憶されている各種情報を取得する。事前生成ＤＢ４は、例えば、撮影補助装置１がネットワークを介して参照可能な場所に備えられる。事前生成ＤＢ４は、概要画像ＤＢ４１と、詳細画像ＤＢ４２と、点検手順ＤＢ４３とを有する。概要画像ＤＢ４１と、詳細画像ＤＢ４２と、点検手順ＤＢ４３の詳細については後述する。
　移動速度算出部１１は、加速度センサ、または、ジャイロセンサ等、携帯端末１００に搭載されている各種センサから取得した情報に基づき、手の速度を算出する。この実施の形態１において、手の速度とは、携帯端末１００を手に持ち、当該携帯端末１００を操作して対象物を撮影する作業者の手の移動速度である。すなわち、手の移動速度は、携帯端末１００のカメラ２の移動速度とほぼ同じである。以下の説明では、カメラ２の移動速度を、作業者の「手の速度」として説明する。
　移動速度算出部１１は、算出した手の速度に関する情報を、移動速度判定部１２に出力する。
　移動速度判定部１２は、移動速度算出部１１から出力された、手の速度に関する情報に基づき、手の速度が、規定速度（以下、単に「閾値」ということもある。）以上かどうかを判定する。この実施の形態１において、規定速度とは、カメラがキャプチャする画像（以下「キャプチャ画像」という。）にボケまたはブレが生じやすくなる手の速度の範囲の下限値のことをいう。キャプチャ画像とは、デジタルカメラにおいて、ユーザが写真を撮影する前に液晶画面等を利用して撮影範囲を確認するために、カメラが捉えて液晶画面等に表示させる画像のことである。管理者または作業者等は、予め、キャプチャ画像にボケまたはブレが生じやすくなる焦点距離、または、手ぶれ補正機能の有無等に基づいて、当該規定速度を算出し、撮影補助装置１が参照可能な場所に備えられる規定速度記憶部（図示省略）に設定しておく。この実施の形態１では、一例として、カメラ２は、３０ＦＰＳ（Ｆｌａｍｅｓ　Ｐｅｒ　Ｓｅｃｏｎｄ）のフレームレートを有するカメラとし、管理者または作業者等は、フレーム間で１ｃｍの手の動きがあればブレが生じ、不可視対象物の種別までは判別できないと想定し、規定速度を秒速３０ｃｍと設定したものとする。
　移動速度判定部１２は、手の速度が規定速度以上かどうかの判定結果に関する情報を、対象物概要判定部１３、および、対象物種別判定部１５に出力する。
　対象物概要判定部１３は、移動速度判定部１２が、手の速度が規定速度以上であると判定した場合に、カメラ２から取得されたキャプチャ画像と、概要画像ＤＢ４１に記憶されている概要画像データに基づき、キャプチャ画像中に写っている物体の外形を確認し、不可視対象物がキャプチャ画像中に写っているかどうかの粗い判定を行う。具体的には、対象物概要判定部１３は、キャプチャ画像中に写っている物体の外形が、例えば、不可視対象物に応じて予め定められた「○（円）」または「□（四角）」等の簡単な形状であるかどうかを確認することにより、不可視対象物がキャプチャ画像中に写っていることを判定する（このような判定を行うことを、ここでは「概要を判定する」ともいう。）。対象物概要判定部１３は、例えば、キャプチャ画像中に写っている物体の外形が予め定められた「○（円）」または「□（四角）」等の形状であるかを、概要画像データをテンプレート画像としたテンプレートマッチングを用いて確認する。当該テンプレートマッチングを行った結果、キャプチャ画像中に、概要画像データで示された形状とマッチする物体が写っていることが確認できた場合、対象物概要判定部１３は、不可視対象物らしき物体がキャプチャ画像に写っていると判定する。手の速度が規定速度以上である場合、キャプチャ画像にはボケまたはブレが生じており、キャプチャ画像中に写っている物体が何であるかを正確に判定することは、困難である。このため、対象物概要判定部１３は、上記の方法により、不可視対象物がキャプチャ画像中に写っているかどうかの粗い判定を行う。このように、対象物概要判定部１３による判定は、粗い判定であり、キャプチャ画像中に写っている物体が不可視対象物であるかどうかを確定するものではない。対象物概要判定部１３は、点検を行うべき対象である不可視対象物について、その候補となる物体（以下「点検対象候補」という。）を判定するものである。
　なお、撮影補助装置１の取得部（図示省略）は、キャプチャ画像をカメラ２から取得する。そして、対象物概要判定部１３は、当該取得部からキャプチャ画像を取得する。キャプチャ画像の詳細については後述する。
　ここで、図２は、この実施の形態１において、概要画像ＤＢ４１に記憶されている概要画像データの一例を示す図である。
　概要画像ＤＢ４１には、図２に示すように、例えば、メータの外枠形状の円画像、または、スイッチの外枠形状の四角画像等の画像データが、概要画像データとして記憶されている。これらのメータまたはスイッチ等は、作業者が直接には目視確認できない場所に設置されており点検の対象となるものであり、不可視対象物の一例である。概要画像ＤＢ４１には、不可視対象物についての、外枠形状等の外形を示す画像データが、概要画像データとして記憶される。
　なお、この実施の形態１では、対象物概要判定部１３が、上記の方法で、点検対象候補がキャプチャ画像中に写っているかどうかを判定するものとするが、対象物概要判定部１３が、点検対象候補がキャプチャ画像中に写っているかどうかを判定方法は、これに限らない。例えば、対象物概要判定部１３は、「○（円）」の形状が写っているかどうかの確認に、既存のハフ変換の技法を用いてもよい。また、例えば、不可視対象物が、ＱＲコード（登録商標／以下、記載を省略する。）のようなマーカが貼られているメータ等であれば、対象物概要判定部１３は、マーカの外枠形状の四角がキャプチャ画像中に写っていることを確認することにより、キャプチャ画像中に点検対象候補が写っているかどうかを判定してもよい。
　対象物概要判定部１３は、キャプチャ画像中に点検対象候補が写っていると判定できた場合、その判定結果を、移動速度指示部１４に出力する。
　移動速度指示部１４は、対象物概要判定部１３から、キャプチャ画像中に点検対象候補が写っているとの判定結果が出力されると、スピーカ３に対して、音声データを出力し、スピーカは、当該音声データに基づき音声を出力する。この音声データは、作業者に手の動きを遅くすることを指示する内容の音声を示すものである。具体的には、例えば、移動速度指示部１４は、スピーカ３に対して、「その周辺です。手をゆっくり動かしてください」という音声を出力させる。なお、これは一例に過ぎず、移動速度指示部１４は、「ピー」等の効果音で、その周辺に点検対象候補があることを案内してもよい。
　対象物種別判定部１５は、移動速度判定部１２が、手の速度が規定速度未満であると判定した場合に、詳細画像ＤＢ４２に記憶されている詳細画像データと、キャプチャ画像とを照合して、キャプチャ画像中に写っている不可視対象物の種別を判定する。対象物種別判定部１５は、例えば、詳細画像データをテンプレート画像としたテンプレートマッチングを行って、物体の種別を判定する。手の速度が規定速度未満である場合、キャプチャ画像にはボケまたはブレが生じないため、キャプチャ画像中に写っている物体が何であるかを正確に判定することは、可能である。すなわち、キャプチャ画像中に不可視対象物が映っていれば、対象物種別判定部１５は、当該不可視対象物の種別を判定することができる。
　ここで、図３は、この実施の形態１において、詳細画像ＤＢ４２に記憶されている詳細画像データの一例を示す図である。
　詳細画像ＤＢ４２には、図３に示すように、例えば、メータの画像、または、スイッチの画像等、対象物が詳細に写っている画像のデータが、詳細画像データとして記憶されている。詳細画像ＤＢ４２には、不可視対象物が詳細に写っている画像のデータが、概要画像データとして記憶される。
　なお、例えば、実際に、不可視対象物と全く同じ機器が、当該不可視対象物と並んで設置されている場合は、テンプレート画像に周辺情報を加え、そのテンプレート画像の違いから不可視対象物の種別を判定してもよい。全く同じ機器が並んでいる場合、ＱＲコードのようなマーカが貼られている機器であるなら、対象物種別判定部１５は、マーカを検出して、当該マーカから、不可視対象物の種別を判定してもよい。
　対象物種別判定部１５は、不可視対象物の種別の判定結果を、撮影位置決定部１６に出力する。
　撮影位置決定部１６は、対象物種別判定部１５から出力された、不可視対象物の種別の判定結果に基づき、不可視対象物を撮影する撮影位置を決定し、スピーカ３から、作業者に対して手を止めさせる指示を、音声等で出力させる。具体的には、撮影位置決定部１６は、対象物種別判定部１５で判定した不可視対象物と、点検手順ＤＢ４３に記憶されている点検手順データとに基づき、キャプチャ画像中に写っている不可視対象物と、点検手順データで定義されている、現在点検を行うべき不可視対象物とが一致しているかどうかを判定し、一致している場合、現在の手の位置を、撮影位置として決定する。この実施の形態１では、点検手順データから特定される、作業者が現在点検を行うべき不可視対象物を、点検対象物ともいう。
　撮影位置決定部１６は、スピーカ３から、作業者に対して手を現在の位置で止めるよう指示する内容の音声を出力させる。
　ここで、図４は、この実施の形態１において、点検手順ＤＢ４３に記憶されている点検手順データの一例を示す図である。
　点検手順ＤＢ４３には、図４に示すように、どのような順番で、どの不可視対象物に対して、どのような作業を行うかという点検手順が定義されている。
　図４では、一例として、作業ごとに手順ＩＤが付与され、当該作業ＩＤの昇順に、当該作業ＩＤに対応する作業が並べられている。ここでは、作業者は、作業ＩＤの昇順に、当該作業ＩＤに対応する作業を行うものとする。
　作業内容の情報は、例えば、携帯端末１００の表示部（図示省略）にテキストで表示され、作業者は、当該テキストの内容を確認し、携帯端末１００を持って点検対象となる不可視対象物または不可視対象物を撮影できそうな位置を手探りで探しながら、点検作業を進める。
　そして、作業者は、点検作業が終了すると、携帯端末１００のタッチパネル等の入力部（図示省略）から、点検結果を入力する。このとき、作業者は、どの不可視対象物に対する点検作業が完了したのかがわかるように、点検結果を入力する。例えば、作業者は、不可視対象物の名称と点検結果とを紐付けて入力するようにしてもよいし、作業ＩＤと点検結果とを紐付けて入力するようにしてもよい。
　点検結果が入力されると、携帯端末１００の結果反映部（図示省略）は、例えば、点検手順データの該当の手順ＩＤに、点検済フラグを付与する。
　撮影位置決定部１６は、点検手順データを参照し、点検済みフラグが付与されていない手順ＩＤに対応する不可視対象物であって、最も小さい点順ＩＤに対応する不可視対象物を、現在点検を行うべき不可視対象物である点検対象物と判断し、当該点検対象物と、対象物種別判定部１５が判定した不可視対象物とが一致するかどうかを判定する。
　なお、点検済みフラグは、例えば、作業者が、入力部から、点検作業が終了した旨の情報を入力した場合、または、携帯端末１００の電源がオフされた場合等にクリアされる。
　また、図４では、点検手順データには、手順ＩＤごとに、作業場所、作業対象、不可視対象物、および、作業内容が対応付けられるものとしているが、これは一例に過ぎず、その他の情報が対応付けられて定義されているものでもよい。点検手順データは、当該点検手順データに基づき、作業者に対して、次にどの不可視対象物に対してどのような作業を行うかを案内できるようになっていればよい。なお、図４において、作業対象は、不可視対象物が取り付けられている制御盤または分電盤等を示す。
　撮影位置決定部１６は、撮影位置を決定すると、点検対象物を検出した旨、および、手の動きを止めさせる旨の内容の指示を音声としてスピーカ３から出力させる。具体的には、撮影位置決定部１６は、例えば、スピーカ３から「メータＡを検出しました。手を止めてください」という音声を出力させる。なお、これは一例に過ぎず、撮影位置決定部１６は、スピーカ３等から、「ピピピ」等の効果音として、点検対象物を検出した旨および手の動きを止めさせる旨の指示を出力させてもよい。
　さらに、撮影位置決定部１６は、対象物種別判定部１５が判定した不可視対象物と、点検手順データで定義されている点検対象物とが一致しない場合は、例えば、スピーカ３に対して、検出された不可視対象物が点検対象物ではない旨の案内を出力させる。具体的には、撮影位置決定部１６は、例えば、スピーカ３から「メータＢを検出しました。現在の点検対象ではありません」という音声を出力させる。撮影位置決定部１６は、スピーカ３に当該案内を出力させることによって、作業者に、再度点検対象物となる不可視対象物を探すよう指示する。
　また、撮影位置決定部１６は、撮影位置を決定した場合、撮影位置を決定した旨の位置決定通知を、撮影制御部１７に出力する。
　撮影制御部１７は、撮影位置決定部１６から位置決定通知が出力されると、当該位置決定通知を取得した時点の位置を撮影位置として、カメラ２に対してシャッターを切るよう制御する。これにより、カメラ２は、自動的にシャッターを切り、写真を撮影する。
　次に、この実施の形態１に係る撮影補助装置１の動作について説明する。
　図５は、この実施の形態１に係る撮影補助装置１の全体の動作を説明するためのフローチャートである。
　作業者は、携帯端末１００を操作して、カメラ２を起動する。
　カメラ２が起動されると（ステップＳＴ５０１）、作業者は手探りで不可視対象物または不可視対象物を撮影できそうな位置を探す（ステップＳＴ５０２）。このとき、作業者は、カメラ２に画像をキャプチャさせながら不可視対象物を探す。キャプチャ画像は、逐次、カメラ２から撮影補助装置１の取得部（図示省略）に出力される。撮影補助装置１の取得部は、キャプチャ画像を取得し、移動速度算出部１１、対象物概要判定部１３、および、対象物種別判定部１５へ出力する。
　移動速度算出部１１は、加速度センサ、または、ジャイロセンサ等、携帯端末１００に搭載されている各種センサから取得した情報に基づき、手の速度を算出する（ステップＳＴ５０３）。移動速度算出部１１は、算出した手の速度に関する情報を、移動速度判定部１２に出力する。
　移動速度判定部１２は、ステップＳＴ５０３において移動速度算出部１１から出力された、手の速度に関する情報に基づき、手の速度が、規定速度（閾値）以上かどうかを判定する（ステップＳＴ５０４）。ここでは、移動速度判定部１２は、手の速度が、秒速３０ｃｍ以上かどうかを判定する。
　なお、この実施の形態１では、移動速度算出部１１が手の速度を算出し、移動速度判定部１２は、移動速度算出部１１が算出した手の速度が規定速度以上かどうかを判定するようにするが、これに限らない。例えば、携帯端末１００において、携帯端末１００自身の移動速度、すなわち、手の移動速度を算出している場合、移動速度判定部１２は、携帯端末１００から当該手の移動速度に関する情報を取得し、手の速度が規定速度以上かどうかを判定するようにしてもよい。
　ステップＳＴ５０４において、手の速度が規定速度以上と判定された場合（ステップＳＴ５０４の“ＹＥＳ”の場合）、対象物概要判定部１３は、取得部から取得したキャプチャ画像と、概要画像ＤＢ４１に記憶されている概要画像データとに基づき、キャプチャ画像中に点検対象候補が写っているかどうかを判定する。（ステップＳＴ５０５）。対象物概要判定部１３は、キャプチャ画像中に点検対象候補が写っているかどうかの判定結果を、移動速度指示部１４に出力する。
　移動速度指示部１４は、ステップＳＴ５０５において、対象物概要判定部１３からキャプチャ画像中に点検対象候補が写っているかどうかの判定結果が出力されると、スピーカ３に対して、点検対象候補がある旨および手の動きを遅くさせる指示を、音声等で出力させる（ステップＳＴ５０６）。
　その後、ステップＳＴ５０２に戻る。
　なお、対象物概要判定部１３は、キャプチャ画像中に点検対象候補が写っていないと判定した場合は、キャプチャ画像中に点検対象候補が写っているとの判定がなされるまで、当該ステップＳＴ５０５の処理を繰り返す。
　一方、ステップＳＴ５０４において、手の速度が規定速度未満と判定された場合（ステップＳＴ５０４の“ＮＯ”の場合）、対象物種別判定部１５は、詳細画像ＤＢ４２に記憶されている詳細画像データと、取得部から取得した、キャプチャ画像とを照合して、キャプチャ画像中の不可視対象物の種別を判定する（ステップＳＴ５０７）。
　対象物種別判定部１５は、不可視対象物の種別の判定結果を、撮影位置決定部１６に出力する。
　撮影位置決定部１６は、ステップＳＴ５０７において対象物種別判定部１５が判定した不可視対象物と点検手順ＤＢ４３に記憶されている点検手順データとに基づき、カメラ画像中に写っている不可視対象物と、点検手順データで定義されている、現在点検を行うべき対象物である点検対象物とが一致しているかどうかを判定する（ステップＳＴ５０８）。
　ステップＳＴ５０８において、対象物種別判定部１５が判定した不可視対象物と点検対象物とが一致している場合（ステップＳＴ５０８の“ＹＥＳ”の場合）、撮影位置決定部１６は、現在の手の位置を、撮影位置として決定する。そして、撮影位置決定部１６は、スピーカ３から、作業者に対して手を止めさせる指示を出力させる。
　さらに、撮影位置決定部１６は、撮影位置を決定した旨の位置決定通知を、撮影制御部１７に出力する。
　撮影制御部１７は、撮影位置決定部１６から位置決定通知が出力されると、当該位置決定通知を取得した時点の位置を撮影位置として、カメラ２に対してシャッターを切るよう制御する（ステップＳＴ５０９）。
　一方、ステップＳＴ５０８において、対象物種別判定部１５が判定した不可視対象物と、点検手順データで定義されている点検対象物とが一致していない場合（ステップＳＴ５０８の“ＮＯ”の場合）、撮影位置決定部１６は、例えば、スピーカ３に対して、「メータＢを検出しました。現在の点検対象ではありません」等、現在点検を行うべき点検対象物ではない旨の案内を出力させ、作業者に、再度点検対象物を探すよう指示する。その後、ステップＳＴ５０２に戻る。
　例えば、作業者が、目視確認できない場所に設置されている水道メータ等を、検針の際に写真撮影し、記録する作業においては、点検の対象物となるメータ等そのものが直接目視確認できない位置にあり、作業者は、手探りで当該メータ等を探しながら撮影することになる。そのため、キャプチャ画像には、ボケまたはブレが生じやすい。キャプチャ画像にボケまたはブレが発生すると、キャプチャ画像中に写っている物体が何であるかを正確に判定することは、困難である。特に、似たようなメータ等が複数ある場合、キャプチャ画像中に写っている物体が何であるかの判定は、一層困難である。
　さらに、作業者が手に持っている携帯端末１００のカメラ２と、メータ等との距離を確保できない場合は、メータ等の一部しかキャプチャ画像に写らないこともある。この場合、広い範囲を写したキャプチャ画像から、不可視対象物であるメータ等の位置情報を特定するような手法を利用して不可視対象物を認識することもできない。
　一方、作業者が、手の速度を落としてメータ等を探せば、ボケやブレが生じる可能性は低くなるが、作業者は、メータ等を探す作業に時間がかかる。
　そこで、この実施の形態１に係る撮影補助装置１では、上述のとおり、手の動きの速さが規定速度以上の場合は、まず、作業者が不可視対象物を探しながらカメラが捉えたキャプチャ画像のアングル内に、対象物が収まるよう手の動きを案内して、当該キャプチャ画像中に点検対象候補が写っているかどうかを判定し、点検対象候補が写っていた場合その旨を作業者に通知する。その際、作業者に対して手の動きを遅くするよう指示し、作業者の手の動きの速さが規定速度より遅くなった場合には、不可視対象物の種別まで判定し、撮影位置を決定する。
　このように、撮影補助装置１は、作業者の手の速度に応じて、手の動きを２段階に案内し、手の速度が速く、ボケやブレが生じることで不可視対象物の種別が特定できないことを防ぎ、適切に不可視対象物の種別が特定できるようになった時点で、撮影位置を決定する。
　これにより、作業者は、不可視対象物を撮影する際に、不可視対象物を適切なアングルに収めて撮影することができる。また、作業者は、案内に従って撮影動作を行うので、作業者によらず、同一アングルで不可視対象物を撮影することが可能となる。
　ここで、この実施の形態１に係る撮影補助装置１の対象物概要判定部１３および移動速度指示部１４の動作について、詳細に説明する。
　図６は、この実施の形態１に係る撮影補助装置１の対象物概要判定部１３および移動速度指示部１４の詳細な動作を説明するためのフローチャートである。
　すなわち、図６は、図５のステップＳＴ５０５，ステップＳＴ５０６の詳細な動作を説明するフローチャートである。
　対象物概要判定部１３は、取得部から、キャプチャ画像を取得する（ステップＳＴ６０１）。
　また、対象物概要判定部１３は、概要画像ＤＢ４１を参照し、概要画像データを取得する（ステップＳＴ６０２）。
　対象物概要判定部１３は、ステップＳＴ６０１で取得したキャプチャ画像と、ステップＳＴ６０２で取得した概要画像データとを比較して、類似度Ｓ１を算出する（ステップＳＴ６０３）。ここでは、類似度とは、例えば、既知のコサイン類似度等とする。
　当該類似度Ｓ１により、画像中に写っている物体の確認を行い、キャプチャ画像中に点検対象候補が写っていることを判定することができる。
　対象物概要判定部１３は、ステップＳＴ６０１で取得したキャプチャ画像中に写っている全ての物体を、ステップＳＴ６０２で取得した全ての概要画像データとそれぞれ比較し、類似度Ｓ１を算出する。
　対象物概要判定部１３は、キャプチャ画像中に写っている各物体について、各概要画像データとの類似度Ｓ１が７０％以上であるかどうかを判定する（ステップＳＴ６０４）。
　当該判定は、ステップＳＴ６０３で算出した全ての類似度Ｓ１に対して行われる。対象物概要判定部１３は、ステップＳＴ６０３で取得した概要画像データのうち、１枚でもステップＳＴ６０１で取得したキャプチャ画像中に写っているいずれかの物体との類似度Ｓ１が７０％以上のものがあれば、類似度Ｓ１が７０％以上であると判定する。
　ステップＳＴ６０４において、類似度Ｓ１が７０％以上である場合（ステップＳＴ６０４の“ＹＥＳ”の場合）、対象物概要判定部１３は、キャプチャ画像中に写っている物体が、概要画像データで定義されている不可視対象物の外形等と一致するとして、キャプチャ画像中に点検対象候補が写っている旨を示す判定結果を、移動速度指示部１４に出力する。
　キャプチャ画像中に写っている物体と不可視対象物の外形等が一致したということは、カメラ２が、点検対象物となり得る不可視対象物を捉えたということである。
　移動速度指示部１４は、ステップＳＴ６０４において、対象物概要判定部１３からキャプチャ画像中に点検対象候補が写っている旨の判定結果が出力されると、スピーカ３に対して、点検対象候補がある旨を通知し、手の動きを遅くさせる指示を、音声等で出力させる（ステップＳＴ６０５）。
　一方、ステップＳＴ６０４において、類似度Ｓ１が７０％未満である場合（ステップＳＴ６０４の“ＮＯ”の場合）、ステップＳＴ６０１に戻り、作業者は、手の速度を速く保ちながら、継続して不可視対象物を探す。このとき、対象物概要判定部１３は、スピーカ３に対して、例えば、「そのまま続けてください」等、不可視対象物を探す動作を継続させる旨の指示を、音声等によって出力させるようにしてもよい。
　次に、この実施の形態１に係る撮影補助装置１の対象物種別判定部１５、撮影位置決定部１６、および、撮影制御部１７の動作について、詳細に説明する。
　図７は、この実施の形態１に係る撮影補助装置１の対象物種別判定部１５、撮影位置決定部１６、および、撮影制御部１７の詳細な動作を説明するためのフローチャートである。
　すなわち、図７は、図５のステップＳＴ５０７～ステップＳＴ５０９の詳細な動作を説明するフローチャートである。
　対象物種別判定部１５は、取得部から、キャプチャ画像を取得する（ステップＳＴ７０１）。
　また、対象物種別判定部１５は、詳細画像ＤＢ４２を参照し、詳細画像データを取得する（ステップＳＴ７０２）。
　対象物種別判定部１５は、ステップＳＴ７０１で取得したキャプチャ画像と、ステップＳＴ７０２で取得した詳細画像データとを比較して、類似度Ｓ２を算出する（ステップＳＴ７０３）。ここでは、類似度とは、例えば、既知のコサイン類似度等とする。
　対象物種別判定部１５は、ステップＳＴ７０１で取得したキャプチャ画像中に写っている全ての物体を、ステップＳＴ７０２で取得した全ての概要画像データとそれぞれ比較し、類似度Ｓ２を算出する。
　対象物種別判定部１５は、キャプチャ画像中に写っている各物体について、各詳細画像データとの類似度Ｓ２が９５％以上であるかどうかを判定する（ステップＳＴ７０４）。
　当該判定は、ステップＳＴ７０３で算出した全ての類似度Ｓ２に対して行われる。対象物種別判定部１５は、ステップＳＴ７０３で取得した詳細画像データのうち、１枚でもステップＳＴ７０１で取得したキャプチャ画像中に写っているいずれかの物体との類似度Ｓ２が９５％以上のものがあれば、類似度Ｓ２が９５％以上であると判定する。
　ステップＳＴ７０４において、類似度Ｓ２が９５％以上である場合（ステップＳＴ７０４の“ＹＥＳ”の場合）、対象物種別判定部１５は、キャプチャ画像中に写っている物体と、詳細画像データで定義されている不可視対象物とが、不可視対象物の種別まで含めて一致していると判定し、その旨の判定結果を、撮影位置決定部１６に出力する。このとき、対象物種別判定部１５は、一致していると判定した、詳細画像データで定義されている不可視対象物の情報もあわせて撮影位置決定部１６に出力する。
　撮影位置決定部１６は、対象物種別判定部１５がキャプチャ画像中に写っていると判定した不可視対象物の情報を、対象物種別判定部１５から取得し、対象物種別データＤｒとする（ステップＳＴ７０５）。例えば、キャプチャ画像中に写っている不可視対象物と、詳細画像データで定義されている「メータＡ」の画像（図３参照）が一致した場合、対象物種別判定部１５は、当該「メータＡ」という情報を、撮影位置決定部１６に出力し、撮影位置決定部１６は、「メータＡ」の情報を、対象物種別データＤｒとして取得する。
　撮影位置決定部１６は、点検手順ＤＢ４３の点検手順データを参照し、現在、点検する対象物である点検対象物の情報を、点検対象物種別データＤｎとして取得する（ステップＳＴ７０６）。例えば、点検手順データにおいて、手順ＩＤがＰ１およびＰ２の点検対象物まで点検済みフラグが付与されているとすると、撮影位置決定部１６は、現在の点検対象物は手順ＩＤがＰ３の「メータＡ」であると判断し、当該「メータＡ」という情報を、点検対象物種別データＤｎとして取得する。
　撮影位置決定部１６は、ステップＳＴ７０５で取得した対象物種別データＤｒと、ステップＳＴ７０６で取得した点検対象物種別データＤｎが一致するかどうかを判定する（ステップＳＴ７０７）。
　ステップＳＴ７０７において、対象物種別データＤｒと、点検対象物種別データＤｎが一致する場合（ステップＳＴ７０７の“ＹＥＳ”の場合）、撮影位置決定部１６は、現在の手の位置を、撮影位置として決定する。そして、撮影位置決定部１６は、スピーカ３から、作業者に対して手を止めさせる指示を出力させる（ステップＳＴ７０８）。
　撮影位置決定部１６は、撮影位置を決定した旨の位置決定通知を、撮影制御部１７に出力する。
　撮影制御部１７は、ステップＳＴ７０８において、撮影位置決定部１６から位置決定通知が出力されると、当該位置決定通知を取得した時点の位置を撮影位置として、カメラ２に対してシャッターを切るよう制御する（ステップＳＴ７０９）。
　一方、ステップＳＴ７０７において、対象物種別データＤｒと、点検対象物種別データＤｎが一致しない場合（ステップＳＴ７０７の“ＮＯ”の場合）、撮影位置決定部１６は、例えば、スピーカ３に対して、現在点検を行うべき点検対象物ではない旨の案内を出力させ、作業者に、再度点検対象物を探すよう指示する（ステップＳＴ７１０）。その後、ステップＳＴ７０１に戻る。
　図８Ａ，図８Ｂは、この発明の実施の形態１に係る撮影補助装置１のハードウェア構成の一例を示す図である。
　この発明の実施の形態１において、移動速度算出部１１と、移動速度判定部１２と、対象物概要判定部１３と、移動速度指示部１４と、対象物種別判定部１５と、撮影位置決定部１６と、撮影制御部１７の各機能は、処理回路８０１により実現される。すなわち、撮影補助装置１は、カメラ２から取得したカメラ画像と、事前生成ＤＢ４に記憶されている情報とに基づき、作業者に対して、目視確認できない場所に存在する対象物を撮影する撮影動作を補助する案内を出力する処理の制御を行うための処理回路８０１を備える。
　処理回路８０１は、図８Ａに示すように専用のハードウェアであっても、図８Ｂに示すようにメモリ８０５に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）８０６であってもよい。
　処理回路８０１が専用のハードウェアである場合、処理回路８０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
　処理回路８０１がＣＰＵ８０６の場合、移動速度算出部１１と、移動速度判定部１２と、対象物概要判定部１３と、移動速度指示部１４と、対象物種別判定部１５と、撮影位置決定部１６と、撮影制御部１７の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、移動速度算出部１１と、移動速度判定部１２と、対象物概要判定部１３と、移動速度指示部１４と、対象物種別判定部１５と、撮影位置決定部１６と、撮影制御部１７は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）８０２、メモリ８０５等に記憶されたプログラムを実行するＣＰＵ８０６、またはシステムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ８０２、またはメモリ８０５等に記憶されたプログラムは、移動速度算出部１１と、移動速度判定部１２と、対象物概要判定部１３と、移動速度指示部１４と、対象物種別判定部１５と、撮影位置決定部１６と、撮影制御部１７の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ８０５とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。
　なお、移動速度算出部１１と、移動速度判定部１２と、対象物概要判定部１３と、移動速度指示部１４と、対象物種別判定部１５と、撮影位置決定部１６と、撮影制御部１７の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、移動速度算出部１１については専用のハードウェアとしての処理回路８０１でその機能を実現し、移動速度判定部１２と、対象物概要判定部１３と、移動速度指示部１４と、対象物種別判定部１５と、撮影位置決定部１６と、撮影制御部１７については処理回路がメモリ８０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　また、メモリ８０５は、カメラ２から取得したカメラ画像データ、および、処理回路８０１の処理中のデータを記憶する。
　また、撮影補助装置１は、携帯端末１００が備えるカメラ２およびスピーカ３、または、事前生成ＤＢ４等の外部機器との通信を行う、入力インタフェース装置８０３、および、出力インタフェース装置８０４を有する。撮影補助装置１の取得部は、入力インタフェース装置８０３で構成される。
　以上のように、実施の形態１の撮影補助装置１は、カメラ２の移動速度が閾値以上であるか否かを判定する移動速度判定部１２と、移動速度判定部１２が、カメラ２の移動速度が閾値以上であると判定した場合、カメラ２から取得したキャプチャ画像に基づき、点検を行うべき対象物となり得る物体である点検対象候補が当該キャプチャ画像中に写っているかどうかの判定を行う対象物概要判定部１３と、対象物概要判定部１３が、点検対象候補がキャプチャ画像中に写っていると判定した場合、カメラ２の移動速度を遅くさせる指示を出力する移動速度指示部１４と、移動速度判定部１２が、カメラ２の移動速度が閾値未満であると判定した場合、キャプチャ画像に基づき、当該キャプチャ画像中に写っている対象物の種別を判定する対象物種別判定部１５と、対象物種別判定部１５が判定した対象物の種別が、現在点検を行うべき点検対象物の種別と一致するかを判定し、当該対象物の種別が点検対象物の種別と一致する場合、現在の前記カメラの位置を撮影位置として決定し、当該カメラの動きを停止させる指示を出力する撮影位置決定部１６とを備えるように構成されている。そのため、目視確認できない場所に存在する対象物を探す手の動きの速さに応じて、手の動きを２段階に案内する。これにより、ユーザが、不可視対象物を適切なアングルに収めて撮影することができるよう、ユーザの撮影動作を補助することができる。
　また、撮影位置決定部１６が撮影位置を決定すると、カメラ２に対して撮影指示を出力する撮影制御部１７を備えるように構成されている。そのため、点検対象物を、適切なアングルで、自動的に撮影することができる。
実施の形態２．
　実施の形態１では、撮影位置決定部１６が、対象物種別判定部１５が判定した不可視対象物と、点検手順データで定義されている点検対象物とが一致していないと判定すると、撮影位置決定部１６は、例えば、スピーカ３に対して、現在点検を行うべき点検対象物ではない旨の案内を出力させ、作業者に、再度点検対象物を探すよう指示するようにしていた。
　この実施の形態２では、撮影位置決定部１６が、対象物種別判定部１５で判定した不可視対象物と、点検手順データで定義されている点検対象物とが一致していないと判定した場合は、点検対象物の方向へカメラ２を向けるよう案内する実施の形態について説明する。
　図９は、この発明の実施の形態２に係る撮影補助装置１ａの機能構成を示したブロック図である。
　この実施の形態２に係る撮影補助装置１ａは、実施の形態１同様、カメラ２、加速度センサまたはジャイロセンサ等の各種センサ（図示省略）、および、スピーカ３を搭載した、スマートフォンまたはタブレット等の携帯端末１００に搭載される。
　また、この実施の形態２でも、一例として、撮影補助装置１ａを搭載した携帯端末１００は、水処理設備、プラント設備、発電設備、またはビル設備等の機械設備における保守点検作業を行う際に、ユーザである作業者が携帯する携帯端末であることを想定している。
　図９に示すように、この発明の実施の形態２に係る撮影補助装置１ａは、図１を用いて説明した実施の形態１に係る撮影補助装置１とは、周辺位置情報通知部１８をさらに備える点が異なる。その他の、実施の形態１に係る撮影補助装置１と同様の構成については、同じ符号を付して重複した説明を省略する。
　また、撮影補助装置１ａが参照する事前生成データベース４ａは、概要画像ＤＢ４１、詳細画像ＤＢ４２、および、点検手順ＤＢ４３に加え、対象物位置ＤＢ４４をさらに有する点が異なる。対象物位置ＤＢ４４の詳細については後述する。
　周辺位置情報通知部１８は、撮影位置決定部１６において、対象物種別判定部１５が判定した不可視対象物と、点検手順ＤＢ４３に記憶されている点検手順データから特定した点検対象物とが一致しないと判定された場合、点検対象物が、その時点でのカメラ２の位置からみてどの位置にあるのかを案内する音声情報等を、スピーカ３から出力させる。
　例えば、図１０に示すように、現在のカメラ２の画角がスイッチＢに合っており、現在点検すべき対象となる点検対象物であるスイッチＡが、当該スイッチＢの左にあるとする。
　この場合、周辺位置情報通知部１８は、例えば、「スイッチＢを検出しました。現在の点検対象のスイッチＡは左側にあります。」という音声をスピーカ３から出力させ、作業者に対して、正しい点検対象物の位置を指示する。この際、周辺位置情報通知部１８は、正しい点検対象物の位置を、対象物位置ＤＢ４４に記憶されている対象物位置データから算出する。
　ここで、図１１は、この実施の形態２において、対象物位置ＤＢ４４に記憶されている対象物位置データの一例を示す図である。
　例えば、対象物位置データは、図１１に示すように、点検対象物となり得る不可視対象物を２次元または３次元点群モデル等で詳細に示した画像データ（図１１Ａ）と、各２次元画像または３次元点群モデル上で、各点検対象物となり得る不可視対象物の中心座標の情報（図１１Ｂ）とを含む。
　なお、各対象物の中心座標は、予め、作業者等が設定しておく。具体的には、例えば、作業者等が、ある位置で不可視対象物を撮影し、撮影した画像中で、各不可視対象物の中心座標を設定しておく。当該各不可視対象物の中心座標は、不可視対象物が複数ある場合に、各不可視対象物間の位置関係を判断するための情報である。
　また、図１１Ａでは、点検対象物となり得る不可視対象物のうち、盤Ａが有する不可視対象物を詳細に写した画像データを示している。
　周辺位置情報通知部１８は、撮影位置決定部１６において、対象物種別判定部１５が判定した不可視対象物と、点検手順ＤＢ４３に記憶されている点検手順データから特定した点検対象物とが一致しないと判定された場合、キャプチャ画像と、図１１Ａに示すような対象物位置データで示される画像とに基づき、作業者に指示する、点検対象物の位置を算出する。
　以下、対象物位置データが、図１１に示す内容であり、正しい点検対象である点検対象物は盤Ａが有するスイッチＡである場合に、キャプチャ画像が、図１２Ａに示す内容であったとして、具体的に説明する。
　まず、周辺位置情報通知部１８は、キャプチャ画像と対象物位置データで示される画像とのマッチングを行い、キャプチャ画像が、予め設定されている対象物位置データが示す画像中のどこを写したものであるかを特定する。
　周辺位置情報通知部１８は、マッチング手法として、テンプレートマッチング、ＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ）またはＳＵＲＦ（Ｓｐｅｅｄ－Ｕｐ　Ｒｏｂｕｓｔ　Ｆｅａｔｕｒｅｓ）特徴量等の既存の手法を用いればよい。
　ここでは、キャプチャ画像が、盤Ａが有する不可視対象物であるスイッチＢを写しており（図１２Ａ参照）、点検対象物は、盤Ａが有する不可視対象物であるスイッチＡである（図１１Ａ参照）。
　よって、周辺位置情報通知部１８は、図１２Ａで示すような画像と、図１１Ａで示すような、対象物位置データが示す画像をマッチングし、キャプチャ画像が、対象物位置データが示す画像中のどこを写したものであるかを特定する。その結果、周辺位置情報通知部１８は、図１２Ｂの１２０１で示す範囲が、キャプチャ画像で写されている範囲であると特定する。
　次に、周辺位置情報通知部１８は、対象物位置データにおける、各２次元画像または３次元点群モデル上で、各点検対象物となり得る不可視対象物の中心座標の情報（図１１Ｂ参照）に基づき、キャプチャ画像におけるスイッチＢの中心座標が対応する位置座標として、対象物位置データが示す画像上でのスイッチＢの中心座標Ｃｒを特定する。
　そして、周辺位置情報通知部１８は、特定した中心座標Ｃｒと、対象物位置データが示す画像上の、点検対象物であるスイッチＡの中心座標Ｃｎを比較し、キャプチャ画像が撮像された、その時点でのカメラ２の位置からみて、どの位置に、点検対象物であるスイッチＡが存在するかを算出する。
　上述した例でいうと、周辺位置情報通知部１８は、キャプチャ画像で写されているスイッチＢの中心座標が対応する位置座標である中心座標Ｃｒは（２００，１００）であり、点検対象物であるスイッチＡの中心座標Ｃｎは（１００，１００）であるので、スイッチＡは、カメラ２の位置からみて左に位置すると算出する。
　なお、以上の説明では、周辺位置情報通知部１８は、撮影位置決定部１６において、対象物種別判定部１５が判定した不可視対象物と、点検手順ＤＢ４３に記憶されている点検手順データから特定した点検対象物とが一致しないと判定された場合、点検対象物が、その時点でのカメラ２の位置からみてどの位置にあるのかを案内する音声情報等を、スピーカ３から出力させるものとしたが、作業者に対する点検対象物の案内方法はこれに限らない。
　例えば、周辺位置情報通知部１８は、点検対象物が、その時点でのカメラ２の位置から点検対象物までの距離を案内する音声情報等を、スピーカ３から出力させるものとしてもよい。また、周辺位置情報通知部１８は、点検対象物が、その時点でのカメラ２の位置からみてどの方向にあるかを案内する音声情報等を、スピーカ３から出力させるものとしてもよい。
　周辺位置情報通知部１８は、カメラ２の位置から点検対象物までの距離は、上述の例で説明したように、例えば、キャプチャ画像で写されているスイッチＢの中心座標が対応する中心座標Ｃｒと、点検対象物であるスイッチＡの中心座標Ｃｎとから算出できる。上述の例でいうと、中心座標Ｃｎ（１００，１００）は、中心座標Ｃｒ（２００，１００）からみて、右方向へ、座標１００分の距離の位置にあることになる。
　周辺位置情報通知部１８は、座標１００分の距離は、予め、座標１００分が何ｃｍに相当するかを求めた比率を用いて算出する。当該比率は、例えば、事前に計測した実空間での、各点検対象物となり得る不可視対象物間の距離と、対象物位置データが示す画像上での座標の差分の比率である。また、当該比率の情報は、比率情報として、撮影補助装置１ａが参照可能な場所に記憶されており、周辺位置情報通知部１８は、当該比率情報に基づき、座標１００分の距離を算出することができる。
　この発明の実施の形態２に係る撮影補助装置１ａのハードウェア構成は、実施の形態１において図８Ａおよび図８Ｂを用いて説明した構成と同様であるため、重複した説明を省略する。
　周辺位置情報通知部１８は、移動速度算出部１１、移動速度判定部１２、対象物概要判定部１３ａ、移動速度指示部１４、対象物種別判定部１５、撮影位置決定部１６、および、撮影制御部１７同様、処理回路８０１により実現される。
　次に、この実施の形態２に係る撮影補助装置１ａの動作について説明する。
　図１３は、この実施の形態２に係る撮影補助装置１ａの全体の動作を説明するためのフローチャートである。
　図１３において、ステップＳＴ１２０１～ステップＳＴ１２０８，ステップＳＴ１２１０の具体的な動作は、それぞれ、実施の形態１において説明した、図５のステップＳＴ５０１～ステップＳＴ５０８，ステップＳＴ５０９の具体的な動作と同様であるため、重複した説明を省略し、図１３のステップＳＴ１２０９の具体的な動作について以下説明する。
　撮影位置決定部１６は、ステップＳＴ１２０７において対象物種別判定部１５が判定した不可視対象物と、点検手順データで定義されている点検対象物とが一致しているかどうかを判定し（ステップＳＴ１２０８）、一致している場合（ステップＳＴ１２０８の“ＹＥＳ”の場合）、ステップＳＴ１２１０へ進む。
　ステップＳＴ１２０８において、対象物種別判定部１５が判定した不可視対象物と、点検手順データで定義されている点検対象物とが一致していない場合（ステップＳＴ１２０８の“ＮＯ”の場合）、撮影位置決定部１６は、対象物種別判定部１５が判定した不可視対象物の情報と、点検手順データで定義されている点検対象物の情報とを、周辺位置情報通知部１８に出力する。
　周辺位置情報通知部１８は、ステップＳＴ１２０８において撮影位置決定部１６から出力された、対象物種別判定部１５が判定した不可視対象物の情報と、点検対象物の情報とに基づき、正しい点検対象となる点検対象物が、その時点でカメラ２の位置からみてどの方向および距離にあるのかを案内する音声情報等を、スピーカ３から出力させる（ステップＳＴ１２０９）。例えば、対象物種別判定部１５が判定した不可視対象物が「スイッチＢ」であり、点検対象物が「スイッチＡ」であるとすると、周辺位置情報通知部１８は、「スイッチＢを検出しました。現在の点検対象のスイッチＡは左側にあります。」等、点検対象物が近くにある旨の案内を出力させる。その後、ステップＳＴ１２０２に戻る。
　ここで、この実施の形態２に係る撮影補助装置１ａの周辺位置情報通知部１８の動作について、詳細に説明する。
　図１４は、この実施の形態２に係る撮影補助装置１ａの周辺位置情報通知部１８の詳細な動作を説明するためのフローチャートである。
　すなわち、図１４は、図１３のステップＳＴ１２０９の詳細な動作を説明するフローチャートである。
　周辺位置情報通知部１８は、撮影位置決定部１６から、対象物種別データＤｒの情報を取得する（ステップＳＴ１３０１）。なお、対象物種別データＤｒは、撮影位置決定部１６が、対象物種別判定部１５が判定した不可視対象物について設定した情報である（図１３のステップＳＴ１２０５参照）。
　周辺位置情報通知部１８は、撮影位置決定部１６から、点検対象物種別データＤｎの情報を取得する（ステップＳＴ１３０２）。なお、点検対象物種別データＤｎは、撮影位置決定部１６が、点検手順ＤＢ４３の点検手順データを参照して取得した点検対象物の情報である（図２のステップＳＴ１２０６参照）。
　周辺位置情報通知部１８は、対象物位置ＤＢ４４に記憶されている対象物位置データを参照し、当該対象物位置ＤＢ４４において定義されている、対象物種別データＤｒと一致する不可視対象物の中心座標Ｃｒを取得する（ステップＳＴ１３０３）。
　周辺位置情報通知部１８は、同様に、対象物位置ＤＢ４４において定義されている、点検対象物種別データＤｎと一致する不可視対象物の中心座標Ｃｎを取得する（ステップ１３０４）。
　具体的には、例えば、対象物種別データＤｒが「スイッチＢ」であり、点検対象物種別データＤｎが「スイッチＡ」であるとすると、周辺位置情報通知部１８は、中心座標Ｃｒおよび中心座標Ｃｎとして、それぞれ、（２００，１００）、（１００，１００）の情報を取得する。
　周辺位置情報通知部１８は、ステップＳＴ１３０３で取得した中心座標Ｃｒと、ステップＳＴ１３０４で取得した中心座標Ｃｎとに基づき、対象物種別データＤｒからみた点検対象物種別データＤｎまでの方向および距離を算出する（ステップＳＴ１３０５）。
　例えば、上述の例でいうと、中心座標Ｃｒ（２００，１００）からみて、中心座標Ｃｎ（１００，１００）は、右方向へ、座標１００分の距離の位置にあることになる。すなわち、対象物種別データＤｒからみた点検対象物種別データＤｎは、右方向へ、座標１００分移動させた位置にあることになる。
　周辺位置情報通知部１８は、座標１００分移動させた距離については、上述のとおり、予め定義され記憶されている比率情報に基づき、算出する。
　周辺位置情報通知部１８は、ステップＳＴ１３０５で算出した方向および距離までカメラ２を移動するよう指示する音声等を、スピーカ３から出力させる（ステップＳＴ１３０６）。
　なお、ここでは、周辺位置情報通知部１８は、対象物種別データＤｒからみた点検対象物種別データＤｎまでの方向よび距離を算出し、算出した方向および距離までカメラ２を移動するよう指示する音声等を、スピーカ３から出力させるものとしたが、これは一例に過ぎない。上述したように、周辺位置情報通知部１８は、対象物種別データＤｒからみた点検対象物種別データＤｎまでの位置を算出し、算出した位置までカメラ２を移動するよう指示する音声等を、スピーカ３から出力させるようにすることもできる。
　以上の説明では、対象物位置ＤＢ４４には、図１１に示すように、点検対象物となり得る不可視対象物を２次元または３次元点群モデル等で詳細に示した画像データ、および、当該不可視対象物の中心座標の情報を、対象物位置データとして記憶しているものとした。
　これに加え、対象物位置ＤＢ４４には、図１５に示すような、点検対象物となり得る対不可視象物の概要を２次元または３次元点群モデル等で示した画像データを、対象物位置データとして記憶しておくようにしてもよい。
　対象物概要判定部１３は、移動速度判定部１２において、手の速度が規定速度以上と判定された場合（ステップＳＴ１２０４の“ＹＥＳ”の場合）、キャプチャ画像に点検対象候補が写っているかどうかを判定する（ステップＳＴ１２０５）。このとき、対象物概要判定部１３は、点検対象候補らしきものがカメラ画像に写っていなくても、図１５に示すような対象物位置データと、現在のカメラ２の移動方向から、点検対象候補に近づいていることを推測し、点検対象候補に近づいている旨の情報を、判定結果として移動速度指示部１４に出力するようにしてもよい。そして、移動速度指示部１４は、スピーカ３に、点検対象候補が周辺にあることを作業者に対して通知し、手の動きを遅くするように指示する音声等を、出力させるようにしてもよい。
　以上のように、実施の形態２の撮影補助装置１ａは、点検を行うべき対象物となり得る不可視対象物が複数存在し、対象物種別判定部１５が判定した不可視対象物の種別が点検対象物の種別と一致しないと判定された場合、対象物となり得る複数の不可視対象物を詳細に示した画像データと、当該複数の対象物間の位置関係を判断するための情報とを含む対象物位置データとに基づき、カメラ２からみた点検対象物の方向を案内する情報を出力させる周辺位置情報通知部１８を備えるように構成されている。このため、点検対象物を正しく撮影できるよう、作業者を誘導するようにすることができる。
　なお、以上の実施の形態１，２では、不可視対象物が複数あるものとして説明したが、不可視対象物は１つであっても構わない。
　また、以上の実施の形態１，２では、対象物概要判定部１３は、類似度Ｓ１が７０％以上の場合に、キャプチャ画像中に点検対象候補が写っていると判定し、対象物種別判定部１５は、類似度Ｓ２が９５％以上の場合に、キャプチャ画像中に写っている物体と、詳細画像データで定義されている不可視対象物とが種別まで一致していると判定したが、類似度Ｓ１および類似度Ｓ２の値はこれに限らない。類似度Ｓ１および類似度Ｓ２の値は、適宜設定可能である。
　また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　この発明に係る撮影補助装置は、ユーザが、不可視対象物を適切なアングルに収めて撮影することができるように構成したため、カメラによる撮影を補助する撮影補助装置および撮影補助方法等に適用することができる。
１，１ａ　撮影補助装置、２　カメラ、３　スピーカ、４，４ａ　事前生成データベース、１１　移動速度算出、１２　移動速度判定部、１３　対象物概要判定部、１４　移動速度指示部、１５　対象物種別判定部、１６　撮影位置決定部、１７　撮影制御部、１８　周辺位置情報通知部、４１　概要画像ＤＢ、４２　詳細画像ＤＢ、４３　点検手順ＤＢ、４４　対象物位置ＤＢ、１００　携帯端末、８０１　処理回路、８０２　ＨＤＤ、８０３　入力インタフェース装置、８０４　出力インタフェース装置、８０５　メモリ、８０６　ＣＰＵ。

Claims (7)

  1. 　カメラの移動速度が閾値以上であるか否かを判定する移動速度判定部と、
    　前記移動速度判定部が、前記カメラの移動速度が前記閾値以上であると判定した場合、前記カメラから取得したキャプチャ画像に基づき、点検を行うべき対象物となり得る物体である点検対象候補が当該キャプチャ画像中に写っているかどうかの判定を行う対象物概要判定部と、
    　前記対象物概要判定部が、前記点検対象候補が前記キャプチャ画像中に写っていると判定した場合、前記カメラの移動速度を遅くさせる指示を出力する移動速度指示部と、
    　前記移動速度判定部が、前記カメラの移動速度が前記閾値未満であると判定した場合、前記キャプチャ画像に基づき、当該キャプチャ画像中に写っている対象物の種別を判定する対象物種別判定部と、
    　前記対象物種別判定部が判定した前記対象物の種別が、現在点検を行うべき点検対象物の種別と一致するかを判定し、当該対象物の種別が前記点検対象物の種別と一致する場合、現在の前記カメラの位置を撮影位置として決定し、当該カメラの動きを停止させる指示を出力する撮影位置決定部
    　とを備えた撮影補助装置。
  2. 　前記撮影位置決定部が前記撮影位置を決定すると、前記カメラに対して撮影指示を出力する撮影制御部
    　を備えた請求項１記載の撮影補助装置。
  3. 　前記対象物概要判定部は、
    　前記点検対象物となり得る対象物の外形を示す概要画像データと、前記キャプチャ画像中に写っている物体とを比較して、前記対象物を検出する
    　ことを特徴とする請求項１記載の撮影補助装置。
  4. 　前記対象物種別判定部は、
    　前記点検対象物となり得る対象物が詳細に写っている詳細画像データと、前記キャプチャ画像中に写っている物体とを比較して、前記対象物の種別を判定する
    　ことを特徴とする請求項１記載の撮影補助装置。
  5. 　前記撮影位置決定部は、
    　前記点検対象物となり得る対象物の種別の情報、および、当該対象物に対する点検手順が定義された点検手順データに基づき前記点検対象物を特定し、前記対象物種別判定部が判定した対象物の種別が当該点検対象物の種別と一致するかどうかを判定する
    　ことを特徴とする請求項１記載の撮影補助装置。
  6. 　前記点検を行うべき対象物となり得る対象物が複数存在し、
    　前記対象物種別判定部が、前記対象物の種別が前記点検対象物の種別と一致しないと判定した場合、前記対象物となり得る複数の対象物を詳細に示した画像データと、当該複数の対象物間の位置関係を判断するための情報とを含む対象物位置データとに基づき、前記カメラからみた前記点検対象物の方向を案内する情報を出力させる周辺位置情報通知部
    　を備えた請求項１記載の撮影補助装置。
  7. 　移動速度判定部が、カメラの移動速度が閾値以上であるか否かを判定し、
    　対象物概要判定部が、前記移動速度判定部が、前記カメラの移動速度が前記閾値以上であると判定した場合、前記カメラから取得したキャプチャ画像に基づき、点検を行うべき対象物となり得る物体である点検対象候補が当該キャプチャ画像中に写っているかどうかの判定を行い、
    　移動速度指示部が、前記対象物概要判定部が、前記点検対象候補が前記キャプチャ画像中に写っていると判定した場合、前記カメラの移動速度を遅くさせる指示を出力し、
    　対象物種別判定部が、前記移動速度判定部が、前記カメラの移動速度が前記閾値未満であると判定した場合、前記キャプチャ画像に基づき、当該キャプチャ画像中に写っている対象物の種別を判定し、
    　撮影位置決定部が、前記対象物種別判定部が判定した前記対象物の種別が、現在点検を行うべき点検対象物の種別と一致するかを判定し、当該対象物の種別が前記点検対象物の種別と一致する場合、現在の前記カメラの位置を撮影位置として決定し、当該カメラの動きを停止させる指示を出力する撮影補助方法。
PCT/JP2017/017709 2017-05-10 2017-05-10 撮影補助装置および撮影補助方法 WO2018207287A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/603,129 US11070719B2 (en) 2017-05-10 2017-05-10 Image capture assist device and image capture assist method
CN201780090337.8A CN110651465B (zh) 2017-05-10 2017-05-10 拍摄辅助装置和拍摄辅助方法
PCT/JP2017/017709 WO2018207287A1 (ja) 2017-05-10 2017-05-10 撮影補助装置および撮影補助方法
JP2019516796A JP6567225B2 (ja) 2017-05-10 2017-05-10 撮影補助装置および撮影補助方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/017709 WO2018207287A1 (ja) 2017-05-10 2017-05-10 撮影補助装置および撮影補助方法

Publications (1)

Publication Number Publication Date
WO2018207287A1 true WO2018207287A1 (ja) 2018-11-15

Family

ID=64104572

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/017709 WO2018207287A1 (ja) 2017-05-10 2017-05-10 撮影補助装置および撮影補助方法

Country Status (4)

Country Link
US (1) US11070719B2 (ja)
JP (1) JP6567225B2 (ja)
CN (1) CN110651465B (ja)
WO (1) WO2018207287A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6988592B2 (ja) * 2018-03-13 2022-01-05 オムロン株式会社 画像検査装置、画像検査方法及び画像検査プログラム
CN110944114B (zh) 2019-11-28 2021-06-08 维沃移动通信有限公司 拍照方法及电子设备
US10838056B1 (en) * 2019-12-25 2020-11-17 NextVPU (Shanghai) Co., Ltd. Detection of target

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009065577A (ja) * 2007-09-10 2009-03-26 Ricoh Co Ltd 撮像装置および撮像方法
JP2014045404A (ja) * 2012-08-28 2014-03-13 Sharp Corp 携帯端末
JP2016010075A (ja) * 2014-06-26 2016-01-18 キヤノン株式会社 撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102369724B (zh) * 2009-02-18 2016-05-04 谷歌公司 自动捕获信息，例如使用文档感知设备捕获信息
JP2011250131A (ja) 2010-05-27 2011-12-08 Panasonic Corp 撮影装置
CN103621056A (zh) * 2011-06-23 2014-03-05 株式会社尼康 拍摄装置
CN102413282B (zh) * 2011-10-26 2015-02-18 惠州Tcl移动通信有限公司 一种手机自拍引导方法和手机
CN103458177B (zh) * 2012-05-23 2018-12-11 杭州阿尔法红外检测技术有限公司 影像记录装置和影像记录方法
CN106464793B (zh) * 2013-11-18 2019-08-02 奥林巴斯株式会社 摄像装置和摄像辅助方法
JP6429454B2 (ja) * 2013-11-28 2018-11-28 キヤノン株式会社 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
CN104780308A (zh) * 2014-01-09 2015-07-15 联想(北京)有限公司 一种信息处理方法及电子设备
CN105635569B (zh) * 2015-12-26 2019-03-22 宇龙计算机通信科技(深圳)有限公司 拍摄方法、装置以及终端
CN106506959A (zh) * 2016-11-15 2017-03-15 上海传英信息技术有限公司 照相方法和照相设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009065577A (ja) * 2007-09-10 2009-03-26 Ricoh Co Ltd 撮像装置および撮像方法
JP2014045404A (ja) * 2012-08-28 2014-03-13 Sharp Corp 携帯端末
JP2016010075A (ja) * 2014-06-26 2016-01-18 キヤノン株式会社 撮像装置

Also Published As

Publication number Publication date
US11070719B2 (en) 2021-07-20
CN110651465A (zh) 2020-01-03
JP6567225B2 (ja) 2019-08-28
JPWO2018207287A1 (ja) 2019-11-07
CN110651465B (zh) 2021-02-05
US20200120268A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
CN109242903B (zh) 三维数据的生成方法、装置、设备及存储介质
CN110570477B (zh) 一种标定相机和旋转轴相对姿态的方法、装置和存储介质
US20220122279A1 (en) Imaging method and imaging control apparatus
JP6567225B2 (ja) 撮影補助装置および撮影補助方法
TW201947451A (zh) 車輛定損的交互處理方法、裝置、處理設備及客戶端
US9807299B2 (en) Image capture methods and systems with positioning and angling assistance
JP2016540267A5 (ja)
JP2015176516A (ja) 表示装置、表示制御プログラム、および表示制御方法
US10291843B2 (en) Information processing apparatus having camera function and producing guide display to capture character recognizable image, control method thereof, and storage medium
GB201305704D0 (en) Information processing apparatus that performs three-dimensional shape measurement, information processing method, and storage medium
JP6207764B2 (ja) 作業支援システム、作業支援装置及び作業支援方法
JP2015138445A (ja) 表示制御方法、情報処理装置、および表示制御プログラム
JP2016095842A (ja) ビデオコンテンツ処理方法及びシステム
US20170345184A1 (en) Three-dimensional information restoration device, three-dimensional information restoration system, and three-dimensional information restoration method
JP6467612B2 (ja) 正置画像処理システムおよび構造物維持管理業務システム
CN106095178A (zh) 输入设备识别方法和***、输入指令识别方法和***
WO2018042074A1 (en) A method, apparatus and computer program product for indicating a seam of an image in a corresponding area of a scene
US10796477B2 (en) Methods, devices, and systems for determining field of view and producing augmented reality
US10148929B2 (en) Method of prompting proper rotation angle for image depth establishing
JP2007208905A (ja) 情報呈示装置
JP6448457B2 (ja) 撮影方向変動検出装置および撮影方向変動検出方法
US20120300058A1 (en) Control computer and method for regulating mechanical arm using the same
KR101566964B1 (ko) 이동 물체를 추적할 수 있는 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체
CN114600162A (zh) 用于捕捉摄像机图像的场景锁定模式
JP2015099413A (ja) 系統図検索システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17909647

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019516796

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17909647

Country of ref document: EP

Kind code of ref document: A1