WO2023074302A1 - 通知方法、及び、通知システム - Google Patents

通知方法、及び、通知システム Download PDF

Info

Publication number
WO2023074302A1
WO2023074302A1 PCT/JP2022/037364 JP2022037364W WO2023074302A1 WO 2023074302 A1 WO2023074302 A1 WO 2023074302A1 JP 2022037364 W JP2022037364 W JP 2022037364W WO 2023074302 A1 WO2023074302 A1 WO 2023074302A1
Authority
WO
WIPO (PCT)
Prior art keywords
deviation
image
display
camera
display device
Prior art date
Application number
PCT/JP2022/037364
Other languages
English (en)
French (fr)
Inventor
和音 萩野
一朗 坂田
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2023074302A1 publication Critical patent/WO2023074302A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor

Definitions

  • the present disclosure relates to a notification method for a projection display system.
  • Patent Document 1 by recalibration processing of the video projection device, positional deviation of the video displayed by the display device is specified using an image obtained by capturing the video displayed by the display device with a camera installed. A method is disclosed. Further, Japanese Patent Application Laid-Open No. 2002-200001 discloses that a user is notified that a positional deviation has occurred. This can prompt the user to perform maintenance for correcting the positional deviation.
  • the present disclosure provides a notification system capable of notifying which of the camera and the display device requires maintenance.
  • a notification method includes a first acquisition step of acquiring a first image captured by a camera at a first timing and including a display area of a video displayed by a display device; a second acquisition step of acquiring a second image including the display area, which is a second image captured by the camera at a second timing after a predetermined period of the first timing; a comparison step of comparing the first analysis data with second analysis data based on the second image; and a first deviation, which is a deviation of a display parameter related to display by the display device, is generated based on the comparison result in the comparison step. and a second determination step of determining whether or not a second deviation, which is a deviation of an imaging parameter related to photography by the camera, has occurred; and a notification step of notifying the user of deviation information indicating the deviation determined to have occurred in the first determination step.
  • a notification system includes a display device, a camera, and an information processing device.
  • the information processing device includes a first acquisition step of acquiring a first image captured by a camera at a first timing and including a display area of a video displayed by a display device, and a second acquisition step of acquiring a second image including the display area, which is a second image captured by the camera at a second timing after a predetermined period of time; and first analysis data based on the first image and the a comparison step of comparing second analysis data based on a second image; whether or not a first deviation, which is a deviation of a display parameter related to display by the display device, has occurred based on the comparison result in the comparison step; , a first determination step of determining whether or not a second deviation, which is a deviation of a photographing parameter relating to photographing by the camera, has occurred; and a notification step of notifying the user of deviation information indicating the deviation determined to have occurred.
  • a notification method can notify which of the camera and the display device requires maintenance.
  • FIG. 1 is a diagram showing the configuration of a projection display system according to an embodiment.
  • FIG. 2 is a diagram showing an example of a flow chart of the operation of the projection display system.
  • FIG. 3 is a flowchart showing an example of initial calibration processing.
  • FIG. 4 is a flowchart illustrating an example of feature point detection processing.
  • FIG. 5 is a flowchart showing an example of calibration processing.
  • FIG. 6 is a flowchart illustrating an example of comparison processing.
  • FIG. 7 is a flowchart illustrating an example of determination processing.
  • FIG. 8 is a diagram showing an example of the first shift amount that occurs in the projection display device.
  • FIG. 9 is a diagram showing an example of the second amount of deviation that occurs in the camera.
  • FIG. 1 is a diagram showing the configuration of a projection display system according to an embodiment.
  • FIG. 2 is a diagram showing an example of a flow chart of the operation of the projection display system.
  • FIG. 3 is a flowchart showing an
  • FIG. 10 is a flowchart illustrating an example of correction limit notification processing according to the first modification.
  • FIG. 11 is a diagram for explaining the correction limit.
  • FIG. 12 is a diagram showing the configuration of a projection display system according to Modification 2.
  • FIG. 13 is a diagram showing the configuration of a projection display system according to Modification 3. As shown in FIG.
  • a notification method includes a first acquisition step of acquiring a first image including a display area of an image captured by a camera at a first timing and displayed by a display device; a second acquisition step of acquiring a second image including the display area captured by the camera at a second timing after the period; and first analysis data based on the first image and a second image based on the second image.
  • the deviation information notified to the user includes the deviation that has occurred out of the first deviation and the second deviation. can be notified to Therefore, it is possible to notify which of the camera and the display device requires maintenance.
  • the method may further include a changing step of receiving an adjustment of the display parameter in the display device and changing the display parameter according to the received adjustment.
  • the notification method further includes a second determination step of determining whether or not the adjustment value exceeds a predetermined adjustment value.
  • the notification step may further notify the user that an adjustment limit is approaching when the adjustment value exceeds the predetermined adjustment value in the second determination step.
  • the display device may be a projector that projects an image onto the display area
  • the display parameters may include the position of the image projected by the display device relative to the display area
  • the display device may be a projector that projects an image onto the display area, and the display parameters may include a focus state of the image projected by the display device.
  • the display parameters may include the color of the image displayed by the display device.
  • the display parameters may include brightness of an image displayed by the display device.
  • the notification method is executed by a control device connected to the camera and the display device via a local network, and the notification method further includes the deviation information to be notified in the notification step;
  • the method may include an accumulation step of accumulating at least one of the image, the second image, the first analysis data, the second analysis data, and the comparison result in different storages.
  • both security levels can be managed separately. Further, for example, it is possible to distinguish between data to be communicated or not.
  • the deviation information is stored in a first storage device connected to the camera and the display device via an external network; At least one of the two images and the comparison result may be stored in a second storage device connected to the camera and the display device via a local network.
  • a notification system includes a display device, a camera, and an information processing device, and the information processing device captures an image captured by the camera at a first timing and displayed by the display device.
  • a first determination step for determining whether or not a first deviation, which is a deviation of the camera, has occurred, and whether or not a second deviation, which is a deviation of a photographing parameter related to photographing by the camera, has occurred; and a notification step of notifying a user of deviation information indicating the deviation determined to have occurred in the first determination step, among the second deviations.
  • the deviation information notified to the user includes the deviation that has occurred out of the first deviation and the second deviation. can be notified to Therefore, it is possible to notify which of the camera and the display device requires maintenance.
  • each figure is a schematic diagram and is not necessarily strictly illustrated. Moreover, in each figure, the same code
  • FIG. 1 is a diagram showing the configuration of a projection display system according to an embodiment.
  • the projection display system 10 is a system compatible with multi-projection that constructs one image from images projected by two projection display devices 20 respectively.
  • Projection display system 10 is an example of a notification system.
  • the projection display system 10 performs calibration processing using an image captured by the camera 30 in order to project an image in accordance with the screen 70 (along the area inside the frame 70a of the screen 70).
  • a projection display system 10 includes two projection display devices 20 , a camera 30 and an information processing device 40 .
  • the projection display system 10 may further include a server 51 and information terminals 52 and 53 . It should be noted that the projection display system 10 only needs to include at least one projection display device 20, and does not necessarily support multi-projection. Also, the projection display device 20 may include a plurality of cameras 30 .
  • the projection display device 20 projects an image on the screen 70 under the control of the information processing device 40 .
  • the projection display device 20 is realized by an optical system such as a laser light source, a phosphor wheel, an image display element, and a projection lens, for example.
  • the image display element is a digital micromirror device (DMD) or a reflective liquid crystal panel (LCOS: Liquid Crystal On Silicon).
  • DMD digital micromirror device
  • LCOS Liquid Crystal On Silicon
  • edge blending When multi-projection is realized by two projection display devices 20, for example, a technique called edge blending is used.
  • the two images projected by the two projection display devices 20 have an overlapping portion 70b that overlaps with each other, and edge blending projects such that the brightness of the two images cross-fades in the overlapping portion 70b. This prevents the seam between the two images from becoming conspicuous.
  • the camera 30 captures an image showing the entire screen 70.
  • the screen 70 is an example of an area onto which an image is projected by the projection display device 20 (that is, a display area).
  • Camera 30 is implemented by an image sensor, a lens, and the like.
  • the information processing device 40 performs information processing for realizing the multi-projection described above. Such information processing includes calibration processing using an image captured by camera 30 in order to project the image in conformity with screen 70 .
  • the information processing device 40 is, for example, a general-purpose device such as a personal computer in which an application program for executing the information processing is installed, but may be a dedicated device for the projection display system 10 .
  • the information processing device 40 specifically includes an input device 41 , a monitor 42 , a communication circuit 43 , a control circuit 44 , and storage devices 45 and 46 . As shown in FIG. 1, an information processing device 40 (an example of a control device) is connected to a camera 30 and two projection display devices 20 via a local network.
  • the input device 41 accepts user operations.
  • the input device 41 is, for example, a keyboard and mouse, but may be a touch panel or the like.
  • the monitor 42 displays an image.
  • the monitor 42 is implemented by, for example, a display panel such as a liquid crystal panel or an organic EL (Electro Luminescence) panel. Note that the monitor 42 may be a separate device from the information processing device 40 .
  • the communication circuit 43 is a communication circuit for the information processing device 40 to communicate with the two projection display devices 20 and the camera 30 .
  • the communication circuit 43 communicates with the two projection display devices 20 and the camera 30, for example, through a local communication network.
  • the communication performed by the communication circuit 43 is, for example, wired communication, but may be wireless communication.
  • the communication standard used for communication is also not particularly limited.
  • the control circuit 44 performs the above information processing.
  • the control circuit 44 is specifically implemented by a processor or microcomputer.
  • the functions of the control circuit 44 are realized by executing a computer program stored in the storage device 45 by a processor or microcomputer that constitutes the control circuit 44 .
  • the storage devices 45 and 46 are storage devices that store information necessary for the above information processing, such as computer programs executed by the control circuit 44 .
  • the storage devices 45 and 46 are specifically implemented by semiconductor memories or HDDs (Hard Disk Drives).
  • the storage devices 45 and 46 may not be realized by different storages, and may be realized by different storage areas of the same storage.
  • the users who can access the storage device 45 may be limited to specific users (for example, a servicer, which will be described later), and the users who can access the storage device 46 may be limited to users including a specific user and other users. It should be noted that the storage device 46 does not have to be limited to users who can access it.
  • the server 51 is connected to the information processing device 40 via the network 60 .
  • the server 51 may be connected via a network 60 to an information processing device (not shown) of another projection display system.
  • the server 51 may receive and accumulate various data generated in the projection display system 10 via the network 60, or may receive and accumulate the processing results of the information processing apparatus 40 via the network 60. good.
  • the network 60 may be a general-purpose communication line such as the Internet, or may be a dedicated communication line.
  • the server 51 may store the accumulated various data in a state in which they cannot be viewed from the information terminal 52, and store the processing results of the various data in a state in which they can be viewed from the information terminal 52.
  • the various data include the first image and the second image generated by the projection display system 10, and the like.
  • the first image and the second image are images captured by camera 30 .
  • the processing result includes first analysis data, second analysis data, deviation information, and the like.
  • the first analysis data, the second analysis data, and the deviation information are data generated by processing in the information processing device 40 . Details of various data will be described later.
  • the information terminal 52 is a terminal used by the user of the projection display system 10 .
  • the information terminal 52 is connected to the information processing device 40 via the network 60 .
  • the information terminal 52 may remotely operate the information processing apparatus 40 by receiving an operation by a user.
  • the information terminal 52 may transmit a control signal for remote control to the information processing device 40 and receive the processing result of the processing executed in the information processing device 40 in response to the control signal.
  • the information terminal 52 is, for example, a computer such as a PC (Personal Computer), a smartphone, or a tablet.
  • the information terminal 53 is a terminal used by a servicer who provides the projection display system 10 to users.
  • the information terminal 53 is connected to the information processing device 40 via the network 60 .
  • the information terminal 53 may remotely operate the information processing device 40 by receiving an operation by the servicer.
  • the information terminal 53 may transmit a control signal for remote operation to the information processing device 40 and receive the processing result of the processing executed in the information processing device 40 in response to the control signal, or may receive the processing result.
  • the processing result may be stored in the server 51 by transmitting it to the server 51 .
  • the information terminal 53 may also transmit a control signal for remote control to the server 51 and process various data generated in the projection display system 10 and stored in the server 51 according to the control signal. good. In addition, the information terminal 53 may set the processing results of various data in the server 51 to be viewable from the information terminal 52 .
  • the information terminal 53 is, for example, a computer such as a PC (Personal Computer), a smartphone, or a tablet.
  • FIG. 2 is a diagram showing an example of a flowchart of the operation of the projection display system 10. As shown in FIG.
  • the control circuit 44 executes initial calibration processing (S11).
  • the control circuit 44 acquires a first image from the camera 30 and generates first analysis data based on the first image.
  • the first image is an image captured by camera 30 at a first timing, and is an image including a display area (screen 70 in the present embodiment) of an image displayed by projection display device 20 . Details of the initial calibration will be described later with reference to FIG.
  • the control circuit 44 executes calibration processing (S12).
  • the control circuit 44 acquires the second image from the camera 30 and generates second analysis data based on the second image.
  • the second image is an image captured by the camera 30 at a second timing after a predetermined time from the first timing, and is an image including the display area of the projection display device 20 . Details of the calibration process will be described later with reference to FIG.
  • control circuit 44 compares the initial calibration result and the calibration result (S13).
  • the control circuit 44 compares the first analysis data and the second analysis data.
  • control circuit 44 determines whether or not a deviation has occurred (S14). Based on the result of the comparison in step S13, the control circuit 44 determines whether or not the first deviation, which is the deviation of the display parameters related to the display by the projection display device 20, has occurred, and whether or not the deviation of the shooting parameters related to the shooting by the camera 30 has occurred. It is determined whether a certain second deviation has occurred.
  • the display parameters include parameters related to the position of the image projected on the projection display device 20, the focus state of the projected image, the color of the projected (displayed) image, and the brightness of the projected (displayed) image. .
  • the shooting parameters include the position and orientation of the camera 30, the focal length, and the like.
  • the shooting parameters are also called camera parameters.
  • the control circuit 44 notifies the user of the deviation information (S15).
  • the control circuit 44 notifies the user of the deviation information by transmitting the deviation information to the information terminal 52 using the communication circuit 43, for example.
  • the information terminal 52 that has received the deviation information displays the deviation information (for example, graphs shown in FIGS. 8 and 9 to be described later).
  • the deviation information indicates the deviation determined to have occurred in step S14. For example, if it is determined that the first deviation has occurred in step S14, the deviation information includes the first deviation of the display parameters of the projection display device 20, and it must be determined that the first deviation has occurred in step S14. does not include the first deviation.
  • the deviation information includes the second deviation of the shooting parameters of the camera 30, and if it is determined that the second deviation has occurred in step S14, the deviation information , does not include the second offset. That is, the shift information includes only the first shift, only the second shift, and the first shift among the first shift and the second shift, depending on the determination result in step S14. It may include both a deviation and a second deviation.
  • the first deviation occurs when a deviation (difference) equal to or greater than the first threshold occurs in the display parameters in the projection display device 20 .
  • a second deviation occurs when the camera 30 deviates (differs) in the imaging parameters by a second threshold value or more.
  • the initial calibration process is a process performed when the projection display system 10 starts operating.
  • FIG. 3 is a flowchart showing an example of initial calibration processing.
  • control circuit 44 sets the projection positions so that the projection positions of the images of the two projection display devices 20 match the screen 70 (S21). Specifically, control circuit 44 causes each of two projection display devices 20 to project an image by transmitting a control signal to each of two projection display devices 20 via communication circuit 43 .
  • control circuit 44 controls the direction of projection of each of the two projection display devices 20 so that the edges of the projection ranges of the two images projected by the two projection display devices 20 are aligned with the frame 70a of the screen 70. Adjust the lens shift amount, zoom magnification, focal length, and the like.
  • the control circuit 44 causes the projection display device 20 to project a test image by transmitting a control signal to the projection display device 20 via the communication circuit 43 (S22).
  • the test image may be an image suitable for calculating the analysis value in the next step S23, such as an image having a predetermined color pattern.
  • the analysis value indicates the evaluation value of the display parameter of the projection display device 20.
  • FIG. The analysis values include coordinates of feature points in the captured image, color information of a specific region in the captured image, and focus information indicating the focus state of the test image in the captured image.
  • the control circuit 44 calculates the analysis value in the captured image of the test image projected on the screen 70, and stores the first analysis data indicating the calculated analysis value in the storage device 45 (S23).
  • the analysis value calculation in step S23 is a process for calculating the evaluation values of the display parameters of the projection display device 20.
  • FIG. Specifically, the coordinates of the feature points as the analysis values are used to specify the projection position of the image. In other words, it is used to identify the relative position between the projection display device 20 and the screen 70 .
  • the color information as the analysis value is used to specify the color of the color pattern projected by the projection display device 20 .
  • Focus information as an analysis value is used to identify the focus state of the test image projected by the projection display device 20 . Since the first analysis data is calculated based on the image captured at the first timing, it includes the first display parameter, which is the display parameter at the first timing.
  • control circuit 44 transmits a control signal to the camera 30 via the communication circuit 43 to cause the camera 30 to capture an image (still image) including the screen 70 on which the test image is projected. .
  • the control circuit 44 acquires a photographed image (more specifically, image information of the photographed image) from the camera 30 via the communication circuit 43, and treats the acquired image as a processing target to process a plurality of feature points, Color information and focus state are detected.
  • the control circuit 44 uses, for example, an algorithm optimized for detecting feature points appearing in the test image.
  • the control circuit 44 uses an algorithm optimized for detecting color information of color patterns in the test image, for example.
  • the control circuit 44 for example, uses optimized algorithms to detect the focus state of the test image.
  • FP(N) ⁇ FP1, FP2, FP3, . . . , FPn, . 1, 2, 3, . . . N are the identification information (ID) of the feature points, and FP1, FP2, FP3, . FP(N) is stored in the storage device 45 .
  • the color information of a specific color area is detected in the test image.
  • the detected color information is stored in the storage device 45 .
  • focus information detection the focus state in the test image is detected.
  • the detected focus information is stored in the storage device 45 .
  • control circuit 44 uses the first analysis data stored in step S23 to perform geometric correction on each of the two images projected by the two projection display devices 20, if necessary. Using the first analysis data stored in step 23 , the control circuit 44 performs edge blending processing on the superimposed portion 70 b of the two images projected by the two projection display devices 20 . The control circuit 44 automatically executes this series of processes using an image captured by the camera 30 (more specifically, image information obtained from the camera 30 through the communication circuit 43) (S24).
  • the control circuit 44 performs feature point detection processing (S25).
  • the feature point detection processing is processing for specifying the relative position between the camera 30 and the screen 70 . Details of the feature point detection processing will be described later.
  • FIG. 4 is a flowchart illustrating an example of feature point detection processing.
  • the control circuit 44 sends a control signal to the camera 30 via the communication circuit 43, for example, when the input device 41 accepts an operation from the user, thereby causing the camera 30 to capture an image (still image). (S31).
  • the image shooting conditions (white balance, shutter speed, ISO sensitivity, F number, etc.) instructed from the information processing device 40 (control circuit 44) to the camera 30 by the control signal are set in advance. may be set to a value.
  • the image captured in step S31 is an example of the first image.
  • the control circuit 44 acquires the first image (more specifically, image information of the first image) from the camera 30 via the communication circuit 43, and A plurality of feature points are detected from the first image as a processing target (S32).
  • the control circuit 44 uses, for example, an algorithm for detecting feature points that appear at the four corners of the rectangular screen 70 . Note that any existing algorithm may be used for detection of feature points, and open source or the like may be used as appropriate.
  • the control circuit 44 associates the first image with the coordinates in the first image of each of the plurality of detected feature points and stores them in the storage device 45 (S33).
  • identification information (ID) of the feature point may be given to the coordinates of the feature point.
  • the information stored in step S33 may be included in the first analysis data. Since the information stored in step S33 is calculated based on the first image captured at the first timing, it includes the first imaging parameters, which are the imaging parameters at the first timing.
  • test image projected on the projection display device 20 may be included in the first image in step S31. That is, the process of step S32 may be performed on the first image including the test image. In other words, the image to be processed in step S23 and the first image may be different images or may be the same image.
  • FIG. 5 is a flowchart showing an example of calibration processing.
  • the control circuit 44 transmits a control signal to the camera 30 via the communication circuit 43 with this as a trigger, thereby transmitting an image (still image) to the camera 30 .
  • the control circuit 44 stores the shooting conditions in the storage device 45 at the time of the initial calibration processing, and refers to the storage device 45 to set the camera to the same shooting conditions as when the initial calibration processing was performed. Have an image taken.
  • the image captured in step S41 is an example of the second image.
  • the control circuit 44 manages schedule information for calibration processing (once in a predetermined period such as one day, one week, or one month), and periodically captures the second image based on the schedule information. do.
  • the schedule information is stored (registered) in advance in the storage device 45 by, for example, a user's operation on the input device 41 .
  • the shooting schedule is managed by a device higher than the information processing device 40, such as a cloud server (not shown). You can take pictures.
  • the shooting of the second image may be performed based on the user's operation. For example, when the user sees the image projected on the screen 70 and determines that calibration is necessary, the user performs a predetermined operation on the input device 41 to input a shooting command for the second image. , a second image may be taken.
  • the control circuit 44 acquires the second image (more specifically, image information of the second image) from the camera 30 via the communication circuit 43, and A plurality of feature points are detected using the second image as a processing target (S42).
  • a method of detecting a plurality of feature points is the same as the method described in step S32, except that the processing target is the second image.
  • the second image and the plurality of feature points detected in step S42 may be included in the second analysis data.
  • the second analysis data may include coordinates in the second image of each of the plurality of detected feature points.
  • the second image, the plurality of feature points, and the coordinates of each of the plurality of feature points are calculated based on the second image captured at the second timing. including.
  • control circuit 44 reads the coordinates of the first image and the plurality of feature points stored in the storage device 45 in step S33 (S43). Then, the control circuit 44 calculates the amount of coordinate deviation at the present time point (second timing) for each of the plurality of read feature points (S44). Specifically, the control circuit 44 identifies the feature amount of each of the plurality of read feature points by matching the coordinates of each of the plurality of feature points with the first image. For each of the plurality of feature points, the control circuit 44 determines one feature point having a feature amount most similar to the feature amount of the feature point from among the plurality of feature points detected in step S42. The coordinates of the feature point and the coordinates of the determined feature point are calculated as the coordinate deviation amount.
  • the coordinate deviation amount of each of the plurality of feature points indicates the deviation (change) of the relative position between the camera 30 and the screen 70 . That is, in step S44, it can be said that the relative positional deviation between the camera 30 and the screen 70 is detected. In other words, the coordinate deviation amount calculated in step S44 is an example of the second deviation amount of the second deviation.
  • the control circuit 44 calculates correction coefficients for the coordinate system of the camera 30 based on the coordinate deviation amounts of each of the plurality of feature points (S45).
  • the control circuit 44 converts the coordinate system of the camera 30 at the current time point (second timing) to the coordinate system of the camera 30 at the time point (first timing) when the initial calibration process is executed, based on the amount of coordinate deviation of each of the plurality of feature points.
  • a homography matrix H for conversion to the coordinate system is calculated as a correction coefficient.
  • the homography matrix H is represented by the following formula.
  • control circuit 44 performs image projection position correction processing for each of the two projection display devices 20 .
  • Processing for correcting the projection position of the image of one projection display device 20 will be described below, but this processing is performed for each of the two projection display devices 20 .
  • control circuit 44 causes the projection display device 20 to project a test image by transmitting a control signal to the projection display device 20 via the communication circuit 43 (S46).
  • the test image is the same as the test image projected in step S22 of the initial calibration process.
  • control circuit 44 calculates the analysis value in the captured image of the test image projected on the screen 70, and stores the second analysis data indicating the calculated analysis value in the storage device 45 (S47). This process is the same as step S23 of the initial calibration process. Since the second analysis data is calculated based on the image captured at the second timing, it includes the second display parameter, which is the display parameter at the second timing.
  • control circuit 44 corrects the coordinates FP'(N) of the feature points detected in step S47 based on the correction coefficients (homography matrix H) calculated in step S45 (S48). In other words, the control circuit 44 converts the coordinates of the feature points detected in the current positional relationship between the camera 30 and the screen 70 to those detected in the positional relationship between the camera 30 and the screen 70 when the initial calibration process was executed. Correct to the coordinates obtained when Specifically, the control circuit 44 calculates the post-correction coordinates FP''(N) using the following equation.
  • the second image in step S41 may include the test image projected on the projection display device 20. That is, the process of step S42 may be performed on the second image including the test image. In other words, the image to be processed in step S47 and the second image may be different images or may be the same image.
  • FIG. 6 is a flowchart illustrating an example of comparison processing.
  • the control circuit 44 determines the amount of deviation between the analysis value indicated by the first analysis data stored in step S23 of the initial calibration process and the analysis value indicated by the second analysis data obtained in step S48 of the calibration process. is calculated (S51).
  • the amount of deviation is the amount of deviation between the coordinate FP(N) of the feature point and the coordinate FP''(N) of the feature point.
  • the coordinates FP''(N) after correction have the deviation (change) in the relative position between the camera 30 and the screen 70 included in the coordinates FP'(N) before correction. Therefore, the amount of deviation between the coordinate FP(N) and the coordinate FP′′(N) indicates the deviation (change) of the relative position between the projection display device 20 and the screen 70 . That is, in step S51, it can be said that the displacement of the relative position between the projection display device 20 and the screen 70 is detected.
  • the deviation amount calculated in step S51 is an example of the first deviation amount.
  • the first deviation amount may include the deviation amount between the color information stored in the initial calibration and the color information stored in the calibration. Also, the first deviation amount may include the deviation amount between the focus information stored in the initial calibration and the focus information stored in the calibration.
  • control circuit 44 calculates a color correction parameter for adjusting the luminance value of each color of RGB of the projection display device 20 so as to obtain a predetermined reference color information based on the amount of deviation of the color information. may Further, the control circuit 44 may calculate a focus correction parameter for adjusting the focus state of the projection display device 20 so as to obtain an optimum focus state based on the amount of deviation of the focus state.
  • control circuit 44 receives the new correction parameters calculated in step S52 and sets them in the projection display device 20 (S53). Specifically, the control circuit 44 transmits a setting command including new correction parameters to the projection display device 20 via the communication circuit 43 . As a result, the correction parameters in the projection display device 20 are changed. In other words, the image projected by the projection display device 20 is corrected.
  • step S51 determines that the first deviation amount calculated in step S51 is smaller than the predetermined value
  • steps S52 and S53 may be omitted.
  • the coordinates FP''(N) and the coordinates FP(N) are substantially the same and there is no relative positional deviation between the projection display device 20 and the screen 70, the projection display device 20 There is no need to correct the image projected by the .
  • FIG. 7 is a flowchart illustrating an example of determination processing.
  • the control circuit 44 determines whether or not the first deviation amount calculated in step S51 is greater than the first threshold (S61).
  • control circuit 44 determines whether the first deviation amount is greater than the first threshold (Yes in S61), it determines whether the second deviation calculated in step S44 is greater than the second threshold. is determined (S62).
  • control circuit 44 determines that the second deviation amount is greater than the second threshold value (Yes in S62), it determines that both the first deviation and the second deviation exist (S63).
  • control circuit 44 determines that the second deviation amount is equal to or less than the second threshold value (No in S62), it determines that there is a first deviation and no second deviation (S64).
  • control circuit 44 determines whether the first deviation amount is equal to or less than the first threshold value (No in S61), it determines whether the second deviation amount calculated in step S44 is greater than the second threshold value. is determined (S65).
  • control circuit 44 determines that the second deviation amount is greater than the second threshold value (Yes in S65), it determines that there is no first deviation and that there is a second deviation (S66).
  • control circuit 44 determines that the second deviation amount is equal to or less than the second threshold value (No in S65), it determines that there is no first deviation and no second deviation (S67).
  • step S14 the control circuit 44 determines that a deviation has occurred when it is determined that there is at least one of the first deviation and the second deviation. When it is determined that there is no first deviation and no second deviation, the control circuit 44 determines that there is no deviation.
  • each of the deviation amount of the feature point coordinates, the deviation amount of the color information, and the deviation amount of the focus information included in the first deviation amount is set to the respective deviation amount.
  • a comparison is made with a first threshold that is present.
  • FIG. 8 is a diagram showing an example of the first displacement amount that occurs in the projection display device 20.
  • FIG. 9 is a diagram showing an example of the second displacement amount that has occurred in the camera 30. As shown in FIG.
  • FIG. 8 is a graph showing the change over time of the displacement of the projection position of the image projected by the projection display device 20 .
  • the vertical axis represents the amount of positional deviation in the X-axis direction (horizontal direction or horizontal direction) or the amount of positional deviation in the Y-axis direction.
  • the horizontal axis indicates elapsed time (date and time).
  • the X-axis direction is the left-right direction (horizontal direction) of the image projected by the projection display device 20 .
  • the Y-axis direction is the up-down direction (vertical direction) of the image projected by the projection display device 20 .
  • FIG. 8 is a graph showing the change over time of the displacement of the angle of view of the image projected by the projection display device 20 .
  • the vertical axis indicates the size of the angle of view, the amount of change in the size of the projected image in the width direction (horizontal direction) or the amount of change in the size of the projected image in the height direction (vertical direction).
  • the horizontal axis indicates elapsed time (date and time).
  • (c) of FIG. 8 is a graph showing the transition of the projection position of the image projected by the projection display device 20 .
  • the vertical axis indicates the amount of deviation in the Y-axis direction
  • the horizontal axis indicates the amount of deviation in the X-axis direction.
  • FIG. 9 is a graph showing the temporal transition of the displacement of the screen 70 in the image captured by the camera 30 .
  • the vertical axis represents the amount of positional deviation in the X-axis direction (horizontal direction or horizontal direction) or the amount of positional deviation in the Y-axis direction.
  • the horizontal axis indicates elapsed time (date and time).
  • the X-axis direction is the left-right direction (horizontal direction) of the image captured by the camera 30 .
  • the Y-axis direction is the up-down direction (vertical direction) of the image captured by the camera 30 .
  • FIG. 9 is a graph showing the transition of the position of the screen 70 in the image captured by the camera 30 .
  • the vertical axis indicates the amount of deviation in the Y-axis direction
  • the horizontal axis indicates the amount of deviation in the X-axis direction.
  • the control circuit 44 displays the graphs (a) to (c) of FIG. , the deviation information included as the first deviation amount may be notified to the user. Further, when the second deviation occurs, the control circuit 44, via the communication circuit 43, displays the graphs (a) and (b) of FIG. 2 may be notified to the user.
  • the shift information may include a graph showing the temporal transition of color information in the projection display device 20 as the first shift amount, or the focus information in the projection display device 20. A graph showing temporal transition may be included as the first deviation amount.
  • the control circuit 44 may display both the graph showing the first deviation and the graph representing the second deviation on the monitor 42 .
  • the control circuit 44 displays the graph showing the first deviation on the monitor 42, but the graph showing the second deviation is displayed on the monitor 42. may not be displayed on the monitor 42. Furthermore, when the first deviation has not occurred and the second deviation has occurred, the control circuit 44 does not display the graph showing the first deviation on the monitor 42, but shows the second deviation. The graph may be displayed on monitor 42 . As a result, it is possible to appropriately notify which of the camera 30 and the projection display device 20 needs maintenance.
  • control circuit 44 may store the difference information to be notified and other information in different storages (for example, the storage devices 45 and 46).
  • the control circuit 44 stores deviation information in a storage device 46 whose access is not restricted to specific users, and other information in a storage device 45 whose access is restricted to specific users.
  • may Other information includes, for example, a first image, a second image, first analysis data, second analysis data, comparison results, and the like.
  • the security level of the storage device 45 an example of the second storage device
  • the security level of the storage device 45 may be higher than the security level of the storage device 46 (an example of the first storage device) that accumulates deviation information.
  • control circuit 44 accumulates the deviation information in the server 51 (another example of the first storage device) connected via the external network 60, and accumulates other information in the storage device 45.
  • the amount of data of the deviation information is smaller than that of other information, and the deviation information is transmitted to the server 51 via the network 60, so the communication load on the network 60 can be reduced.
  • the notification method executed by a computer such as the projection display system 10 is the display of the image displayed by the projection display device 20 captured by the camera 30 at the first timing.
  • the device that is, the projection display device having the parameters that are the source of the included deviation 20 or camera 30
  • the projection display device having the parameters that are the source of the included deviation 20 or camera 30
  • FIG. 10 is a flowchart illustrating an example of correction limit notification processing according to the first modification.
  • the control circuit 44 receives the adjustment of the display parameters of the projection display device 20 based on the input received from the user at the input device 41 (S71). For example, the control circuit 44 receives an input from the user, adjusts the display parameters, and projects the test image according to the adjusted display parameters while the projection display device 20 is projecting the test image. good too. This allows the user to adjust the desired display parameters while viewing the projected test image. In other words, the user can adjust the position, color, brightness, and focus state of the image projected by the projection display device 20 .
  • control circuit 44 determines whether or not the correction limit is approaching (S72).
  • FIG. 11 is a diagram for explaining the correction limit.
  • a correction limit is a limit value for adjusting display parameters.
  • the display parameters are changed with adjustment values within a predetermined adjustment range. In other words, the projection display device 20 cannot change the display parameter to an adjustment value outside the predetermined adjustment range.
  • the control circuit 44 determines whether or not the correction limit is approaching by determining whether or not the adjustment value exceeds a predetermined adjustment value.
  • the predetermined adjustment value is set between the initial value of the adjustment value of each display parameter and the minimum or maximum value of the adjustment range.
  • the first adjustment value is set between the initial value of the adjustment value and the maximum value of the adjustment range, and the second adjustment value is set between the initial value of the adjustment value and the minimum value of the adjustment range.
  • the predetermined adjustment value is set to a value closer to the minimum or maximum value of the adjustment range than the initial value.
  • the control circuit 44 determines whether or not the adjustment value approaches the minimum or maximum value from a value closer to the initial value than the predetermined adjustment value, and determines whether the adjustment value approaches the minimum or maximum value. If it is
  • this determination is based on the adjustment value of the display position shift (position shift of the coordinates of the feature points) of the projection display device 20, the adjustment value of the color of the image projected by the projection display device 20, and the projection display. It may be performed for each adjustment value of the focus state of the image projected by the device 20, or may be performed for at least one of these adjustment values.
  • a predetermined adjustment value is a value set for each of these adjustment values.
  • control circuit 44 determines that the correction limit is approaching (Yes in S72), it notifies the user that the correction limit is approaching (S73). Note that the notification of the correction limit may be included in the notified deviation information when the deviation information is notified.
  • new correction parameters are automatically calculated and set to the new correction parameters.
  • the process of S73 may be performed.
  • the information processing device 40 determines whether or not the adjustment value exceeds a predetermined adjustment value, and notifies the user that the correction limit is approaching when the adjustment value exceeds the predetermined adjustment value.
  • the display parameters include the position of the image projected by the projection display device 20 with respect to the display area. Therefore, it is possible to notify the user that the adjustment limit of the image projection position in the projection display device 20 is approaching. Therefore, the user can be notified of the impending need for maintenance.
  • the display parameters include the focus state of the image projected by the projection display device 20 . Therefore, it is possible to notify the user that the adjustment limit of the image focus in the projection display device 20 is approaching. Therefore, it is possible to notify the user that the time for maintenance is approaching.
  • the display parameters include the color of the image displayed by the projection display device 20. Therefore, it is possible to notify the user that the image color adjustment limit of the projection display device 20 is approaching. Therefore, it is possible to notify the user that the time for maintenance is approaching.
  • the display parameters include the brightness of the image displayed by the projection display device 20. Therefore, it is possible to notify the user that the brightness adjustment limit of the image in the projection display device 20 is approaching. Therefore, it is possible to notify the user that the time for maintenance is approaching.
  • FIG. 12 is a diagram showing the configuration of a projection display system according to Modification 2. As shown in FIG. 12
  • the projection display system 10a differs from the projection display system 10 in that the image is projected onto the wall surface 80 instead of the screen 70, and the rest of the configuration is the same as that of the projection display system 10, so the description is omitted.
  • the wall surface 80 is used as an area where images are projected by the projection display device 20 .
  • Four non-light-emitting markers 81 are provided on the wall surface 80 .
  • the number and arrangement of the non-light-emitting markers 81 are not particularly limited.
  • feature points appearing in a plurality of non-light-emitting markers 81 (or their surroundings) appearing in the first image are detected, and the control circuit 44 detects such feature points.
  • the process of detecting feature points in the second image is also the same as the feature point detection process (the process of detecting feature points in the first image).
  • FIG. 13 is a diagram showing the configuration of a projection display system according to Modification 3. As shown in FIG.
  • the projection display system 10b projects an image onto the screen 90.
  • the screen 90 does not have a frame 70a, and instead of the frame 70a, light-emitting markers 91 are provided at positions corresponding to four corners of the screen 90 respectively.
  • the projection display system 10b includes a marker control device 50.
  • the marker control device 50 turns on and off the light emitting marker 91 under the control of the information processing device 40 .
  • the light-emitting marker 91 is implemented by, for example, an LED (Light Emitting Diode) element.
  • the number and arrangement of the light-emitting markers 91 are not particularly limited.
  • the marker control device 50 captures a first image while the plurality of luminous markers 91 are lit, and the plurality of luminous markers 91 ( or its surroundings) are detected.
  • Control circuit 44 employs a suitable algorithm to detect such feature points.
  • a screen frame, a marker, or the like was used to detect feature points, but other objects may be used to detect feature points.
  • the object is not particularly limited as long as the relative position between the camera and the surface on which the image is projected can be identified.
  • the projection display system was implemented by a plurality of devices, but it may be implemented as a single device.
  • the projection display system may be implemented as a single device corresponding to the information processing device.
  • each component included in the projection display system may be distributed to the plurality of devices in any way.
  • the display device is the projection display device 20 as an example, but it is not limited to this.
  • it may be a non-projection display such as a liquid crystal display or an organic EL display. Even in this case, notification regarding display parameters other than the projection position of the image can be made.
  • the deviation to be notified is described as deviation from the initial state.
  • the respective optimum states change according to changes in the surrounding environment and the like. Therefore, the user may be notified of deviation information from the optimum display state at that time.
  • a method of matching the color and luminance to the optimal display state at that time there is a method of matching the display state of another display device to the darkest display device at that time, or a method of matching the display state of another display device to the darkest display device at that time, or an optimal display state predetermined by the system or the user. It is also possible to match the
  • processing executed by a specific processing unit may be executed by another processing unit.
  • order of multiple processes may be changed, and multiple processes may be executed in parallel.
  • each component may be realized by executing a software program suitable for each component.
  • Each component may be realized by reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory by a program execution unit such as a CPU or processor.
  • each component may be realized by hardware.
  • each component may be a circuit (or integrated circuit). These circuits may form one circuit as a whole, or may be separate circuits. These circuits may be general-purpose circuits or dedicated circuits.
  • general or specific aspects of the present disclosure may be implemented in a system, apparatus, method, integrated circuit, computer program, or recording medium such as a computer-readable CD-ROM.
  • any combination of systems, devices, methods, integrated circuits, computer programs and recording media may be implemented.
  • the present disclosure may be implemented as the projection display system or information processing device 40 of the above embodiments.
  • the present disclosure may be realized as a program (computer program product) for causing a computer to execute the calibration method of the above embodiments, or a computer-readable non-temporary program storing such a program. It may be implemented as a recording medium.
  • the notification method of the present disclosure is useful as a notification system capable of notifying which of the camera and the display device requires maintenance.
  • Reference Signs List 10 10a, 10b projection display system 20 projection display device 30 camera 40 information processing device 41 input device 42 monitor 43 communication circuit 44 control circuit 45, 46 storage device 50 marker control device 51 server 52, 53 information terminal 60 network 70 , 90 screen 70a frame 70b overlapping portion 80 wall surface 81 non-luminous marker 91 luminous marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)

Abstract

通知方法は、第１タイミングにおいて撮影された第１画像であって、投写型表示装置が表示する映像の表示エリアを含む第１画像を取得する第１取得ステップと、第２タイミングにおいて撮影された第２画像であって、表示エリアを含む第２画像を取得する第２取得ステップと、第１画像に基づく第１分析データと第２画像に基づく第２分析データとを比較する比較ステップと、比較結果に基づいて、表示に関する表示パラメータのずれである第１のずれが生じたか否か、及び、撮影に関する撮影パラメータのずれである第２のずれが生じたか否かを判定する第１判定ステップと、第１のずれ及び第２のずれのうち生じたと判定されたずれを示すずれ情報をユーザに通知する通知ステップと、を含む。

Description

通知方法、及び、通知システム
　本開示は、投写型表示システムの通知方法に関する。
　特許文献１には、映像投写装置の再校正処理により、表示装置が表示する映像を設置されたカメラで撮影して得られた画像を用いて、表示装置が表示する映像の位置ずれを特定する方法が開示されている。また、特許文献１には、位置ずれが発生していることをユーザに通知することが開示されている。これにより、ユーザに位置ずれを修正するためのメンテナンスの実行を促すことができる。
特開２０１８－２０７３７３号公報
　ところで、映像の位置ずれを検出するための画像を撮影するカメラの位置ずれが生じると、正しく映像の位置ずれを検出できなくなるため、カメラの位置ずれを検出する必要がある。この場合も、ユーザにカメラのメンテナンスを促すために通知を行うことが考えられる。
　本開示は、カメラ及び表示装置のうちのいずれの装置にメンテナンスの必要が生じたのかを通知することができる通知システムを提供する。
　本開示の一態様に係る通知方法は、第１タイミングにおいてカメラにより撮影された第１画像であって、表示装置が表示する映像の表示エリアを含む第１画像を取得する第１取得ステップと、前記第１タイミングの所定期間後の第２タイミングにおいて前記カメラにより撮影された第２画像であって、前記表示エリアを含む第２画像を取得する第２取得ステップと、前記第１画像に基づく第１分析データと前記第２画像に基づく第２分析データとを比較する比較ステップと、前記比較ステップにおける比較結果に基づいて、前記表示装置による表示に関する表示パラメータのずれである第１のずれが生じたか否か、及び、前記カメラによる撮影に関する撮影パラメータのずれである第２のずれが生じたか否かを判定する第１判定ステップと、前記第１のずれ及び前記第２のずれのうち、前記第１判定ステップにおいて生じたと判定されたずれを示すずれ情報をユーザに通知する通知ステップと、を含む。
　また、本開示の一態様に係る通知システムは、表示装置と、カメラと、情報処理装置とを備える。前記情報処理装置は、第１タイミングにおいてカメラにより撮影された第１画像であって、表示装置が表示する映像の表示エリアを含む第１画像を取得する第１取得ステップと、前記第１タイミングの所定期間後の第２タイミングにおいて前記カメラにより撮影された第２画像であって、前記表示エリアを含む第２画像を取得する第２取得ステップと、前記第１画像に基づく第１分析データと前記第２画像に基づく第２分析データとを比較する比較ステップと、前記比較ステップにおける比較結果に基づいて、前記表示装置による表示に関する表示パラメータのずれである第１のずれが生じたか否か、及び、前記カメラによる撮影に関する撮影パラメータのずれである第２のずれが生じたか否かを判定する第１判定ステップと、前記第１のずれ及び前記第２のずれのうち、前記第１判定ステップにおいて生じたと判定されたずれを示すずれ情報をユーザに通知する通知ステップと、を含む通知方法を実行する。
　なお、これらの全般的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本開示の一態様に係る通知方法は、カメラ及び表示装置のうちのいずれの装置にメンテナンスの必要が生じたのかを通知することができる。
図１は、実施の形態に係る投写型表示システムの構成を示す図である。 図２は、投写型表示システムの動作のフローチャートの一例を示す図である。 図３は、初期キャリブレーション処理の一例を示すフローチャートである。 図４は、特徴点検出処理の一例を示すフローチャートである。 図５は、キャリブレーション処理の一例を示すフローチャートである。 図６は、比較処理の一例を示すフローチャートである。 図７は、判定処理の一例を示すフローチャートである。 図８は、投写型表示装置において生じた第１のずれ量の一例を示す図である。 図９は、カメラにおいて生じた第２のずれ量の一例を示す図である。 図１０は、変形例１に係る補正限界の通知処理の一例を示すフローチャートである。 図１１は、補正限界について説明するための図である。 図１２は、変形例２に係る投写型表示システムの構成を示す図である。 図１３は、変形例３に係る投写型表示システムの構成を示す図である。
　本開示の一態様に係る通知方法は、第１タイミングにおいてカメラにより撮影された、表示装置が表示する映像の表示エリアを含む第１画像を取得する第１取得ステップと、前記第１タイミングの所定期間後の第２タイミングにおいて前記カメラにより撮影された、前記表示エリアを含む第２画像を取得する第２取得ステップと、前記第１画像に基づく第１分析データと前記第２画像に基づく第２分析データとを比較する比較ステップと、前記比較ステップにおける比較結果に基づいて、前記表示装置による表示に関する表示パラメータのずれである第１のずれが生じたか否か、及び、前記カメラによる撮影に関する撮影パラメータのずれである第２のずれが生じたか否かを判定する第１判定ステップと、前記第１のずれ及び前記第２のずれのうち、前記第１判定ステップにおいて生じたと判定されたずれを示すずれ情報をユーザに通知する通知ステップと、を含む。
　これによれば、ユーザに通知されるずれ情報は、第１のずれ及び第２のずれのうち生じたずれを含むため、含まれるずれの元になるパラメータを有する装置と、そのずれとをユーザに通知することができる。よって、カメラ及び表示装置のうちのいずれの装置にメンテナンスの必要が生じたのかを通知することができる。
　また、さらに、前記表示装置における前記表示パラメータの調整を受け付けて、受け付けた調整に応じて前記表示パラメータを変更する変更ステップを含んでもよい。
　また、前記表示パラメータの変更は、予め定められた調整範囲の調整値で変更され、前記通知方法は、さらに、前記調整値が所定の調整値を超えたか否かを判定する第２判定ステップを含み、前記通知ステップでは、前記第２判定ステップにおいて前記調整値が前記所定の調整値を超えた場合に、調整の限界が近づいていることを前記ユーザにさらに通知してもよい。
　このため、ユーザに調整の限界が近づいていることを通知することができる。よって、ユーザにメンテナンスが必要となる時期が近づいていることを通知することができる。
　また、前記表示装置は、映像を前記表示エリアに投写するプロジェクタであり、前記表示パラメータは、前記表示装置により投写される映像の、前記表示エリアに対する位置を含んでもよい。
　このため、ユーザに映像の投写位置の調整の限界が近づいていることを通知することができる。よって、ユーザにメンテナンスが必要となる時期が近づいていることを通知することができる。
　また、前記表示装置は、映像を前記表示エリアに投写するプロジェクタであり、前記表示パラメータは、前記表示装置により投写される映像のフォーカス状態を含んでもよい。
　このため、ユーザに映像のフォーカスの調整の限界が近づいていることを通知することができる。よって、ユーザにメンテナンスが必要となる時期が近づいていることを通知することができる。
　また、前記表示パラメータは、前記表示装置により表示される映像の色を含んでもよい。
　このため、ユーザに映像の色調整の限界が近づいていることを通知することができる。よって、ユーザにメンテナンスが必要となる時期が近づいていることを通知することができる。
　また、前記表示パラメータは、前記表示装置により表示される映像の輝度を含んでもよい。
　このため、ユーザに映像の輝度調整の限界が近づいていることを通知することができる。よって、ユーザにメンテナンスが必要となる時期が近づいていることを通知することができる。
　また、前記通知方法は、前記カメラ及び前記表示装置にローカルネットワークを介して接続されている制御装置により実行され、前記通知方法は、さらに、前記通知ステップで通知する前記ずれ情報と、前記第１画像、前記第２画像、前記第１分析データ、前記第２分析データ、及び、前記比較結果の少なくとも１つとを異なるストレージに蓄積する蓄積ステップを含んでもよい。
　このため、ずれ情報と、第１画像、第２画像、及び、比較結果の少なくとも１つとを分けて管理することができる。例えば、両者のセキュリティレベルを分けて管理することができる。また、例えば、通信対象のデータとするか否かで分けることができる。
　また、前記蓄積ステップでは、（ｉ）前記ずれ情報を、前記カメラ及び前記表示装置と外部のネットワークを介して接続されている第１記憶装置に蓄積し、（ｉｉ）前記第１画像、前記第２画像、及び、前記比較結果の少なくとも１つを、前記カメラ及び前記表示装置とローカルネットワークを介して接続されている第２記憶装置に蓄積してもよい。
　このため、ずれ情報を送信するのにかかるネットワークへの通信負荷を低減することができる。
　また、本開示の一態様に係る通知システムは、表示装置と、カメラと、情報処理装置とを備え、前記情報処理装置は、第１タイミングにおいてカメラにより撮影された、表示装置が表示する映像の表示エリアを含む第１画像を取得する第１取得ステップと、前記第１タイミングの所定期間後の第２タイミングにおいて前記カメラにより撮影された、前記表示エリアを含む第２画像を取得する第２取得ステップと、前記第１画像に基づく第１分析データと前記第２画像に基づく第２分析データとを比較する比較ステップと、前記比較ステップにおける比較結果に基づいて、前記表示装置による表示に関する表示パラメータのずれである第１のずれが生じたか否か、及び、前記カメラによる撮影に関する撮影パラメータのずれである第２のずれが生じたか否かを判定する第１判定ステップと、前記第１のずれ及び前記第２のずれのうち、前記第１判定ステップにおいて生じたと判定されたずれを示すずれ情報をユーザに通知する通知ステップと、を含む通知方法を実行する。
　これによれば、ユーザに通知されるずれ情報は、第１のずれ及び第２のずれのうち生じたずれを含むため、含まれるずれの元になるパラメータを有する装置と、そのずれとをユーザに通知することができる。よって、カメラ及び表示装置のうちのいずれの装置にメンテナンスの必要が生じたのかを通知することができる。
　なお、これらの全般的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　以下、実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。
　（実施の形態）
　［構成］
　まず、実施の形態に係る投写型表示システムの構成について説明する。図１は、実施の形態に係る投写型表示システムの構成を示す図である。
　投写型表示システム１０は、２つの投写型表示装置２０のそれぞれによって投写される画像により１つの画像を構築するマルチプロジェクションに対応するシステムである。投写型表示システム１０は、通知システムの一例である。また、投写型表示システム１０は、スクリーン７０に合わせて（スクリーン７０の枠７０ａの内側のエリアに沿って）画像を投写するために、カメラ３０によって撮影される画像を用いたキャリブレーション処理を行う。投写型表示システム１０は、２つの投写型表示装置２０と、カメラ３０と、情報処理装置４０とを備える。投写型表示システム１０は、さらに、サーバ５１と、情報端末５２、５３とを備えてもよい。なお、投写型表示システム１０は、少なくとも１つの投写型表示装置２０を備えればよく、マルチプロジェクションに対応することは必須ではない。また、投写型表示装置２０は、カメラ３０を複数備えてもよい。
　投写型表示装置２０は、情報処理装置４０の制御下で、スクリーン７０に合わせて画像を投写する。投写型表示装置２０は、例えば、レーザ光源、蛍光体ホイール、画像表示素子、及び、投写レンズなどの光学系によって実現される。画像表示素子は、具体的には、デジタルマイクロミラーデバイス（ＤＭＤ：Ｄｉｇｉｔａｌ　Ｍｉｃｒｏｍｉｒｒｏｒ　Ｄｅｖｉｃｅ）または反射型液晶パネル（ＬＣＯＳ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｏｎ　Ｓｉｌｉｃｏｎ）などである。投写型表示装置２０は、表示装置の一例である。
　２つの投写型表示装置２０によってマルチプロジェクションが実現される場合には、例えば、エッジブレンディングという手法が用いられる。２つの投写型表示装置２０によって投写される２つの画像は、互いに重畳する重畳部分７０ｂを有し、エッジブレンディングでは、重畳部分７０ｂにおいて２つの画像の輝度がクロスフェードするように投写される。これにより、２つの画像の繋ぎ目が目立ってしまうことが抑制される。
　カメラ３０は、情報処理装置４０の制御下で、スクリーン７０の全体が映る画像を撮影する。スクリーン７０は、投写型表示装置２０によって画像が投写されるエリア（つまり、表示エリア）の一例である。カメラ３０は、イメージセンサ、及び、レンズなどによって実現される。
　情報処理装置４０は、上述のマルチプロジェクションを実現するための情報処理を行う。このような情報処理には、スクリーン７０に合わせて画像を投写するための、カメラ３０によって撮影される画像を用いたキャリブレーション処理が含まれる。情報処理装置４０は、例えば、上記情報処理を実行するためのアプリケーションプログラムがインストールされた、パーソナルコンピュータなどの汎用装置であるが、投写型表示システム１０の専用装置であってもよい。情報処理装置４０は、具体的には、入力装置４１と、モニタ４２と、通信回路４３と、制御回路４４と、記憶装置４５、４６とを備える。図１に示すように、情報処理装置４０（制御装置の一例）は、ローカルネットワークを介して、カメラ３０および２つの投写型表示装置２０に接続されている。
　入力装置４１は、ユーザの操作を受け付ける。入力装置４１は、例えば、キーボード及びマウスであるが、タッチパネルなどであってもよい。
　モニタ４２は、画像を表示する。モニタ４２は、例えば、液晶パネルまたは有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルなどの表示パネルによって実現される。なお、モニタ４２は、情報処理装置４０と別体の装置であってもよい。
　通信回路４３は、情報処理装置４０が２つの投写型表示装置２０及びカメラ３０と通信するための通信回路である。通信回路４３は、例えば、局所通信ネットワークを通じて２つの投写型表示装置２０及びカメラ３０と通信を行う。通信回路４３によって行われる通信は、例えば、有線通信であるが、無線通信であってもよい。通信に用いられる通信規格についても特に限定されない。
　制御回路４４は、上記の情報処理を行う。制御回路４４は、具体的には、プロセッサまたはマイクロコンピュータによって実現される。制御回路４４の機能は、制御回路４４を構成するプロセッサまたはマイクロコンピュータが記憶装置４５に記憶されたコンピュータプログラムを実行することによって実現される。
　記憶装置４５、４６は、制御回路４４が実行するコンピュータプログラムなどの上記の情報処理に必要な情報が記憶される記憶装置である。記憶装置４５、４６は、具体的には、半導体メモリまたはＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などによって実現される。記憶装置４５、４６は、異なるストレージで実現されていなくてもよく、同一のストレージの異なる記憶領域で実現されていてもよい。記憶装置４５は、アクセスできるユーザが特定のユーザ（例えば、後述するサービサ）に制限され、記憶装置４６は、アクセスできるユーザが特定のユーザと他のユーザを含むユーザに制限されていてもよい。なお、記憶装置４６は、アクセスできるユーザが制限されていなくてもよい。
　サーバ５１は、ネットワーク６０を介して情報処理装置４０と接続されている。サーバ５１は、他の投写型表示システムの情報処理装置（図示せず）とネットワーク６０を介して接続されていてもよい。サーバ５１は、投写型表示システム１０において発生した各種データをネットワーク６０を介して受信して蓄積してもよいし、情報処理装置４０における処理結果をネットワーク６０を介して受信して蓄積してもよい。なお、ネットワーク６０は、インターネットなどの汎用の通信回線であってもよいし、専用の通信回線であってもよい。
　サーバ５１では、蓄積した各種データを情報端末５２から閲覧不可の状態で記憶し、各種データの処理結果を情報端末５２から閲覧可能な状態で記憶してもよい。ここで、各種データとは、投写型表示システム１０で発生した第１画像及び第２画像などを含む。第１画像および第２画像は、カメラ３０により撮影された画像である。また、処理結果は、第１分析データ、第２分析データ、ずれ情報などを含む。第１分析データ、第２分析データ、ずれ情報は、情報処理装置４０における処理によって生成されるデータである。なお、各種データの詳細については後述する。
　情報端末５２は、投写型表示システム１０のユーザにより使用される端末である。情報端末５２は、ネットワーク６０を介して情報処理装置４０と接続されている。情報端末５２は、ユーザによる操作を受け付けて、情報処理装置４０を遠隔操作してもよい。情報端末５２は、遠隔操作するための制御信号を情報処理装置４０へ送信し、当該制御信号に応じて情報処理装置４０において実行された処理の処理結果を受信してもよい。情報端末５２は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、スマートフォン、タブレットなどのコンピュータである。
　情報端末５３は、投写型表示システム１０をユーザに提供するサービサにより使用される端末である。情報端末５３は、ネットワーク６０を介して情報処理装置４０と接続されている。情報端末５３は、サービサによる操作を受け付けて、情報処理装置４０を遠隔操作してもよい。情報端末５３は、遠隔操作するための制御信号を情報処理装置４０へ送信し、当該制御信号に応じて情報処理装置４０において実行された処理の処理結果を受信してもよいし、処理結果をサーバ５１に送信させてサーバ５１に処理結果を蓄積させてもよい。
　また、情報端末５３は、遠隔操作するための制御信号をサーバ５１へ送信し、当該制御信号に応じてサーバ５１に蓄積されている、投写型表示システム１０において発生した各種データを処理させてもよい。また、情報端末５３は、サーバ５１における各種データの処理結果を情報端末５２から閲覧可能な状態に設定してもよい。情報端末５３は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、スマートフォン、タブレットなどのコンピュータである。
　［動作］
　次に、投写型表示システム１０の動作について説明する。図２は、投写型表示システム１０の動作のフローチャートの一例を示す図である。
　まず、制御回路４４は、初期キャリブレーション処理を実行する（Ｓ１１）。制御回路４４は、初期キャリブレーション処理において、カメラ３０から第１画像を取得し、第１画像に基づく第１分析データを生成する。第１画像は、第１タイミングにおいてカメラ３０により撮影された画像であり、投写型表示装置２０が表示する映像の表示エリア（本実施の形態ではスクリーン７０）を含む画像である。初期キャリブレーションの詳細は、図３を用いて後述する。
　次に、制御回路４４は、キャリブレーション処理を実行する（Ｓ１２）。制御回路４４は、キャリブレーション処理において、カメラ３０から第２画像を取得し、第２画像に基づく第２分析データを生成する。第２画像は、第１タイミングの所定時間後の第２タイミングにおいてカメラ３０により撮影された画像であり、投写型表示装置２０の表示エリアを含む画像である。キャリブレーション処理の詳細は、図５を用いて後述する。
　次に、制御回路４４は、初期キャリブレーション結果とキャリブレーション結果とを比較する（Ｓ１３）。制御回路４４は、第１分析データと、第２分析データとを比較する。
　次に、制御回路４４は、ずれが発生したか否かを判定する（Ｓ１４）。制御回路４４は、ステップＳ１３の比較結果に基づいて、投写型表示装置２０による表示に関する表示パラメータのずれである第１のずれが生じたか否か、及び、カメラ３０による撮影に関する撮影パラメータのずれである第２のずれが生じたか否かを判定する。
　表示パラメータは、投写型表示装置２０において投写される映像の位置、投写される映像のフォーカス状態、投写（表示）される映像の色、及び、投写（表示）される映像の輝度に関するパラメータを含む。
　撮影パラメータは、カメラ３０の位置及び姿勢、焦点距離などを含む。撮影パラメータは、カメラパラメータとも言う。
　次に、制御回路４４は、ずれ情報をユーザに通知する（Ｓ１５）。制御回路４４は、例えば、通信回路４３を用いて、ずれ情報を情報端末５２に送信することで、ユーザに通知する。ずれ情報を受信した情報端末５２は、ずれ情報（例えば、後述する図８及び図９に示すグラフ）を表示する。ずれ情報は、ステップＳ１４において生じたと判定されたずれを示す。ずれ情報は、例えば、ステップＳ１４において第１のずれが生じたと判定されれば、投写型表示装置２０による表示パラメータの第１のずれを含み、ステップＳ１４において第１のずれが生じたと判定されなければ、第１のずれを含まない。また、ずれ情報は、例えば、ステップＳ１４において第２のずれが生じたと判定されれば、カメラ３０による撮影パラメータの第２のずれを含み、ステップＳ１４において第２のずれが生じたと判定されなければ、第２のずれを含まない。つまり、ずれ情報は、ステップＳ１４の判定結果に応じて、第１のずれ及び第２のずれのうち、第１のずれのみを含む場合と、第２のずれのみを含む場合と、第１のずれ及び第２のずれの両方を含む場合とがある。
　なお、第１のずれは、投写型表示装置２０において、表示パラメータに第１の閾値以上のずれ（差異）が生じた場合に発生する。また、第２のずれは、カメラ３０において、撮影パラメータに第２の閾値以上のずれ（差異）が生じた場合に発生する。
　［初期キャリブレーション処理］
　次に、投写型表示システム１０の初期キャリブレーション処理（Ｓ１１）の詳細について説明する。初期キャリブレーション処理は、投写型表示システム１０の運用開始時などに行われる処理である。図３は、初期キャリブレーション処理の一例を示すフローチャートである。
　まず、制御回路４４は、２つの投写型表示装置２０の画像の投写位置がスクリーン７０に合うように、投写位置を設定する（Ｓ２１）。具体的には、制御回路４４は、通信回路４３を介して２つの投写型表示装置２０のそれぞれへ制御信号を送信することにより、２つの投写型表示装置２０のそれぞれに画像を投写させる。
　このとき、制御回路４４は、２つの投写型表示装置２０が投写する２つの画像の投写範囲のエッジがスクリーン７０の枠７０ａに沿うように、２つの投写型表示装置２０それぞれの投写の向き、レンズシフト量、ズーム倍率、及び、焦点距離などを調整する。
　以下では、１つの投写型表示装置２０のテスト画像の投写位置を記憶する処理について説明するが、この処理は２つの投写型表示装置２０それぞれについて行われる。
　制御回路４４は、通信回路４３を介して投写型表示装置２０へ制御信号を送信することにより、投写型表示装置２０にテスト画像を投写させる（Ｓ２２）。テスト画像は、所定のカラーパターンを有する画像など、次のステップＳ２３で分析値を算出するために適した画像であればよい。ここで、分析値とは、投写型表示装置２０の表示パラメータの評価値を示す。分析値は、撮影された画像における特徴点の座標、撮影された画像における特定の領域の色情報、及び、撮影された画像におけるテスト画像のフォーカス状態を示すフォーカス情報を含む。
　次に、制御回路４４は、スクリーン７０に投写されたテスト画像が撮影された画像における分析値を算出し、算出した分析値を示す第１分析データを記憶装置４５に記憶する（Ｓ２３）。ステップＳ２３における分析値の算出は、投写型表示装置２０の表示パラメータの評価値を算出するための処理である。具体的には、分析値としての特徴点の座標は、画像の投写位置を特定することに用いられる。言い換えれば、投写型表示装置２０とスクリーン７０との相対位置を特定することに用いられる。また、分析値としての色情報は、投写型表示装置２０が投写しているカラーパターンの色を特定することに用いられる。また、分析値としてのフォーカス情報は、投写型表示装置２０が投写しているテスト画像のフォーカス状態を特定することに用いられる。第１分析データは、第１タイミングにおいて撮影された画像に基づいて算出されるため、第１タイミングにおける表示パラメータである第１表示パラメータを含む。
　制御回路４４は、具体的には、通信回路４３を介してカメラ３０に制御信号を送信することにより、カメラ３０にテスト画像が投写された状態のスクリーン７０を含む画像（静止画）を撮影させる。制御回路４４は、撮影された画像（より詳細には、撮影された画像の画像情報）を、通信回路４３を介してカメラ３０から取得し、取得された画像を処理対象として複数の特徴点、色情報、及び、フォーカス状態を検出する。このとき、制御回路４４は、例えば、テスト画像に出現する特徴点を検出するために最適化されたアルゴリズムを用いる。同様に、制御回路４４は、例えば、テスト画像のカラーパターンの色情報を検出するために最適化されたアルゴリズムを用いる。同様に、制御回路４４は、例えば、テスト画像のフォーカス状態を検出するために最適化されたアルゴリズムを用いる。
　例えば、特徴点の検出では、テスト画像においては、色の異なる領域が交差する箇所が特徴点として検出される。以下では、検出されたＮ個の特徴点の座標をまとめてＦＰ（Ｎ）＝｛ＦＰ１，ＦＰ２，ＦＰ３，…，ＦＰｎ，…，ＦＰＮ｝と表現する。１，２，３，・・Ｎは、特徴点の識別情報（ＩＤ）であり、ＦＰ１，ＦＰ２，ＦＰ３・・は、各特徴点の座標である。ＦＰ（Ｎ）は、記憶装置４５に記憶される。
　色情報の検出では、テスト画像において特定の色の領域の色情報が検出される。検出された色情報は、記憶装置４５に記憶される。
　フォーカス情報の検出では、テスト画像におけるフォーカス状態が検出される。検出されたフォーカス情報は、記憶装置４５に記憶される。
　また、制御回路４４は、必要に応じて、ステップＳ２３で記憶した第１分析データを用いて、２つの投写型表示装置２０が投写する２つの画像それぞれに対して幾何補正を行う。制御回路４４は、ステップ２３で記憶した第１分析データを用いて、２つの投写型表示装置２０が投写する２つの画像の重畳部分７０ｂについては、エッジブレンディング処理を行う。制御回路４４は、これらの一連の処理を、カメラ３０によって撮影された画像（より具体的には、通信回路４３を通じてカメラ３０から得られる画像情報）を用いて自動的に実行する（Ｓ２４）。
　ステップＳ２４の直後に、制御回路４４は、特徴点検出処理を行う（Ｓ２５）。ここでの特徴点検出処理は、カメラ３０とスクリーン７０との相対位置を特定するための処理である。特徴点検出処理の詳細については後述する。
　［特徴点検出処理の例１］
　以下、ステップＳ２５において行われる特徴点検出処理の具体例について説明する。図４は、特徴点検出処理の一例を示すフローチャートである。
　制御回路４４は、例えば、入力装置４１においてユーザからの操作が受け付けられたことを契機に通信回路４３を介してカメラ３０に制御信号を送信することにより、カメラ３０に画像（静止画）を撮影させる（Ｓ３１）。このとき、制御信号によって情報処理装置４０（制御回路４４）からカメラ３０に指示される画像の撮影条件（ホワイトバランス、シャッタースピード、ＩＳＯ感度、及び、Ｆ値など）は、予め設定されている設定値に設定されていてもよい。以下、ステップＳ３１において撮影された画像は、第１画像の一例である。
　カメラ３０によって第１画像が撮影されると、制御回路４４は、第１画像（より詳細には、第１画像の画像情報）を、通信回路４３を介してカメラ３０から取得し、取得された第１画像を処理対象として複数の特徴点を検出する（Ｓ３２）。このとき、制御回路４４は、例えば、矩形のスクリーン７０の四隅に出現する特徴点を検出するためのアルゴリズムを用いる。なお、特徴点の検出には既存のどのようなアルゴリズムが用いられてもよく、オープンソースなどが適宜利用されればよい。
　制御回路４４は、第１画像と、検出された複数の特徴点それぞれの第１画像内における座標とを対応付けて記憶装置４５に記憶する（Ｓ３３）。なお、特徴点の座標には、特徴点の識別情報（ＩＤ）が付与されてもよい。ステップＳ３３で記憶された情報は、第１分析データに含まれてもよい。ステップＳ３３で記憶された情報は、第１タイミングにおいて撮影された第１画像に基づいて算出されるため、第１タイミングにおける撮影パラメータである第１撮影パラメータを含む。
　なお、ステップＳ３１の第１画像には、投写型表示装置２０に投写されたテスト画像が含まれていてもよい。つまり、ステップＳ３２の処理は、テスト画像を含む第１画像に対して行われてもよい。言い換えると、ステップＳ２３の対象となる画像と、第１画像とは、異なる画像であってもよいし、同じ画像であってもよい。
　［キャリブレーション処理］
　次に、初期キャリブレーション処理（Ｓ１１）が行われた第１タイミングの後に行われる、キャリブレーション処理（Ｓ１２）の詳細について説明する。図５は、キャリブレーション処理の一例を示すフローチャートである。
　制御回路４４は、第１タイミングよりも後の所定の第２タイミングが到来すると、これを契機に通信回路４３を介してカメラ３０に制御信号を送信することにより、カメラ３０に画像（静止画）を撮影させる（Ｓ４１）。制御回路４４は、例えば、初期キャリブレーション処理の際に撮影条件を記憶装置４５に記憶しておき、記憶装置４５を参照することにより初期キャリブレーション処理を行った時と同一の撮影条件でカメラに画像を撮影させる。以下、ステップＳ４１において撮影された画像は、第２画像の一例である。
　なお、第２画像の撮影は、ユーザの操作によらずに自動的に行われる。例えば、制御回路４４は、キャリブレーション処理のスケジュール情報（１日、１週間、または１か月などの所定期間に１回など）を管理し、スケジュール情報に基づいて定期的に第２画像を撮影する。スケジュール情報は、例えば、ユーザの入力装置４１への操作によってあらかじめ記憶装置４５に記憶（登録）される。なお、撮影スケジュールの管理は、クラウドサーバ（図示せず）などの情報処理装置４０よりも上位の装置によって行われ、情報処理装置４０は、当該上位の装置からの指令に基づいて第２画像を撮影してもよい。
　また、第２画像の撮影は、ユーザの操作に基づいて行われてもよい。例えば、ユーザがスクリーン７０に投写された画像を見てキャリブレーションが必要であると判断したときに、ユーザが入力装置４１へ所定の操作を行うことで第２画像の撮影コマンドを入力したときに、第２画像が撮影されてもよい。
　カメラ３０によって第２画像が撮影されると、制御回路４４は、第２画像（より詳細には、第２画像の画像情報）を、通信回路４３を介してカメラ３０から取得し、取得された第２画像を処理対象として複数の特徴点を検出する（Ｓ４２）。複数の特徴点の検出方法は、処理対象が第２画像であることを除いて、ステップＳ３２において説明した方法と同様である。第２画像と、ステップＳ４２で検出された複数の特徴点とは、第２分析データに含まれてもよい。第２分析データは、検出された複数の特徴点それぞれの第２画像における座標を含んでいてもよい。第２画像、複数の特徴点、及び、複数の特徴点それぞれの座標は、第２タイミングにおいて撮影された第２画像に基づいて算出されるため、第２タイミングにおける撮影パラメータである第２撮影パラメータを含む。
　次に、制御回路４４は、ステップＳ３３において記憶装置４５に記憶された、第１画像及び複数の特徴点の座標を読み出す（Ｓ４３）。そして、制御回路４４は、読み出した複数の特徴点それぞれの現時点（第２タイミング）における座標ずれ量を算出する（Ｓ４４）。制御回路４４は、具体的には、読み出した複数の特徴点のそれぞれの特徴量を、複数の特徴点のそれぞれの座標と第１画像とを照合することにより特定する。制御回路４４は、複数の特徴点のそれぞれについて、当該特徴点の特徴量に最も類似する特徴量を有する特徴点を、ステップＳ４２において検出された複数の特徴点の中から１つ決定し、当該特徴点の座標と、決定した特徴点の座標とを座標ずれ量として算出する。
　なお、複数の特徴点それぞれの座標ずれ量は、カメラ３０とスクリーン７０との相対位置のずれ（変化）を示す。つまり、ステップＳ４４においては、カメラ３０とスクリーン７０との相対位置のずれが検出されているといえる。言い換えると、ステップＳ４４で算出される座標ずれ量は、第２のずれの第２のずれ量の一例である。
　次に、制御回路４４は、複数の特徴点それぞれの座標ずれ量に基づいて、カメラ３０の座標系の補正係数を算出する（Ｓ４５）。制御回路４４は、複数の特徴点それぞれの座標ずれ量に基づいて、現時点（第２タイミング）におけるカメラ３０の座標系を、初期キャリブレーション処理が実行された時点（第１タイミング）におけるカメラ３０の座標系へ変換するためのホモグラフィ行列Ｈを補正係数として算出する。ホモグラフィ行列Ｈは以下の式で表される。
Figure JPOXMLDOC01-appb-M000001
　ここで、第２画像（現時点において撮影された画像）の座標を（ｘ，ｙ）とすると、第１画像（初期キャリブレーション処理が実行された時点において撮影された画像）の対応する座標（ｘ’，ｙ’）は、以下の式で表される。
Figure JPOXMLDOC01-appb-M000002
　なお、２軸の座標系における４つ以上の特徴点のずれ量からホモグラフィ行列Ｈを算出する方法は公知であるため、ここでは詳細な説明が省略される。
　続いて、制御回路４４は、２つの投写型表示装置２０のそれぞれについて画像の投写位置の補正処理を行う。以下では、１つの投写型表示装置２０の画像の投写位置を補正する処理について説明するが、この処理は、２つの投写型表示装置２０のそれぞれについて行われる。
　まず、制御回路４４は、通信回路４３を介して投写型表示装置２０へ制御信号を送信することにより、投写型表示装置２０にテスト画像を投写させる（Ｓ４６）。テスト画像は、初期キャリブレーション処理のステップＳ２２において投写されたテスト画像と同一である。
　次に、制御回路４４は、スクリーン７０に投写されたテスト画像が撮影された画像における分析値を算出し、算出した分析値を示す第２分析データを記憶装置４５に記憶する（Ｓ４７）。この処理は、初期キャリブレーション処理のステップＳ２３と同様である。第２分析データは、第２タイミングにおいて撮影された画像に基づいて算出されるため、第２タイミングにおける表示パラメータである第２表示パラメータを含む。
　次に、制御回路４４は、ステップＳ４５において算出された補正係数（ホモグラフィ行列Ｈ）に基づいて、ステップＳ４７において検出された特徴点の座標ＦＰ’（Ｎ）を補正する（Ｓ４８）。つまり、制御回路４４は、現時点のカメラ３０とスクリーン７０との位置関係において検出された特徴点の座標を、初期キャリブレーション処理を実行したときのカメラ３０とスクリーン７０との位置関係で検出されたとしたときに得られる座標に補正する。制御回路４４は、具体的には、以下の式により補正後の座標ＦＰ’’（Ｎ）を算出する。
Figure JPOXMLDOC01-appb-M000003
　なお、ステップＳ４１の第２画像には、投写型表示装置２０に投写されたテスト画像が含まれていてもよい。つまり、ステップＳ４２の処理は、テスト画像を含む第２画像に対して行われてもよい。言い換えると、ステップＳ４７の対象となる画像と、第２画像とは、異なる画像であってもよいし、同じ画像であってもよい。
　［比較処理］
　次に、キャリブレーション処理（Ｓ１２）の次に行われる比較処理（Ｓ１３）の詳細について説明する。図６は、比較処理の一例を示すフローチャートである。
　制御回路４４は、初期キャリブレーション処理のステップＳ２３において記憶された第１分析データにより示される分析値と、キャリブレーション処理のステップＳ４８において得られた第２分析データにより示される分析値とのずれ量を算出する（Ｓ５１）。例えば、ずれ量は、特徴点の座標ＦＰ（Ｎ）と特徴点の座標ＦＰ’’（Ｎ）との間のずれ量である。なお、補正後の座標ＦＰ’’（Ｎ）では、補正前の座標ＦＰ’（Ｎ）に含まれる、カメラ３０とスクリーン７０との相対位置のずれ分（変化分）が除去されている。したがって、座標ＦＰ（Ｎ）と座標ＦＰ’’（Ｎ）とのずれ量は、投写型表示装置２０とスクリーン７０との相対位置のずれ（変化）を示す。つまり、ステップＳ５１においては、投写型表示装置２０とスクリーン７０との相対位置のずれが検出されているといえる。言い換えると、ステップＳ５１で算出されたずれ量は、第１のずれ量の一例である。
　また、第１のずれ量は、初期キャリブレーションにおいて記憶された色情報と、キャリブレーションにおいて記憶された色情報との間のずれ量を含んでいてもよい。また、第１のずれ量は、初期キャリブレーションにおいて記憶されたフォーカス情報と、キャリブレーションにおいて記憶されたフォーカス情報との間のずれ量を含んでいてもよい。
　次に、制御回路４４は、ステップＳ５１において算出された第２のずれ量に基づいて、新たな補正パラメータを算出する（Ｓ５２）。制御回路４４は、具体的には、各特徴点ｎに対し、座標ＦＰ’’ｎが座標ＦＰｎへ移動するようなホモグラフィ行列Ｈｎを算出し、現在の幾何補正パラメータ（ホモグラフィ行列）Ｈｏｌｄｎにホモグラフィ行列Ｈｎを乗算することにより新たな幾何補正パラメータ（ホモグラフィ行列）Ｈｎｅｗｎを算出する。つまり、新たな幾何補正パラメータＨｎｅｗｎは、Ｈｎｅｗｎ＝Ｈｏｌｄｎ×Ｈｎの式に基づいて算出される。
　また、制御回路４４は、色情報のずれ量に基づいて、予め定められた基準の色情報となるように、投写型表示装置２０のＲＧＢの各色の輝度値を調整する色補正パラメータを算出してもよい。また、制御回路４４は、フォーカス状態のずれ量に基づいて、最適なフォーカス状態となるように、投写型表示装置２０のフォーカス状態を調整するフォーカス補正パラメータを算出してもよい。
　そして、制御回路４４は、ステップＳ５２において算出された新たな補正パラメータを受け付けて、投写型表示装置２０に設定する（Ｓ５３）。制御回路４４は、具体的には、新たな補正パラメータを含む設定指令を、通信回路４３を介して投写型表示装置２０へ送信する。この結果、投写型表示装置２０における補正パラメータが変更される。言い換えれば、投写型表示装置２０によって投写される画像が補正される。
　なお、制御回路４４は、ステップＳ５１において算出された第１のずれ量が所定値よりも小さいと判定した場合、ステップＳ５２及びステップＳ５３の処理を省略してもよい。例えば、座標ＦＰ’’（Ｎ）と座標ＦＰ（Ｎ）とがほぼ一致しており、投写型表示装置２０とスクリーン７０との相対位置のずれが無いような場合には、投写型表示装置２０によって投写される画像が補正される必要は無い。
　［判定処理］
　次に、比較処理（Ｓ１３）の次に行われる判定処理（Ｓ１４）の詳細について説明する。図７は、判定処理の一例を示すフローチャートである。
　制御回路４４は、ステップＳ５１において算出された第１のずれ量が第１の閾値よりも大きいか否かを判定する（Ｓ６１）。
　制御回路４４は、第１のずれ量が第１の閾値よりも大きいと判定した場合（Ｓ６１でＹｅｓ）、ステップＳ４４において算出された第２のずれ量が第２の閾値よりも大きいか否かを判定する（Ｓ６２）。
　制御回路４４は、第２のずれ量が第２の閾値よりも大きいと判定した場合（Ｓ６２でＹｅｓ）、第１のずれ及び第２のずれの両方が有ると判定する（Ｓ６３）。
　制御回路４４は、第２のずれ量が第２の閾値以下であると判定した場合（Ｓ６２でＮｏ）、第１のずれ有り、かつ、第２のずれ無しと判定する（Ｓ６４）。
　制御回路４４は、第１のずれ量が第１の閾値以下であると判定した場合（Ｓ６１でＮｏ）、ステップＳ４４において算出された第２のずれ量が第２の閾値よりも大きいか否かを判定する（Ｓ６５）。
　制御回路４４は、第２のずれ量が第２の閾値よりも大きいと判定した場合（Ｓ６５でＹｅｓ）、第１のずれ無し、かつ、第２のずれ有りと判定する（Ｓ６６）。
　制御回路４４は、第２のずれ量が第２の閾値以下であると判定した場合（Ｓ６５でＮｏ）、第１のずれ無し、かつ、第２のずれ無しと判定する（Ｓ６７）。
　ステップＳ１４では、制御回路４４は、第１のずれ及び第２のずれのうち少なくとも１つが有ると判定された場合、ずれが発生したと判定する。制御回路４４は、第１のずれ無し、かつ、第２のずれ無しと判定された場合、ずれが発生していないと判定する。
　なお、ステップＳ６１の判定では、第１のずれ量に含まれる、特徴点の座標のずれ量、色情報のずれ量、及び、フォーカス情報のずれ量のそれぞれについて、それぞれのずれ量に設定されている第１の閾値との比較が行われる。
　［通知処理］
　次に、通知処理で通知されるずれ情報について図８及び図９を用いて説明する。図８は、投写型表示装置２０において生じた第１のずれ量の一例を示す図である。図９は、カメラ３０において生じた第２のずれ量の一例を示す図である。
　図８の（ａ）は、投写型表示装置２０が投写した画像の投写位置の位置ずれの経時的な推移を示すグラフである。このグラフにおいて、縦軸は、Ｘ軸方向（左右方向又は水平方向）における位置ずれのずれ量、又は、Ｙ軸方向における位置ずれのずれ量を示す。横軸は、経過した時間（日時）を示す。Ｘ軸方向は、投写型表示装置２０が投写する画像の左右方向（水平方向）である。Ｙ軸方向は、投写型表示装置２０が投写する画像の上下方向（鉛直方向）である。
　図８の（ｂ）は、投写型表示装置２０が投写した画像の画角の位置ずれの経時的な推移を示すグラフである。このグラフにおいて、縦軸は、画角の大きさを示し、幅方向（水平方向）における投写した画像のサイズの変化量、又は、高さ方向（鉛直方向）における投写した画像のサイズの変化量を示す。横軸は、経過した時間（日時）を示す。
　図８の（ｃ）は、投写型表示装置２０が投写した画像の投写位置の推移を示すグラフである。このグラフにおいて、縦軸は、Ｙ軸方向のずれ量を示し、横軸は、Ｘ軸方向のずれ量を示す。
　図９の（ａ）は、カメラ３０が撮影した画像におけるスクリーン７０の位置ずれの経時的な推移を示すグラフである。このグラフにおいて、縦軸は、Ｘ軸方向（左右方向又は水平方向）における位置ずれのずれ量、又は、Ｙ軸方向における位置ずれのずれ量を示す。横軸は、経過した時間（日時）を示す。Ｘ軸方向は、カメラ３０が撮影した画像の左右方向（水平方向）である。Ｙ軸方向は、カメラ３０が撮影した画像の上下方向（鉛直方向）である。
　図９の（ｂ）は、カメラ３０が撮影した画像におけるスクリーン７０の位置の推移を示すグラフである。このグラフにおいて、縦軸は、Ｙ軸方向のずれ量を示し、横軸は、Ｘ軸方向のずれ量を示す。
　このように、制御回路４４は、第１のずれが発生している場合、通信回路４３を介して、図８の（ａ）～（ｃ）に示すグラフ（第１のずれを示すグラフ）を、第１のずれ量として含むずれ情報をユーザに通知してもよい。また、制御回路４４は、第２のずれが発生している場合、通信回路４３を介して、図９の（ａ）及び（ｂ）に示すグラフ（第２のずれを示すグラフ）を、第２のずれ量として含むずれ情報をユーザに通知してもよい。なお、図示しないが、ずれ情報は、投写型表示装置２０における色情報の経時的な推移を示すグラフを、第１のずれ量として含んでいてもよいし、投写型表示装置２０におけるフォーカス情報の経時的な推移を示すグラフを、第１のずれ量として含んでいてもよい。さらに、制御回路４４は、第１のずれおよび第２のずれが発生している場合、第１のずれを示すグラフと第２のずれを示すグラフの両方をモニタ４２に表示してもよい。さらに、制御回路４４は、第１のずれが発生しており、第２のずれが発生していない場合、第１のずれを示すグラフをモニタ４２に表示するが、第２のずれを示すグラフをモニタ４２に表示しなくてもよい。さらに、制御回路４４は、第１のずれが発生しておらず、第２のずれが発生している場合、第１のずれを示すグラフをモニタ４２に表示しないが、第２のずれを示すグラフをモニタ４２に表示してもよい。これにより、カメラ３０および投写型表示装置２０のうちのいずれの装置にメンテナンスの必要が生じたかを適切に通知することができる。
　なお、制御回路４４は、通知するずれ情報と、それ以外の情報とを異なるストレージ（例えば、記憶装置４５、４６）に記憶させてもよい。例えば、制御回路４４は、ずれ情報を、アクセスが特定のユーザに制限されていない記憶装置４６に蓄積し、それ以外の情報を、アクセスが特定のユーザに制限されている記憶装置４５に蓄積してもよい。それ以外の情報とは、例えば、第１画像、第２画像、第１分析データ、第２分析データ、及び、比較結果などを含む。このように、通知するずれ情報と、それ以外の投写型表示装置２０及びカメラ３０を補正するために用いる各種データとを分けて記憶することができる。このため、例えば、両者のセキュリティレベルを分けて管理することが容易になる。すなわち、記憶装置４５（第２記憶装置の一例）のセキュリティレベルは、ずれ情報を蓄積する記憶装置４６（第１記憶装置の一例）のセキュリティレベルよりも高くてもよい。
　また、制御回路４４は、ずれ情報を外部のネットワーク６０を介して接続されているサーバ５１（第１記憶装置の別の一例）に蓄積し、それ以外の情報を記憶装置４５に蓄積するようにしてもよい。ずれ情報は、それ以外の情報よりもデータ量が小さく、ずれ情報がネットワーク６０を介してサーバ５１に送信されるため、ネットワーク６０に係る通信負荷を低減することができる。
　［効果など］
　以上説明したように、投写型表示システム１０（情報処理装置４０）などのコンピュータによって実行される通知方法は、第１タイミングにおいてカメラ３０により撮影された、投写型表示装置２０が表示する映像の表示エリアを含む第１画像を取得する第１取得ステップ（Ｓ１１）と、第１タイミングの所定期間後の第２タイミングにおいてカメラ３０により撮影された、表示エリアを含む第２画像を取得する第２取得ステップ（Ｓ１２）と、第１画像に基づく第１分析データと第２画像に基づく第２分析データとを比較する比較ステップ（Ｓ１３）と、比較ステップにおける比較結果に基づいて、投写型表示装置２０による表示に関する表示パラメータのずれである第１のずれが生じたか否か、及び、カメラ３０による撮影に関する撮影パラメータのずれである第２のずれが生じたか否かを判定する第１判定ステップ（Ｓ１４）と、第１のずれ及び第２のずれのうち、判定ステップにおいて生じたと判定されたずれを示すずれ情報をユーザに通知する通知ステップ（Ｓ１５）と、を含む。
　これによれば、ユーザに通知されるずれ情報は、第１のずれ及び第２のずれのうち生じたずれを含むため、含まれるずれの元になるパラメータを有する装置（つまり、投写型表示装置２０またはカメラ３０）と、そのずれとをユーザに通知することができる。よって、カメラ３０及び投写型表示装置２０のうちのいずれの装置にメンテナンスの必要が生じたのかを通知することができる。
　［変形例１］
　次に、変形例１に係る投写型表示システムにおける補正限界の通知処理について説明する。図１０は、変形例１に係る補正限界の通知処理の一例を示すフローチャートである。
　制御回路４４は、入力装置４１においてユーザから受け付けた入力に基づいて、投写型表示装置２０の表示パラメータの調整を受け付ける（Ｓ７１）。例えば、制御回路４４は、投写型表示装置２０にテスト画像を投写させた状態で、ユーザからの入力を受け付けて、表示パラメータを調整し、調整された表示パラメータに応じたテスト画像を投写させてもよい。これにより、ユーザは、投写されたテスト画像を目視しながら所望の表示パラメータに調整できる。つまり、ユーザは、投写型表示装置２０が投写する画像の位置、色、輝度、及び、フォーカス状態を調整できる。
　次に、制御回路４４は、補正限界が接近しているか否かを判定する（Ｓ７２）。
　図１１は、補正限界について説明するための図である。
　補正限界とは、表示パラメータの調整の限界値である。表示パラメータの変更は、予め定められた調整範囲の調整値で行われる。つまり、投写型表示装置２０は、予め定められた調整範囲外の調整値に表示パラメータを変更することはできない。制御回路４４は、調整値が所定の調整値を超えたか否かを判定することで、補正限界が接近しているか否かを判定する。所定の調整値は、各表示パラメータの調整値の初期値から調整範囲の最小値または最大値までの間に設定される。第１調整値は、調整値の初期値から調整範囲の最大値までの間に設定され、第２調整値は、調整値の初期値から調整範囲の最小値までの間に設定さる。所定の調整値は、初期値よりも調整範囲の最小値または最大値に近い値に設定される。制御回路４４は、調整値が所定の調整値よりも初期値に近い値から所定の調整値よりも最小値または最大値に近づいたか否かを判定し、調整値が最小値または最大値に近づいたと判定した場合に、補正限界が接近していると判定する。
　なお、この判定は、投写型表示装置２０の表示位置の位置ずれ（特徴点の座標の位置ずれ）の調整値、投写型表示装置２０が投写する映像の色の調整値、及び、投写型表示装置２０が投写する映像のフォーカス状態の調整値のそれぞれについて行われてもよいし、これらの調整値の少なくとも１つについて行われてもよい。所定の調整値は、これらの調整値のそれぞれに設定される値である。
　制御回路４４は、補正限界が接近していると判定した場合（Ｓ７２でＹｅｓ）、補正限界の接近をユーザに通知する（Ｓ７３）。なお、補正限界の通知は、ずれ情報が通知される場合に、通知されるずれ情報に含まれてもよい。
　制御回路４４は、補正限界が接近していないと判定した場合（Ｓ７２でＮｏ）、処理を終了する。
　なお、図６を用いて説明した比較処理では、自動的に新たな補正パラメータが算出されて、新たな補正パラメータに設定される処理を行うこととしたが、この場合であってもステップＳ７２及びＳ７３の処理がおこなわれてもよい。
　以上のように、情報処理装置４０において、表示パラメータの変更は、予め定められた調整範囲の調整値で変更される。そして、情報処理装置４０では、調整値が所定の調整値を超えたか否かを判定し、調整値が所定の調整値を超えた場合に、補正限界が近づいていることをユーザに通知する。
　このため、ユーザに補正限界（調整の限界）が近づいていることを通知することができる。よって、ユーザにメンテナンスが必要となる時期が近づいていることを通知することができる。
　また、例えば、表示パラメータは、投写型表示装置２０により投写される映像の、表示エリアに対する位置を含む。このため、ユーザに投写型表示装置２０における映像の投写位置の調整の限界が近づいていることを通知することができる。よって、ユーザにメンテナンスの必要が近づいていることを通知することができる。
　また、例えば、表示パラメータは、投写型表示装置２０により投写される映像のフォーカス状態を含む。このため、ユーザに投写型表示装置２０における映像のフォーカスの調整の限界が近づいていることを通知することができる。よって、ユーザにメンテナンスが必要となる時期が近づいていることを通知することができる。
　また、例えば、表示パラメータは、投写型表示装置２０により表示される映像の色を含む。このため、ユーザに投写型表示装置２０における映像の色調整の限界が近づいていることを通知することができる。よって、ユーザにメンテナンスが必要となる時期が近づいていることを通知することができる。
　また、例えば、表示パラメータは、投写型表示装置２０により表示される映像の輝度を含む。このため、ユーザに投写型表示装置２０における映像の輝度調整の限界が近づいていることを通知することができる。よって、ユーザにメンテナンスが必要となる時期が近づいていることを通知することができる。
　［変形例２］
　次に、変形例２に係る投写型表示システムの構成について説明する。図１２は、変形例２に係る投写型表示システムの構成を示す図である。
　投写型表示システム１０ａは、スクリーン７０ではなく壁面８０に画像を投写する点が投写型表示システム１０と異なり、その他の構成は投写型表示システム１０と同様であるため説明が省略される。
　壁面８０は、投写型表示装置２０によって画像が投写されるエリアとして用いられる。壁面８０には、非発光マーカ８１が４つ設けられている。非発光マーカ８１の数、及び、配置については特に限定されない。
　投写型表示システム１０ａが実行する特徴点検出処理においては、第１画像に映る複数の非発光マーカ８１（あるいはその周辺）に出現する特徴点が検出され、制御回路４４は、このような特徴点を検出するために適したアルゴリズムを用いる。第２画像において特徴点を検出する処理も、特徴点検出処理（第１画像において特徴点を検出する処理）と同様である。
　［変形例３］
　次に、変形例３に係る投写型表示システムの構成について説明する。図１３は、変形例３に係る投写型表示システムの構成を示す図である。
　投写型表示システム１０ｂは、スクリーン９０に画像を投写する。スクリーン９０にはスクリーン７０と異なり枠７０ａが設けられておらず、枠７０ａの代わりにスクリーン９０の４つの頂点（コーナー）に相当する位置のそれぞれに発光マーカ９１が設けられている。
　投写型表示システム１０ｂは、投写型表示システム１０と異なり、マーカ制御装置５０を備える。投写型表示システム１０ｂのその他の構成は投写型表示システム１０と同様であるため説明が省略される。
　マーカ制御装置５０は、情報処理装置４０の制御下で、発光マーカ９１の点灯及び消灯する。発光マーカ９１は、例えば、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）素子によって実現される。発光マーカ９１の数、及び、配置については特に限定されない。
　投写型表示システム１０ｂが実行する特徴点検出処理においては、マーカ制御装置５０によって複数の発光マーカ９１が点灯されている状態で第１画像が撮影され、第１画像に映る複数の発光マーカ９１（あるいはその周辺）に出現する特徴点が検出される。制御回路４４は、このような特徴点を検出するために適したアルゴリズムを用いる。
　（その他の実施の形態）
　以上、実施の形態に係る通知方法、及び、投写型表示システムについて説明したが、本開示は、上記実施の形態に限定されるものではない。
　例えば、上記実施の形態では、特徴点の検出において、スクリーンの枠、または、マーカなどが用いられたが、これ以外の対象物が特徴点の検出に用いられてもよい。カメラと画像が投写される面との相対位置が特定できるのであれば、対象物については特に限定されない。
　例えば、上記実施の形態では、投写型表示システムは、複数の装置によって実現されたが、単一の装置として実現されてもよい。例えば、投写型表示システムは、情報処理装置に相当する単一の装置として実現されてもよい。投写型表示システムが複数の装置によって実現される場合、投写型表示システムが備える各構成要素は、複数の装置にどのように振り分けられてもよい。
　例えば、上記実施の形態では、表示装置は、投写型表示装置２０を一例として挙げたが、これに限らない。例えば、液晶ディスプレイ、有機ＥＬディスプレイなどの非投写型の表示装置であってもよい。この場合であっても、映像の投写位置以外の表示パラメータに関する通知を行うことができる。
　例えば、上記実施の形態では、通知の対象となるずれを、初期状態からのずれとして説明した。しかしながら、フォーカス、色、輝度についてのずれに関しては、それぞれの最適な状態が周辺環境の変化等に応じて変化する。そのため、その時々での最適な表示状態からのずれ情報をユーザに通知してもよい。ここで、色や輝度をその時々の最適な表示状態に合わせる方法としては、その時の最も暗い表示装置に他の表示装置の表示状態を合わせるという方法や、予めシステムもしくはユーザが定めた最適表示状態に合わせるという方法でもよい。
　また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
　また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
　また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。例えば、本開示は、上記実施の形態の投写型表示システムまたは情報処理装置４０として実現されてもよい。本開示は、上記実施の形態のキャリブレーション方法をコンピュータに実行させるためのプログラム（コンピュータプログラムプロダクト）として実現されてもよいし、このようなプログラムが記憶された、コンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。
　その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
　本開示の通知方法は、カメラ及び表示装置のうちのいずれの装置にメンテナンスの必要が生じたのかを通知することができる通知システムなどとして有用である。
　１０、１０ａ、１０ｂ　投写型表示システム
　２０　投写型表示装置
　３０　カメラ
　４０　情報処理装置
　４１　入力装置
　４２　モニタ
　４３　通信回路
　４４　制御回路
　４５、４６　記憶装置
　５０　マーカ制御装置
　５１　サーバ
　５２、５３　情報端末
　６０　ネットワーク
　７０、９０　スクリーン
　７０ａ　枠
　７０ｂ　重畳部分
　８０　壁面
　８１　非発光マーカ
　９１　発光マーカ

Claims (16)

  1. 　第１タイミングにおいてカメラにより撮影された第１画像であって、表示装置が表示する映像の表示エリアを含む第１画像を取得する第１取得ステップと、
    　前記第１タイミングの所定期間後の第２タイミングにおいて前記カメラにより撮影された第２画像であって、前記表示エリアを含む第２画像を取得する第２取得ステップと、
    　前記第１画像に基づく第１分析データと前記第２画像に基づく第２分析データとを比較する比較ステップと、
    　前記比較ステップにおける比較結果に基づいて、前記表示装置による表示に関する表示パラメータのずれである第１のずれが生じたか否か、及び、前記カメラによる撮影に関する撮影パラメータのずれである第２のずれが生じたか否かを判定する第１判定ステップと、
    　前記第１のずれ及び前記第２のずれのうち、前記第１判定ステップにおいて生じたと判定されたずれを示すずれ情報をユーザに通知する通知ステップと、を含む
    　通知方法。
  2. 　さらに、
    　前記表示パラメータの調整を受け付けて、受け付けた調整に応じて前記表示パラメータを変更する変更ステップを含む
    　請求項１に記載の通知方法。
  3. 　前記表示パラメータは、予め定められた調整範囲の調整値で変更され、
    　前記通知方法は、さらに、
    　前記調整値が所定の調整値を超えたか否かを判定する第２判定ステップを含み、
    　前記通知ステップでは、前記第２判定ステップにおいて前記調整値が前記所定の調整値を超えた場合に、調整の限界が近づいていることを前記ユーザにさらに通知する
    　請求項２に記載の通知方法。
  4. 　さらに、
    　前記第１画像および前記第２画像に基づき、前記表示パラメータのずれを評価する評価ステップを含み、
    　前記第１判定ステップでは、前記評価された表示パラメータのずれである第１のずれが生じたか否かが判定される
    　請求項１に記載の通知方法。
  5. 　前記表示装置は、映像を前記表示エリアに投写するプロジェクタであり、
    　前記表示パラメータは、前記プロジェクタにより投写される映像の、前記表示エリアに対する位置を含む
    　請求項１から４のいずれか１項に記載の通知方法。
  6. 　前記表示装置は、映像を前記表示エリアに投写するプロジェクタであり、
    　前記表示パラメータは、前記プロジェクタにより投写される映像のフォーカス状態を含む
    　請求項１から４のいずれか１項に記載の通知方法。
  7. 　前記表示パラメータは、前記表示装置により表示される映像の色を含む
    　請求項１から４のいずれか１項に記載の通知方法。
  8. 　前記表示パラメータは、前記表示装置により表示される映像の輝度を含む
    　請求項１から４のいずれか１項に記載の通知方法。
  9. 　前記通知方法は、前記カメラ及び前記表示装置にローカルネットワークを介して接続されている制御装置により実行され、
    　前記通知方法は、さらに、
    　前記通知ステップで通知する前記ずれ情報を第１記憶装置に蓄積する第１蓄積ステップと、
    　前記第１画像、前記第２画像、前記第１分析データ、前記第２分析データ、及び、前記比較結果の少なくとも１つを前記第１記憶装置とは異なる第２記憶装置に蓄積する第２蓄積ステップと、を含む
    　請求項１から８のいずれか１項に記載の通知方法。
  10. 　前記制御装置は、前記第１記憶装置および前記第２記憶装置を含み、
    　前記第２記憶装置は、前記第１記憶装置のセキュリティレベルよりも高いセキュリティレベルを有する、
    　請求項９に記載の通知方法。
  11. 　前記第１記憶装置は、前記カメラ及び前記表示装置と外部のネットワークを介して接続されており、
    　前記第２記憶装置は、前記カメラ及び前記表示装置と前記ローカルネットワークを介して接続されている
    　請求項９に記載の通知方法。
  12. 　さらに、
    　前記第１のずれが生じたと判定され、かつ、前記第２のずれが生じたと判定された場合、前記第１のずれを示すグラフおよび前記第２のずれを示すグラフを表示する表示ステップをさらに含む
    　請求項１に記載の通知方法。
  13. 　さらに、
    　前記第１のずれが生じたと判定され、かつ、前記第２のずれが生じていないと判定された場合、前記第１のずれを示すグラフを表示する表示ステップをさらに含む
    　請求項１に記載の通知方法。
  14. 　さらに、
    　前記第１のずれが生じていないと判定され、かつ、前記第２のずれが生じたと判定された場合、前記第２のずれを示すグラフを表示する表示ステップをさらに含む
    　請求項１に記載の通知方法。
  15. 　請求項１から１４のいずれか１項に記載の通知方法をコンピュータに実行させるためのプログラム。
  16. 　表示装置と、
    　カメラと、
    　情報処理装置とを備え、
    　前記情報処理装置は、
    　第１タイミングにおいてカメラにより撮影された第１画像であって、表示装置が表示する映像の表示エリアを含む第１画像を取得する第１取得ステップと、
    　前記第１タイミングの所定期間後の第２タイミングにおいて前記カメラにより撮影された第２画像であって、前記表示エリアを含む第２画像を取得する第２取得ステップと、
    　前記第１画像に基づく第１分析データと前記第２画像に基づく第２分析データとを比較する比較ステップと、
    　前記比較ステップにおける比較結果に基づいて、前記表示装置による表示に関する表示パラメータのずれである第１のずれが生じたか否か、及び、前記カメラによる撮影に関する撮影パラメータのずれである第２のずれが生じたか否かを判定する第１判定ステップと、
    　前記第１のずれ及び前記第２のずれのうち、前記第１判定ステップにおいて生じたと判定されたずれを示すずれ情報をユーザに通知する通知ステップと、を含む通知方法を実行する
    　通知システム。
PCT/JP2022/037364 2021-10-28 2022-10-06 通知方法、及び、通知システム WO2023074302A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-176927 2021-10-28
JP2021176927 2021-10-28

Publications (1)

Publication Number Publication Date
WO2023074302A1 true WO2023074302A1 (ja) 2023-05-04

Family

ID=86159286

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/037364 WO2023074302A1 (ja) 2021-10-28 2022-10-06 通知方法、及び、通知システム

Country Status (1)

Country Link
WO (1) WO2023074302A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10135100A (ja) * 1996-10-25 1998-05-22 Dainippon Screen Mfg Co Ltd 処理液供給装置
JP2006304100A (ja) * 2005-04-22 2006-11-02 Olympus Corp マルチプロジェクションシステム及び監視方法
JP2015068858A (ja) * 2013-09-26 2015-04-13 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
JP2018207373A (ja) * 2017-06-07 2018-12-27 パナソニックＩｐマネジメント株式会社 投写型表示装置の較正装置、較正方法、プログラム、投写型表示装置、及び投写型表示システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10135100A (ja) * 1996-10-25 1998-05-22 Dainippon Screen Mfg Co Ltd 処理液供給装置
JP2006304100A (ja) * 2005-04-22 2006-11-02 Olympus Corp マルチプロジェクションシステム及び監視方法
JP2015068858A (ja) * 2013-09-26 2015-04-13 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
JP2018207373A (ja) * 2017-06-07 2018-12-27 パナソニックＩｐマネジメント株式会社 投写型表示装置の較正装置、較正方法、プログラム、投写型表示装置、及び投写型表示システム

Similar Documents

Publication Publication Date Title
JP3844076B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
CN108989777B (zh) 投影设备、投影设备的控制方法和非暂时性存储介质
KR100571175B1 (ko) 화상 처리 시스템, 프로젝터, 정보 기억 매체 및 화상처리 방법
RU2577533C1 (ru) Устройство обработки изображений, проектор и способ управления проектором
CN100523989C (zh) 图像处理***、投影机以及图像处理方法
US7648246B2 (en) Projector and exposure adjustment method
EP3136377B1 (en) Information processing device, information processing method, program
US9936179B2 (en) Image projection apparatus and method of controlling the same, and non-transitory computer-readable storage medium
JP5796286B2 (ja) プロジェクター、及び、プロジェクターの制御方法
WO2005002240A1 (ja) 表示特性補正データの算出方法、表示特性補正データの算出プログラム、表示特性補正データの算出装置
JP2019168546A (ja) 投影制御装置、投影装置、投影制御方法及びプログラム
JP7151126B2 (ja) プロジェクター、及び、プロジェクターの制御方法
JP2018207373A (ja) 投写型表示装置の較正装置、較正方法、プログラム、投写型表示装置、及び投写型表示システム
US10812764B2 (en) Display apparatus, display system, and method for controlling display apparatus
JP3741136B2 (ja) 障害物適応投射型表示装置
JP5206081B2 (ja) プロジェクタ、プログラム及び記憶媒体
CN113556524B (zh) 投影仪
JP4016972B2 (ja) プロジェクタ、および、プロジェクタの制御方法
WO2023074302A1 (ja) 通知方法、及び、通知システム
JP2015192310A (ja) プロジェクションシステム、携帯機器、プログラム、及び、携帯機器の制御方法
JP5585117B2 (ja) マルチディスプレイシステム、マルチディスプレイ調整方法およびプログラム
JP4055727B2 (ja) プロジェクタ及びパターン画像表示方法
JP2021127998A (ja) 距離情報取得装置および距離情報取得方法
WO2019244667A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2023074301A1 (ja) キャリブレーション方法、及び、投写型表示システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22886633

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023556259

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE