JP2011245792A - Image forming system - Google Patents
Image forming system Download PDFInfo
- Publication number
- JP2011245792A JP2011245792A JP2010122860A JP2010122860A JP2011245792A JP 2011245792 A JP2011245792 A JP 2011245792A JP 2010122860 A JP2010122860 A JP 2010122860A JP 2010122860 A JP2010122860 A JP 2010122860A JP 2011245792 A JP2011245792 A JP 2011245792A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- image forming
- unit
- display
- forming apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Accessory Devices And Overall Control Thereof (AREA)
- Facsimiles In General (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、画像形成装置を備える画像形成システムに関する。 The present invention relates to an image forming system including an image forming apparatus.
複写機、プリンタ装置、あるいはそれらの複合機等の画像形成装置において、用紙ジャム等のエラーが発生した場合、エラーが発生した旨やその解除手順等を、操作パネルに備えられたタッチパネル等の画面に表示している（例えば、特許文献１参照）。ユーザは、画面の表示を見て手順を確認しながら、エラー解除の作業を行う。 When an error such as a paper jam occurs in an image forming apparatus such as a copier, printer, or their multifunction device, a screen such as a touch panel provided on the operation panel indicates that the error has occurred and the procedure for canceling it. (For example, refer to Patent Document 1). The user performs error canceling work while checking the procedure while viewing the screen display.
上述したような従来の画像形成装置では、エラーの発生位置やその解除手順が、画面上で簡易な図を用いて表現されることが多い。このため、例えば用紙ジャムが発生した場合に、その発生位置が大まかにしか表現されず、ユーザにとって把握しにくいことがあった。 In the conventional image forming apparatus as described above, the position where an error occurs and the procedure for canceling the error are often expressed on a screen using a simple diagram. For this reason, for example, when a paper jam occurs, the occurrence position is only roughly represented, and it may be difficult for the user to grasp.
また、ユーザは、画面に表示された図と実際の装置とを見比べながらエラー解除の作業を行うが、図の表現と実際の装置の構造等とを整合させることがユーザにとって簡単でない場合があり、作業効率の低下を招くことがあった。 In addition, the user performs error canceling work by comparing the diagram displayed on the screen with the actual device, but it may not be easy for the user to match the representation of the diagram with the actual device structure, etc. In some cases, work efficiency may be reduced.
そこで、画像形成装置に対して行うべきエラー解除等の作業の内容を、より容易にユーザに把握させることができ、作業効率を向上させることができるような技術が要望されていた。 Therefore, there has been a demand for a technique that allows the user to more easily grasp the contents of work such as error cancellation to be performed on the image forming apparatus and improve work efficiency.
本発明は上記に鑑みてなされたもので、画像形成装置に対して行う作業の内容をユーザに容易に把握させ、作業効率を向上させることができる画像形成システムを提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide an image forming system that allows a user to easily grasp the contents of work performed on an image forming apparatus and improve work efficiency.
上記目的を達成するため、本発明に係る画像形成システムの第１の特徴は、画像形成装置と、前記画像形成装置を撮影する撮影装置と、前記撮影装置で撮影された映像を表示する表示装置とを備える画像形成システムであって、前記画像形成装置の状態に関する状態情報を取得する状態情報取得部と、前記画像形成装置に設けられ、複数のパターンのマーカを表示可能なマーカ表示部と、前記状態情報取得部で取得した前記状態情報に応じたパターンのマーカを前記マーカ表示部に表示するよう制御するマーカ表示制御部と、前記撮影装置で撮影された映像から前記マーカ表示部に表示されているマーカを検出するマーカ検出部と、前記マーカ検出部で検出したマーカのパターンに対応した、前記画像形成装置に対してユーザが行うべき作業に関する電子情報を、前記撮影装置で撮影された映像に重畳する重畳部と、前記表示装置に設けられ、前記重畳部で前記電子情報が重畳された映像を表示する表示部とを備えることにある。 In order to achieve the above object, a first feature of an image forming system according to the present invention includes an image forming apparatus, a photographing apparatus that photographs the image forming apparatus, and a display device that displays a video photographed by the photographing apparatus. A status information acquisition unit that acquires status information relating to the status of the image forming apparatus, a marker display unit that is provided in the image forming apparatus and capable of displaying a plurality of patterns of markers, A marker display control unit that controls the marker display unit to display a marker of a pattern corresponding to the state information acquired by the state information acquisition unit, and an image captured by the imaging device, and is displayed on the marker display unit. A marker detection unit that detects the marker being detected, and an operation to be performed by the user on the image forming apparatus corresponding to the marker pattern detected by the marker detection unit A superimposing unit that superimposes electronic information on the video captured by the imaging device, and a display unit that is provided in the display device and displays the video on which the electronic information is superimposed on the superimposing unit. .
本発明に係る画像形成システムの第２の特徴は、前記重畳部は、前記マーカ表示部に表示されているマーカのパターンに応じた前記状態情報が示す状態の前記画像形成装置に対してユーザが行うべき作業の手順の各段階に対応する各電子情報を、前記撮影装置で撮影された映像に順次切り替えて重畳することにある。 A second feature of the image forming system according to the present invention is that the superimposing unit is configured so that a user can compare the image forming apparatus in a state indicated by the state information according to a marker pattern displayed on the marker display unit. The electronic information corresponding to each stage of the work procedure to be performed is sequentially switched and superimposed on the video imaged by the imaging device.
本発明に係る画像形成システムの第１の特徴によれば、画像形成装置の状態に応じたパターンのマーカをマーカ表示部に表示し、撮影装置で画像形成装置を撮影した映像からマーカを検出し、マーカのパターンに対応した、画像形成装置に対してユーザが行うべき作業に関する電子情報を撮影装置で撮影した映像に重畳することで、画像形成装置の状態に応じてユーザが行うべき作業の内容を映像に表示し、ユーザに作業の内容を容易に把握させ、作業効率を向上させることができる。 According to the first feature of the image forming system according to the present invention, a marker having a pattern corresponding to the state of the image forming apparatus is displayed on the marker display unit, and the marker is detected from the video imaged by the image forming apparatus. The content of the work to be performed by the user in accordance with the state of the image forming apparatus by superimposing electronic information regarding the work to be performed by the user on the image forming apparatus corresponding to the marker pattern on the video imaged by the photographing apparatus Can be displayed on the video, allowing the user to easily grasp the contents of the work and improve the work efficiency.
本発明に係る画像形成システムの第２の特徴によれば、表示されているマーカのパターンに応じた状態情報が示す状態の画像形成装置に対してユーザが行うべき作業の手順の各段階に対応する各電子情報を、撮影装置で撮影された映像に順次切り替えて重畳することで、現在の状態の画像形成装置に対して行うべき作業の手順の各段階をユーザに予め確認させることができる。 According to the second feature of the image forming system according to the present invention, it corresponds to each step of the procedure of the work to be performed by the user for the image forming apparatus in the state indicated by the state information corresponding to the displayed marker pattern. By sequentially switching and superimposing each electronic information to be recorded on the video imaged by the imaging device, it is possible to allow the user to confirm in advance each step of the work procedure to be performed on the image forming apparatus in the current state.
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図面を通じて同一もしくは同等の部位や構成要素には、同一もしくは同等の符号を付し、その説明を省略もしくは簡略化する。 Embodiments of the present invention will be described below with reference to the drawings. Throughout the drawings, the same or equivalent parts and components are denoted by the same or equivalent reference numerals, and the description thereof is omitted or simplified.
図１は、本発明の実施の形態に係る画像形成システムの概略構成を示す外観図である。図１に示すように本実施の形態に係る画像形成システム１は、画像形成装置２と、画像形成装置２を撮影する撮影装置３と、撮影装置３で撮影された映像を表示する表示装置４とを備える。撮影装置３および表示装置４は、画像形成装置２と有線接続または無線接続される。
FIG. 1 is an external view showing a schematic configuration of an image forming system according to an embodiment of the present invention. As shown in FIG. 1, an image forming system 1 according to the present embodiment includes an
図１に示すように、本実施の形態では、表示装置４は、ユーザの頭部に装着可能なヘッドマウントディスプレイ（ＨＭＤ）からなり、撮影装置３は、ＨＭＤに設置された小型のカメラからなる。このような構成により、ユーザの通常の視界と同様の映像がディスプレイに表示される。表示装置４として透過型のＨＭＤを用いれば、ユーザはディスプレイ越しに現実環境も視認でき好適である。
As shown in FIG. 1, in the present embodiment, the
なお、撮影装置３および表示装置４は、図１に示した構成に限らず、撮影装置３が画像形成装置２を撮影し、表示装置４が撮影装置３で撮影された画像を表示するものであればどのようなものでもよい。
The photographing device 3 and the
図２は、画像形成装置２の概略構成図である。図２に示すように、画像形成装置２は、給紙部２１と、ベルト搬送部２２と、ヘッドユニット２３とを備える。
FIG. 2 is a schematic configuration diagram of the
給紙部２１は、用紙が積載される給紙台２１１および給紙トレイ２１２ａ〜２１２ｃと、給紙台２１１および給紙トレイ２１２ａ〜２１２ｃのいずれかから給紙搬送路２４に沿って搬送されてきた用紙を所定のタイミングでベルト搬送部２２に送り出すレジストローラ２１３とを備える。
The
ベルト搬送部２２は、給紙部２１から繰り出された用紙を、周回する環状の搬送ベルトによりヘッドユニット２３側に向けて搬送する。
The
ヘッドユニット２３は、複数のインクジェットヘッドを有し、ベルト搬送部２２により印字搬送路２５に沿って搬送される用紙にインクを吐出して画像を印刷する。
The
ヘッドユニット２３により印刷された用紙は、ベルト搬送部２２等により搬送されてそのままフェイスアップ排紙台２６に排紙されるか、循環搬送路２７に導かれてフェイスダウン排紙台２８に排紙される。
The paper printed by the
両面印刷時には、片面印刷済みの用紙が循環搬送路２７を搬送され、スイッチバック経路２９に導かれてスイッチバックが行われ、印刷面を下向きにした状態でレジストローラ２１３によりベルト搬送部２２に送り出される。そして、片面印刷済みの用紙は、ベルト搬送部２２により印字搬送路２５を搬送されながらヘッドユニット２３により未印刷面に印刷された後、フェイスアップ排紙台２６またはフェイスダウン排紙台２８に排紙される。
During double-sided printing, the paper on which single-sided printing has been performed is transported through the
上記の給紙搬送路２４、印字搬送路２５、循環搬送路２７、スイッチバック経路２９を含む、画像形成装置２において用紙が搬送される搬送経路上には、複数の用紙センサ３０ａ，３０ｂ，…が配置され、これらの検出出力を用いて、搬送経路における用紙ジャムを検出できるようになっている。すなわち、各用紙センサ３０ａ，３０ｂ，…は、用紙の有無または用紙の先端を検出するセンサであり、各用紙センサ３０ａ，３０ｂ，…において、所定のタイミングで検出されるはずの用紙が検出されない、検出されないはずのタイミングであるのに用紙が検出されている、などの異常が検出された場合に、用紙ジャムが発生したと判断できるようになっている。どの用紙センサで異常が検出されたかにより、用紙ジャムの発生位置も判断することができる。
A plurality of
図３は、画像形成システム１の機能構成を示すブロック図である。図３に示すように、画像形成装置２は、画像形成部３１と、搬送駆動部３２と、用紙検出部３３と、前カバーセンサ３４と、マーカ表示部３５と、記憶部３６と、映像取得部３７と、制御部３８と、出力部３９とを備える。
FIG. 3 is a block diagram illustrating a functional configuration of the image forming system 1. As shown in FIG. 3, the
画像形成部３１は、ヘッドユニット２３を有し、ヘッドユニット２３の各インクジェットヘッドからインクを吐出して用紙に画像を印刷する。
The
搬送駆動部３２は、ベルト搬送部２２や給紙搬送路２４、印字搬送路２５等の搬送経路における駆動ローラを駆動して用紙の搬送を行う。
The
用紙検出部３３は、用紙センサ３０ａ，３０ｂ，…を有し、画像形成装置２の搬送経路上を搬送される用紙を検出する。
The
前カバーセンサ３４は、図１に示す画像形成装置２の前カバー２０の開閉を検出するセンサである。前カバー２０は、ユーザが用紙ジャムを取り除く作業を行う際などに開閉される。
The
マーカ表示部３５は、図１に示すように、画像形成装置２の前面に設けられ、液晶表示パネル、電子ペーパ等からなり、拡張現実感（ＡＲ：Augmented Reality）技術で用いられるマーカ４０を表示する。マーカ４０は、黒い矩形の枠と、この枠の内部に表示される文字、模様等からなるパターンとにより構成される。パターンによりマーカの種類が特定される。
As shown in FIG. 1, the
ＡＲは、現実環境の撮影映像に電子情報を重畳することで現実環境の情報を拡張する技術である。本実施の形態の画像形成システム１では、映像に電子情報を重畳するための位置認識等の指標としてマーカ４０を用いる。
AR is a technique for extending information in the real environment by superimposing electronic information on the captured video in the real environment. In the image forming system 1 of the present embodiment, the
なお、マーカ表示部３５は、図１に示した位置に限らず、外部から視認されやすい位置であればどこに配置してもよい。
Note that the
記憶部３６は、ハードディスク等の不揮発性の記憶媒体を備えて構成され、マーカ表示部３５に表示可能なマーカのパターンに対応して予め生成された電子情報を記憶している。本実施の形態において、この電子情報の内容は、画像形成装置２に対してユーザがエラー解除等を行うための作業内容に関する情報である。
The
電子情報としては、コンピュータグラフィックスにより作成された３次元（３Ｄ）モデル、実画像、アニメーション、文字情報等を用いることができる。 As the electronic information, a three-dimensional (3D) model created by computer graphics, a real image, animation, character information, or the like can be used.
映像取得部３７は、撮影装置３で撮影された映像を取得する。
The
制御部３８は、ＣＰＵ、プログラム等を格納するメモリ、画像処理装置等を備えて構成され、ＣＰＵがプログラムに応じた処理を行うこと等で、画像形成制御部３８１、搬送制御部３８２、状態情報取得部３８３、マーカ表示制御部３８４、マーカ検出部３８５、重畳部３８６が構成される。
The
画像形成制御部３８１は、画像データに基づいて、ヘッドユニット２３の各インクジェットヘッドにおけるインク吐出動作を制御することにより、画像形成部３１における画像形成処理を制御する。
The image formation control unit 381 controls the image forming process in the
搬送制御部３８２は、搬送駆動部３２による用紙の搬送を制御する。
The conveyance control unit 382 controls the conveyance of the sheet by the
状態情報取得部３８３は、画像形成装置２の状態に関する状態情報として、用紙センサ３０ａ，３０ｂ，…の検出出力、前カバーセンサ３４の検出出力を取得する。これにより、状態情報取得部３８３は、画像形成装置２で用紙ジャムが発生した状態にあるか否かや、前カバー２０の開閉状態等を検出する。
The status information acquisition unit 383 acquires the detection output of the
マーカ表示制御部３８４は、状態情報取得部３８３で取得した状態情報に応じたパターンのマーカ４０をマーカ表示部３５に表示するよう制御する。
The marker display control unit 384 controls the
マーカ検出部３８５は、撮影装置３で撮影された映像上の、マーカ表示部３５に表示されているマーカの位置、向き、サイズを検出し、また、テンプレートマッチングの手法等を用いてマーカのパターンを検出する。
The
重畳部３８６は、マーカ検出部３８５で検出したマーカ４０のパターンに対応する電子情報を記憶部３６から取得し、この電子情報を撮影装置３で撮影された映像に重畳する。重畳部３８６は、マーカ検出部３８５で検出したマーカ４０の位置、向き、サイズに基づいて、ＡＲの技術により、映像に重畳する電子情報の位置、向き、サイズを決定する。
The superimposing
出力部３９は、重畳部３８６により電子情報が重畳された映像を、表示装置４に送出する。
The
表示装置４は、入力部４１と、表示制御部４２と、表示部４３とを備える。
The
入力部４１には、画像形成装置２から送られた映像が入力される。
A video sent from the
表示制御部４２は、ＣＰＵ等を備えて構成され、画像形成装置２から送られた映像を表示部４３に表示するよう制御する。
The
表示部４３は、画像形成装置２から送られた映像を表示するディスプレイである。
The
次に、画像形成システム１の動作について説明する。画像形成装置２でエラーとして用紙ジャムが発生した場合を例に説明する。
Next, the operation of the image forming system 1 will be described. A case where a paper jam occurs as an error in the
印刷動作中は、搬送駆動部３２の駆動により搬送される用紙に、画像形成部３１により画像が印刷される。印刷された用紙はフェイスアップ排紙台２６またはフェイスダウン排紙台２８に搬送されて排紙される。
During the printing operation, an image is printed by the
この印刷動作中に搬送経路上で用紙ジャムが発生すると、状態情報取得部３８３は、用紙センサ３０ａ，３０ｂ，…の検出出力から、用紙ジャムの発生、およびその発生位置を検出する。搬送制御部３８２は用紙の搬送を停止するよう搬送駆動部３２を制御し、画像形成制御部３８１はインク吐出を停止するよう画像形成部３１を制御する。
When a paper jam occurs on the transport path during the printing operation, the status information acquisition unit 383 detects the occurrence of the paper jam and the position where the paper jam occurs from the detection output of the
マーカ表示制御部３８４は、状態情報取得部３８３で検出した発生位置で用紙ジャムが発生している状態に応じたパターンのマーカをマーカ表示部３５に表示するよう制御する。
The marker display control unit 384 controls the
マーカがマーカ表示部３５に表示されると、ユーザ操作に応じて撮影装置３が画像形成装置２を撮影し、画像形成装置２の映像取得部３７は、撮影装置３で撮影された映像を取得する。
When the marker is displayed on the
撮影装置３から映像を取得すると、マーカ検出部３８５は、映像上のマーカの位置、向き、サイズを検出するとともに、マーカのパターンを検出する。
When the video is acquired from the imaging device 3, the
次いで、重畳部３８６は、マーカ検出部３８５で検出したマーカのパターンに対応する電子情報を記憶部３６から取得し、この電子情報を撮影装置３から取得した映像に重畳する。この際、重畳部３８６は、マーカ検出部３８５で検出したマーカの位置、向き、サイズに基づいて、ＡＲの技術により、映像に重畳する電子情報の位置、向き、サイズを決定して、映像に整合するように重畳する。
Next, the superimposing
そして、出力部３９は、重畳部３８６により電子情報が重畳された映像を、表示装置４に送出する。
Then, the
表示装置４の表示制御部４２は、画像形成装置２から電子情報が重畳された映像が入力されると、その映像を表示部４３に表示するよう制御する。
When a video on which electronic information is superimposed is input from the
電子情報が重畳された映像の一例を図４に示す。図４において、マーカ表示部３５には、「Ｅ−１２Ａ」というパターンのマーカが表示されている。このパターンが、本実施の形態において状態情報取得部３８３で検出した発生位置で用紙ジャムが発生している状態に対応するパターンとする。そして、この用紙ジャムを解消するためには、まず、ユーザは、前カバー２０を開ける作業を行う必要があるものとする。
An example of an image on which electronic information is superimposed is shown in FIG. In FIG. 4, a marker having a pattern “E-12A” is displayed on the
この作業内容を示すために、図４に示す映像では、前カバー２０を開ける様子を表現する３Ｄモデル５０と、前カバー２０を開けることを指示する文字情報５１とが、電子情報として重畳されている。ユーザは図４の映像を、表示装置４のディスプレイを見て確認できる。
In order to show this work content, in the video shown in FIG. 4, a
なお、ＡＲでは、撮影中に撮影装置３が移動することにより映像中のマーカの位置、向き、サイズが変動した場合、それに連動して、映像に重畳される電子情報の表示位置等も変動する。特に３Ｄモデルでは、マーカの向きに応じて３Ｄモデルのアングルが変動するので、ユーザは撮影装置３を移動させることにより所望のアングルの３Ｄモデルを見ることができ、作業内容を直感的に容易に理解できる。 In AR, when the position, orientation, and size of the marker in the video change due to movement of the shooting device 3 during shooting, the display position of the electronic information superimposed on the video also changes accordingly. . In particular, in the 3D model, the angle of the 3D model varies depending on the orientation of the marker. Therefore, the user can view the 3D model at a desired angle by moving the photographing device 3, and the work contents can be easily and intuitively performed. Understandable.
ユーザが図４の映像に従って前カバー２０を開けると、状態情報取得部３８３は、前カバーセンサ３４の検出出力から、画像形成装置２は上記の用紙ジャムの解消のために前カバー２０が開けられた状態であると判断する。
When the user opens the
このように画像形成装置２の状態が変わったため、マーカ表示制御部３８４は、マーカ表示部３５に表示するマーカのパターンを変更させる。これに応じて、重畳部３８６は、変更後のマーカのパターンに対応する電子情報を記憶部３６から取得し、これを撮影装置３からの映像に重畳する。
Since the state of the
マーカのパターンが変更された後の電子情報が重畳された映像の一例を図５に示す。図５において、マーカ表示部３５には、「Ｅ−１２Ｂ」というパターンのマーカが表示されている。このパターンが、本実施の形態において上記の用紙ジャムの解消のために前カバー２０が開けられた状態に対応するパターンとする。
FIG. 5 shows an example of an image on which electronic information after the marker pattern is changed is superimposed. In FIG. 5, a marker with a pattern “E-12B” is displayed on the
図５に示す映像では、用紙ジャムの発生位置を示すための丸印および矢印の画像と、用紙を取り除くことを指示するための文字情報５２とが、電子情報として重畳されている。ユーザは、この電子情報が重畳された映像に従って用紙を取り除くことにより、用紙ジャムを解消できる。
In the image shown in FIG. 5, a circle and an arrow image for indicating a paper jam occurrence position and
以上の図４、図５を用いて説明した例では、ユーザの作業による画像形成装置２の状態の変化に応じて、マーカのパターンを変更し、それに応じて映像に重畳する電子情報を変更している。つまり、ユーザが作業した手順を追って、マーカのパターン、および映像に重畳する電子情報が変更される。これに対し、ユーザが作業を行う前に、マーカのパターンを変更しないで、重畳部３８６が、現在の状態の画像形成装置２に対してユーザが行うべき作業の手順の各段階に対応する各電子情報を順次切り替えて映像に重畳するようにしてもよい。
In the example described with reference to FIGS. 4 and 5 above, the marker pattern is changed according to the change in the state of the
すなわち、表示装置４において図４の映像を表示した後、所定時間経過すると、図６に示すような映像を表示するようにし、さらに所定時間経過すると図４の映像の表示に戻る。これを繰り返し、前カバー２０が開けられるまで、図４の映像と図６の映像とを交互に表示するようにする。
That is, when a predetermined time elapses after the video of FIG. 4 is displayed on the
図６に示す映像は、前カバー２０がまだ開けられていない画像形成装置２の映像に、画像形成装置２の内部を示す画像５３と、図５と同様の用紙ジャムの発生位置を示すための丸印および矢印の画像と、文字情報５２とが重畳されているものである。この際、マーカ表示部３５の表示は、図４と同様の「Ｅ−１２Ａ」のパターンのままである。
The image shown in FIG. 6 is used to show an
このようにすることで、ユーザに予め作業内容をイメージさせることができる。ユーザは現在の状態の画像形成装置２に対してこれから行うべき作業の手順の各段階を予め確認できる。ユーザにより前カバー２０が開けられると、前述の説明と同様に、マーカ表示部３５に「Ｅ−１２Ｂ」を表示し、表示装置４の表示部４３に図５に示した映像を表示するようにすればよい。
By doing in this way, it is possible to make the user image work contents in advance. The user can confirm in advance each stage of the procedure of work to be performed on the
以上説明したように本実施の形態では、画像形成装置２の状態に応じたパターンのマーカをマーカ表示部３５に表示し、撮影装置３で画像形成装置２を撮影した映像からマーカを検出し、マーカのパターンに応じた電子情報を画像形成装置２の映像に重畳する。ユーザの作業により画像形成装置２の状態が変化すると、それに応じてマーカのパターンを変え、画像形成装置２の状態に応じた電子情報を画像形成装置２の映像に重畳する。これにより、画像形成装置２の状態に応じてユーザが行うべき作業の内容をリアルタイムで映像に表示し、ユーザに作業の内容を容易に把握させることができ、作業効率を向上させることができる。
As described above, in the present embodiment, a marker having a pattern corresponding to the state of the
（変形例）
上記実施の形態では、マーカを検出する処理および映像に電子情報を重畳する処理を画像形成装置側で行ったが、本変形例では、これらの処理を表示装置側で行う。
(Modification)
In the above embodiment, the process of detecting the marker and the process of superimposing the electronic information on the video are performed on the image forming apparatus side. In the present modification, these processes are performed on the display apparatus side.
図７は、本発明の実施の形態の変形例に係る画像形成システムの機能構成を示すブロック図である。図７に示すように、本変形例に係る画像形成システム１Ａは、画像形成装置２Ａと、撮影装置３と、表示装置４Ａとを備えて構成される。撮影装置３と表示装置４Ａとは有線または無線により接続されるが、画像形成装置２Ａは、撮影装置３および表示装置４Ａのいずれとも接続されていない。
FIG. 7 is a block diagram showing a functional configuration of an image forming system according to a modification of the embodiment of the present invention. As shown in FIG. 7, an image forming system 1A according to this modification includes an
本変形例の画像形成システム１Ａにおける画像形成装置２Ａは、上記実施の形態の画像形成システム１における画像形成装置２に対し、記憶部３６、映像取得部３７、および出力部３９を省略し、制御部３８を制御部３８Ａに置き換えた構成である。
The
制御部３８Ａは、図３に示した画像形成装置２の制御部３８に対し、マーカ検出部３８５および重畳部３８６を省略した構成である。本変形例では、これらの省略された機能は表示装置４Ａにより実行される。
The
表示装置４Ａは、映像取得部６１と、記憶部６２と、表示部６３と、制御部６４とを備える。
The
映像取得部６１は、撮影装置３で撮影された映像を取得する。
The
記憶部６２は、図３の画像形成装置２の記憶部３６と同様のものであり、画像形成装置２Ａのマーカ表示部３５に表示可能なマーカのパターンに対応して予め生成された電子情報を記憶している。
The
表示部６３は、撮影装置３で撮影された映像を表示する。
The
制御部６４は、ＣＰＵ、プログラム等を格納するメモリ等を備えて構成され、ＣＰＵがプログラムに応じた処理を行うこと等で、マーカ検出部６４１、重畳部６４２、表示制御部６４３が構成される。
The
マーカ検出部６４１は、図３の画像形成装置２のマーカ検出部３８５と同様のものであり、撮影装置３で撮影された映像上の、マーカ表示部３５に表示されているマーカの位置、向き、サイズを検出し、また、マーカのパターンを検出する。
The
重畳部６４２は、図３の画像形成装置２の重畳部３８６と同様のものであり、マーカ検出部６４１で検出したマーカのパターンに対応する電子情報を記憶部６２から取得し、この電子情報を撮影装置３で撮影された映像に重畳する。
The superimposing
表示制御部６４３は、表示部６３の表示を制御する。
The
次に、画像形成システム１Ａの動作について説明する。 Next, the operation of the image forming system 1A will be described.
画像形成装置２Ａは、自装置の状態に応じたパターンのマーカをマーカ表示部３５に表示するが、このマーカ表示までの動作については、前述の実施の形態で説明した図３の画像形成装置２における動作と同様であるため説明を省略する。画像形成装置２で行っていたマーカを検出する処理および映像に電子情報を重畳する処理は、本変形例では、表示装置４Ａで行う。
The
表示装置４Ａのマーカ検出部６４１は、映像取得部６１を介して撮影装置３で撮影された映像を取得すると、映像上のマーカの位置、向き、サイズを検出するとともに、マーカのパターンを検出する。
When the
次いで、重畳部６４２は、マーカ検出部６４１で検出したマーカのパターンに対応する電子情報を記憶部６２から取得し、この電子情報を撮影装置３から取得した映像に重畳する。映像に重畳する電子情報の位置、向き、サイズは、マーカ検出部６４１で検出したマーカの位置、向き、サイズに基づいて決定される。
Next, the superimposing
そして、表示制御部６４３は、電子情報が重畳された映像を表示部６３に表示するよう制御する。以上のように、マーカ検出部６４１、重畳部６４２、表示制御部６４３で行う処理内容は、前述の実施の形態で説明した、図３の画像形成システム１における画像形成装置２のマーカ検出部３８５、重畳部３８６、表示装置４の表示制御部４２と同様である。
The
このような本変形例の画像形成システム１Ａによっても、前述の実施の形態で説明した画像形成システム１と同様に、ユーザに作業の内容を容易に把握させることができ、作業効率を向上させることができる。 Also with the image forming system 1A of this modified example, the user can easily grasp the contents of the work and improve the work efficiency, similarly to the image forming system 1 described in the above embodiment. Can do.
なお、上記実施の形態およびその変形例では、前カバー２０を開けるだけで用紙ジャムを解消する作業が行えるものとし、画像形成装置２，２Ａの状態に関する状態情報としては、用紙センサ３０ａ，３０ｂ，…の検出出力と、前カバーセンサ３４の検出出力とのみを扱う構成として説明したが、その他の各種のセンサ等を、画像形成装置２，２Ａの状態を検出するための構成に加えてもよい。
In the above-described embodiment and its modifications, it is assumed that the paper jam can be cleared by simply opening the
例えば、用紙ジャムを解消するために前カバー２０を開けてから画像形成装置２，２Ａの内部の構造体を引き出したり、他のカバーを開けたりする作業が必要な場合もある。このような場合、用紙ジャムを解消するための作業手順の各段階にある状態を検出できるようなセンサ等の検出出力を、状態情報として用いればよい。
For example, in order to eliminate paper jam, it may be necessary to open the
また、用紙ジャムに限らず、他のエラー状態およびそのエラー状態を解除するための作業手順の各段階にある状態を検出できるようなセンサ等の検出出力を状態情報として用い、各状態に応じた電子情報を撮影装置３で撮影された映像に重畳するようにしてもよい。 Further, not only paper jams, but also other error states and detection outputs of sensors or the like that can detect states at each stage of the work procedure for canceling the error state are used as state information, and according to each state You may make it superimpose electronic information on the image | video image | photographed with the imaging device 3. FIG.
また、本発明は、エラー状態の解除に限らず、例えば給紙トレイ２１２ａ〜２１２ｃに用紙をセットする作業の手順をユーザに示す用途などにも用いることができる。
In addition, the present invention is not limited to canceling the error state, and can be used for, for example, a purpose of showing a user a procedure for setting paper in the
また、上記実施の形態およびその変形例で説明に用いたようなインクジェット方式の画像形成装置に限らず、他の方式の印刷機構を有する画像形成装置にも本発明は適用可能である。 Further, the present invention is not limited to the ink jet type image forming apparatus used in the description of the above embodiment and its modifications, but can be applied to an image forming apparatus having another type of printing mechanism.
１，１Ａ 画像形成システム
２，２Ａ 画像形成装置
３ 撮影装置
４，４Ａ 表示装置
２０ 前カバー
３０ａ，３０ｂ，… 用紙センサ
３１ 画像形成部
３２ 搬送駆動部
３３ 用紙検出部
３４ 前カバーセンサ
３５ マーカ表示部
３６ 記憶部
３７ 映像取得部
３８，３８Ａ 制御部
３９ 出力部
４０ マーカ
４１ 入力部
４２ 表示制御部
４３ 表示部
６１ 映像取得部
６２ 記憶部
６３ 表示部
６４ 制御部
３８１ 画像形成制御部
３８２ 搬送制御部
３８３ 状態情報取得部
３８４ マーカ表示制御部
３８５ マーカ検出部
３８６ 重畳部
６４１ マーカ検出部
６４２ 重畳部
６４３ 表示制御部
DESCRIPTION OF SYMBOLS 1,1A
Claims (2)
前記画像形成装置の状態に関する状態情報を取得する状態情報取得部と、
前記画像形成装置に設けられ、複数のパターンのマーカを表示可能なマーカ表示部と、
前記状態情報取得部で取得した前記状態情報に応じたパターンのマーカを前記マーカ表示部に表示するよう制御するマーカ表示制御部と、
前記撮影装置で撮影された映像から前記マーカ表示部に表示されているマーカを検出するマーカ検出部と、
前記マーカ検出部で検出したマーカのパターンに対応した、前記画像形成装置に対してユーザが行うべき作業に関する電子情報を、前記撮影装置で撮影された映像に重畳する重畳部と、
前記表示装置に設けられ、前記重畳部で前記電子情報が重畳された映像を表示する表示部と
を備えることを特徴とする画像形成システム。 An image forming system comprising: an image forming device; a photographing device that photographs the image forming device; and a display device that displays an image photographed by the photographing device,
A status information acquisition unit that acquires status information regarding the status of the image forming apparatus;
A marker display unit provided in the image forming apparatus and capable of displaying markers of a plurality of patterns;
A marker display control unit that controls to display a marker of a pattern according to the state information acquired by the state information acquisition unit on the marker display unit;
A marker detection unit for detecting a marker displayed on the marker display unit from an image captured by the imaging device;
A superimposing unit that superimposes electronic information on a work to be performed by the user on the image forming apparatus corresponding to a marker pattern detected by the marker detecting unit on a video imaged by the imaging device;
An image forming system, comprising: a display unit provided in the display device, wherein the display unit displays a video on which the electronic information is superimposed by the superimposing unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010122860A JP2011245792A (en) | 2010-05-28 | 2010-05-28 | Image forming system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010122860A JP2011245792A (en) | 2010-05-28 | 2010-05-28 | Image forming system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011245792A true JP2011245792A (en) | 2011-12-08 |
Family
ID=45411652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010122860A Pending JP2011245792A (en) | 2010-05-28 | 2010-05-28 | Image forming system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011245792A (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013174384A (en) * | 2012-02-24 | 2013-09-05 | Mitsubishi Electric Corp | Air conditioner |
| JP2013205425A (en) * | 2012-03-27 | 2013-10-07 | Konica Minolta Inc | Image forming apparatus, mobile terminal device, and program |
| JP2014194725A (en) * | 2013-03-29 | 2014-10-09 | Konica Minolta Inc | Job information display device |
| JP2015513380A (en) * | 2012-03-15 | 2015-05-11 | クラウン パッケイジング テクノロジー インコーポレイテッド | How to give a visual representation of the product contents in a package |
| JP2015194975A (en) * | 2014-03-31 | 2015-11-05 | 日本放送協会 | Electronic device, display method, program and communication system |
| JP2016138908A (en) * | 2015-01-26 | 2016-08-04 | セイコーエプソン株式会社 | Display system, portable display device, display control device, and display method |
| JP2017091433A (en) * | 2015-11-17 | 2017-05-25 | セイコーエプソン株式会社 | Head-mounted type display device, method of controlling head-mounted type display device, and computer program |
| JP2018081380A (en) * | 2016-11-14 | 2018-05-24 | コニカミノルタ株式会社 | Guidance reproduction device, guidance reproduction method, and computer program |
| JP2019202513A (en) * | 2018-05-25 | 2019-11-28 | 理想科学工業株式会社 | Printing system, image formation device, wearable terminal, and program |
| WO2020250270A1 (en) * | 2019-06-10 | 2020-12-17 | マクセル株式会社 | Operational assistance system and operational assistance method |
| US11695880B2 (en) | 2019-12-27 | 2023-07-04 | Canon Kabushiki Kaisha | Information processing method and information processing apparatus to display an image that is a captured image on which electronic information is superimposed |
-
2010
- 2010-05-28 JP JP2010122860A patent/JP2011245792A/en active Pending
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013174384A (en) * | 2012-02-24 | 2013-09-05 | Mitsubishi Electric Corp | Air conditioner |
| JP2015513380A (en) * | 2012-03-15 | 2015-05-11 | クラウン パッケイジング テクノロジー インコーポレイテッド | How to give a visual representation of the product contents in a package |
| JP2013205425A (en) * | 2012-03-27 | 2013-10-07 | Konica Minolta Inc | Image forming apparatus, mobile terminal device, and program |
| CN104079748B (en) * | 2013-03-29 | 2018-01-02 | 柯尼卡美能达株式会社 | Job information display device |
| US9098223B2 (en) | 2013-03-29 | 2015-08-04 | Konica Minolta, Inc. | Job information display device |
| JP2014194725A (en) * | 2013-03-29 | 2014-10-09 | Konica Minolta Inc | Job information display device |
| JP2015194975A (en) * | 2014-03-31 | 2015-11-05 | 日本放送協会 | Electronic device, display method, program and communication system |
| US10120633B2 (en) | 2015-01-26 | 2018-11-06 | Seiko Epson Corporation | Display system, portable display device, display control device, and display method |
| JP2016138908A (en) * | 2015-01-26 | 2016-08-04 | セイコーエプソン株式会社 | Display system, portable display device, display control device, and display method |
| US10223058B2 (en) | 2015-01-26 | 2019-03-05 | Seiko Epson Corporation | Display system, display control device, and display method |
| JP2017091433A (en) * | 2015-11-17 | 2017-05-25 | セイコーエプソン株式会社 | Head-mounted type display device, method of controlling head-mounted type display device, and computer program |
| JP2018081380A (en) * | 2016-11-14 | 2018-05-24 | コニカミノルタ株式会社 | Guidance reproduction device, guidance reproduction method, and computer program |
| JP2019202513A (en) * | 2018-05-25 | 2019-11-28 | 理想科学工業株式会社 | Printing system, image formation device, wearable terminal, and program |
| JP7076286B2 (en) | 2018-05-25 | 2022-05-27 | 理想科学工業株式会社 | Printing systems, wearable terminals and programs |
| JP2022122879A (en) * | 2018-05-25 | 2022-08-23 | 理想科学工業株式会社 | System, wearable terminal and program |
| WO2020250270A1 (en) * | 2019-06-10 | 2020-12-17 | マクセル株式会社 | Operational assistance system and operational assistance method |
| JPWO2020250270A1 (en) * | 2019-06-10 | 2020-12-17 | ||
| JP7393427B2 (en) | 2019-06-10 | 2023-12-06 | マクセル株式会社 | Operation support system |
| US11695880B2 (en) | 2019-12-27 | 2023-07-04 | Canon Kabushiki Kaisha | Information processing method and information processing apparatus to display an image that is a captured image on which electronic information is superimposed |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2011245792A (en) | Image forming system | |
| JP5821738B2 (en) | Image forming apparatus, portable terminal device, and program | |
| US20100164171A1 (en) | Method and apparatus for clearing paper jam in a printing device | |
| JP2008201101A (en) | Operation guide display device | |
| US20120200874A1 (en) | Electronic apparatus and information displaying method | |
| JP5460839B2 (en) | Image forming apparatus | |
| JP2012111152A (en) | Image forming apparatus | |
| JP2011221174A (en) | Image forming apparatus, image forming system, control program for image forming apparatus, and recording medium | |
| JP2011031449A (en) | Printing apparatus, composite image data generating apparatus, and composite image data generating program | |
| JP2013129521A (en) | Paper feeder | |
| US10116817B2 (en) | Image forming apparatus and image forming system incorporating same | |
| JP2011218696A (en) | Print controller, method, and program | |
| JP2014019055A (en) | Printing device, and printing method | |
| JP2021110872A (en) | Operation support system, image processing device, and operation support method | |
| JP5106946B2 (en) | Image forming apparatus | |
| US7648217B2 (en) | Printing system and method | |
| US20130188210A1 (en) | Image reading apparatus, image forming and reading system, method for controlling image reading apparatus, method for controlling image forming and reading system, and program for the same | |
| JP5996919B2 (en) | Printing system | |
| US20210021724A1 (en) | Electronic device | |
| JP2009214404A (en) | Apparatus and method for forming image | |
| JP5233896B2 (en) | Printing apparatus, printing system, print data generation apparatus, and print data generation program | |
| JP2008211360A (en) | Printer and control method therefor | |
| JP2017065824A (en) | Printer for card | |
| JP2017081028A (en) | Print tester-integrated ink jet recording apparatus | |
| JP2024033290A (en) | Image formation device, system and method |