JP2015043538A - Image processing program - Google Patents
Image processing program Download PDFInfo
- Publication number
- JP2015043538A JP2015043538A JP2013174957A JP2013174957A JP2015043538A JP 2015043538 A JP2015043538 A JP 2015043538A JP 2013174957 A JP2013174957 A JP 2013174957A JP 2013174957 A JP2013174957 A JP 2013174957A JP 2015043538 A JP2015043538 A JP 2015043538A
- Authority
- JP
- Japan
- Prior art keywords
- content
- image data
- target
- related information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Telephone Function (AREA)
Abstract
Description
本発明は、画像処理プログラムに係わり、特に、情報端末で撮像した画像に、情報端末の記憶手段に記憶した複数のコンテンツ等の画像を合成して表示するようにした画像処理プログラムに関する。 The present invention relates to an image processing program, and more particularly, to an image processing program in which an image captured by an information terminal is combined with an image such as a plurality of contents stored in a storage unit of the information terminal and displayed.
従来から、複合機等の対象機器と、この対象機器に対応するヘルプ情報を提供するサーバ装置と、撮像カメラ等の撮像手段を備えた携帯通信端末と、がネットワークに接続され、対象機器は機器ＩＤと状態コードとをサーバ装置へ送信可能とするとともに、携帯通信端末は対象機器の正面に貼り付けられた二次元バーコードを撮像し、そのバーコード情報をサーバ装置へ送信することによって対象機器の状態に対応する固有のヘルプ情報を取得したうえで、そのヘルプ情報と撮像画像データとを合成し、ＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実感）表示する技術が知られている。 Conventionally, a target device such as a multifunction device, a server device that provides help information corresponding to the target device, and a mobile communication terminal including an imaging unit such as an imaging camera are connected to a network, and the target device is a device. The ID and status code can be transmitted to the server device, and the mobile communication terminal captures the two-dimensional barcode attached to the front surface of the target device and transmits the barcode information to the server device. There is known a technique of obtaining unique help information corresponding to the state of the image, synthesizing the help information and captured image data, and displaying AR (Augmented Reality).
しかしながら、上述した従来の画像処理プログラムにあっては、サーバー装置は、対象機器の状態コードしか表示することができず、例えば、対象機器の部分部分に応じた詳細な説明コンテンツまでは用意されていなかった。このため、例えば、１つの対象機器の複数の部位に係わる機能、操作方法、警告等の各種情報を部位ごとに容易に知ることができず、利便性に劣るという問題が生じていた。 However, in the above-described conventional image processing program, the server device can display only the status code of the target device. For example, detailed description content corresponding to the portion of the target device is prepared. There wasn't. For this reason, for example, various information such as functions, operation methods, warnings, and the like related to a plurality of parts of one target device cannot be easily known for each part, and there is a problem that the convenience is inferior.
本発明の目的は、対象機器の実物や対象機器の外観を表す写真・図等さえあれば、１つの対象機器の複数の部位に係わる機能、操作方法、警告等の各種情報を部位ごとに容易に知ることができ、利便性を向上することができる画像処理プログラムを提供することにある。 The purpose of the present invention is to provide various information such as functions, operation methods, warnings, etc. related to a plurality of parts of one target device for each part as long as there is a photograph, a figure or the like representing the actual target device or the appearance of the target device. It is an object of the present invention to provide an image processing program that can be known and can improve convenience.
上記目的を達成するために、本願発明は、予め定められた、少なくとも１つの特徴形状部及び複数のコンテンツ対象部位、を備える対象機器の外観又は外観像の少なくとも一部を撮像して対応する撮像画像データを生成する撮像手段と、所望の表示を行う表示手段と、を有する情報端末の演算手段に対し、前記撮像手段により生成された前記撮像画像データに、前記特徴形状部が含まれるか否かを判定する特徴判定手順と、前記特徴判定手順で前記撮像画像データに前記特徴形状部が含まれると判定されたことを契機に、前記複数のコンテンツ対象部位にそれぞれ係わる複数のコンテンツ又はコンテンツ関連情報を各コンテンツ対象部位にそれぞれ対応づけて記憶した記憶手段から前記複数のコンテンツ又はコンテンツ関連情報のうち、対応する前記コンテンツ対象部位が前記撮像画像データに含まれるものを少なくとも取得するコンテンツ取得手順と、前記撮像手段により生成された前記撮像画像データの前記コンテンツ対象部位に対し、前記コンテンツ取得手段により取得された当該コンテンツ対象部位に対応した前記コンテンツ又はコンテンツ関連情報を付加して、付加後画像データを生成する画像生成手順と、前記画像生成手順で生成された前記付加後画像データを表示手段に表示する表示制御手順と、を実行させる。 In order to achieve the above object, the present invention captures at least a part of an external appearance or an external appearance image of a target device including at least one characteristic shape portion and a plurality of content target portions that are determined in advance. Whether or not the characteristic shape portion is included in the captured image data generated by the imaging unit with respect to the computing unit of the information terminal having an imaging unit that generates image data and a display unit that performs desired display And a plurality of contents or content related to each of the plurality of content target parts, when it is determined that the feature shape part is included in the captured image data in the feature determination procedure. Corresponding among the plurality of contents or content-related information from the storage means storing the information corresponding to each content target part The content acquisition procedure for acquiring at least the content target part included in the captured image data and the content target part of the captured image data generated by the imaging means acquired by the content acquisition means An image generation procedure for generating post-addition image data by adding the content or content-related information corresponding to the content target part, and a display for displaying the post-addition image data generated in the image generation procedure on a display means And a control procedure is executed.
本願発明の画像処理プログラムが実行される情報端末は、撮像手段と、表示手段と、記憶手段と、を備えている。そして、撮像手段で対象機器を撮像することにより、当該対象機器の撮像画像に対して所定のコンテンツ又は当該コンテンツに関連するコンテンツ関連情報（以下適宜、これらを総称して「コンテンツ等」という）等が付加された、新たな画像が生成され、表示手段において表示される。 The information terminal on which the image processing program of the present invention is executed includes an imaging unit, a display unit, and a storage unit. Then, by imaging the target device with the imaging unit, predetermined content or content-related information related to the content (hereinafter, collectively referred to as “content etc.” as appropriate) for the captured image of the target device, etc. A new image to which is added is generated and displayed on the display means.
すなわち、対象機器の外観又は外観像には、少なくとも１つの特徴形状部と、上記コンテンツ等がそれぞれ対応付けられる、所定の複数のコンテンツ対象部位が備えられている。また、複数の上記コンテンツ等は、それら複数のコンテンツ対象部位にそれぞれ固有に対応付けられた態様で記憶されている。 In other words, the external appearance or external appearance image of the target device includes a plurality of predetermined content target portions, each of which is associated with at least one characteristic shape portion and the content. In addition, the plurality of contents and the like are stored in a manner uniquely associated with each of the plurality of content target parts.
そして、本願発明の画像処理プログラムが上記演算手段で実行されると、まず特徴判定手順で、上記撮像手段の撮像により生成された撮像画像データの中に、上記特徴形状部が含まれるか否かが判定される。特徴形状部が含まれており上記判定が満たされた場合には、これを契機に、コンテンツ取得手順が実行される。すなわち、本願発明においては、対象機器の特徴形状部が撮像されることをトリガーとして、以降の各処理が順次行われることとなる。 When the image processing program of the present invention is executed by the arithmetic means, first, in the characteristic determination procedure, whether or not the characteristic shape portion is included in the captured image data generated by the imaging of the imaging means. Is determined. When the characteristic shape part is included and the above determination is satisfied, the content acquisition procedure is executed in response to this. That is, in the present invention, the subsequent processes are sequentially performed with the feature shape portion of the target device being imaged.
上記コンテンツ取得手順では、上記記憶手段に記憶された複数のコンテンツ等のうち、対応するコンテンツ対象部位が上記撮像画像データに含まれるもの（言い替えれば撮像手段の撮像視野範囲内にコンテンツ対象部位が存在するもの）が少なくとも取得される。その後、画像生成手順において、上記取得されたコンテンツ等を上記撮像画像データ中の対応するコンテンツ対象部位に付加した、新たな付加後画像データが生成される。これにより、上記撮像視野範囲内のコンテンツ対象部位にこれに対応するコンテンツ等が付加された新たな画像データが生成され、その後の表示制御手順において表示手段において表示される。 In the content acquisition procedure, among the plurality of contents stored in the storage unit, the corresponding content target part is included in the captured image data (in other words, the content target part exists within the imaging visual field range of the imaging unit) At least). Thereafter, in the image generation procedure, new post-addition image data is generated by adding the acquired content or the like to the corresponding content target portion in the captured image data. Thereby, new image data in which content corresponding to the content target portion within the imaging visual field range is added is generated and displayed on the display means in the subsequent display control procedure.
以上のようにして、本願発明においては、対象機器の外観又は外観像を撮像するだけで、その撮像画像中に含まれるコンテンツ対象部位ごとに、当該部位に対応する内容のコンテンツ等を、それぞれ併せて表示することができる。これにより、操作者は、対象機器の実物や対象機器の外観を表す写真・図等さえあれば、（特に取扱説明書の詳細を読まなくても）１つの対象機器の複数の部位に係わる機能、操作方法、警告等の各種情報を部位ごとに容易に知ることができ、利便性を向上することができる。 As described above, in the present invention, only the appearance or appearance image of the target device is captured, and the content corresponding to the part is included for each content target part included in the captured image. Can be displayed. This allows the operator to have functions related to multiple parts of a single target device as long as they have the actual target device and photographs / drawings that represent the appearance of the target device (especially without reading the details of the instruction manual). Various information such as operation methods and warnings can be easily known for each part, and convenience can be improved.
本発明によれば、対象機器の実物や対象機器の外観を表す写真・図等さえあれば、１つの対象機器の複数の部位に係わる機能、操作方法、警告等の各種情報を部位ごとに容易に知ることができ、利便性を向上することができる。 According to the present invention, various information such as functions, operation methods, warnings, and the like related to a plurality of parts of one target device can be easily obtained for each part as long as there is a photograph or a diagram representing the actual target device or the appearance of the target device. Can improve convenience.
先ず、図１において、本発明の撮像対象である印刷装置としてのラベル作成装置を説明する。ラベル作製装置（以下、単に「実機」とも称する）１０は、電源ボタン１１と、印刷ボタン１２と、各種テンキーや英字キー等の操作キー部１３と、文字入力時に入力文字等を表示する表示部１４と、入力した文字に基づくラベル印刷を実行した際にラベルをカットするためのラベルカットレバー１５と、を操作対象部位として備えている。なお、ラベル作製装置１０は、例えば、図示しないパーソナルコンピュータとの接続用のＵＳＢ接続部や電源接続部等を備え、常時は交換式の電池から電源供給されるようになっている。
First, referring to FIG. 1, a label producing apparatus as a printing apparatus which is an imaging target of the present invention will be described. A label production apparatus (hereinafter also simply referred to as “actual machine”) 10 includes a
また、ラベル作製装置１０は、例えば、販売時のパッケージや取扱説明書において、図２に示すように、簡易取扱説明書２０によって利用者に操作に関する情報等を認識可能としている。この簡易取扱説明書２０は、通常のラベル印刷時における必要最低限の操作に関する取扱説明書又は使用説明書で良く、例えば、電源投入（図２の左上）操作、文字入力操作（図２の右上）、印刷実行操作（図２の左下）、ラベルカット操作（図２の右下）等が印刷されている。ここで、取扱説明書には、例えば、直観的な操作を認識させるため、ラベル作製装置１０及び操作する手（又は指）の全部または一部を模した絵や写真を印刷しており、その他の情報等は印刷されていなくても良い。これにより、取扱説明説明書の記入情報の簡素化並びに頁数の削減に貢献することができる。
Further, for example, in the package or instruction manual at the time of sale, the
図３に示すように、情報端末３０には、例えば、スマートフォンが用いられている。この情報端末３０は、例えば、表面側に通話等のためのスピーカ部３１及びマイク部３２と、タッチパネル方式の液晶表示器等のタッチパネル部３３と、を有する。なお、情報端末３０の裏面側に撮像手段としてのカメラ部３４が設けられている。さらに、情報端末３０の内部には、通話やインターネット接続のための通信部（図示せず）、各種機能を実行するためのプラグラムを記憶したＲＯＭ（図示せず）、一時的な情報記録用のＲＡＭ（図示せず）、ＲＯＭに記憶したプログラムを実行するためのＣＰＵ（図示せず）等の公知の情報処理部を備えている。
As shown in FIG. 3, for example, a smartphone is used for the
情報端末３０のＲＯＭには、ラベル作製装置１０の特徴形状部や、コンテンツ又はコンテンツ関連情報及び上述した操作対象部位が操作されたときのラベル作成装置１０の動作挙動に係わる動画情報を各操作対象部位に対応づけて記憶している。また、情報端末３０のカメラ部３４は、撮像した画像をタッチパネル部３３に表示するようになっている。
In the ROM of the
これにより、ラベル作製装置１０や簡易取扱説明書２０は、例えば、図３に示すように、ラベル作製装置１０を情報端末３０のカメラ部３４で撮像することによって、ラベル作製装置１０の外観形状、各種ボタン１１，１２，１３、或いは表示部１４やラベルカットレバー１５の大きさ、位置、形状等を特徴形状部として識別し、その機種を特定したうえで各種ボタン１１，１２，１３、或いは表示部１４やラベルカットレバー１５の操作対象部位の説明等をタッチパネル部３３にＡＲ表示することができる。なお、ＡＲ表示技術そのものは公知の技術を用いている。
Thereby, the
具体的には、図４に示すように、情報端末３０のカメラ部３４で撮像したラベル作製装置１０の画像をタッチパネル部３３に表示している際に、その撮像対象とＲＯＭに記憶した特徴形状部をＣＰＵで比較し、撮像対象がＲＯＭに記憶した特徴形状部に含まれるとしたときに、ラベル作製装置１０として、タッチパネル部３３の表示外観上に直接文章を表示するデモのパターン（例えば、「電源ボタンを押して下さい」等）を示すコンテンツ３５を表示する。
Specifically, as shown in FIG. 4, when the image of the
また、情報端末３０のカメラ部３４で撮像したラベル作製装置１０の画像をタッチパネル部３３に表示している際に、その撮像対象とＲＯＭに記憶した特徴形状部とをＣＰＵで比較し、撮像対象がＲＯＭに記憶した特徴形状部に含まれているときに、ラベル作製装置１０として、表示外観上に対応する捜査対象部位からの引き出した引出線に加えて矩形枠等で囲った「ボタン名」等を表示してタップ待ちとするコンテンツ関連情報３６を表示する。
Further, when the image of the
なお、タップは、コンテンツ３５、コンテンツ関連情報３６、タッチパネル部３３に表示している各種ボタン１１，１２，１３等を利用することができる。
The tap can use the
この際、カメラ部３４のズーム機能や、情報端末３０をラベル作製装置１０に接近又は離間させることにより、タッチパネル部３３に表示している表示外観の大きさやコンテンツ関連情報３６等の表示サイズも変更することができる。
At this time, the zoom function of the
また、簡易取扱説明書２０を利用した場合には、ラベル作製装置１０の印刷画像に加え、操作状態を示す手や指等も特徴形状部として認識する。これにより、情報端末３０では、図５に示すように、カメラ部３４で撮像した状態そのものを特徴形状部として認識する。
In addition, when the
すなわち、情報端末３０のＲＯＭには、簡易取扱説明書２０の特徴形状部や、コンテンツ３５又はコンテンツ関連情報３６及び上述した操作対象部位が操作されたときのラベル作成装置１０の動作挙動に係わる動画情報を各操作対象部位に対応づけて記憶している。
That is, in the ROM of the
具体的には、図５に示すように、情報端末３０のカメラ部３４で撮像した画像をタッチパネル部３３に表示している際に、その撮像対象とＲＯＭに記憶した特徴形状部をＣＰＵで比較し、撮像対象がＲＯＭに記憶した特徴形状部に含まれるときに、図６に示すように、ラベル作製装置１０と手を模した絵や写真（以下、単に「外観像」とも称する）を、タッチパネル部３３の表示外観上に直接文章（例えば、「電源ボタンを押して下さい」等）を表示するデモのパターンを示すコンテンツ３５を表示する。
Specifically, as shown in FIG. 5, when an image captured by the
また、情報端末３０のカメラ部３４で撮像した画像をタッチパネル部３３に表示している際に、その撮像対象とＲＯＭに記憶した特徴形状部とをＣＰＵで比較し、撮像対象がＲＯＭに記憶した特徴形状部に含まれているときに、外観像を、表示外観上に対応する捜査対象部位から引き出した引出線に加えて矩形枠等で囲った「ボタン名」等を表示してタップ待ちとするコンテンツ関連情報３６を表示する。
Further, when an image captured by the
ここで、タッチパネル部３３には、例えば、日本語表示ボタン３３ａと英語表示ボタン３３ｂとが表示されている。これにより、ＣＰＵは、常時（又は初期設定）においては日本語によりコンテンツ３５やコンテンツ関連情報３６等を表示する。また、ＣＰＵは、日本語表示状態において、英語表示ボタン３３ｂをタップ操作すると、英語によるコンテンツ３５やコンテンツ関連情報３６の表示に切り替える。なお、ラベル作成装置１０が英語圏用の装置（形状や銘板）である場合、情報端末３０のＧＰＳ機能を利用して取得した現在位置の母国語が英語圏である場合、情報端末３０の言語設定が英語である場合、情報端末３０は、これらを切替補助情報として、初期設定又は自動的に切り替えて英語表示とする。
Here, on the
さらに、図７に示すように、コンテンツ関連情報３６は、タッチパネル部３３に表示した外観像のうち表示部１４に相当する部位に、直接文章（例えば、「電源ボタンを押して下さい」等）を一度に又はスクロールによるデモのパターンを示すコンテンツ３５を表示する。
Further, as shown in FIG. 7, the content related
また、図８に示すように、コンテンツ関連情報３６は、タッチパネル部３３に表示した外観像のうち、印刷実行ボタン１２に相当する部位を表示している場合に、図９に示すように、コンテンツ３５としての「印刷ボタン」やコンテンツ関連情報３６としての「印刷ボタンを押して下さい」、或いは印刷ボタン１２を模した外観像等をタップしたときには、図１０に示すように、あたかも印刷を実行しているように引き出されるラベルを模した動画情報３７を表示する。
Further, as shown in FIG. 8, the content related
さらに、図１１に示すように、コンテンツ関連情報３６は、タッチパネル部３３に表示した外観像のうち、ラベルカットレバー１４に相当する部位を表示している場合に、図１２に示すように、コンテンツ３５を表示する。このコンテンツ３５には、例えば、スピーカマーク３５ａが表示される。そして、このスピーカマーク３５ａをタップすると、コンテンツ３５と同じ内容の音声をスピーカ３１から出力する。
Further, as shown in FIG. 11, the content related
このように、予め定められた、特徴形状部及び操作対象部位（電源ボタン１１、印刷ボタン１２、操作キー部１３、表示部１４、ラベルカットレバー１５等）、を備えるラベル作製装置１０の外観（実機）又は簡易取扱説明書２０等の外観像の少なくとも一部を撮像して対応する撮像画像データを生成するカメラ部３４と、所望の操作機能及び所望の表示機能を備えたタッチパネル部３３と、を有する情報端末３０は、プログラムに基づいて各種処理を行うＣＰＵを備えている。
As described above, the appearance of the
以下、情報端末３０のＣＰＵによるメイン処理ルーチンを図１３を参照して説明する。
Hereinafter, a main processing routine by the CPU of the
先ず、情報端末３０のＣＰＵは、ＲＯＭに記憶したプログラムにより、ＡＲモードを起動する（ステップＳ１）。
First, the CPU of the
次に、情報端末３０のＣＰＵは、タッチパネル部３３をフルスクリーン表示とするための処理を含むＡＲモードの起動処理中であるスプラッシュスクリーン処理を実行する（ステップＳ２）。
Next, the CPU of the
情報端末３０のＣＰＵは、ＲＯＭに記憶した特徴形状部に関するデータを取得し、例えばＲＡＭに一時格納する（ステップＳ３）。なお、特徴形状部に関するデータをＲＡＭに一時記憶したのは、処理速度の確保のためであり、その必要が無い場合にはＲＯＭに記憶した特徴形状部に関するデータを直接利用する。
The CPU of the
情報端末３０のＣＰＵは、カメラ部３４を起動し（ステップＳ４）、カメラ部３４で撮像（リアルタイム）したデータから撮像画像データを生成してタッチパネル部３３に表示する（ステップＳ５）。
The CPU of the
情報端末３０のＣＰＵは、撮像画像データとＲＡＭに一時記憶した特徴形状部に関するデータとを比較して、特徴形状部が撮像画像データに含まれるか否かを判定する（ステップＳ６）。
The CPU of the
なお、このステップＳ６での比較判定は、特徴形状部が撮像画像データに含まれない場合には、カメラ部３４で撮像（リアルタイム）したデータから撮像画像データを生成してタッチパネル部３３に表示しつつ、継続して特徴形状部が撮像画像データに含まれるか否かを判定する。
In the comparison determination in step S6, when the feature shape portion is not included in the captured image data, the captured image data is generated from the data captured in real time by the
ここで、情報端末３０のＣＰＵは、特徴形状部が撮像画像データに含まれている場合には、対応する特徴形状部に含まれる操作対象部位のコンテンツ３５又はコンテンツ関連情報３６を取得する（ステップ７）。
Here, when the feature shape portion is included in the captured image data, the CPU of the
ここで、情報端末３０のＣＰＵは、タッチパネル部３３に、カメラ部３４で撮像したデータに基づく画像とコンテンツ３５又はコンテンツ関連情報３６をビデオファイルから作成されたアニメーション化した画像とで、ＡＲ表示する。
Here, the CPU of the
そして、このＡＲ表示状態において、情報端末３０のＣＰＵは、待機状態となる。なお、情報端末３０が移動された場合には、上述したステップＳ５以降のルーチンをリアルタイムで表示する。
In this AR display state, the CPU of the
次に、図１４に基づいて言語切り換えモードの説明をする。なお、この言語切り換えモードは、割り込みモードであって、ステップＳ９以降のルーチンにおいて、例えば、図６に示すように、日本語表示ボタン３３ａと英語表示ボタン３３ｂとが表示されているときに割り込み可能となっている。
Next, the language switching mode will be described with reference to FIG. This language switching mode is an interrupt mode, and can be interrupted when a
情報端末３０のＣＰＵは、言語切り換え、すなわち、英語表示ボタン３３ｂがタップされたことを認識すると（ステップＳ１１）、現在表示状態のコンテンツ３５又はコンテンツ関連情報３６の日本語表示を英語表示に切り替え（ステップＳ１２）、実質的にステップＳ９と同様の画像処理（３Ｄ表示）を行って（ステップＳ１３)、待機状態となる。
When the CPU of the
次に、図１５に基づいて、動画再生モードの説明をする。なお、この動画生成モードにおいても、割り込みモードであって、ステップＳ９以降のルーチンにおいて、例えば、図９に示すように、動画対象であるコンテンツ３５を表示しているときに、該当するコンテンツ３５や外観像上の印刷ボタン１２をタップしたときに割り込み可能となっている。
Next, the moving image playback mode will be described with reference to FIG. In this moving image generation mode, it is also an interrupt mode, and in the routine after step S9, for example, as shown in FIG. Interruption is possible when the
情報端末３０のＣＰＵは、動画対象であるコンテンツ３５又は印刷ボタン１２を表示しているときに、これらを操作対象部位としてタップされると（ステップＳ２１)，ＲＡＭ（又はＲＯＭ）から動画データを取得し（ステップＳ２２）、例えば、図１０に示すように、あたかも実際の印刷時のラベルが引き出されるような動画の表示を開始する（ステップＳ２３)。
When the CPU of the
情報端末３０のＣＰＵは、例えば、動画再生途中において、動画停止操作、例えば、動画対象であるコンテンツ３５又は印刷ボタン１２等の操作対象部位が再びタップされたか否かを監視し（ステップＳ２４）、タップされた場合には動画の再生を停止する（ステップＳ２５）。
The CPU of the
情報端末３０のＣＰＵは、例えば、動画再生途中において、動画停止操作、例えば、動画対象であるコンテンツ３５又は印刷ボタン１２等の操作対象部位が連続したダブルタップされたか否かを監視し（ステップＳ２６）、ダブルタップされた場合には該当する部分のみの全画面表示用の動画情報をＲＡＭから取得し（ステップＳ２７)，例えば、図１０の二点鎖線で囲む全画面表示（例えば、二点鎖線３３Ａで囲む範囲を拡大）に切り替えて動画の再生を継続する（ステップＳ２８）。
The CPU of the
そして、情報端末３０のＣＰＵは、動画再生が終了するまで、実質的にステップＳ２３又はステップＳ２８を待機し、動画再生が終了した場合には、ステップＳ１０の待機となる。また、ステップＳ２８の全画面表示において、動画再生中に再度のタップがあった場合、元の動画表示サイズに戻るようにすることもできる。
Then, the CPU of the
次に、図１６に基づいて音声出力モードの説明をする。なお、この音声出力モードは、割り込みモードであって、ステップＳ９以降のルーチンにおいて、例えば、図１２に示すように、スピーカボタン３５ａが表示されているときに割り込み可能となっている。
Next, the audio output mode will be described with reference to FIG. This audio output mode is an interrupt mode, and can be interrupted when the
情報端末３０のＣＰＵは、音声出力、すなわち、スピーカボタン３５ａがタップされたことを認識すると（ステップＳ３１）、図１２に示すように、現在表示状態のコンテンツ３５の日本語表示と同一の文字に対応する音声をスピーカ３１から出力して（ステップＳ３２)、待機状態となる。
When the CPU of the
ところで、上記実施の形態では、例えば、印刷ボタン１２に対応する画像をタッチパネル部３３に表示しているときに、「印刷ボタンを押して下さい」といったメッセージをコンテンツ３５として表示してタップ可能としたものを開示したが、そのメッセージ内容は、より詳細な操作内容等を表示することができる。
By the way, in the above embodiment, for example, when an image corresponding to the
例えば、上述したＵＳＢ接続部であれば、接続可能な機器（例えば、プリンタや複合機といったラベル作製以外の印刷装置やパーソナルコンピュータ等）の文字や画像を、電源接続部であれば、アダプタの入力（例えば、１００Ｖ〜２４０Ｖ）や出力（１８Ｖ）などの規格等の数値を表示することができる。 For example, in the case of the USB connection unit described above, characters and images of a connectable device (for example, a printer or a personal computer other than label production such as a printer or a multi-function device) are input. Numerical values such as standards (for example, 100V to 240V) and output (18V) can be displayed.
さらに、上記実施の形態では、ラベル作製装置１０の外側を対象としたが、カバーを取り外した状態の内部を対象とすることができる。例えば、電池やラベルカートリッジの交換方法情報、電池やラベルカートリッジの種類や番号といった商品情報、サーマルヘッドに対する危険情報（高温部分）といった各種情報をコンテンツ３５として表示することが可能である。
Furthermore, in the said embodiment, although the outside of the
このように、ＣＰＵは、カメラ部３４により生成された撮像画像データに、特徴形状部が含まれるか否かを判定し（ステップＳ６）、撮像画像データに特徴形状部が含まれると判定されたことを契機に、操作対象部位に係わるコンテンツ３５又はコンテンツ関連情報３６及び当該操作対象部位が操作されたときのラベル作製装置１０の動作挙動に係わる動画情報３７を当該操作対象部位に対応づけて記憶したＲＯＭから、対応する操作対象部位が撮像画像データに含まれるコンテンツ３５又はコンテンツ関連情報３６を取得し（ステップＳ７）、タッチパネル部３３の、コンテンツ３５又はコンテンツ関連情報３６に係わる操作対象部位を表示した表示領域に対し、操作者によるタップ操作が行われたか否かを判定するタップ判定手順（ステップＳ２１）と、タップ判定手順で表示領域に対しタップ操作が行われたと判定された場合に、ＲＯＭに記憶された、当該タップ操作に対応する動画情報３７を取得する動画取得手順（ステップＳ２２）と、動画取得手順で取得された動画情報３７を表示するようにタッチパネル部３３を制御する第１表示制御手順（ステップＳ２３）と、を実行する。
As described above, the CPU determines whether or not the feature shape portion is included in the captured image data generated by the camera unit 34 (step S6), and it is determined that the feature shape portion is included in the captured image data. In response to this, the
このように、本実施の形態の画像処理プログラムが実行される情報端末３０は、カメラ部３４と、タッチパネル部３３と、ＲＯＭと、を備えている。そして、カメラ部３４でラベル作製装置１０又は簡易取扱説明書２０を撮像することにより、ラベル作製装置１０又は簡易取扱説明書２０の撮像画像に対して所定のコンテンツ３５又はコンテンツ３５に関連するコンテンツ関連情報３６が付加された、新たな画像（ＡＲ）が生成され、タッチパネル部３３において表示される。
As described above, the
すなわち、ラベル作製装置１０の外観又は簡易取扱説明書２０の外観像には、ラベル作製装置１０の外観形状、各種ボタン１１，１２，１３、或いは表示部１４やラベルカットレバー１５の大きさ、位置、形状等の特徴形状部と、コンテンツ等３５，３６が対応付けられる各種ボタン１１，１２，１３ラベルカットレバー１５等の所定の操作対象部位とが備えられている。
That is, the appearance of the
また、情報端末３０のＲＯＭには、コンテンツ等３５，３６と、操作対象部位が操作されたときのラベル作製装置１０の動作挙動に係わる動画情報３７、例えば、操作対象部位が操作されたときに操作対象部位を含むラベル作製装置１０全体がどのように動作するかを表すものとが、操作対象部位に固有に対応付けられた態様で記憶されている。
The ROM of the
そして、本実施の形態の画像処理プログラムが情報端末３０のＣＰＵで実行されると、まずステップＳ６の特徴判定手順で、カメラ部３４の撮像により生成された撮像画像データの中に、特徴形状部が含まれるか否かが判定される。特徴形状部が含まれており判定が満たされた場合には、これを契機に、ステップＳ７のコンテンツ取得手順が実行される。
When the image processing program of the present embodiment is executed by the CPU of the
すなわち、本実施の形態においては、ラベル作製装置１０の特徴形状部が撮像されることをトリガーとして、以降の各処理が順次行われることとなる。
That is, in the present embodiment, the subsequent processes are sequentially performed with the image of the characteristic shape portion of the
すなわち、ステップＳ７のコンテンツ取得手順では、情報端末３０のＲＯＭに記憶された複数のコンテンツ等３５，３６のうち、対応する操作対象部位が撮像画像データに含まれるもの、言い替えればカメラ部３４の撮像視野範囲内に操作対象部位が存在するものが少なくとも取得される。
That is, in the content acquisition procedure of step S7, the corresponding operation target part is included in the captured image data among the plurality of
そして、タッチパネル部３３の、操作対象部位の表示領域を操作者がタップ操作すると、ステップＳ２１のタップ判定手順でタップ操作が行われた旨の判定が行われる。すると、その後のステップＳ２２の動画取得手順で、前述のように情報端末３０のＲＯＭに記憶されていたタップ操作に対応する動画情報が取得され、ステップＳ２３の第１表示制御手順でその動画情報がタッチパネル部３３において表示される。
Then, when the operator taps the display area of the operation target part of the
以上のようにして、本実施の形態においては、ラベル作製装置１０の外観又は簡易取扱説明書２０の外観像を撮像することで、その撮像画像中に含まれる操作対象部位に、対応する内容のコンテンツ等３５，３６を併せて表示することができる。さらに、その操作対象部位にタップ操作を行うことで、現実のラベル作製装置１０の動作と同様の動作挙動をタッチパネル部３３上に表示しシミュレーションすることができる。
As described above, in the present embodiment, by capturing an appearance image of the
これにより、操作者は、ラベル作製装置１０の実物やラベル作製装置１０の外観を表す写真・図等（簡易取扱説明書２０）さえあれば、特に取扱説明書の詳細を読まなくてもラベル作製装置１０の操作対象部位の機能、操作方法、警告等の各種情報、及び、その操作対象部位を操作したときの動作挙動を、容易かつわかりやすく知ることができる。この結果、操作者の利便性を向上することができる。
As a result, the operator can prepare the label without reading the details of the instruction manual, as long as the actual
また、カメラ部３４により生成された撮像画像データの操作対象部位に対し、情報端末３０のＣＰＵにより取得された操作対象部位に対応したコンテンツ３５又はコンテンツ関連情報３６を付加して、付加後画像データを生成するステップＳ８の画像生成手順と、ステップＳ８の画像生成手順で生成された付加後画像データを表示するようにタッチパネル部３３を制御するステップＳ２８の第２表示制御手順（ステップＳ２８）と、を備え、ステップＳ２６のタップ判定手順では、付加後画像データを表示したタッチパネル部３３の、コンテンツ３５又はコンテンツ関連情報３６に係わる操作対象部位を表示した表示領域に対し、操作者によるタップ操作が行われたか否かを判定し、ステップＳ２３の第１表示制御手順は、ステップＳ８の画像生成手順で生成されステップＳ２８の第２表示制御手順で表示された付加後画像データに代えて、ステップＳ２２の動画取得手順で取得された動画情報を表示するようにタッチパネル部３３を制御する。
Further,
ステップＳ７のコンテンツ取得手順では、情報端末３０のＲＯＭに記憶された複数のコンテンツ等３５，３６のうち、対応する操作対象部位が撮像画像データに含まれるもの、言い替えればカメラ部３４の撮像視野範囲内に操作対象部位が存在するものが少なくとも取得される。
In the content acquisition procedure of step S7, the corresponding operation target part is included in the captured image data among the plurality of
その後、ステップＳ８の画像生成手順において、取得されたコンテンツ等３５，３６を撮像画像データ中の対応する操作対象部位に付加した、新たな付加後画像データが生成される。これにより、撮像視野範囲内の操作対象部位にこれに対応するコンテンツ等３５，３６が付加された新たな画像データが生成され、その後のステップＳ２８の第２表示制御手順においてタッチパネル部３３において表示される。
Thereafter, in the image generation procedure in step S8, new post-addition image data is generated by adding the acquired
そして、コンテンツ等３５，３６付きで操作対象部位を表示したタッチパネル部３３の、操作対象部位の表示領域を操作者がタップ操作すると、ステップＳ２１のタップ判定手順でタップ操作が行われた旨の判定が行われる。すると、その後のステップＳ２２の動画取得手順で、前述のように情報端末３０のＲＯＭに記憶されていたタップ操作に対応する動画情報が取得され、ステップＳ２３の第１表示制御手順でその動画情報がタッチパネル部３３において表示される。
Then, when the operator taps the display area of the operation target part of the
さらに、ステップＳ２２の動画取得手順は、タップ操作に係わる操作対象部位が、操作者が印刷物作成を指示するための印刷ボタン１２（に対応する画像）であった場合には、ラベル作製装置１０による印刷物作成及び印刷物排出の挙動を含む動画情報を取得する。
Furthermore, the moving image acquisition procedure of step S22 is performed by the
これにより、操作者は、実際にラベル作製装置１０を動作させなくても、印刷物作成挙動や印刷物排出挙動をタッチパネル部３３上でシミュレーションすることができる。この結果、操作者の利便性を確実に向上することができる。
Thereby, the operator can simulate the printed matter creation behavior and the printed matter discharge behavior on the
また、例えば、店頭において、パッケージに印刷された写真を利用して印刷のシミュレーションを行うことで、印刷速度の確認等を行うことができるといったように、デモンストレーション用の機器の代用としての利用も可能となる。 In addition, for example, it can be used as a substitute for demonstration equipment, such as checking the printing speed by performing a printing simulation using a photograph printed on the package at the store. It becomes.
また、本実施の形態の情報端末３０のＣＰＵは、カメラ部３４により生成された撮像画像データに、特徴形状部が含まれるか否かを判定するステップＳ６の特徴判定手順と、ステップＳ６の特徴判定手順で撮像画像データに特徴形状部が含まれると判定されたことを契機に、複数のコンテンツ対象部位にそれぞれ係わる複数のコンテンツ３５又はコンテンツ関連情報３６を各コンテンツ対象部位にそれぞれ対応づけて記憶した情報端末３０のＲＯＭから複数のコンテンツ３５又はコンテンツ関連情報３６のうち、対応するコンテンツ対象部位が撮像画像データに含まれるものを少なくとも取得するステップＳ７のコンテンツ取得手順と、カメラ部３４により生成された撮像画像データのコンテンツ対象部位に対し、情報端末３０のＣＰＵにより取得されたコンテンツ対象部位に対応したコンテンツ３５又はコンテンツ関連情報３６を付加して、付加後画像データを生成するステップＳ８の画像生成手順と、ステップＳ８の画像生成手順で生成された付加後画像データをタッチパネル部３３に表示するステップＳ９の表示制御手順と、を実行する。
In addition, the CPU of the
本実施の形態の画像処理プログラムが実行される情報端末３０は、カメラ部３４と、タッチパネル部３３と、ＲＯＭと、を備えている。そして、カメラ部３４でラベル作製装置１０の外観又は簡易取扱説明書２０の外観像を撮像することにより、ラベル作製装置１０の撮像画像に対して所定のコンテンツ３５又はコンテンツ３５に関連するコンテンツ関連情報３６等が付加された、新たな画像が生成され、タッチパネル部３３において表示される。
The
すなわち、ラベル作製装置１０の外観又は簡易取扱説明書２０の外観像には、少なくとも１つの特徴形状部と、コンテンツ等３５，３６がそれぞれ対応付けられる、所定の複数のコンテンツ対象部位とが備えられている。また、複数のコンテンツ等３５，３６は、それら複数のコンテンツ対象部位にそれぞれ固有に対応付けられた態様で情報端末３０のＲＯＭに記憶されている。
That is, the appearance of the
そして、本実施の形態の画像処理プログラムが情報端末３０のＣＰＵで実行されると、まずステップＳ６の特徴判定手順で、カメラ部３４の撮像により生成された撮像画像データの中に、特徴形状部が含まれるか否かが判定される。
When the image processing program of the present embodiment is executed by the CPU of the
特徴形状部が含まれているとの判定が満たされた場合には、これを契機に、ステップＳ７のコンテンツ取得手順が実行される。すなわち、本実施の形態においては、ラベル作製装置１０の特徴形状部が撮像されることをトリガーとして、以降の各処理が順次行われることとなる。
When the determination that the feature shape portion is included is satisfied, the content acquisition procedure of step S7 is executed with this as a trigger. That is, in the present embodiment, the subsequent processes are sequentially performed with the image of the characteristic shape portion of the
ステップＳ７のコンテンツ取得手順では、情報端末３０のＲＯＭに記憶された複数のコンテンツ等３５，３６のうち、対応するコンテンツ対象部位が撮像画像データに含まれるもの、言い替えればカメラ部３４の撮像視野範囲内にコンテンツ対象部位が存在するものが少なくとも取得される。
In the content acquisition procedure of step S7, the corresponding content target part is included in the captured image data among the plurality of
その後、ステップＳ８の画像生成手順において、取得されたコンテンツ等３５，３６を撮像画像データ中の対応するコンテンツ対象部位に付加した、新たな付加後画像データが生成される。
Thereafter, in the image generation procedure of step S8, new post-addition image data is generated by adding the acquired
これにより、撮像視野範囲内のコンテンツ対象部位にこれに対応するコンテンツ等３５，３６が付加された新たな画像データが生成され、その後のステップＳ９の表示制御手順においてタッチパネル部３３において表示される。
As a result, new image data in which the
以上のようにして、本実施の形態においては、ラベル作製装置１０の外観又は簡易取扱説明書２０の外観像を撮像するだけで、その撮像画像中に含まれるコンテンツ対象部位ごとに、部位に対応する内容のコンテンツ等３５，３６を、それぞれ併せて表示することができる。
As described above, in the present embodiment, only the appearance of the
これにより、操作者は、ラベル作製装置１０の実物やラベル作製装置１０の外観を表す写真・図等さえあれば、（特に取扱説明書の詳細を読まなくても）１つのラベル作製装置１０の複数の部位に係わる機能、操作方法、警告等の各種情報を部位ごとに容易に知ることができ、利便性を向上することができる。
As a result, the operator has only one photograph of the
また、ステップＳ８の画像生成手順は、カメラ部３４により生成された撮像画像データのコンテンツ対象部位に対し、コンテンツ関連情報３６としてのコンテンツ対象部位の名称を含み、かつ操作者がタップ操作可能な、タップボタンを付加した付加後画像データ（コンテンツ等３５，３６や印刷ボタン１２の画像）を生成する。
The image generation procedure in step S8 includes the name of the content target part as the content related
これにより、撮像視野範囲内にコンテンツ対象部位の名称表示を兼ねたタップボタンを表示しておき、そのタップボタンがさらにタップ操作されたときにコンテンツ３５の内容自体が詳細に表示される、という構成とすることができる。 Thereby, a tap button that also serves as a name display of the content target part is displayed in the imaging field of view, and the content itself is displayed in detail when the tap button is further tapped. It can be.
したがって、コンテンツ３５の内容が比較的長文である場合等、コンテンツ３５の内容を撮像視野内のコンテンツ対象部位に全文表示することが困難な場合に、特に有効である。
Therefore, this is particularly effective when it is difficult to display the full text of the
さらに、ステップＳ８の画像生成手順は、カメラ部３４により生成された撮像画像データの時間的変化（例えば、撮影部位が左右にずれて視野が変わる場合）に係わらず、コンテンツ３５又はコンテンツ関連情報３６とこれに対応するコンテンツ対象部位との位置関係が、略一定に保たれるように、付加後画像データをリアルタイムで生成する。
Furthermore, the image generation procedure of step S8 is the
これにより、カメラ部３４による撮影視野が変わり、撮影視野内におけるコンテンツ対象部位が動いたとしても、コンテンツ対象部位のコンテンツ等３５，３６も同期して一緒に動く。この結果、タッチパネル部３３において表示されているコンテンツ対象部位とコンテンツ等３５，３６との一体感を損なわずに維持することができる。
As a result, the field of view taken by the
また、ステップＳ７のコンテンツ取得手順は、コンテンツ対象部位が操作者により操作される***作部（印刷ボタン１２やラベルカットレバー１５等）である場合には、***作部の操作方法（例えば、ラベルカットレバー１５の場合）又は機能（例えば、印刷ボタン１２）を含むコンテンツ３５又はコンテンツ関連情報３６を取得し、コンテンツ対象部位が他機器との接続部（ＵＳＢや電源用のコネクタ等）である場合には、接続可能な機器情報を含むコンテンツ３５又はコンテンツ関連情報３６を取得し、コンテンツ対象部位が要注意部位（カッタやサーマルヘッド）である場合には、要注意警告を含むコンテンツ３５又はコンテンツ関連情報３６を取得する。
In addition, the content acquisition procedure in step S7 is the operation method (for example, label) of the operated part when the content target part is an operated part (such as the
これにより、撮像視野に***作部（例えば、各種操作レバーや開閉カバーや蓋やつまみ等）が含まれるときには***作部の操作方法や機能を附記して表示することができ、撮像視野に接続部（ＵＳＢや電源用のコネクタ等）が含まれるときには、その接続部が接続可能な機器名称等を附記して表示することができ、撮像視野に要注意部位（発熱部分や刃物部分等）が含まれるときには部位が要注意である旨の警告を附記して表示することができる。この結果、確実に利便性を向上することができる。 As a result, when the operation field (such as various operation levers, opening / closing covers, lids, knobs, etc.) is included in the imaging field, the operation method and function of the operation area can be added and displayed. Part (USB, power supply connector, etc.) can be displayed with the name of the device that can be connected to the connection part, etc. When included, a warning indicating that the part needs attention can be added and displayed. As a result, convenience can be improved with certainty.
本実施の形態では、予め定められた、特徴形状部及びコンテンツ対象部位（操作レバー等，キーＳＷ，コネクタ，危険部分）、を備えるラベル作製装置１０の外観（実機）又は簡易取扱説明書２０の外観像（取説に印刷された機器の絵や写真）の少なくとも一部を撮像して対応する撮像画像データを生成するカメラ部３４と、所望の表示を行うタッチパネル部３３と、操作者が所望の操作を行うための操作手段と、を有する情報端末３０のＣＰＵに対し、カメラ部３４により生成された撮像画像データに、特徴形状部が含まれるか否かを判定するステップＳ６の特徴判定手順と、ステップＳ６の特徴判定手順で撮像画像データに特徴形状部が含まれると判定されたことを契機に、複数種類の言語ごとに用意されたコンテンツ対象部位に係わるコンテンツ３５又はコンテンツ関連情報３６をコンテンツ対象部位（操作ボタン，キーＳＷ，コネクタ，危険部分）に対応づけて記憶した情報端末３０のＲＯＭから、対応するコンテンツ対象部位が撮像画像データに含まれるコンテンツ３５又はコンテンツ関連情報３６を取得するステップＳ７のコンテンツ取得手順と、カメラ部３４により生成された撮像画像データのコンテンツ対象部位に対し、情報端末３０のＣＰＵにより取得されたコンテンツ対象部位に対応したコンテンツ３５又はコンテンツ関連情報３６を付加して、付加後画像データを生成するステップＳ８の画像生成手順と、ステップＳ８の画像生成手順で付加後画像データの生成のために付加されるコンテンツ３５又はコンテンツ関連情報３６の言語種類を選択的に切り替えるステップＳ１１の言語切替手順と、ステップＳ８の画像生成手順で生成された付加後画像データをタッチパネル部３３に表示するステップＳ９の表示制御手順と、を実行させる。
In the present embodiment, the appearance (actual machine) of the
本実施の形態の画像処理プログラムが実行される情報端末３０は、カメラ部３４と、タッチパネル部３３と、ＲＯＭと、を備えている。そして、カメラ部３４でラベル作製装置１０の外観又は簡易取扱説明書２０の外観像を撮像することにより、ラベル作製装置１０の撮像画像に対して所定のコンテンツ３５又はコンテンツ３５に関連するコンテンツ関連情報３６が付加された、新たな画像が生成され、タッチパネル部３３において表示される。
The
すなわち、ラベル作製装置１０の外観又は簡易取扱説明書２０の外観像には、特徴形状部と、コンテンツ等３５，３６が対応付けられる所定のコンテンツ対象部位が備えられている。また、コンテンツ等３５，３６は、複数種類の言語ごとにそれぞれ用意されており、コンテンツ対象部位に固有に対応付けられた態様で記憶されている。
In other words, the appearance of the
そして、本実施の形態の画像処理プログラムが情報端末３０のＣＰＵで実行されると、まずステップＳ６の特徴判定手順で、カメラ部３４の撮像により生成された撮像画像データの中に、特徴形状部が含まれるか否かが判定される。
When the image processing program of the present embodiment is executed by the CPU of the
特徴形状部が含まれており判定が満たされた場合には、これを契機に、ステップＳ７のコンテンツ取得手順が実行される。すなわち、本実施の形態においては、ラベル作製装置１０の特徴形状部が撮像されることをトリガーとして、以降の各処理が順次行われることとなる。
When the feature shape portion is included and the determination is satisfied, the content acquisition procedure of step S7 is executed in response to this. That is, in the present embodiment, the subsequent processes are sequentially performed with the image of the characteristic shape portion of the
ステップＳ７のコンテンツ取得手順では、情報端末３０のＲＯＭに記憶された複数のコンテンツ等３５，３６のうち、対応するコンテンツ対象部位が撮像画像データに含まれるもの、言い替えればカメラ部３４の撮像視野範囲内にコンテンツ対象部位が存在するものが少なくとも取得される。
In the content acquisition procedure of step S7, the corresponding content target part is included in the captured image data among the plurality of
その後、ステップＳ８の画像生成手順において、取得されたコンテンツ等３５，３６を撮像画像データ中の対応するコンテンツ対象部位に付加した、新たな付加後画像データが生成される。
Thereafter, in the image generation procedure of step S8, new post-addition image data is generated by adding the acquired
これにより、撮像視野範囲内のコンテンツ対象部位にこれに対応するコンテンツ等３５，３６が付加された新たな画像データが生成され、その後のステップＳ９の表示制御手順においてタッチパネル部３３において表示される。
As a result, new image data in which the
その際、付加後画像データの生成のために付加されるコンテンツ等３５，３６の言語種類が、ステップＳ１１の言語切替手順によって選択的に切り替えられる。したがって、タッチパネル部３３において表示される新たな画像データ中のコンテンツ等３５，３６が、複数種類の言語のうちのいずれかに適宜に選択的に切り替え可能である。
At this time, the language types of the
以上のようにして、本実施の形態においては、ラベル作製装置１０の外観又は簡易取扱説明書２０の外観像を撮像するだけで、その撮像画像中に含まれるコンテンツ対象部位に、対応する内容のコンテンツ等３５，３６を併せて表示することができる。
As described above, in the present embodiment, only the appearance of the
これにより、操作者は、ラベル作製装置１０の実物やラベル作製装置１０の外観を表す写真・図等さえあれば、特に取扱説明書の詳細を読まなくてもラベル作製装置１０のコンテンツ対象部位の機能、操作方法、警告等の各種情報を容易に知ることができる。
As a result, the operator can identify the content target portion of the
また、その際、コンテンツ等３５，３６の表示を、複数種類の言語の中から適宜に選択された言語で行うことにより、例えば操作者にとって最も理解しやすい言語で表示を行うことができ、利便性を向上することができる。
At that time, by displaying the
また、ステップＳ１１の言語切替手順は、操作手段における操作者の切替操作に応じて、コンテンツ３５又はコンテンツ関連情報３６の言語種類を選択的に切り替えることができる。
In addition, the language switching procedure in step S11 can selectively switch the language type of the
これにより、操作者の意思によって選択された言語でコンテンツ等３５，３６の表示を行うことができるので、操作者の利便性を確実に向上することができる。
Thereby, since the
また、情報端末３０のＣＰＵに対し、ステップＳ１１の言語切替手順における切替のための切替補助情報（言語設定情報；銘板画像データ；ＧＰＳ位置情報）をさらに実行させ、ステップＳ１１の言語切替手順は、切替補助情報の内容に応じて、コンテンツ３５又はコンテンツ関連情報３６の言語種類を選択的に切り替える。
Further, the CPU of the
本実施の形態においては、例えば、情報端末３０における言語設定情報や、撮像画像データのラベル作製装置１０の外観又は簡易取扱説明書２０の外観像に含まれる文字（例えばロゴや銘板等）の言語情報や、情報端末３０が取得した位置情報（例えばＧＰＳ機能により取得されたもの）、等の切替補助情報に基づき、ステップＳ１１の言語切替手順においてコンテンツ等３５，３６の言語種類の切り替えが自動的に行われる。これにより、操作者が手動操作で言語の選択を行う必要なく、適正な言語でコンテンツ等３５，３６の表示を行うことができるので、操作者の利便性を確実に向上することができる。
In the present embodiment, for example, language setting information in the
また、ステップＳ１１の言語切替手順は、切替補助情報としての、情報端末３０における言語設定情報、撮像画像データのラベル作製装置１０の外観又は簡易取扱説明書２０の外観像に含まれる文字（ｅｘ．銘板）の言語情報、及び、情報端末３０が取得した位置情報、のうち少なくとも１つに応じて、コンテンツ３５又はコンテンツ関連情報３６の言語種類を選択的に切り替える。
The language switching procedure in step S11 includes language setting information in the
これにより、操作者が手動操作で言語の選択を行う必要なく、適正な言語でコンテンツ等３５，３６の表示を行うことができ、操作者の利便性を確実に向上することができる。
This makes it possible to display the
さらに、情報端末３０のＲＯＭは、複数の仕向地にそれぞれ対応した複数の仕様のラベル作製装置１０の各仕様（ｅｘ．ＵＳ仕様，ＪＰ仕様）ごとに、コンテンツ３５又はコンテンツ関連情報３６をコンテンツ対象部位に対応づけて記憶しており、ステップＳ７のコンテンツ取得手順は、情報端末３０のＲＯＭに記憶されたコンテンツ３５又はコンテンツ関連情報３６のうち、撮像画像データのラベル作製装置１０の外観又は簡易取扱説明書２０の外観像に含まれる文字（例えば、英語圏仕向け品銘板）の言語情報に対応した仕様であるもの（英語表示のコンテンツ３５）を取得し、ステップＳ１１の言語切替手順は、切替補助情報としての、情報端末３０における言語設定情報（日本人が使用する情報端末３０なので日本語設定）に応じて、コンテンツ３５又はコンテンツ関連情報３６の言語種類を選択的に切り替える。
Further, the ROM of the
本実施の形態においては、ラベル作製装置１０について、複数の仕向地にそれぞれ対応した複数の仕様（例えばアメリカ向け、日本向け等）が用意されている。そして、情報端末３０のＲＯＭは、各仕様ごとに、コンテンツ等３５，３６をコンテンツ対象部位に対応づけて記憶している。
In the present embodiment, a plurality of specifications (for example, for the United States, for Japan, etc.) corresponding to a plurality of destinations are prepared for the
そしてステップＳ７のコンテンツ取得手順では、撮像画像データに含まれるラベル作製装置１０の外観（又は簡易取扱説明書２０の外観像）の文字に基づき、その言語種類に対応した仕様に係わるコンテンツ等３５，３６が取得される。
Then, in the content acquisition procedure of step S7, based on the characters of the appearance of the label producing apparatus 10 (or the appearance image of the simplified instruction manual 20) included in the captured image data, the
その一方、ステップＳ１１の言語切替手順では、情報端末３０の言語設定に対応するように、取得されたコンテンツ等３５，３６の言語種類の切替が行われる。
On the other hand, in the language switching procedure in step S11, the language types of the acquired
これにより、例えば、アメリカに在住してアメリカ向け仕様のラベル作製装置１０を使用している日本人の操作者が自らの持つ情報端末３０（言語設定が日本語となっている）で撮像を行うことで、アメリカ向け仕様のラベル作製装置１０のコンテンツ等３５，３６を最初から日本語で表示することができる。このようなきめの細かいコンテンツ等３５，３６の表示を行うことで、操作者の利便性をさらに確実に向上することができる。
Thereby, for example, a Japanese operator who lives in the United States and uses the
なお、本発明は、上記実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。 The present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit and technical idea of the present invention.
さらに、本発明の印刷装置は、上記ラベル作製装置１０に限定されるものではなく、他の各種プリンタや複合機に対応することができる。また、同様に、情報端末３０においても、上述したスマートフォンに限定されず、他の携帯電話端末や各種タブレット端末等、撮像機能を備えたものであれば特に限定されるものではない。
Furthermore, the printing apparatus of the present invention is not limited to the
また、図１３、図１４、図１５、図１６に示すフローチャートは本発明を上記フローに示す手順に限定するものではなく、発明の趣旨及び技術的思想を逸脱しない範囲内で手順の追加・削除又は順番の変更等をしてもよい。 In addition, the flowcharts shown in FIGS. 13, 14, 15, and 16 do not limit the present invention to the procedures shown in the above-described flow. Alternatively, the order may be changed.
その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。 In addition, although not illustrated one by one, the present invention is implemented with various modifications within a range not departing from the gist thereof.
１０ ラベル作製装置（印刷装置）
１１ 電源ボタン（特徴形状部・操作対象部位）
１２ 印刷ボタン（特徴形状部・操作対象部位）
１３ 操作キー部（特徴形状部・操作対象部位）
１４ 表示部（特徴形状部・操作対象部位）
１５ ラベルカットレバー（特徴形状部・操作対象部位）
２０ 簡易取扱説明書
３０ 情報端末
３３ タッチパネル部
３４ カメラ部（撮像手段）
３５ コンテンツ
３６ コンテンツ関連情報
10 Label production equipment (printing equipment)
11 Power button (feature shape part / operation target part)
12 Print button (feature shape part / operation target part)
13 Operation key part (feature shape part / operation target part)
14 Display part (feature shape part / operation target part)
15 Label cut lever (feature shape / operation target part)
20
35
Claims (4)
前記撮像手段により生成された前記撮像画像データに、前記特徴形状部が含まれるか否かを判定する特徴判定手順と、
前記特徴判定手順で前記撮像画像データに前記特徴形状部が含まれると判定されたことを契機に、前記複数のコンテンツ対象部位にそれぞれ係わる複数のコンテンツ又はコンテンツ関連情報を各コンテンツ対象部位にそれぞれ対応づけて記憶した記憶手段から前記複数のコンテンツ又はコンテンツ関連情報のうち、対応する前記コンテンツ対象部位が前記撮像画像データに含まれるものを少なくとも取得するコンテンツ取得手順と、
前記撮像手段により生成された前記撮像画像データの前記コンテンツ対象部位に対し、前記コンテンツ取得手段により取得された当該コンテンツ対象部位に対応した前記コンテンツ又はコンテンツ関連情報を付加して、付加後画像データを生成する画像生成手順と、
前記画像生成手順で生成された前記付加後画像データを表示手段に表示する表示制御手順と、
を実行させるための画像処理プログラム。 An imaging unit that captures at least a part of an external appearance or an external appearance image of a target device including at least one feature shape portion and a plurality of content target portions, and a desired display Display means for performing, for the computing means of the information terminal having
A feature determination procedure for determining whether or not the feature shape portion is included in the captured image data generated by the imaging means;
When it is determined that the feature shape portion is included in the captured image data in the feature determination procedure, a plurality of contents or content-related information respectively associated with the plurality of content target parts are associated with each content target part. A content acquisition procedure for acquiring at least one of the plurality of contents or content-related information from the stored storage means, wherein the corresponding content target part is included in the captured image data;
The content or content related information corresponding to the content target part acquired by the content acquisition unit is added to the content target part of the captured image data generated by the imaging unit, and the post-addition image data is obtained. An image generation procedure to be generated;
A display control procedure for displaying the post-addition image data generated in the image generation procedure on a display means;
An image processing program for executing
前記画像生成手順は、
前記撮像手段により生成された前記撮像画像データの前記コンテンツ対象部位に対し、前記コンテンツ関連情報としての前記コンテンツ対象部位の名称を含み、かつ操作者がタップ操作可能な、タップボタンを付加した前記付加後画像データを生成する
ことを特徴とする画像処理プログラム。 The image processing program according to claim 1,
The image generation procedure includes:
The addition with a tap button added to the content target part of the captured image data generated by the imaging means, which includes the name of the content target part as the content-related information and can be tapped by an operator An image processing program for generating post-image data.
前記画像生成手順は、
前記撮像手段により生成された前記撮像画像データの時間的変化に係わらず、前記コンテンツ又はコンテンツ関連情報とこれに対応する前記コンテンツ対象部位との位置関係が、略一定に保たれるように、前記付加後画像データを生成する
ことを特徴とする画像処理プログラム。 In the image processing program according to claim 1 or 2,
The image generation procedure includes:
Regardless of the temporal change of the captured image data generated by the imaging means, the positional relationship between the content or content-related information and the content target portion corresponding to the content or the content-related portion is maintained substantially constant. An image processing program for generating post-addition image data.
前記コンテンツ取得手順は、
前記コンテンツ対象部位が操作者により操作される***作部である場合には、当該***作部の操作方法又は機能を含む前記コンテンツ又は前記コンテンツ関連情報を取得し、
前記コンテンツ対象部位が他機器との接続部である場合には、接続可能な機器情報を含む前記コンテンツ又は前記コンテンツ関連情報を取得し、
前記コンテンツ対象部位が要注意部位である場合には、要注意警告を含む前記コンテンツ又は前記コンテンツ関連情報を取得する
ことを特徴とする画像処理プログラム。 The image processing program according to any one of claims 1 to 3,
The content acquisition procedure includes:
When the content target part is an operated part operated by an operator, the content or the content related information including the operation method or function of the operated part is acquired,
When the content target part is a connection unit with another device, the content including the connectable device information or the content related information is acquired,
An image processing program that acquires the content or the content-related information including a caution warning when the content target portion is a caution portion.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013174957A JP6252735B2 (en) | 2013-08-26 | 2013-08-26 | Image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013174957A JP6252735B2 (en) | 2013-08-26 | 2013-08-26 | Image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015043538A true JP2015043538A (en) | 2015-03-05 |
| JP6252735B2 JP6252735B2 (en) | 2017-12-27 |
Family
ID=52696875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013174957A Active JP6252735B2 (en) | 2013-08-26 | 2013-08-26 | Image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6252735B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018159224A1 (en) * | 2017-03-03 | 2018-09-07 | 日本電気株式会社 | Operation assistance device, operation assistance method, and computer-readable recording medium |
| US10296280B2 (en) | 2016-05-31 | 2019-05-21 | Optim Corporation | Captured image sharing system, captured image sharing method and program |
| JP2021101291A (en) * | 2019-12-24 | 2021-07-08 | ブラザー工業株式会社 | Print information processing system, print information processing method, and server |
| JP2022133670A (en) * | 2021-03-02 | 2022-09-14 | アシュリオンジャパン・ホールディングス合同会社 | Information processing device, information processing method, and program |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004534963A (en) * | 2001-03-30 | 2004-11-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Methods, systems and devices for augmented reality |
| JP2009538487A (en) * | 2006-05-26 | 2009-11-05 | アイティーティー マニュファクチャリング エンタープライジーズ， インコーポレイテッド | System and method for displaying device maintenance and operation instructions using augmented reality |
| US20090322671A1 (en) * | 2008-06-04 | 2009-12-31 | Cybernet Systems Corporation | Touch screen augmented reality system and method |
| US20110164163A1 (en) * | 2010-01-05 | 2011-07-07 | Apple Inc. | Synchronized, interactive augmented reality displays for multifunction devices |
| JP2012096448A (en) * | 2010-11-01 | 2012-05-24 | Canon Inc | Image forming apparatus, method for controlling the same, and image display apparatus |
| US20130046592A1 (en) * | 2011-08-17 | 2013-02-21 | General Motors Llc | Mobile Application for Providing Vehicle Information to Users |
| US20130083057A1 (en) * | 2010-03-12 | 2013-04-04 | Fujitsu Limited | Installing operation support device and method |
| JP2013105404A (en) * | 2011-11-16 | 2013-05-30 | Zenrin Datacom Co Ltd | Apparatus operation support system, apparatus operation support terminal device, apparatus operation support server device, apparatus operation support method, and apparatus operation support program |
-
2013
- 2013-08-26 JP JP2013174957A patent/JP6252735B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004534963A (en) * | 2001-03-30 | 2004-11-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Methods, systems and devices for augmented reality |
| JP2009538487A (en) * | 2006-05-26 | 2009-11-05 | アイティーティー マニュファクチャリング エンタープライジーズ， インコーポレイテッド | System and method for displaying device maintenance and operation instructions using augmented reality |
| US20090322671A1 (en) * | 2008-06-04 | 2009-12-31 | Cybernet Systems Corporation | Touch screen augmented reality system and method |
| US20110164163A1 (en) * | 2010-01-05 | 2011-07-07 | Apple Inc. | Synchronized, interactive augmented reality displays for multifunction devices |
| US20130083057A1 (en) * | 2010-03-12 | 2013-04-04 | Fujitsu Limited | Installing operation support device and method |
| JP2012096448A (en) * | 2010-11-01 | 2012-05-24 | Canon Inc | Image forming apparatus, method for controlling the same, and image display apparatus |
| US20130046592A1 (en) * | 2011-08-17 | 2013-02-21 | General Motors Llc | Mobile Application for Providing Vehicle Information to Users |
| JP2013105404A (en) * | 2011-11-16 | 2013-05-30 | Zenrin Datacom Co Ltd | Apparatus operation support system, apparatus operation support terminal device, apparatus operation support server device, apparatus operation support method, and apparatus operation support program |
Non-Patent Citations (1)
| Title |
|---|
| MUNENORI TANIGUCHI, アウディのＡＲ自動車取説アプリEKURZINFO公開、警告灯やエンジンルーム内もIPHONEごしに情報表示, JPN6017020961, 19 August 2013 (2013-08-19), ISSN: 0003574370 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10296280B2 (en) | 2016-05-31 | 2019-05-21 | Optim Corporation | Captured image sharing system, captured image sharing method and program |
| WO2018159224A1 (en) * | 2017-03-03 | 2018-09-07 | 日本電気株式会社 | Operation assistance device, operation assistance method, and computer-readable recording medium |
| JPWO2018159224A1 (en) * | 2017-03-03 | 2020-05-14 | 日本電気株式会社 | Operation support device, operation support method, and program |
| US10915753B2 (en) | 2017-03-03 | 2021-02-09 | Nec Corporation | Operation assistance apparatus, operation assistance method, and computer readable recording medium |
| JP2021101291A (en) * | 2019-12-24 | 2021-07-08 | ブラザー工業株式会社 | Print information processing system, print information processing method, and server |
| JP7400445B2 (en) | 2019-12-24 | 2023-12-19 | ブラザー工業株式会社 | Print information processing system, print information processing method, and server |
| JP2022133670A (en) * | 2021-03-02 | 2022-09-14 | アシュリオンジャパン・ホールディングス合同会社 | Information processing device, information processing method, and program |
| JP7220241B2 (en) | 2021-03-02 | 2023-02-09 | アシュリオンジャパン・ホールディングス合同会社 | Information processing device, information processing method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6252735B2 (en) | 2017-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2015043180A (en) | Image processing program | |
| JP6052459B1 (en) | Information processing apparatus and program | |
| JP6252735B2 (en) | Image processing program | |
| JP6179653B1 (en) | Information processing apparatus and program | |
| JP6354653B2 (en) | Augmented reality operation system and augmented reality operation program | |
| CN104317541A (en) | Method and Equipment for displaying remark information of pictures in terminal | |
| JP6052458B1 (en) | Information processing apparatus and program | |
| KR101968977B1 (en) | Cartoon providing system, cartoon providing device and cartoon providing method | |
| JP6364721B2 (en) | Image processing program | |
| JP6146528B1 (en) | Information processing apparatus and program | |
| JP6160761B1 (en) | Information processing apparatus and program | |
| JP5557043B2 (en) | Virtual label display processing program | |
| JP2018056894A (en) | Image editing program and image editing device | |
| EP2869271A1 (en) | Method for composing image and mobile terminal programmed to perform the method | |
| CN115454365A (en) | Picture processing method and device, electronic equipment and medium | |
| JP2009290476A (en) | Image editing device, recording medium, and image editing method | |
| JP2007316832A (en) | Parts catalog display system and its control method | |
| US9374482B2 (en) | Image processing apparatus, method for displaying preview image, and recording medium | |
| JP2018005897A (en) | Information processing apparatus and program | |
| JP2005107045A (en) | Photographed image projector, image processing method for the same, and program | |
| JP6242770B2 (en) | Manufacturing management system, mobile terminal for manufacturing management, and manufacturing management method | |
| JP6102391B2 (en) | Printed material creating apparatus, printed material creating method, and printed material creating program | |
| US11167566B2 (en) | Device and method of apparatus handling description by the device | |
| JP2008176562A (en) | Electronic equipment and electronic equipment control program | |
| JP6455551B2 (en) | Information processing apparatus and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160706 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170607 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170801 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171101 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171114 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6252735 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |