JP7278761B2 - Image processing device, image processing method and program - Google Patents

Image processing device, image processing method and program Download PDF

Info

Publication number
JP7278761B2
JP7278761B2 JP2018230315A JP2018230315A JP7278761B2 JP 7278761 B2 JP7278761 B2 JP 7278761B2 JP 2018230315 A JP2018230315 A JP 2018230315A JP 2018230315 A JP2018230315 A JP 2018230315A JP 7278761 B2 JP7278761 B2 JP 7278761B2
Authority
JP
Japan
Prior art keywords
marker
image processing
area
image data
marks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018230315A
Other languages
Japanese (ja)
Other versions
JP2019185729A5 (en
JP2019185729A (en
Inventor
貴公 瀬戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to US16/358,308 priority Critical patent/US11190684B2/en
Publication of JP2019185729A publication Critical patent/JP2019185729A/en
Publication of JP2019185729A5 publication Critical patent/JP2019185729A5/ja
Application granted granted Critical
Publication of JP7278761B2 publication Critical patent/JP7278761B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、物体の形状を取得するための画像処理技術に関する。 The present invention relates to image processing technology for obtaining the shape of an object.

従来、カメラを用いて得られた撮像画像から特徴を抽出し、抽出した特徴に基づいて物体の形状を取得する技術が知られている。特許文献１は、点群が配置されているマーカーを物体に貼り付け、物体を撮像することによって得られた画像から上述した点群を特徴として抽出することによって、物体の曲率や傾きを算出する技術を開示している。 2. Description of the Related Art Conventionally, there is known a technique of extracting features from a captured image obtained using a camera and acquiring the shape of an object based on the extracted features. Patent document 1 calculates the curvature and inclination of an object by affixing a marker in which a point group is arranged to an object and extracting the above-described point group as a feature from an image obtained by capturing an image of the object. technology is disclosed.

特開２０１４－２２９２７４号公報JP 2014-229274 A

しかしながら、特許文献１のような従来の物体の形状取得方法において、物体の形状によっては、形状を取得するために抽出する特徴の間隔が不適切である場合があった。 However, in the conventional method for acquiring the shape of an object such as that disclosed in Patent Document 1, the interval between features extracted to acquire the shape may be inappropriate depending on the shape of the object.

本発明は、上記課題に鑑みてなされたものであり、物体の形状を取得するために適した間隔で、特徴を撮像画像から抽出するための画像処理を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide image processing for extracting features from a captured image at intervals suitable for obtaining the shape of an object.

上記課題を解決するために、本発明に係る画像処理装置は、物体の表面に配置するマーカーを基材上に形成するための画像データを生成する画像処理装置であって、前記マーカーにおける、前記物体の表面の形状を特定するために用いられる複数の印の間隔を、前記物体の表面の曲率に関する情報に基づいて決定する決定手段と、前記決定手段によって決定された前記印の間隔に基づいて、前記画像データを生成する生成手段と、を有し、前記決定手段は、前記マーカーが前記物体の表面に配置された場合の、前記物体の表面に沿った印間の距離と、印間の直線距離との差が閾値より小さくなるように、前記複数の印の間隔を決定することを特徴とする。 In order to solve the above problems, an image processing apparatus according to the present invention is an image processing apparatus that generates image data for forming on a base material a marker to be arranged on the surface of an object, the marker comprising: determining means for determining a distance between a plurality of marks used to identify the shape of the surface of the object based on information about the curvature of the surface of the object; and based on the distance between the marks determined by the determining means. and a generating means for generating the image data, wherein the determining means determines a distance between marks along the surface of the object when the markers are placed on the surface of the object and The interval between the plurality of marks is determined so that the difference from the straight line distance is smaller than a threshold .

本発明によれば、物体の形状を取得するために適した間隔で、特徴を撮像画像から抽出することができる。 According to the present invention, features can be extracted from the captured image at intervals suitable for obtaining the shape of the object.

画像処理システムの構成を示す図Diagram showing configuration of image processing system 画像処理装置の構成を示すブロック図Block diagram showing the configuration of an image processing device 画像処理装置が実行する処理を示すフローチャート4 is a flowchart showing processing executed by an image processing apparatus; マーカーの例を示す図Diagram showing examples of markers ユーザインターフェースの例を示す図A diagram showing an example of a user interface マーカーを新規登録するための処理を示すフローチャートFlowchart showing processing for registering a new marker メタデータの例を示す図Diagram showing example metadata 撮像画像に対する処理を示すフローチャートFlowchart showing processing for a captured image 形状を算出する処理を示すフローチャートFlowchart showing processing for calculating shape 形状データの一例を示す図Diagram showing an example of shape data マーカーの例を示す図Diagram showing examples of markers 印領域の配置を決定する方法を説明するための図Diagram for explaining how to determine the placement of the marking area 画像処理システムの構成を示す図Diagram showing configuration of image processing system 画像処理装置が実行する処理を示すフローチャート4 is a flowchart showing processing executed by an image processing apparatus; 画像処理装置が実行する処理を示すフローチャート4 is a flowchart showing processing executed by an image processing apparatus; ユーザインターフェースの例を示す図A diagram showing an example of a user interface ユーザインターフェースの例を示す図A diagram showing an example of a user interface マーカーの例を示す図Diagram showing examples of markers マーカーを新規登録するための処理を示すフローチャートFlowchart showing processing for registering a new marker マーカーの例を示す図Diagram showing examples of markers

以下、本発明の実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings. In addition, the following embodiments do not necessarily limit the present invention. Moreover, not all combinations of features described in the present embodiment are essential for the solution means of the present invention.

［第１実施形態］
本実施形態においては、立体物の形状を取得する。本実施形態における立体物は、曲面形状を有する車体である。 [First embodiment]
In this embodiment, the shape of a three-dimensional object is acquired. A three-dimensional object in this embodiment is a car body having a curved shape.

＜画像処理システムの構成＞
図１は、本実施形態における画像処理システムの構成を示す図である。画像処理システムは、撮像装置１０３と、画像処理装置１０４と、画像形成装置１０８と、から構成される。物体１０１は、形状を取得する対象物である。マーカー１０２は、物体１０１の形状を取得するために物体１０１の表面に貼り付けられるマーカーである。撮像装置１０３は、物体１０１の表面に貼り付けられたマーカー１０２を撮像範囲に含めるように、物体１０１を撮像するためのデジタルカメラである。本実施形態における物体１０１は、パーツごとに形状が異なる車体の外装や内装とするが、曲面形状を有する物体であれば物体１０１は上記一例に限られない。また、撮像装置１０３は、レンズとＣＭＯＳ等の４０００×２０００画素のエリアセンサとを備えており、Ｒ（レッド）値、Ｇ（グリーン）値、Ｂ（ブルー）値の各色８ビット、計２４ビットの色情報を画素ごとに有する画像を表す画像データを生成する。尚、撮像装置１０３は、撮像対象物の色情報の２次元分布を取得できるカメラであればどのようなものであってもよく、色数やビット深度、画素数などは上述した一例に限定されない。撮像装置１０３及び画像形成装置１０８はＵＳＢ（ユニバーサルシリアルバス）等のインターフェースを介して画像処理装置１０４に接続されている。画像処理装置１０４は、パーソナルコンピュータ等の汎用のコンピュータである。また、画像処理装置１０４には、ディスプレイ１０５、マウス１０６、キーボード１０７がＵＳＢ等のインターフェースを介して接続されている。画像形成装置１０８は、６００ｄｐｉの２値画像（モノクロ画像）を印刷可能なインクジェット方式のプリンタである。画像形成装置１０８は、シールやマグネット、吸着シートなど、物体１０１に貼り付けることが可能な素材の基材にマーカー１０２のパターンを記録する。尚、画像形成装置１０８は、記録媒体にマーカー１０２のパターンを記録できればどのようなものであってもよく、例えば、カラー画像を印刷可能なプリンタであってもよい。 <Configuration of image processing system>
FIG. 1 is a diagram showing the configuration of an image processing system according to this embodiment. The image processing system includes an imaging device 103 , an image processing device 104 and an image forming device 108 . An object 101 is an object whose shape is to be acquired. A marker 102 is a marker attached to the surface of the object 101 to obtain the shape of the object 101 . The imaging device 103 is a digital camera for imaging the object 101 so that the marker 102 attached to the surface of the object 101 is included in the imaging range. The object 101 in this embodiment is an exterior or interior of a vehicle body having different shapes for each part, but the object 101 is not limited to the above example as long as it has a curved shape. In addition, the imaging device 103 includes a lens and a 4000×2000 pixel area sensor such as CMOS. image data representing an image having color information for each pixel. Note that the imaging device 103 may be any camera as long as it can acquire a two-dimensional distribution of color information of an imaging target, and the number of colors, bit depth, number of pixels, etc. are not limited to the above examples. . The imaging device 103 and the image forming device 108 are connected to the image processing device 104 via an interface such as USB (Universal Serial Bus). The image processing device 104 is a general-purpose computer such as a personal computer. A display 105, a mouse 106, and a keyboard 107 are connected to the image processing apparatus 104 via an interface such as USB. The image forming apparatus 108 is an inkjet printer capable of printing a 600 dpi binary image (monochrome image). The image forming apparatus 108 records the pattern of the marker 102 on a base material that can be attached to the object 101, such as a sticker, magnet, or adsorption sheet. Note that the image forming apparatus 108 may be of any type as long as it can record the pattern of the markers 102 on a recording medium. For example, it may be a printer capable of printing color images.

＜マーカー１０２＞
次に、マーカー１０２について詳細な説明を行う。図４は、マーカー１０２のレイアウトの一例を示す図である。フレーム領域４０１は黒色の領域であり、フレーム領域４０１上に各種パターンが配置される。また、印領域４０２は白色の円領域であり、撮像画像に基づいて物体１０１の形状を算出するために用いられる領域である。マーカー１０２は、複数の印領域４０２から構成されるパターンを含む領域を有する。複数の印領域４０２のそれぞれは、物体１０１における１点の位置を特定するための印である。印領域４０２は、フレーム領域４０１上に少なくとも３つ以上配置され、撮像画像における印領域４０２の歪みを特定することによって物体１０１の形状が算出される。図４においては、横方向に６個、縦方向に３個並ぶ計１８個の印領域４０２が設けられている。尚、被写界深度の影響等によって、撮像画像における印領域４０２のエッジにボケが発生した場合、印領域４０２が円形領域である場合は、円形領域の中心座標を２値化の閾値等のパラメータに依らずに安定して算出することができる。曲面を有する物体など、様々な方向から撮像することが望ましい場合は特に画像にボケが発生し易い。よって、印領域４０２の形状は、円形が望ましい。また、ＩＤコード領域４０３は、識別情報をコード化した領域である。識別情報は、マーカー１０２を識別するための情報であり、印領域４０２の配置に応じて割り振られた番号である。この識別番号と物体１０１における領域を特定する情報とを対応付けておくことにより、物体１０１においてどの領域の形状を取得したかを特定することができ、また、生成した形状データを容易に管理することができる。ＩＤコード領域４０３のパターンは、領域を８×８画素の計６４個のブロックに分割し、各ブロックを白と黒との２値で表現することによって、６４ビットの識別番号が表現可能なものを使用する。 <Marker 102>
Next, the marker 102 will be described in detail. FIG. 4 is a diagram showing an example layout of the markers 102. As shown in FIG. A frame area 401 is a black area, and various patterns are arranged on the frame area 401 . A marked area 402 is a white circular area, which is used to calculate the shape of the object 101 based on the captured image. Marker 102 has an area that includes a pattern of marking areas 402 . Each of the plurality of mark areas 402 is a mark for specifying the position of one point on object 101 . At least three or more mark areas 402 are arranged on the frame area 401, and the shape of the object 101 is calculated by specifying the distortion of the mark areas 402 in the captured image. In FIG. 4, a total of 18 mark areas 402 are provided, 6 in the horizontal direction and 3 in the vertical direction. Note that if the edge of the marked area 402 in the captured image is blurred due to the effect of the depth of field, etc., and if the marked area 402 is a circular area, the center coordinates of the circular area may be set as a threshold value for binarization or the like. It can be calculated stably without depending on parameters. When it is desired to capture images from various directions, such as an object having a curved surface, the image tends to be blurred. Therefore, the shape of the mark area 402 is preferably circular. An ID code area 403 is an area in which identification information is coded. The identification information is information for identifying the marker 102 and is a number assigned according to the placement of the mark area 402 . By associating this identification number with the information specifying the area of the object 101, it is possible to specify the shape of which area of the object 101 has been acquired, and to easily manage the generated shape data. be able to. The pattern of the ID code area 403 divides the area into a total of 64 blocks of 8×8 pixels, and expresses each block with a binary value of white and black, so that a 64-bit identification number can be expressed. to use.

印領域４０２の色は、フレーム領域４０１とのコントラストを大きくすることによって、撮像画像から印領域４０２を抽出する処理を高精度に行うことができる。ここでは、印領域４０２の色を白、フレーム領域４０１の色を黒とするが、これに限るものではない。例えば、フレーム領域４０１を透明とし、物体１０１の色に応じて印領域４０２の色を決定してもよい。 By increasing the contrast between the color of the mark area 402 and the frame area 401, the process of extracting the mark area 402 from the captured image can be performed with high accuracy. Here, the color of the mark area 402 is white and the color of the frame area 401 is black, but the color is not limited to this. For example, the frame area 401 may be transparent and the color of the mark area 402 may be determined according to the color of the object 101 .

マーカー１０２は、上述したレイアウトを、物体１０１の表面に合わせて自由に曲げることのできるフレキシブルな基材上に画像形成装置１０８を用いて印刷したものである。尚、基材はマグネットや吸着シートなど、貼ったり剥がしたりを繰り返すことのできる素材が望ましい。また、印刷に用いるインクやトナーなどの記録材を拡散性を有するマットな記録材とすることによって、光源や周囲の映り込みを低減することができるため、印領域４０２を高精度に抽出できるようになる。さらに、マーカー１０２は、マーカー１０２に皺ができないように、また、物体１０１の表面との間に隙間ができないように、貼り付けられることが望ましい。また、高精度に物体１０１の形状を取得するため、形状取得の対象領域において曲率半径が最も小さい方向に印領域４０２が密に並ぶように、対象領域にマーカー１０２が貼り付けられることが望ましい。 The marker 102 is obtained by printing the layout described above on a flexible base material that can be freely bent according to the surface of the object 101 using an image forming apparatus 108 . The base material is preferably a material such as a magnet or an adsorption sheet that can be repeatedly stuck and peeled off. In addition, by using a diffusive matte recording material such as ink or toner for printing, it is possible to reduce the reflection of the light source and surroundings, so that the mark area 402 can be extracted with high accuracy. become. Further, the marker 102 is desirably attached so that the marker 102 does not wrinkle and the surface of the object 101 does not leave a gap. Also, in order to obtain the shape of the object 101 with high accuracy, it is desirable that the marker 102 is attached to the target area so that the mark areas 402 are densely arranged in the direction of the smallest radius of curvature in the target area for shape acquisition.

＜画像処理装置１０４のハードウェア構成＞
図２（ａ）は、画像処理装置１０４のハードウェア構成を示すブロック図である。画像処理装置１０４は、ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３を備える。また、画像処理装置１０４は、ＶＣ（ビデオカード）１００４、汎用Ｉ／Ｆ（インターフェース）１００５、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１００６、ＮＩＣ（ネットワークインターフェースカード）１００７を備える。ＣＰＵ１００１は、ＲＡＭ１００３をワークメモリとして、ＲＯＭ１００２、ＨＤＤ（ハードディスクドライブ）１０１３などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１００１は、システムバス１００８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１００２やＨＤＤ１０１３などに格納されたプログラムコードがＲＡＭ１００３に展開され、ＣＰＵ１００１によって実行される。ＶＣ１００４には、ディスプレイ１０５が接続される。汎用Ｉ／Ｆ１００５には、シリアルバス１００９を介して、マウス１０６やキーボード１０７などの入力デバイス１０１０や撮像装置１０３、画像形成装置１０８が接続される。ＳＡＴＡＩ／Ｆ１００６には、シリアルバス１０１２を介して、ＨＤＤ１０１３や各種記録メディアの読み書きを行う汎用ドライブ１０１４が接続される。ＮＩＣ１００７は、外部装置との間で情報の入力及び出力を行う。ＣＰＵ１００１は、ＨＤＤ１０１３や汎用ドライブ１０１４にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ１００１は、プログラムによって提供されるＵＩ（ユーザインターフェース）をディスプレイ１０５に表示し、入力デバイス１０１０を介して受け付けるユーザ指示などの入力を受信する。 <Hardware Configuration of Image Processing Device 104>
FIG. 2A is a block diagram showing the hardware configuration of the image processing apparatus 104. As shown in FIG. The image processing device 104 has a CPU 1001 , a ROM 1002 and a RAM 1003 . The image processing apparatus 104 also includes a VC (video card) 1004 , general-purpose I/F (interface) 1005 , SATA (serial ATA) I/F 1006 , and NIC (network interface card) 1007 . The CPU 1001 uses the RAM 1003 as a work memory and executes an OS (operating system) and various programs stored in the ROM 1002, HDD (hard disk drive) 1013, and the like. Also, the CPU 1001 controls each component via the system bus 1008 . It should be noted that program codes stored in the ROM 1002, HDD 1013, etc. are developed in the RAM 1003 and executed by the CPU 1001 in the processing according to the flowcharts described later. A display 105 is connected to the VC 1004 . Input devices 1010 such as a mouse 106 and a keyboard 107 , an imaging device 103 , and an image forming device 108 are connected to the general-purpose I/F 1005 via a serial bus 1009 . The SATA I/F 1006 is connected via a serial bus 1012 to a general-purpose drive 1014 that reads from and writes to an HDD 1013 and various recording media. The NIC 1007 inputs and outputs information to and from an external device. The CPU 1001 uses various recording media mounted on the HDD 1013 and the general-purpose drive 1014 as storage locations for various data. The CPU 1001 displays a UI (user interface) provided by the program on the display 105 and receives inputs such as user instructions through the input device 1010 .

＜画像処理装置１０４の機能構成＞
図２（ｂ）は、画像処理装置１０４の機能構成を示すブロック図である。ＯＳ２０１は、オペレーティングシステムであり、入出力の制御、および、アプリケーションの起動や切り替え等を行う命令群である。また、デバイスドライバ２０２は、ＯＳ２０１に含まれるデバイスドライバであり、画像処理装置１０４に接続された撮像装置１０３、画像形成装置１０８、ディスプレイ１０５、マウス１０６、キーボード１０７等の機器を制御する命令群である。各種アプリケーションは、ＯＳ２０１に所定の命令を送ることにより、これらの機器を制御することが可能である。 <Functional Configuration of Image Processing Apparatus 104>
FIG. 2B is a block diagram showing the functional configuration of the image processing device 104. As shown in FIG. The OS 201 is an operating system, and is a group of instructions for controlling input/output and starting and switching applications. A device driver 202 is a device driver included in the OS 201, and is an instruction group for controlling devices such as the imaging device 103, the image forming device 108, the display 105, the mouse 106, and the keyboard 107 connected to the image processing device 104. be. Various applications can control these devices by sending predetermined commands to the OS 201 .

撮像アプリケーション２０３は、撮像装置１０３を用いた撮像を行い、撮像によって得られた画像データをＨＤＤ１０１３に保存する一連の操作を実現するための命令群である。具体的には、マウス１０６やキーボード１０７を介して入力されるユーザの指示に基づいて、撮像装置１０３のＩＳＯ感度、シャッター速度、絞り値等を変更する命令や、撮像実行命令、画像データの転送命令などをＯＳ２０１に送る。そして、その結果をディスプレイ１０５に表示する。 The imaging application 203 is a group of instructions for realizing a series of operations for performing imaging using the imaging device 103 and storing image data obtained by imaging in the HDD 1013 . Specifically, based on the user's instructions input via the mouse 106 or keyboard 107, an instruction to change the ISO sensitivity, shutter speed, aperture value, etc. of the imaging device 103, an imaging execution instruction, and image data transfer. A command or the like is sent to the OS 201 . Then, the result is displayed on the display 105 .

形状取得アプリケーション２０４は、マーカー１０２を作成するための命令群、及び、物体１０１の表面に貼り付けられたマーカー１０２を撮像することによって得られた撮像画像を処理し、物体１０１の形状を取得するための命令群である。形状取得アプリケーション２０４は、マーカー管理部２０５、マーカー作成部２０６、画像処理部２０７を有する。マーカー管理部２０５は、マーカー１０２の識別情報を管理するための命令群である。マーカー作成部２０６は、マーカー１０２を作成するための命令群である。画像処理部２０７は、物体１０１の表面に貼り付けられたマーカー１０２を撮像することによって得られた撮像画像を処理し、物体１０１の形状を取得するための命令群である。 The shape acquisition application 204 acquires the shape of the object 101 by processing the command group for creating the marker 102 and the captured image obtained by capturing the marker 102 attached to the surface of the object 101. It is a group of instructions for The shape acquisition application 204 has a marker management section 205 , a marker creation section 206 and an image processing section 207 . A marker management unit 205 is an instruction group for managing identification information of the marker 102 . A marker creation unit 206 is an instruction group for creating the marker 102 . The image processing unit 207 is a command group for processing a captured image obtained by capturing an image of the marker 102 attached to the surface of the object 101 and acquiring the shape of the object 101 .

マーカー作成部２０６は、レイアウト決定部２０８、メタデータ生成部２０９、形成制御部２１０を有する。レイアウト決定部２０８は、マーカー１０２における印領域４０２の配置などのレイアウトを決定する。メタデータ生成部２０９は、レイアウト決定部２０８が決定したレイアウトに基づいて、物体１０１の形状を算出するために用いるメタデータを生成する。形成制御部２１０は、画像形成装置１０８を制御して、レイアウト決定部２０８が決定したレイアウトのマーカー１０２を基材上に形成する。 The marker creation unit 206 has a layout determination unit 208 , a metadata generation unit 209 and a formation control unit 210 . A layout determination unit 208 determines the layout such as the arrangement of the mark area 402 on the marker 102 . A metadata generation unit 209 generates metadata used to calculate the shape of the object 101 based on the layout determined by the layout determination unit 208 . The formation control unit 210 controls the image forming apparatus 108 to form the markers 102 in the layout determined by the layout determination unit 208 on the substrate.

画像処理部２０７は、撮像画像データ取得部２１１、抽出部２１２、メタデータ取得部２１３、形状算出部２１４を有する。撮像画像データ取得部２１１は、物体１０１の表面に貼り付けられたマーカー１０２を撮像することによって得られた撮像画像データを取得する。抽出部２１２は、撮像画像においてマーカー１０２のＩＤコード領域４０３を抽出し、マーカー１０２の識別番号を読み取る。また、抽出部２１２は、特徴点として、撮像画像においてマーカー１０２の印領域４０２を抽出する。メタデータ取得部２１３は、識別番号に応じたメタデータを取得する。形状算出部２１４は、撮像画像データとメタデータとに基づいて、物体１０１の形状を算出し、算出した形状を表す形状データを生成する。 The image processing unit 207 has a captured image data acquisition unit 211 , an extraction unit 212 , a metadata acquisition unit 213 and a shape calculation unit 214 . The captured image data acquisition unit 211 acquires captured image data obtained by capturing an image of the marker 102 attached to the surface of the object 101 . The extraction unit 212 extracts the ID code area 403 of the marker 102 in the captured image and reads the identification number of the marker 102 . Also, the extraction unit 212 extracts the marked area 402 of the marker 102 in the captured image as a feature point. The metadata acquisition unit 213 acquires metadata corresponding to the identification number. The shape calculation unit 214 calculates the shape of the object 101 based on the captured image data and the metadata, and generates shape data representing the calculated shape.

＜画像処理システムが実行する処理＞
本実施形態における画像処理システムが実行する処理の流れを、図３のフローチャートを用いて説明する。以下、各ステップ（工程）は符号の前にＳをつけて表す。 <Processing executed by the image processing system>
The flow of processing executed by the image processing system according to this embodiment will be described with reference to the flowchart of FIG. Hereinafter, each step (process) is denoted by adding S in front of the symbol.

Ｓ３０１において、マーカー管理部２０５は、マーカーに関する情報をユーザに入力させるためのＵＩをディスプレイ１０５に表示し、入力された情報に基づいてマーカーを検索する。図５に、Ｓ３０１において表示するＵＩの一例を示す。ＵＩ７０１には、プルダウンボックス７０２及び７０５と、テキストボックス７０３、７０４、７０６と、ボタン７０７と、が配置されている。プルダウンボックス７０２は、使用する用紙（基材）のサイズをユーザに選択させるための領域である。プルダウンボックス７０２がユーザによって選択されると、画像形成装置１０８が印刷に使用できる用紙サイズの選択肢のリストが表示される。例えば、Ａ５、Ｂ５、Ａ４、Ｂ４などの選択肢である。選択肢のうちの１つがユーザによって選択されると、使用する用紙のサイズとしてプルダウンボックス７０２に表示される。テキストボックス７０３及び７０４は、図４に示したマーカー１０２における印領域４０２の横方向の間隔ΔＸと、縦方向の間隔ΔＹと、をそれぞれ決定するためのパラメータをユーザに入力させる領域である。テキストボックス７０３及び７０４がユーザによって選択されると、カーソルが表示され、キーボード１０７を介して入力された数値が表示される。ここで入力されるパラメータは、物体１０１においてマーカーを貼り付ける領域の、曲率が最小となる方向Ｘにおける曲率半径の数値と、方向Ｘに直交する方向Ｙの曲率半径の数値と、である。尚、ここで入力される曲率半径は、入力された曲率半径に基づいて作成されたマーカー１０２で形状取得が可能な最小の曲率半径である。このため、入力される曲率半径よりも大きな曲率半径を有する形状取得の対象に対しても、入力された曲率半径に基づいて作成されたマーカー１０２を使用した形状取得が可能である。 In S301, the marker management unit 205 displays on the display 105 a UI for allowing the user to input information about markers, and searches for markers based on the input information. FIG. 5 shows an example of the UI displayed in S301. The UI 701 has pull-down boxes 702 and 705 , text boxes 703 , 704 and 706 and a button 707 . A pull-down box 702 is an area for allowing the user to select the size of paper (base material) to be used. When pull-down box 702 is selected by the user, a list of paper size options that image forming device 108 can use for printing is displayed. For example, options such as A5, B5, A4, B4. When one of the options is selected by the user, it is displayed in pull-down box 702 as the paper size to be used. Text boxes 703 and 704 are areas for allowing the user to input parameters for determining the horizontal spacing ΔX and the vertical spacing ΔY of the marking areas 402 in the marker 102 shown in FIG. When the text boxes 703 and 704 are selected by the user, a cursor is displayed and the numerical value entered via the keyboard 107 is displayed. The parameters to be input here are the numerical value of the radius of curvature in the direction X in which the curvature of the region where the marker is attached on the object 101 is the minimum, and the numerical value of the radius of curvature in the direction Y orthogonal to the direction X. The radius of curvature input here is the minimum radius of curvature with which the shape can be obtained with the marker 102 created based on the radius of curvature that has been input. For this reason, it is possible to obtain the shape of an object having a radius of curvature larger than the input radius of curvature using the marker 102 created based on the input radius of curvature.

プルダウンボックス７０５は、図４に示したマーカー１０２におけるＩＤコード領域４０３の位置をユーザに選択させるための領域である。プルダウンボックス７０５がユーザによって選択されると、位置の選択肢のリストが表示される。例えば、上、右、左、下などの選択肢である。選択肢のうちの１つがユーザによって選択されると、ＩＤコード領域４０３の位置としてプルダウンボックス７０２に表示される。テキストボックス７０６は、物体１０１のパーツの名称を示したコメントなど、ユーザに自由にテキストを入力させるための領域である。ボタン７０７は、マーカー１０２の検索を開始するためのボタンである。ボタン７０７がユーザによって選択されると、既に登録されているマーカー１０２の中から、プルダウンボックス７０２、テキストボックス７０３及び７０４に入力された条件と近い登録情報を有するマーカーを検索する。具体的には、用紙サイズが同じ、かつ、登録されている曲率半径がテキストボックス７０３及び７０４において入力された曲率半径以下であり、テキストボックス７０３及び７０４において入力された曲率半径に最も近いマーカーを検索する。検索条件に該当するマーカーが登録されていた場合は、処理をＳ３０３に移行する。検索条件に該当するマーカーが登録されていない場合は、処理をＳ３０２に移行する。 A pull-down box 705 is an area for allowing the user to select the position of the ID code area 403 on the marker 102 shown in FIG. When pull-down box 705 is selected by the user, a list of location options is displayed. For example, the options are up, right, left, down, and so on. When one of the options is selected by the user, it is displayed in pull-down box 702 as the location of ID code area 403 . A text box 706 is an area for allowing the user to freely enter text such as a comment indicating the name of a part of the object 101 . A button 707 is a button for starting searching for the marker 102 . When the button 707 is selected by the user, the registered markers 102 are searched for markers having registration information similar to the conditions entered in the pull-down box 702 and the text boxes 703 and 704 . Specifically, the marker whose paper size is the same, whose registered radius of curvature is less than or equal to the radius of curvature input in the text boxes 703 and 704, and which is closest to the radius of curvature input in the text boxes 703 and 704 is selected. search for. If a marker matching the search condition is registered, the process proceeds to S303. If no marker corresponding to the search condition is registered, the process proceeds to S302.

Ｓ３０２において、マーカー作成部２０６は、Ｓ３０１において入力された情報に基づいて、マーカーを新規登録する。Ｓ３０２における処理の詳細は後述する。Ｓ３０３において、マーカー作成部２０６は、画像形成装置１０８を用いて、マーカー１０２を基材上に印刷する。具体的には、形成制御部２１０が、印刷対象のマーカーを表す画像データに基づいて、画像形成装置１０８を制御することによって、マーカー１０２を基材上に印刷する。Ｓ３０４において、撮像アプリケーション２０３は、ユーザからの撮像指示に応じて、物体１０１におけるマーカー１０２が貼り付けられた領域を撮像装置１０３を用いて撮像する。撮像によって得られた撮像画像データは、ＨＤＤ１０１３に送られ、保存される。Ｓ３０５において、画像処理部２０７は、Ｓ３０４において保存された撮像画像データが表す撮像画像に対して処理を行い、物体１０１における対象領域の形状を表す形状データを生成する。Ｓ３０５における処理の詳細は後述する。 In S302, the marker creating unit 206 newly registers a marker based on the information input in S301. Details of the processing in S302 will be described later. In S<b>303 , the marker creating unit 206 prints the marker 102 on the base material using the image forming apparatus 108 . Specifically, the formation control unit 210 prints the markers 102 on the base material by controlling the image forming apparatus 108 based on the image data representing the markers to be printed. In S<b>304 , the imaging application 203 uses the imaging device 103 to capture an image of the area of the object 101 to which the marker 102 is attached according to the imaging instruction from the user. Captured image data obtained by imaging is sent to and stored in the HDD 1013 . In S<b>305 , the image processing unit 207 processes the captured image represented by the captured image data saved in S<b>304 to generate shape data representing the shape of the target region of the object 101 . Details of the processing in S305 will be described later.

＜Ｓ３０２における処理＞
以下において、マーカー１０２を新規登録する処理（Ｓ３０２）の詳細を図６を用いて説明する。図６は、マーカー１０２を新規登録する処理の流れを示すフローチャートである。 <Process in S302>
Details of the processing (S302) for newly registering the marker 102 will be described below with reference to FIG. FIG. 6 is a flow chart showing the flow of processing for newly registering the marker 102 .

Ｓ８０１において、レイアウト決定部２０８は、マーカー１０２において印領域４０２を配置することが可能な範囲を算出する。具体的には、プルダウンボックス７０２において入力された用紙サイズから、所定のＩＤコード領域４０３の印刷サイズとマージンの長さとを引いたサイズが印領域４０２を配置可能な範囲として算出される。例えば、プルダウンボックス７０５において左が入力されており、用紙サイズとしてＡ４が入力されている場合、印領域４０２を配置可能な範囲の横の長さは、（Ａ４の横の長さ－（ＩＤコード領域４０３の横の長さ＋２×マージンの長さ））となる。また、印領域４０２を配置可能な範囲の縦の長さは、（Ａ４の横の長さ－２×マージンの長さ）となる。ここで、マージンの長さはフレーム領域４０１の端から印領域４０２又はＩＤコード領域４０３までの距離であり、予め設定された値とする。 In S<b>801 , the layout determination unit 208 calculates a range in which the mark area 402 can be arranged on the marker 102 . Specifically, the print size of the predetermined ID code area 403 and the length of the margin are subtracted from the paper size input in the pull-down box 702 to calculate the range in which the mark area 402 can be arranged. For example, when left is entered in the pull-down box 705 and A4 is entered as the paper size, the horizontal length of the range where the mark area 402 can be arranged is (horizontal length of A4−(ID code The horizontal length of the area 403+2×the length of the margin)). Also, the vertical length of the range in which the mark area 402 can be arranged is (horizontal length of A4-2×length of margin). Here, the length of the margin is the distance from the end of the frame area 401 to the mark area 402 or the ID code area 403, and is a preset value.

Ｓ８０２において、レイアウト決定部２０８は、印領域４０２の間隔ΔＸ、ΔＹを算出する。マーカー１０２を曲面に貼りつけた場合の印領域４０２間の円弧の距離と、直線距離と、の差が所定の閾値Ｔｈより小さくなるようにΔＸ、ΔＹを決定する。具体的には、式（１）を満たすようにΔＸを決定する。 In S<b>802 , the layout determination unit 208 calculates the intervals ΔX and ΔY of the mark area 402 . .DELTA.X and .DELTA.Y are determined so that the difference between the arc distance and the straight line distance between the marked areas 402 when the markers 102 are attached to the curved surface is smaller than a predetermined threshold value Th. Specifically, ΔX is determined so as to satisfy equation (1).

Figure 0007278761000001
Figure 0007278761000001

ここで、ＲＸはテキストボックス７０３において入力されたＸ方向の曲率半径である。ΔＹについても同様に算出する。このように印領域４０２の間隔を設定すると、曲面の曲率半径が小さいほど、印領域４０２の間隔は狭くなる。また、ΔＸ及びΔＹの上限値は、（印領域４０２を配置可能な範囲－２×印領域４０２の半径）とする。ΔＸ、ΔＹが上限値以上の値となる場合は、上限値がΔＸ、ΔＹとして設定される。 Here, R X is the radius of curvature in the X direction entered in text box 703 . ΔY is similarly calculated. When the interval between the mark areas 402 is set in this manner, the smaller the radius of curvature of the curved surface, the narrower the interval between the mark areas 402 becomes. Also, the upper limit values of ΔX and ΔY are (the range in which the marked area 402 can be arranged−2×the radius of the marked area 402). When .DELTA.X and .DELTA.Y are values equal to or greater than the upper limits, the upper limits are set as .DELTA.X and .DELTA.Y.

Ｓ８０３において、レイアウト決定部２０８は、印領域４０２のＸ方向、Ｙ方向それぞれにおける数ＮＸ、ＮＹを算出する。ＮＸは、（印領域４０２を配置可能な範囲の横の長さ－２×印領域４０２の半径）／ΔＸを算出し、小数点を切り捨て、１を加えることによって算出する。同様に、ＮＹは、（印領域４０２を配置可能な範囲の縦の長さ－２×印領域４０２の半径）／ΔＹを算出し、小数点を切り捨て、１を加えることによって算出する。 In S803, the layout determination unit 208 calculates the numbers N X and N Y of the mark areas 402 in the X direction and the Y direction, respectively. N X is calculated by calculating (horizontal length of the range in which the mark area 402 can be arranged−2×radius of the mark area 402)/ΔX, rounding down the decimal point, and adding 1 to the result. Similarly, N Y is calculated by calculating (vertical length of the range in which the mark area 402 can be arranged−2×radius of the mark area 402)/ΔY, truncating the decimal point, and adding 1 to it.

Ｓ８０４において、レイアウト決定部２０８は、Ｓ８０３において算出したΔＸ及びΔＹに基づいて、マーカー１０２が作成可能か否かを判定する。具体的には、ΔＸ又はΔＹが（２×印領域４０２の半径＋マージンの長さ）より小さいか否かを判定する。ΔＸ又はΔＹが（２×印領域４０２の半径＋マージンの長さ）より小さい場合は、マーカー１０２を作成不可能と判定し、処理をＳ８０５に移行する。ΔＸ又はΔＹが（２×印領域４０２の半径＋マージンの長さ）以上である場合は、マーカー１０２を作成可能と判定し、処理をＳ８０６に移行する。Ｓ８０５において、レイアウト決定部２０８は、マーカー１０２を作成できないことをユーザに通知するために、エラー通知ウインドウをディスプレイ１０５に表示する。 In S804, the layout determination unit 208 determines whether or not the marker 102 can be created based on ΔX and ΔY calculated in S803. Specifically, it is determined whether ΔX or ΔY is smaller than (2×the radius of the marked area 402+the length of the margin). If .DELTA.X or .DELTA.Y is smaller than (2.times.the radius of the marked area 402+the length of the margin), it is determined that the marker 102 cannot be created, and the process proceeds to S805. If .DELTA.X or .DELTA.Y is (2.times.the radius of the marked area 402+the length of the margin) or more, it is determined that the marker 102 can be created, and the process proceeds to S806. In S805, the layout determination unit 208 displays an error notification window on the display 105 to notify the user that the marker 102 cannot be created.

Ｓ８０６において、レイアウト決定部２０８は、マーカー１０２を印刷するためのマーカー画像データを生成する。具体的には、まず、プルダウンボックス７０２において入力された用紙サイズで、６００ｄｐｉの解像度の画像を表すビットマップデータを生成する。生成されるビットマップデータが表す画像の各画素には１ビットで表現された画素値が記録されており、全画素の画素値は黒を示す０で初期化される。次に、プルダウンボックス７０５において指定された位置にＩＤコード領域４０３を、ビットマップデータが表す画像に描画する。ここでは、ＩＤ番号の中から空き番号を選択し、選択した番号をコード化したコード画像を生成し、コード画像をＩＤコード領域４０３として描画する。次に、所定の半径を有する円形の印を、印領域４０２として、ビットマップデータが表す画像に描画する。円形の印は、ビットマップデータが表す画像においてＳ８０１において算出された領域にΔＸ、ΔＹの間隔でＮＸ×ＮＹ個描画される。ＩＤコード領域４０３と印領域４０２とが描画された画像データは、ＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）などの汎用フォーマットの画像データとして、ＨＤＤ１０１３に保存される。 In S<b>806 , the layout determination unit 208 generates marker image data for printing the markers 102 . Specifically, first, bitmap data representing an image with a resolution of 600 dpi is generated with the paper size input in the pull-down box 702 . A pixel value represented by 1 bit is recorded in each pixel of the image represented by the generated bitmap data, and the pixel value of all pixels is initialized to 0 indicating black. Next, the ID code area 403 is drawn in the image represented by the bitmap data at the position specified in the pull-down box 705 . Here, a free number is selected from the ID numbers, a code image is generated by encoding the selected number, and the code image is drawn as the ID code area 403 . Next, a circular mark having a predetermined radius is drawn as mark area 402 on the image represented by the bitmap data. N X ×N Y circular marks are drawn at intervals of ΔX and ΔY in the area calculated in S801 in the image represented by the bitmap data. The image data in which the ID code area 403 and the mark area 402 are drawn is stored in the HDD 1013 as image data in a general format such as TIFF (Tagged Image File Format).

Ｓ８０７において、メタデータ生成部２０９は、Ｓ８０６において生成したマーカー画像データについての情報を有するメタデータを生成する。図７は、メタデータの例を示す図である。図７（ａ）は、メタデータに記録される内容を示す図である。領域９０１は、印領域４０２の中心点の紙面上における３次元座標値（Ｘ，Ｙ，Ｚ）が記録される領域であり、ＮＸ×ＮＹ行記録される。この座標値には、左上の印領域４０２の中心点を原点とした場合の、原点との相対的な位置が記録される。領域９０２は、Ｓ８０６において生成されたマーカー画像における各印領域４０２の中心点の２次元座標値（ｕ，ｖ）が記録される領域である。２次元座標値（ｕ，ｖ）は、左上の印領域４０２の中心点を原点とした場合の、マーカー画像の画素単位の２次元座標値がＮＸ×ＮＹ行記録される。領域９０３は、ポリゴン情報が記録される領域である。本実施形態におけるポリゴンは、図７（ｂ）に示すように、４つの印領域４０２の中心点を頂点として有する矩形であり、ポリゴン情報は、矩形を構成する各頂点の情報である。具体的に、ポリゴン情報は、各行に、反時計回りに矩形の外周を回る順で４頂点分の、領域９０１の行の番号及び領域９０２の行番号が記録された情報である。また、Ｓ８０７において、メタデータ生成部２０９は、生成したメタデータにプルダウンボックス７０２及び７０５と、テキストボックス７０３、７０４、７０６と、において入力された情報を付加して、ＨＤＤ１０１３に保存する。 In S807, the metadata generation unit 209 generates metadata having information about the marker image data generated in S806. FIG. 7 is a diagram showing an example of metadata. FIG. 7(a) is a diagram showing the contents recorded in the metadata. An area 901 is an area in which the three-dimensional coordinate values (X, Y, Z) of the center point of the mark area 402 are recorded, and N X ×N Y lines are recorded. In this coordinate value, the position relative to the origin when the center point of the upper left mark area 402 is set as the origin is recorded. An area 902 is an area in which the two-dimensional coordinate values (u, v) of the center point of each mark area 402 in the marker image generated in S806 are recorded. As the two-dimensional coordinate values (u, v), the two-dimensional coordinate values in units of pixels of the marker image are recorded in N X ×N Y rows when the center point of the upper left mark area 402 is set as the origin. An area 903 is an area in which polygon information is recorded. As shown in FIG. 7B, the polygon in this embodiment is a rectangle having the center points of the four mark areas 402 as vertices, and the polygon information is information on each vertex that constitutes the rectangle. Specifically, the polygon information is information in which the line numbers of the area 901 and the line numbers of the area 902 are recorded in each line for four vertices in the order counterclockwise around the circumference of the rectangle. In step S<b>807 , the metadata generation unit 209 adds the information input in the pull-down boxes 702 and 705 and the text boxes 703 , 704 , and 706 to the generated metadata and saves it in the HDD 1013 .

Ｓ８０８において、レイアウト決定部２０８は、マーカーの新規登録が終わったことをユーザに通知するための正常終了通知ウインドウをディスプレイ１０５に表示する。 In S808, the layout determination unit 208 displays a normal completion notification window on the display 105 for notifying the user that the new registration of the marker has been completed.

＜Ｓ３０５における処理＞
以下において、物体１０１の形状を算出する処理（Ｓ３０５）の詳細を図８を用いて説明する。図８は、物体１０１の形状を算出する処理の流れを示すフローチャートである。 <Process in S305>
Details of the processing (S305) for calculating the shape of the object 101 will be described below with reference to FIG. FIG. 8 is a flow chart showing the flow of processing for calculating the shape of the object 101. As shown in FIG.

Ｓ２００１において、撮像画像データ取得部２１１は、Ｓ３０４における撮像によって得られた撮像画像データを取得する。具体的には、ファイルダイヤログ等をディスプレイ１０５に表示させ、入力デバイス１０１０を介したユーザの指示に応じて撮像画像データをＨＤＤ１０１３からＲＡＭ１００３等の主記憶装置に読み込む。 In S2001, the captured image data acquisition unit 211 acquires captured image data obtained by imaging in S304. Specifically, a file dialog or the like is displayed on the display 105, and captured image data is read from the HDD 1013 into a main storage device such as the RAM 1003 in accordance with user instructions via the input device 1010. FIG.

Ｓ２００２において、抽出部２１２は、撮像画像においてＩＤコード領域４０３に対応する領域を抽出し、抽出した領域のパターンからマーカー１０２の識別番号を読み取る。具体的には、抽出部２１２は、撮像画像の画素値を２値化する。この２値化処理は、所定の閾値以上の画素値を有する画素を白、所定の閾値未満の画素値を有する画素を黒とする２値化処理である。２値化処理後の撮像画像において公知のキャニー法を用いてエッジ位置を抽出し、８つの近傍画素にエッジ位置がある画素を同一の輪郭とみなしてグループ化する輪郭抽出を行う。抽出した複数の輪郭グループの中から四角形の輪郭を選択し、ＩＤコード領域４０３が実際の形状と同じになるように輪郭を変形する。変形された輪郭の内部のパターンを、８×８画素のブロックに分割し、各ブロックの濃淡に基づいて識別番号を読み取る。 In S2002, the extraction unit 212 extracts the area corresponding to the ID code area 403 in the captured image, and reads the identification number of the marker 102 from the pattern of the extracted area. Specifically, the extraction unit 212 binarizes the pixel values of the captured image. This binarization process is a binarization process in which a pixel having a pixel value equal to or greater than a predetermined threshold is rendered white, and a pixel having a pixel value less than the predetermined threshold is rendered black. Edge positions are extracted from the captured image after the binarization process using the known Canny method, and contour extraction is performed by grouping pixels having edge positions among eight neighboring pixels as the same contour. A rectangular contour is selected from the plurality of extracted contour groups, and the contour is deformed so that the ID code area 403 has the same shape as the actual shape. The pattern inside the deformed outline is divided into blocks of 8×8 pixels, and the identification number is read based on the gradation of each block.

Ｓ２００３において、メタデータ取得部２１３は、識別番号に対応するマーカー１０２のメタデータをＨＤＤ１０１３からＲＡＭ１００３等の主記憶装置に読み込む。 In S2003, the metadata acquisition unit 213 reads the metadata of the marker 102 corresponding to the identification number from the HDD 1013 into the main storage device such as the RAM 1003. FIG.

Ｓ２００４において、抽出部２１２は、撮像画像データに基づいて、印領域４０２の中心座標を算出する。ここでは、Ｓ２００２と同様に輪郭抽出までの処理を行い、輪郭グループの中から円または楕円となる輪郭の候補を挙げる。輪郭の候補として挙げられた円または楕円の輪郭により囲まれる面積を算出し、算出した各輪郭の面積と予め設定された印領域４０２の面積との差に応じて候補の順位づけを行う。順位１～１８の印領域４０２の複数の輪郭を抽出し、各輪郭の中心座標値を算出する。また、各輪郭の中心座標値の相対的な位置関係が、領域９０２に記録されている座標値の相対的な位置関係と一致するように各輪郭の中心座標値をソートする。これにより、メタデータの領域９０３において定義される矩形と、その矩形に対応する、撮像画像における印領域４０２の中心座標と、の対応関係を容易に得ることができる。 In S2004, the extraction unit 212 calculates the center coordinates of the mark area 402 based on the captured image data. Here, as in S2002, processing up to contour extraction is performed, and contour candidates for circles or ellipses are selected from the contour group. The areas enclosed by the outlines of the circles or ellipses selected as outline candidates are calculated, and the candidates are ranked according to the difference between the calculated area of each outline and the area of the preset mark area 402 . A plurality of contours of the marked areas 402 of ranks 1 to 18 are extracted, and the central coordinate values of each contour are calculated. Also, the center coordinate values of each contour are sorted so that the relative positional relationship of the center coordinate values of each contour matches the relative positional relationship of the coordinate values recorded in the area 902 . This makes it possible to easily obtain the correspondence relationship between the rectangle defined in the metadata area 903 and the center coordinates of the mark area 402 in the captured image corresponding to the rectangle.

Ｓ２００５において、形状算出部２１４は、抽出部２１２が算出した中心座標と、メタデータと、に基づいて、物体１０１の形状を算出する。Ｓ２００５における処理の詳細を図９に示すフローチャートを用いて説明する。 In S2005, the shape calculation unit 214 calculates the shape of the object 101 based on the central coordinates calculated by the extraction unit 212 and the metadata. Details of the processing in S2005 will be described with reference to the flowchart shown in FIG.

Ｓ１１０１において、形状算出部２１４は、メタデータから矩形の頂点の３次元座標値（Ｘ，Ｙ，Ｚ）を読み込む。具体的には、メタデータにおいて、領域９０３に示したポリゴン情報から一行を読み取り、ポリゴン情報が示す矩形の各頂点に対応する座標値を領域９０１から読み取る。 In S1101, the shape calculation unit 214 reads the three-dimensional coordinate values (X, Y, Z) of the vertices of the rectangle from the metadata. Specifically, in the metadata, one line is read from the polygon information indicated in the area 903, and the coordinate values corresponding to each vertex of the rectangle indicated by the polygon information are read from the area 901. FIG.

Ｓ１１０２において、形状算出部２１４は、Ｓ２００４において算出した印領域４０２の中心座標から、Ｓ１１０１において座標値を読み取った各頂点に対応する座標値を読み取る。印領域４０２の中心座標の順は、Ｓ２００４において、領域９０２に記録されている座標値の順と一致するようにソートされている。そのため、Ｓ１１０２においては、Ｓ１１０１と同様に領域９０３に記録されている頂点の番号に対応する中心座標を抽出すればよい。 In S1102, the shape calculation unit 214 reads the coordinate values corresponding to the vertices whose coordinate values were read in S1101 from the central coordinates of the mark area 402 calculated in S2004. The order of the center coordinates of the mark area 402 is sorted so as to match the order of the coordinate values recorded in the area 902 in S2004. Therefore, in S1102, the center coordinates corresponding to the vertex numbers recorded in the area 903 may be extracted in the same manner as in S1101.

Ｓ１１０３において、形状算出部２１４は、式（２）において示す係数ｒ１１～ｒ３３からなる回転行列Ｒと、係数ｔ１～ｔ３からなる並進ベクトルｔと、を推定する。この処理により、矩形の平面に対する撮像装置１０３の位置及び姿勢を算出することができる。 In S1103, the shape calculation unit 214 estimates a rotation matrix R consisting of coefficients r 11 to r 33 shown in Equation (2) and a translation vector t consisting of coefficients t 1 to t 3 . Through this processing, the position and orientation of the imaging device 103 with respect to the rectangular plane can be calculated.

Figure 0007278761000002
Figure 0007278761000002

ここで、ｆｘ、ｆｙは、撮像装置１０３の位置を原点とする３次元空間における、ｘ方向及びｙ方向の撮像装置１０３の焦点距離である。ｃｘ、ｃ ｙ は、ｘ方向及びｙ方向の撮像装置１０３の主点位置である。ｆｘ、ｆｙ、ｃｘ、ｃ ｙ は、予め決められた値としてＨＤＤ１０１３において保持されている。また、式（２）における座標（ｕ，ｖ）は、Ｓ１１０２において読み取った撮像画像における印領域４０２の中心座標である。式（２）における座標（Ｘ，Ｙ，Ｚ）は、座標（ｕ，ｖ）に対応する、Ｓ１１０１において読み取ったメタデータに記録されている３次元座標値である。ｓはスケーリングファクタであり、式（２）の右辺の計算によって得られる３次元ベクトルの３行目の要素が１となるように、その逆数をとった値である。Ｓ１１０３において、形状算出部２１４は、矩形の４つの頂点における座標（ｕ，ｖ）と座標（Ｘ，Ｙ，Ｚ）との対応に基づいて、回転行列と並進ベクトルとを推定する。この推定方法は、３点以上の座標（ｕ，ｖ）と、座標（ｕ，ｖ）に対応する座標（Ｘ，Ｙ，Ｚ）と、を用いて回転行列及び並進ベクトルを推定する方法である。 Here, f x and f y are the focal lengths of the imaging device 103 in the x and y directions in a three-dimensional space with the position of the imaging device 103 as the origin. c x and c y are principal point positions of the imaging device 103 in the x and y directions. f x , f y , c x , and c y are held in the HDD 1013 as predetermined values. Also, the coordinates (u, v) in Equation (2) are the center coordinates of the mark area 402 in the captured image read in S1102. The coordinates (X, Y, Z) in equation (2) are three-dimensional coordinate values recorded in the metadata read in S1101, corresponding to the coordinates (u, v). s is a scaling factor, and is a value obtained by taking the reciprocal so that the third row element of the three-dimensional vector obtained by the calculation of the right side of Equation (2) is 1. In S1103, the shape calculation unit 214 estimates a rotation matrix and a translation vector based on the correspondence between the coordinates (u, v) and the coordinates (X, Y, Z) at the four vertices of the rectangle. This estimation method is a method of estimating a rotation matrix and a translation vector using coordinates (u, v) of three or more points and coordinates (X, Y, Z) corresponding to the coordinates (u, v). .

Ｓ１１０４において、形状算出部２１４は、撮像装置１０３の位置を原点とする矩形の各頂点の３次元座標（ｘ，ｙ，ｚ）と、各頂点を含む平面に対する法線ベクトルと、を算出する。まず、式（３）において、各頂点の３次元座標（ｘ，ｙ，ｚ）を算出する。 In S1104, the shape calculation unit 214 calculates the three-dimensional coordinates (x, y, z) of each vertex of a rectangle whose origin is the position of the imaging device 103, and the normal vector to the plane including each vertex. First, in Equation (3), the three-dimensional coordinates (x, y, z) of each vertex are calculated.

Figure 0007278761000003
Figure 0007278761000003

ここで、ＲはＳ１１０３において算出した回転行列であり、ｔはＳ１１０３において算出した並進ベクトルである。座標（Ｘ，Ｙ，Ｚ）は、Ｓ１１０１において読み取ったメタデータにおける各頂点の３次元座標値である。次に、形状算出部２１４は、矩形における１つの頂点の座標（ｘ，ｙ，ｚ）を原点として他の２つの頂点の座標（ｘ，ｙ，ｚ）のベクトルを算出する。算出した２つのベクトルの外積ベクトルが示す方向の単位ベクトルを、矩形の表面に対する法線ベクトルとして算出する。尚、各頂点の座標（Ｘ，Ｙ，Ｚ）のＺ値が同じ場合は、回転行列Ｒの３列目のｒ１３、ｒ２３、ｒ３３を成分とする単位ベクトルを法線ベクトルとしてもよい。 Here, R is the rotation matrix calculated in S1103, and t is the translation vector calculated in S1103. The coordinates (X, Y, Z) are the three-dimensional coordinate values of each vertex in the metadata read in S1101. Next, the shape calculation unit 214 calculates a vector of the coordinates (x, y, z) of the other two vertices with the coordinates (x, y, z) of one vertex in the rectangle as the origin. A unit vector in the direction indicated by the outer product vector of the calculated two vectors is calculated as a normal vector to the surface of the rectangle. If the coordinates (X, Y, Z) of the vertices have the same Z value, a unit vector whose components are r13, r23, and r33 in the third column of the rotation matrix R may be used as the normal vector.

形状算出部２１４は、上述したＳ１１０１～Ｓ１１０４の処理を全ての矩形領域に対して行い、撮像装置１０３の位置を原点とする各矩形の頂点の３次元座標（ｘ，ｙ，ｚ）を取得する。得られた座標は、物体１０１が曲面であっても、各矩形が平面とみなせる間隔で配置されている場合であれば、物体１０１の３次元座標値であるとみなすことができる。 The shape calculation unit 214 performs the above-described processing of S1101 to S1104 for all rectangular regions, and acquires the three-dimensional coordinates (x, y, z) of the vertices of each rectangle with the position of the imaging device 103 as the origin. . The obtained coordinates can be regarded as three-dimensional coordinate values of the object 101 even if the object 101 is a curved surface, provided that the rectangles are arranged at intervals that can be regarded as a plane.

Ｓ１１０５において、形状算出部２１４は、印領域４０２の中心の３次元座標（ｘ，ｙ，ｚ）を決定する。Ｓ１１０１～Ｓ１１０４の処理において算出した各矩形の頂点は、図７（ｂ）に示したように重複している。そこで、Ｓ１１０５において、形状算出部２１４は、重複した頂点の座標（ｘ，ｙ，ｚ）を再計算する。具体的には、まず、各矩形において、隣接する矩形と重複する頂点を含み、矩形の法線ベクトルを法線とする平面を算出する。次に、重複していない頂点の座標と原点とを通る直線を算出し、直線と平面との交点を新たな重複しない頂点の座標とする。このように座標値を再計算することによって、各矩形の法線ベクトルを維持することが可能となる。尚、重複する頂点の座標（ｘ，ｙ，ｚ）の平均値を、対応する印領域４０２の中心の３次元座標値としてもよい。 In S<b>1105 , the shape calculator 214 determines the three-dimensional coordinates (x, y, z) of the center of the mark area 402 . The vertices of each rectangle calculated in the processing of S1101 to S1104 overlap as shown in FIG . 7B . Therefore, in S1105, the shape calculation unit 214 recalculates the coordinates (x, y, z) of the overlapping vertices. Specifically, first, in each rectangle, a plane that includes vertices that overlap adjacent rectangles and whose normal is the normal vector of the rectangle is calculated. Next, a straight line passing through the coordinates of the non-overlapping vertices and the origin is calculated, and the intersection of the straight line and the plane is set as the new coordinates of the non-overlapping vertices. By recomputing the coordinate values in this way, it is possible to maintain the normal vector of each rectangle. Note that the average value of the coordinates (x, y, z) of the overlapping vertices may be used as the three-dimensional coordinate value of the center of the corresponding mark area 402 .

Ｓ１１０６において、形状算出部２１４は、矩形ごとに算出した法線ベクトルに基づいて、各印領域４０２の中心の法線ベクトルを算出する。具体的には、各印領域４０２の中心を頂点とする全矩形の法線ベクトルの平均値を各印領域４０２の中心の法線ベクトルとして算出する。 In S1106, the shape calculation unit 214 calculates the normal vector of the center of each mark area 402 based on the normal vector calculated for each rectangle. Specifically, the average value of the normal vectors of all rectangles having the center of each marked area 402 as the vertex is calculated as the normal vector of the center of each marked area 402 .

図８のフローチャートの説明に戻る。Ｓ２００６において、形状算出部２１４は、Ｓ２００５において算出した各印領域４０２の中心の３次元座標値と法線ベクトル情報とを所定のファイル形式で形状データとしてＨＤＤ１０１３に保存する。図１０は、形状データの例を示す図である。領域１２０１は、各印領域４０２の中心の３次元座標値が記録される領域であり、図７の領域９０１に記録された各印領域４０２の順番と同じ順で、Ｓ２００５において算出された座標（ｘ，ｙ，ｚ）が記録される。領域１２０２は、マーカー画像における各印領域４０２の中心の座標値が記録される領域である。領域１２０３は、各印領域４０２の中心の法線ベクトルが記録される領域であり、領域１２０１と同じ順番で各行に印領域４０２の中心の法線ベクトルが記録される。領域１２０４は、ポリゴン情報が記録される領域である。このポリゴン情報は、領域９０３に示した情報と同じ情報ではあるが、領域１２０３の法線ベクトルとの対応を示すために、ポリゴンの各頂点情報として、領域１２０１の行の番号、領域１２０２の行番号、領域１２０３の行番号が記録される。 Returning to the description of the flowchart in FIG. In S2006, the shape calculation unit 214 saves the three-dimensional coordinate value of the center of each mark area 402 and the normal vector information calculated in S2005 as shape data in the HDD 1013 in a predetermined file format. FIG. 10 is a diagram showing an example of shape data. An area 1201 is an area in which the three-dimensional coordinate values of the center of each marked area 402 are recorded. The coordinates calculated in S2005 ( x, y, z) are recorded. A region 1202 is a region in which coordinate values of the center of each marked region 402 in the marker image are recorded. An area 1203 is an area in which the normal vector of the center of each marked area 402 is recorded. An area 1204 is an area in which polygon information is recorded. This polygon information is the same as the information shown in the area 903, but in order to show the correspondence with the normal vector of the area 1203, the polygon vertex information includes the row number of the area 1201, the row number of the area 1202, and the line number of the area 1202. number, the line number of the area 1203 is recorded.

＜第１実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、マーカーにおける、物体の表面の形状を示す特徴を有する複数の印の間隔を、物体の表面の曲率又は曲率半径に基づいて決定する。決定された印の間隔に基づいて、画像データを生成する。よって、物体の形状を取得するために適した間隔で、特徴を撮像画像から抽出することができる。この抽出された特徴を用いることによって、物体の形状を高精度に取得することができる。また、物体の表面の曲率に応じてマーカーに印を複数配置するため、必要以上に印を配置する必要がなく、データ量を削減することができる。また、物体の形状の算出においては、三角測量の原理の観点から、マーカーにおける印の間隔が広い方が精度が良い。本実施形態によれば、物体の表面の曲率に応じて印の間隔が決まるため、必要以上に細かい間隔で印を配置する必要がなく、より高精度に物体の形状を算出することができる。 <Effects of the first embodiment>
As described above, the image processing apparatus according to the present embodiment determines the intervals between a plurality of marks having characteristics indicating the shape of the surface of an object on the marker based on the curvature or radius of curvature of the surface of the object. Image data is generated based on the determined mark spacing. Therefore, features can be extracted from the captured image at intervals suitable for obtaining the shape of the object. By using the extracted features, the shape of the object can be obtained with high accuracy. Moreover, since a plurality of marks are arranged on the marker according to the curvature of the surface of the object, it is not necessary to arrange marks more than necessary, and the amount of data can be reduced. Further, in calculating the shape of an object, from the viewpoint of the principle of triangulation, the wider the interval between the marks on the marker, the better the accuracy. According to this embodiment, since the intervals between the marks are determined according to the curvature of the surface of the object, it is not necessary to arrange the marks at finer intervals than necessary, and the shape of the object can be calculated with higher accuracy.

［第２実施形態］
本実施形態においては、マーカーの管理をユーザが容易に行うための処理を説明する。尚、本実施形態における画像処理システムの構成は第１実施形態のものと同様であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。 [Second embodiment]
In this embodiment, processing for allowing a user to easily manage markers will be described. Note that the configuration of the image processing system in this embodiment is the same as that in the first embodiment, so description thereof will be omitted. In the following, differences between the present embodiment and the first embodiment are mainly described.

＜画像処理システムが実行する処理＞
本実施形態における画像処理装置１０４が実行する処理の流れを、図１５のフローチャートを用いて説明する。 <Processing executed by the image processing system>
The flow of processing executed by the image processing apparatus 104 according to this embodiment will be described with reference to the flowchart of FIG.

Ｓ１６０１において、マーカー管理部２０５は、図１６（ａ）に示すメインＵＩ１７０１をディスプレイ１０５に表示する。ここで、ボタン１７０２は新規のマーカーを登録する処理を実行するためのボタン、ボタン１７０３はマーカー１０２を印刷する処理を実行するためのボタンである。また、ボタン１７０４は撮像を行うためのボタン、ボタン１７０５は物体１０１の形状を算出する処理を実行するためのボタン、ボタン１７０６は処理を終了するためのボタンである。 In S1601, the marker management unit 205 displays a main UI 1701 shown in FIG. 16(a) on the display 105. FIG. Here, a button 1702 is a button for executing processing to register a new marker, and a button 1703 is a button for executing processing to print the marker 102 . A button 1704 is a button for capturing an image, a button 1705 is a button for executing processing for calculating the shape of the object 101, and a button 1706 is a button for terminating the processing.

Ｓ１６０２において、マーカー管理部２０５は、ユーザによる選択結果に応じて処理を次のステップに移行する。ユーザによってボタン１７０２が選択された場合、処理をＳ１６０３に移行する。ユーザによってボタン１７０３が選択された場合、処理をＳ１６０５に移行する。ユーザによってボタン１７０４が選択された場合、処理をＳ３０４に移行する。ユーザによってボタン１７０５が選択された場合、処理をＳ３０５に移行する。ユーザによってボタン１７０６が選択された場合、処理を終了する。尚、Ｓ３０２～Ｓ３０５の処理内容は第１実施形態において説明した処理と同じであるため、説明を省略する。尚、Ｓ３０４又はＳ３０５の処理が終わると、処理はＳ１６０１に戻り、メインＵＩ１７０１がディスプレイ１０５に表示される。 In S1602, the marker management unit 205 shifts the processing to the next step according to the user's selection result. If the button 1702 is selected by the user, the process proceeds to S1603. When the button 1703 is selected by the user, the process proceeds to S1605. When the button 1704 is selected by the user, the process proceeds to S304. When the button 1705 is selected by the user, the process proceeds to S305. If the user selects button 1706, the process ends. Note that the processing contents of S302 to S305 are the same as the processing described in the first embodiment, so description thereof will be omitted. After the processing of S304 or S305 ends, the processing returns to S1601 and the main UI 1701 is displayed on the display 105. FIG.

Ｓ１６０３において、マーカー作成部２０６は、図１６（ｂ）に示す登録用ＵＩ１８０１をディスプレイ１０５に表示する。登録用ＵＩ１８０１には、プルダウンボックス７０２及び７０５と、テキストボックス７０３、７０４、７０６と、ボタン１８０２及び１８０３と、が配置されている。尚、プルダウンボックス７０２及び７０５と、テキストボックス７０３、７０４、７０６と、は第１実施形態において説明した機能と同じ機能を有するため、説明を省略する。Ｓ１６０４において、マーカー作成部２０６は、ユーザによる選択結果に応じて処理を次のステップに移行する。プルダウンボックス７０２及び７０５と、テキストボックス７０３、７０４、７０６と、に情報が入力され、ボタン１８０２が選択された場合、処理をＳ３０２に移行する。Ｓ３０２の処理が終わると、処理をＳ１６０１に戻し、メインＵＩ１７０１をディスプレイ１０５に表示する。ボタン１８０３が選択された場合、Ｓ３０３の処理を行わずに、処理をＳ１６０１に戻し、メインＵＩ１７０１をディスプレイ１０５に表示する。 In S1603, the marker creation unit 206 displays a registration UI 1801 shown in FIG. 16B on the display 105. FIG. Pull-down boxes 702 and 705 , text boxes 703 , 704 and 706 , and buttons 1802 and 1803 are arranged on the registration UI 1801 . Note that the pull-down boxes 702 and 705 and the text boxes 703, 704, and 706 have the same functions as those described in the first embodiment, so description thereof will be omitted. In S1604, the marker creating unit 206 moves the process to the next step according to the user's selection result. When information is entered in pull-down boxes 702 and 705 and text boxes 703, 704, and 706 and button 1802 is selected, the process proceeds to S302. After the process of S302 is completed, the process returns to S1601 and the main UI 1701 is displayed on the display 105. FIG. If the button 1803 is selected, the process returns to S1601 without performing the process of S303, and the main UI 1701 is displayed on the display 105. FIG.

Ｓ１６０５において、マーカー管理部２０５は、図１７（ａ）に示す印刷用ＵＩ１９０１をディスプレイ１０５に表示する。印刷用ＵＩ１９０１には、登録されているマーカー１０２の一覧を表示するリスト表示部１９０２、各種の処理を実行するためのボタン１９０３、１９０４、１９０５が配置されている。リスト表示部１９０２には、登録されているマーカー１０２ごとに、識別番号（ＩＤ）や、物体１０１のパーツの名称などを示したコメント、登録時に設定した曲率半径や出力サイズなどの情報が表示される。また、リスト表示部１９０２には、選択状態を表示する選択欄が設けられている。マーカー管理部２０５は、ユーザによって選択された行の選択欄にチェック印を表示する。 In S1605, the marker management unit 205 displays a print UI 1901 shown in FIG. 17A on the display 105. FIG. A print UI 1901 includes a list display portion 1902 that displays a list of registered markers 102, and buttons 1903, 1904, and 1905 for executing various processes. The list display area 1902 displays information such as an identification number (ID), a comment indicating the name of the part of the object 101, and information such as the curvature radius and output size set at the time of registration for each registered marker 102. be. Also, the list display portion 1902 is provided with a selection column for displaying the selection state. The marker management unit 205 displays a checkmark in the selection column of the row selected by the user.

Ｓ１６０６において、マーカー管理部２０５は、ユーザによる選択結果に応じて処理を次のステップに移行する。ユーザによってボタン１９０３が選択された場合、処理をＳ３０３に移行する。チェック印が表示されたマーカー１０２を印刷する処理をＳ３０３において行った後、処理をＳ１６０５に戻し、印刷用ＵＩ１９０１をディスプレイ１０５に表示する。ユーザによってボタン１９０４が選択された場合、処理をＳ１６０７に移行する。ユーザによってボタン１９０５が選択された場合、処理をＳ１６０１に戻し、メインＵＩ１７０１をディスプレイ１０５に表示する。 In S1606, the marker management unit 205 shifts the processing to the next step according to the user's selection result. If the button 1903 is selected by the user, the process proceeds to S303. After the process of printing the marker 102 with the check mark is performed in S303, the process returns to S1605 to display the print UI 1901 on the display 105. FIG. If the button 1904 is selected by the user, the process proceeds to S1607. If the user selects the button 1905 , the process returns to S<b>1601 to display the main UI 1701 on the display 105 .

Ｓ１６０７において、マーカー管理部２０５は、図１７（ｂ）に示す登録用ＵＩ２１０１をディスプレイ１０５に表示する。登録用ＵＩ２１０１には、プルダウンボックス７０２及び７０５と、テキストボックス７０３及び７０４と、ボタン２１０２と、が配置されている。プルダウンボックス７０２及び７０５と、テキストボックス７０３及び７０４と、に情報が入力され、ボタン２１０２が選択されると、処理をＳ１６０８に移行する。 In S1607, the marker management unit 205 displays the registration UI 2101 shown in FIG. Pull-down boxes 702 and 705, text boxes 703 and 704, and a button 2102 are arranged on the registration UI 2101 . When information is entered in pull-down boxes 702 and 705 and text boxes 703 and 704 and button 2102 is selected, the process proceeds to S1608.

Ｓ１６０８において、マーカー管理部２０５は、プルダウンボックス７０２及び７０５と、テキストボックス７０３及び７０４と、に入力された情報が示す条件と近い登録情報を有するマーカー１０２を検索する。さらに、マーカー管理部２０５は、検索した識別番号やその他の登録情報を表示するためのダイヤログをディスプレイ１０５に表示し、処理をＳ１６０５に戻す。このようにすることによって、ユーザは、ダイヤログで表示された登録情報に基づいて、リスト表示部１９０２の行を選択し、所望のマーカー１０２を印刷することが可能となる。 In S1608, the marker management unit 205 searches for markers 102 having registration information similar to the conditions indicated by the information input to the pull-down boxes 702 and 705 and the text boxes 703 and 704. FIG. Furthermore, the marker management unit 205 displays a dialog for displaying the retrieved identification number and other registered information on the display 105, and returns the process to S1605. By doing so, the user can select a line in the list display portion 1902 and print the desired marker 102 based on the registration information displayed in the dialog.

＜第２実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、印刷するマーカー１０２を登録情報から選択するためのＵＩを表示した。これにより、マーカー１０２の登録情報を容易に管理することができ、必要な分だけマーカーを登録させておくことができるため、ＨＤＤ１０１３に保持させておくデータ量を削減できる。また、登録情報の一覧を表示することにより、対象となる物体１０１のパーツの種別をユーザが確認することができるため、マーカー１０２を誤用する可能性を低減させることができる。 <Effects of Second Embodiment>
As described above, the image processing apparatus according to the present embodiment displays the UI for selecting the marker 102 to be printed from registered information. As a result, the registration information of the markers 102 can be easily managed, and only the necessary number of markers can be registered, so that the amount of data held in the HDD 1013 can be reduced. Further, by displaying a list of registered information, the user can confirm the type of parts of the target object 101, so that the possibility of misusing the marker 102 can be reduced.

［第３実施形態］
第１実施形態においては、入力された曲率半径に基づいてマーカー１０２における印領域４０２の配置を決定したが、本実施形態においては、印領域４０２の配置を予め決められた複数の選択肢から選択する。尚、本実施形態における画像処理システムの構成は第１実施形態のものと同様であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。 [Third embodiment]
In the first embodiment, the placement of the mark area 402 on the marker 102 is determined based on the input curvature radius, but in this embodiment, the placement of the mark area 402 is selected from a plurality of predetermined options. . Note that the configuration of the image processing system in this embodiment is the same as that in the first embodiment, so description thereof will be omitted. In the following, differences between the present embodiment and the first embodiment are mainly described.

＜マーカー１０２＞
図１８は、本実施形態におけるマーカー１０２のレイアウトの一例を示す図である。マーカー１０２は、四角形の印領域２２０１、三角形の印領域２２０２、円形の印領域２２０３を有する。図１８に示すように、印領域は、横方向にΔＸＦ、縦方向にΔＹＦの間隔で配置されている。また、四角形の印領域２２０１又は三角形の印領域２２０２は、横方向に２ΔＸＦ、縦方向に２ΔＹＦの間隔で配置されている。また、四角形の印領域２２０１は、横方向に４ΔＸＦ、縦方向に４ΔＹＦの間隔で配置されている。本実施形態においては、入力された各方向の曲率半径に基づいて、マーカー１０２における印領域を、四角形の印領域２２０１のみにするか、四角形の印領域２２０１と三角形の印領域２２０２とにするか、３種類全ての形の印領域とするかが決定される。図１８は、マーカー１０２における印領域を３種類全ての形の印領域とした場合のマーカー１０２のレイアウトである。 <Marker 102>
FIG. 18 is a diagram showing an example layout of the markers 102 in this embodiment. The marker 102 has a square marking area 2201 , a triangular marking area 2202 and a circular marking area 2203 . As shown in FIG. 18, the marking areas are arranged at intervals of ΔX F in the horizontal direction and ΔY F in the vertical direction. Also, the square marking areas 2201 or the triangular marking areas 2202 are arranged at intervals of 2ΔX F in the horizontal direction and 2ΔY F in the vertical direction. Also, the rectangular mark areas 2201 are arranged at intervals of 4ΔX F in the horizontal direction and 4ΔY F in the vertical direction. In this embodiment, based on the input radius of curvature in each direction, the marking area of the marker 102 is determined to be a square marking area 2201 only, or a square marking area 2201 and a triangular marking area 2202. , all three types of marking areas. FIG. 18 shows the layout of the marker 102 when the marking area of the marker 102 has all three types of marking areas.

＜Ｓ３０２における処理＞
図１９は、マーカー１０２を新規登録する処理（Ｓ３０２）の流れを示すフローチャートである。まず、Ｓ８０２において、レイアウト決定部２０８は、第１実施形態と同様に、印領域の間隔ΔＸ、ΔＹを算出する。次に、Ｓ２４０１において、レイアウト決定部２０８は、予め決められた複数のレイアウトから、１つのレイアウトを選択する。具体的には、四角形の印領域２２０１のみを印領域とするか、四角形の印領域２２０１と三角形の印領域２２０２とを印領域とするか、３種類全ての形の印領域を印領域とするかを決定する。 <Process in S302>
FIG. 19 is a flow chart showing the flow of processing (S302) for newly registering the marker 102. As shown in FIG. First, in S802, the layout determination unit 208 calculates the intervals ΔX and ΔY between the mark areas, as in the first embodiment. Next, in S2401, the layout determination unit 208 selects one layout from a plurality of predetermined layouts. Specifically, only the square mark area 2201 is used as the mark area, the square mark area 2201 and the triangular mark area 2202 are used as the mark area, or the mark areas with all three types of shapes are used as the mark area. determine whether

図２０は、Ｓ２４０１において決定されるマーカー１０２のレイアウトを示す図である。Ｓ２４０１において、レイアウト決定部２０８は、図２０（ａ）～（ｉ）のレイアウトからどのレイアウトを採用するかを決定する。具体的には、ΔＸＦ≦ΔＸ＜２ΔＸＦ、かつ、ΔＹＦ≦ΔＹ＜２ΔＹＦとなる場合は、印領域を３種類全ての形の印領域とした、図２０（ａ）のレイアウトを採用する。２ΔＸＦ≦ΔＸ＜４ΔＸＦ、かつ、２ΔＹＦ≦ΔＹ＜４ΔＹＦとなる場合は、印領域を四角形の印領域２２０１及び三角形の印領域２２０２とした、図２０（ｅ）のレイアウトを採用する。４ΔＸＦ≦ΔＸ、かつ、４ΔＹＦ≦ΔＹとなる場合は、印領域を四角形の印領域２２０１のみとした、図２０（ｉ）のレイアウトを採用する。また、ΔＸＦ≦ΔＸ＜２ΔＸＦ、かつ、２ΔＹＦ≦ΔＹ＜４ΔＹＦとなる場合は、印領域を四角形の印領域２２０１および三角形の印領域２２０２を含む行のみとした、図２０（ｄ）のレイアウトを採用する。同様に、２ΔＸＦ≦ΔＸ＜４ΔＸＦ、かつ、ΔＹＦ≦ΔＹ＜２ΔＹＦとなる場合は、図２０（ｂ）のレイアウトを採用し、４ΔＸＦ≦ΔＸ、かつ、ΔＹＦ≦ΔＹ＜２ΔＹＦとなる場合は、図２０（ｃ）のレイアウトを採用する。４ΔＸＦ≦ΔＸ、かつ、２ΔＹＦ≦ΔＹ＜４ΔＹＦとなる場合は、図２０（ｆ）のレイアウトを採用する。ΔＸＦ≦ΔＸ＜２ΔＸＦ、かつ、４ΔＹＦ≦ΔＹとなる場合は、図２０（ｇ）のレイアウトを採用し、２ΔＸＦ≦ΔＸ＜４ΔＸＦ、かつ、４ΔＹＦ≦ΔＹとなる場合は、図２０（ｈ）のレイアウトを採用する。 FIG. 20 is a diagram showing the layout of markers 102 determined in S2401. In S2401, the layout determination unit 208 determines which layout to adopt from the layouts shown in FIGS. 20(a) to (i). Specifically, when ΔX F ≦ΔX<2ΔX F and ΔY F ≦ΔY<2ΔY F , the layout of FIG. do. If 2ΔX F ≦ΔX<4ΔX F and 2ΔY F ≦ΔY<4ΔY F , the layout of FIG. When 4ΔX F ≦ΔX and 4ΔY F ≦ΔY, the layout shown in FIG. 20(i) is adopted in which only the square marking area 2201 is used as the marking area. Further, when ΔX F ≦ΔX<2ΔX F and 2ΔY F ≦ΔY<4ΔY F , the marking area is only the row including the square marking area 2201 and the triangular marking area 2202, as shown in FIG. layout. Similarly, when 2ΔX F ≦ΔX<4ΔX F and ΔY F ≦ ΔY <2ΔY F , the layout of FIG. In this case, the layout of FIG. 20(c) is adopted. If 4ΔX F ≦ΔX and 2ΔY F ≦ΔY<4ΔY F , the layout of FIG. 20(f) is adopted. When ΔX F ≦ ΔX <2ΔX F and 4ΔY F ≦ ΔY , the layout of FIG. 20(h) layout is adopted.

次に、Ｓ２４０２において、レイアウト決定部２０８は、Ｓ２４０１において決定したレイアウトに基づいて、マーカー画像データを生成し、第１実施形態のＳ８０６と同様に、ＨＤＤ１０１３に保存する。Ｓ２４０３において、メタデータ生成部２０９は、メタデータを生成する。この処理は、図２０（ａ）～（ｉ）の９種類に対応するメタデータを予め生成しておき、Ｓ２４０１において決定したレイアウトに対応するメタデータを選択する。選択したメタデータの複製をＨＤＤ１０１３に保存する。Ｓ８０８において、レイアウト決定部２０８は、マーカーの新規登録が終わったことをユーザに通知し、処理を終了する。 Next, in S2402, the layout determining unit 208 generates marker image data based on the layout determined in S2401, and saves it in the HDD 1013 as in S806 of the first embodiment. In S2403, the metadata generation unit 209 generates metadata. In this process, metadata corresponding to the nine types shown in FIGS. 20A to 20I are generated in advance, and metadata corresponding to the layout determined in S2401 is selected. A copy of the selected metadata is saved in the HDD 1013 . In step S808, the layout determination unit 208 notifies the user that the new registration of the marker is finished, and ends the process.

＜Ｓ３０５における処理＞
本実施形態のＳ３０５における、物体１０１の形状の算出は、第１実施形態において説明した処理と同様の処理により行うことができる。しかしながら、印領域４０２の中心座標を算出する処理（Ｓ２００４）は、印領域４０２の形状が異なるため変更が必要である。具体的には、公知のテンプレートマッチング法等を用いて印領域２２０１～２２０３に対応する円形、三角形、四角形のパターンを抽出し、それらの重心座標を中心座標とみなして処理を行う。 <Process in S305>
The calculation of the shape of the object 101 in S305 of this embodiment can be performed by the same process as the process described in the first embodiment. However, the process of calculating the center coordinates of the mark area 402 (S2004) needs to be changed because the shape of the mark area 402 is different. Specifically, circular, triangular, and quadrangular patterns corresponding to the marking areas 2201 to 2203 are extracted using a known template matching method or the like, and processing is performed by regarding their barycentric coordinates as central coordinates.

＜第３実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、マーカー１０２のレイアウトを予め決められたものから選択した。これにより、マーカー１０２のレイアウトが限定されるため、登録や選択等の管理が容易となる。また、例えば、物体１０１の形状ごとにマーカー１０２のレイアウトを作り直す必要がないため、１度作成したマーカー１０２を再利用することが可能となり、印刷のコストを削減できる。 <Effects of the third embodiment>
As described above, the image processing apparatus according to the present embodiment selects the layout of the markers 102 from predetermined layouts. This limits the layout of the markers 102, thereby facilitating management such as registration and selection. Further, for example, since it is not necessary to recreate the layout of the markers 102 for each shape of the object 101, it is possible to reuse the markers 102 that have been created once, thereby reducing printing costs.

＜第３実施形態の変形例＞
尚、本実施形態では、印領域の例として、四角形、三角形、円形を示したが、複数種類の印領域として区別できれば、印領域の形はこれらに限られない。また、色の違う同一形状のパターンや、ＱＲコード（登録商標）等の２次元コードパターンを印領域として使用してもよい。 <Modified example of the third embodiment>
In this embodiment, squares, triangles, and circles are shown as examples of the mark area, but the shape of the mark area is not limited to these as long as it can be distinguished as a plurality of types of mark areas. Patterns of the same shape and different colors or two-dimensional code patterns such as QR codes (registered trademark) may also be used as the marking area.

［その他の実施形態］
上述した実施形態におけるマーカー１０２は、図４などに示したレイアウトであったが、マーカーのレイアウトは上記の例に限定されない。図１１は、マーカー１０２の例を示す図である。図１１に示すように、マーカー１０２は、印領域４０２の座標を撮像画像から抽出することができれば、ＩＤコード領域４０３を有していなくてもよい。また、印領域４０２の色を反転させたものであってもよい。さらに、印領域４０２の配置は、必ずしも図４に示したレイアウトに限らない。印領域４０２は、３つ以上存在し、メタデータにおける領域９０１に示した３次元座標値が既知であればどのような配置であってもよい。例えば、図１１に示したように、行ごとに互い違いとなるように印領域４０２を配置することによって、印領域４０２の密度が場所によらず均一になるようにしてもよい。この場合、領域９０３に示したポリゴン情報は、３つの印領域４０２を頂点とする三角形の情報としても良い。 [Other embodiments]
Although the marker 102 in the above-described embodiment has the layout shown in FIG. 4 and the like, the layout of the marker is not limited to the above example. FIG. 11 is a diagram showing an example of the marker 102. As shown in FIG. As shown in FIG. 11, the marker 102 may not have the ID code area 403 as long as the coordinates of the mark area 402 can be extracted from the captured image. Also, the color of the mark area 402 may be reversed. Furthermore, the arrangement of the mark area 402 is not necessarily limited to the layout shown in FIG. There are three or more marked areas 402, and any arrangement may be used as long as the three-dimensional coordinate values shown in the area 901 in the metadata are known. For example, as shown in FIG. 11, the marking areas 402 may be staggered for each row so that the density of the marking areas 402 is uniform regardless of location. In this case, the polygon information shown in the area 903 may be triangle information with the three marked areas 402 as vertices.

また、上述した実施形態においては、物体１０１における対象領域の最小曲率半径を方向ごとに取得し、取得した最小曲率半径に基づいて印領域４０２の配置を決定したが、印領域４０２の配置を決定方法は上記一例に限られない。例えば、物体１０１の製図情報等を用いて印領域４０２の配置を決定してもよい。図１２は、印領域４０２の配置を決定する方法を説明するための図である。ここで、図１２に示す曲線１４０１及び曲線１４０２は、Ｘ座標を横軸とし、Ｚ座標（高さ）を縦軸とした場合の物体１０１の高さの変化を表している。この高さの変化は、製図情報等の形状情報から得ることができる。尚、ここではＹ座標方向にＺ座標は変化しないものとして説明する。図１２（ａ）の場合は、曲線１４０１の二次微分が零となるＸ座標値をまず計算し、その位置に印領域４０２を配置する。さらに、二次微分が零となるＸ座標値より左側、右側でそれぞれ最小曲率半径を算出し、Ｓ８０２における処理と同じ処理でそれぞれにおける印領域４０２の間隔を算出する。図１２（ｂ）の場合は、まず、曲線１４０２の曲率ｋを式（４）を用いて算出する。 In the above-described embodiment, the minimum radius of curvature of the target region of the object 101 is acquired for each direction, and the placement of the mark region 402 is determined based on the acquired minimum radius of curvature. The method is not limited to the above example. For example, the layout of the mark area 402 may be determined using the drawing information of the object 101 or the like. 12A and 12B are diagrams for explaining a method of determining the placement of the mark area 402. FIG. Curves 1401 and 1402 shown in FIG. 12 represent changes in the height of the object 101 when the horizontal axis is the X coordinate and the vertical axis is the Z coordinate (height). This change in height can be obtained from shape information such as drawing information. Here, it is assumed that the Z coordinate does not change in the Y coordinate direction. In the case of FIG. 12A, the X-coordinate value at which the second derivative of the curve 1401 is zero is first calculated, and the mark area 402 is arranged at that position. Furthermore, the minimum radius of curvature is calculated for each of the left and right sides of the X-coordinate value at which the second derivative is zero, and the intervals of the marked areas 402 are calculated by the same processing as in S802. In the case of FIG. 12B, first, the curvature k of the curve 1402 is calculated using Equation (4).

Figure 0007278761000004
Figure 0007278761000004

ここで、Ｚ（Ｘ）は、ＺをＸの関数とした曲線１４０２を表す。Ｚ′（Ｘ）は、Ｚ（Ｘ）に対する一次微分の結果であり、Ｚ″（Ｘ）は、Ｚ（Ｘ）に対する二次微分の結果である。次に、曲率ｋが最大となる位置に印領域４０２を配置する。ここで最初に配置した印領域を第１印領域と呼ぶ。次に、曲率ｋが最大となる位置の曲率半径を１／ｋとして、第１印領域から第１印領域の隣に配置する印領域４０２までの間隔をＳ８０２における処理によって決定する。第１印領域の隣に配置する印領域４０２を第２印領域と呼ぶ。同様にして、第２印領域から第２印領域の隣に配置する印領域４０２までの間隔を、第２印領域の位置における曲率ｋの大きさに応じて決定する。この処理を繰り返すことによって、全ての印領域４０２の位置を決定することができる。 where Z(X) represents the curve 1402 with Z as a function of X. Z'(X) is the result of the first derivative with respect to Z(X), and Z''(X) is the result of the second derivative with respect to Z(X). Place the mark area 402. Here, the mark area that is placed first is called the first mark area.Next, the radius of curvature at the position where the curvature k is the maximum is set to 1/k, and the first mark area is the first mark area. The interval to the mark area 402 arranged next to the area is determined by the processing in S802.The mark area 402 arranged next to the first mark area is called the second mark area. The interval to the mark area 402 arranged adjacent to the second mark area is determined according to the magnitude of the curvature k at the position of the second mark area By repeating this process, the positions of all the mark areas 402 are determined. can do.

また、上述した実施形態のＳ３０５において、画像処理部２０７は、マーカー１０２における全ての印領域４０２を物体１０１の形状の算出に用いたが、物体１０１の形状の算出に用いる印領域は、マーカー１０２における印領域４０２の一部であってもよい。例えば、予め細かい間隔の印領域を有するマーカー１０２を用いて、物体１０１の形状の算出に用いる印領域４０２を選択してもよい。具体的には、図２０（ａ）のレイアウトを有するマーカー１０２を印刷し、物体１０１に貼り付けて、マーカー１０２が貼り付けられた物体１０１を撮像する。抽出部２１２は、印領域の中心座標を算出する処理（Ｓ２００４）において、入力された曲率半径に基づいて、物体１０１の形状の算出に用いる印領域の形状を選択する。例えば、入力された曲率半径ΔＸ、ΔＹに対し、４ΔＸＦ≦ΔＸ、かつ、４ΔＹＦ≦ΔＹとなる場合は、図２０（ｉ）のレイアウトのように、四角形の印領域２２０１のみ抽出し、抽出した印領域２２０１の中心座標に基づいて物体１０１の形状を算出する。この方法により、１種類のマーカー１０２のみを用いて、物体１０１のさまざまな形状を高精度に取得することができる。 In S305 of the above-described embodiment, the image processing unit 207 uses all the marked areas 402 of the marker 102 to calculate the shape of the object 101. However, the marked area used to calculate the shape of the object 101 is may be part of the marking area 402 in . For example, a marker 102 having previously finely spaced mark regions may be used to select the mark regions 402 used for calculating the shape of the object 101 . Specifically, a marker 102 having the layout of FIG. 20A is printed, attached to the object 101, and the object 101 to which the marker 102 is attached is imaged. The extraction unit 212 selects the shape of the mark area used for calculating the shape of the object 101 based on the input radius of curvature in the process of calculating the central coordinates of the mark area (S2004). For example, if 4ΔX F ≤ ΔX and 4ΔY F ≤ ΔY with respect to the input curvature radii ΔX and ΔY, only the rectangular mark area 2201 is extracted as shown in the layout of FIG. The shape of the object 101 is calculated based on the center coordinates of the marked area 2201 . With this method, various shapes of the object 101 can be obtained with high accuracy using only one type of marker 102 .

また、上述した実施形態においては、メタデータに記録された印領域４０２の３次元座標値と、撮像画像において抽出された各印領域４０２の座標値との対応関係に基づいて、物体１０１の対象領域の３次元座標を取得した。これにより、１度の撮像で簡易に形状を取得することが可能となる。しかしながら、物体１０１の対象領域の３次元座標を取得する方法は上記一例に限定されない。例えば、撮像装置１０３としてデジタルカメラ２台を組み合わせたステレオカメラ１５０１を用いてもよい。図１３は、画像処理システムの構成を示す図である。この場合、まず、ステレオカメラ１５０１を構成する各カメラの撮像により得られた撮像画像データに基づいて、各印領域４０２の中心の座標を算出する。各印領域４０２の中心の座標は、Ｓ２００４における処理と同じ方法によって算出する。各撮像画像データに対応する印領域４０２の中心の座標と、カメラ間の相対的な位置関係と、に基づいて、三角測量の原理により、印領域４０２の中心の３次元座標値を算出する。この方法の場合は、メタデータに記録された印領域４０２の３次元座標値は必要なく、メタデータは領域９０１に記録された情報を有していなくてもよい。また、この場合であっても、印領域４０２の間隔は、対象領域の曲面を近似するために十分な間隔より密である必要がある。そのため、曲面の曲率半径が小さい方向に印領域４０２がより密に配置されていることが望ましい。尚、複数の方向から１台のデジタルカメラを用いて物体１０１を撮像し、公知のＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）のアルゴリズムを用いて３次元座標値を算出してもよい。 Further, in the above-described embodiment, the target of the object 101 is determined based on the correspondence relationship between the three-dimensional coordinate values of the mark area 402 recorded in the metadata and the coordinate values of each mark area 402 extracted from the captured image. Three-dimensional coordinates of the region were obtained. As a result, it is possible to easily acquire the shape with one-time imaging. However, the method of acquiring the three-dimensional coordinates of the target area of the object 101 is not limited to the above example. For example, a stereo camera 1501 combining two digital cameras may be used as the imaging device 103 . FIG. 13 is a diagram showing the configuration of an image processing system. In this case, first, the coordinates of the center of each mark area 402 are calculated based on the captured image data obtained by capturing the images of the cameras constituting the stereo camera 1501 . The coordinates of the center of each mark area 402 are calculated by the same method as the processing in S2004. Based on the coordinates of the center of the mark area 402 corresponding to each captured image data and the relative positional relationship between the cameras, the three-dimensional coordinate values of the center of the mark area 402 are calculated according to the principle of triangulation. In this method, the three-dimensional coordinate values of the marking area 402 recorded in the metadata are not required, and the metadata does not need to have information recorded in the area 901 . Also, even in this case, the spacing of the marked areas 402 should be closer than enough to approximate the curved surface of the target area. Therefore, it is desirable that the marking areas 402 are arranged more densely in the direction in which the radius of curvature of the curved surface is smaller. Note that the object 101 may be imaged from a plurality of directions using a single digital camera, and three-dimensional coordinate values may be calculated using a known SfM (Structure from Motion) algorithm.

また、上述した実施形態における印領域４０２の形状は円形であったが、印領域４０２の形状は円形に限られない。例えば、印領域４０２の形状は三角形であってもよい。また、ＩＤコード領域４０３を有さないマーカーを用いる場合や、ＩＤコード領域４０３と大きさによって区別することができる場合には、印領域４０２の形状は四角形であってもよい。 Further, although the shape of the mark area 402 in the above-described embodiment is circular, the shape of the mark area 402 is not limited to a circle. For example, the shape of the marking area 402 may be triangular. When a marker without the ID code area 403 is used, or when it can be distinguished from the ID code area 403 by its size, the shape of the mark area 402 may be square.

また、上述した実施形態におけるマーカー１０２は、物体１０１に貼り付けられたが、物体１０１の形状に応じた撮像ができるように配置されていれば、貼り付けられていなくてもよい。 In addition, although the marker 102 in the above-described embodiment is attached to the object 101, it does not have to be attached as long as it is arranged so that an image corresponding to the shape of the object 101 can be captured.

また、上述した実施形態におけるポリゴン情報に対応するポリゴンは矩形であったが、ポリゴンは矩形に限られない。例えば、ポリゴンは、矩形を対角線で半分にした三角形であってもよい。 Also, although the polygon corresponding to the polygon information in the above-described embodiment is rectangular, the polygon is not limited to rectangular. For example, a polygon may be a triangle that is half a rectangle diagonally.

また、上述した実施形態においては、物体の対象領域の曲率半径を用いて印領域４０２の間隔を決定したが、曲率半径ではなく曲率を用いて印領域４０２の間隔を決定してもよい。 Further, in the above-described embodiment, the radius of curvature of the target region of the object is used to determine the interval between the mark regions 402, but the curvature instead of the radius of curvature may be used to determine the interval between the mark regions 402. FIG.

また、上述した実施形態においては、Ｓ２００２において、抽出部２１２は、キャニー法を用いてエッジの抽出を行ったが、エッジの抽出方法は上記一例に限定されない。例えば、ソーベルフィルタを用いてエッジの抽出を行ってもよい。 Further, in the above-described embodiment, in S2002, the extraction unit 212 extracts edges using the Canny method, but the edge extraction method is not limited to the above example. For example, edges may be extracted using a Sobel filter.

また、上述した実施形態における画像処理システムは、撮像装置１０３と、画像処理装置１０４と、画像形成装置１０８と、から構成されていたが、画像処理システムの構成は上記一例に限定されない。例えば、画像処理システムは、画像処理装置１０４と、画像形成装置１０８と、の２つから構成されていてもよい。この場合の画像処理装置１０４は、図１４（ａ）のフローチャートが示すように、上述したＳ３０１～Ｓ３０３の処理を行う。また、画像処理システムは、撮像装置１０３と、画像処理装置１０４と、の２つから構成されていてもよい。この場合の画像処理装置１０４は、図１４（ｂ）のフローチャートが示すように、上述したＳ３０４及びＳ３０５の処理を行う。 Further, although the image processing system in the above-described embodiments is configured with the imaging device 103, the image processing device 104, and the image forming device 108, the configuration of the image processing system is not limited to the above example. For example, the image processing system may consist of the image processing device 104 and the image forming device 108 . In this case, the image processing apparatus 104 performs the processes of S301 to S303 described above, as shown in the flowchart of FIG. 14(a). Also, the image processing system may be composed of two of the imaging device 103 and the image processing device 104 . The image processing apparatus 104 in this case performs the processes of S304 and S305 described above, as shown in the flowchart of FIG.

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.

１０４ 画像処理装置
２０８ レイアウト決定部 104 image processing device 208 layout determination unit

Claims (15)

物体の表面に配置するマーカーを基材上に形成するための画像データを生成する画像処理装置であって、
前記マーカーにおける、前記物体の表面の形状を特定するために用いられる複数の印の間隔を、前記物体の表面の曲率に関する情報に基づいて決定する決定手段と、
前記決定手段によって決定された前記印の間隔に基づいて、前記画像データを生成する生成手段と、を有し、
前記決定手段は、前記マーカーが前記物体の表面に配置された場合の、前記物体の表面に沿った印間の距離と、印間の直線距離との差が閾値より小さくなるように、前記複数の印の間隔を決定することを特徴とする画像処理装置。 An image processing device for generating image data for forming on a substrate a marker to be arranged on the surface of an object,
Determination means for determining the spacing of a plurality of marks in the marker used to identify the shape of the surface of the object based on information about the curvature of the surface of the object;
generating means for generating the image data based on the interval between the marks determined by the determining means ;
The determining means determines the plurality of markers so that a difference between a distance between marks along the surface of the object and a linear distance between the marks when the markers are placed on the surface of the object is smaller than a threshold value. 2. An image processing apparatus, characterized in that it determines the interval between marks . 前記決定手段は、前記物体の表面の曲率が第１曲率である場合よりも、前記物体の表面の曲率が前記第１曲率よりも大きい第２曲率である場合の方が、前記印の間隔を狭くすることを特徴とする請求項１に記載の画像処理装置。 The determining means determines the interval between the marks when the curvature of the surface of the object is a second curvature larger than the first curvature than when the curvature of the surface of the object is the first curvature. 2. The image processing apparatus according to claim 1, wherein the width is narrowed. 前記複数の印のそれぞれは、前記物体における１点の位置を特定するための印であることを特徴とする請求項１又は請求項２に記載の画像処理装置。 3. The image processing apparatus according to claim 1, wherein each of said plurality of marks is a mark for specifying the position of one point on said object. 前記画像データと、前記画像データが表す前記マーカーに関する情報と、を登録する登録手段と、
前記登録手段によって登録された前記画像データ及び前記マーカーに関する情報の一覧を表示手段に表示させる表示制御手段と、
をさらに有することを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像処理装置。 registration means for registering the image data and information about the marker represented by the image data;
display control means for causing a display means to display a list of information about the image data and the marker registered by the registration means;
4. The image processing apparatus according to any one of claims 1 to 3, further comprising: 前記画像データに基づいて、前記マーカーを前記基材上に形成する形成手段を制御する形成制御手段をさらに有することを特徴とする請求項１乃至請求項４のいずれか一項に記載の画像処理装置。 5. The image processing according to any one of claims 1 to 4, further comprising formation control means for controlling formation means for forming the marker on the base material based on the image data. Device. 前記形成手段によって形成された前記マーカーが表面に配置された物体の表面と、前記マーカーと、を撮像範囲に含めるように撮像することによって得られる撮像画像データを取得する撮像画像データ取得手段と、
前記撮像画像データが表す撮像画像において、前記マーカーに含まれるパターンを特徴として抽出する抽出手段と、
をさらに有することを特徴とする請求項５に記載の画像処理装置。 captured image data acquisition means for acquiring captured image data obtained by capturing an image of the surface of the object on which the marker formed by the forming means and the marker are included in an imaging range;
extracting means for extracting, as a feature, a pattern included in the marker in the captured image represented by the captured image data;
6. The image processing apparatus according to claim 5, further comprising: 前記抽出手段によって抽出された前記特徴に基づいて、前記物体の表面の形状を表す形状データを生成する生成手段をさらに有することを特徴とする請求項６に記載の画像処理装置。 7. The image processing apparatus according to claim 6, further comprising generating means for generating shape data representing a surface shape of said object based on said features extracted by said extracting means. 前記複数の印それぞれは円形であることを特徴とする請求項１乃至請求項７のいずれか一項に記載の画像処理装置。8. The image processing apparatus according to claim 1, wherein each of said plurality of marks is circular. 前記複数の印それぞれの色は前記物体の色に応じて決定されることを特徴とする請求項１乃至請求項８のいずれか一項に記載の画像処理装置。9. The image processing apparatus according to claim 1, wherein the color of each of said plurality of marks is determined according to the color of said object. 前記生成手段は、前記マーカーを識別可能な情報を含む領域を前記マーカーに含めるように前記画像データを生成することを特徴とする請求項１乃至請求項９のいずれか一項に記載の画像処理装置。10. The image processing according to any one of claims 1 to 9, wherein the generating means generates the image data so that the marker includes an area including information that enables the marker to be identified. Device. 前記決定手段は、前記基材のサイズにさらに基づいて、前記複数の印の間隔を決定することを特徴とする請求項１乃至請求項１０のいずれか一項に記載の画像処理装置。11. The image processing apparatus according to any one of claims 1 to 10, wherein the determining means determines the intervals between the plurality of marks further based on the size of the base material. 前記生成手段は、前記決定された印の間隔に基づいて前記マーカーが作成可能か否かを判定し、前記マーカーが作成可能と判定した場合に前記画像データを生成することを特徴とする請求項１乃至請求項１１のいずれか一項に記載の画像処理装置。3. The generating means determines whether or not the marker can be created based on the determined mark interval, and generates the image data when it is determined that the marker can be created. The image processing apparatus according to any one of claims 1 to 11. 前記生成手段は、前記複数の印の位置関係を特定可能な、前記画像データについてのメタデータを生成することを特徴とする請求項１乃至請求項１２のいずれか一項に記載の画像処理装置。13. The image processing apparatus according to any one of claims 1 to 12, wherein the generating means generates metadata about the image data that can identify the positional relationship of the plurality of marks. . コンピュータを請求項１乃至請求項１３のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each means of the image processing apparatus according to any one of claims 1 to 13 . 物体の表面に配置するマーカーを基材上に形成するための画像データを生成する画像処理方法であって、
前記マーカーにおける、前記物体の表面の形状を特定するために用いられる複数の印の間隔を、前記物体の表面の曲率に関する情報に基づいて決定する決定ステップと、
前記決定ステップにおいて決定された前記印の間隔に基づいて、前記画像データを生成する生成ステップと、を有し、
前記決定ステップにおいて、前記マーカーが前記物体の表面に配置された場合の、前記物体の表面に沿った印間の距離と、印間の直線距離との差が閾値より小さくなるように、前記複数の印の間隔を決定することを特徴とする画像処理方法。 An image processing method for generating image data for forming on a substrate a marker to be placed on the surface of an object, comprising:
a determining step of determining, based on information about the curvature of the surface of the object, the spacing of a plurality of marks in the marker used to identify the shape of the surface of the object;
a generating step of generating the image data based on the mark spacing determined in the determining step ;
In the determining step, the plurality of A method of image processing, characterized by determining the spacing of the markings .
JP2018230315A 2018-03-30 2018-12-07 Image processing device, image processing method and program Active JP7278761B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/358,308 US11190684B2 (en) 2018-03-30 2019-03-19 Image processing apparatus, image processing method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018066927 2018-03-30
JP2018066927 2018-03-30

Publications (3)

Publication Number Publication Date
JP2019185729A JP2019185729A (en) 2019-10-24
JP2019185729A5 JP2019185729A5 (en) 2022-01-11
JP7278761B2 true JP7278761B2 (en) 2023-05-22

Family

ID=68341524

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018230315A Active JP7278761B2 (en) 2018-03-30 2018-12-07 Image processing device, image processing method and program

Country Status (1)

Country Link
JP (1) JP7278761B2 (en)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001349706A (en) 2000-06-09 2001-12-21 Oojisu Soken:Kk Position detection method and device, image processing method, sheet and recording medium
JP2002108954A (en) 2000-09-28 2002-04-12 Space Control Inc Method for designing shape
JP2003322514A (en) 2002-05-01 2003-11-14 Mitsubishi Heavy Ind Ltd Face shape measuring method and target sheet
JP2004347520A (en) 2003-05-23 2004-12-09 Mitsubishi Heavy Ind Ltd Shape measuring system
JP2008014940A (en) 2006-06-08 2008-01-24 Fast:Kk Camera calibration method for camera measurement of planar subject and measuring device applying same
JP2013156038A (en) 2012-01-26 2013-08-15 Canon Inc Measurement device, measurement method and program
JP2014127902A (en) 2012-12-27 2014-07-07 Kyocera Document Solutions Inc Image correction data generation device and image correction data generation program
JP2014229274A (en) 2013-05-27 2014-12-08 国立大学法人 千葉大学 Marker, object with marker, marker analysis method, and image creation method
JP2017022489A (en) 2015-07-08 2017-01-26 日本電信電話株式会社 Electronic watermark detection method, device, and program
JP2017085533A (en) 2015-10-26 2017-05-18 株式会社リコー Information processing system and information processing method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001349706A (en) 2000-06-09 2001-12-21 Oojisu Soken:Kk Position detection method and device, image processing method, sheet and recording medium
JP2002108954A (en) 2000-09-28 2002-04-12 Space Control Inc Method for designing shape
JP2003322514A (en) 2002-05-01 2003-11-14 Mitsubishi Heavy Ind Ltd Face shape measuring method and target sheet
JP2004347520A (en) 2003-05-23 2004-12-09 Mitsubishi Heavy Ind Ltd Shape measuring system
JP2008014940A (en) 2006-06-08 2008-01-24 Fast:Kk Camera calibration method for camera measurement of planar subject and measuring device applying same
JP2013156038A (en) 2012-01-26 2013-08-15 Canon Inc Measurement device, measurement method and program
JP2014127902A (en) 2012-12-27 2014-07-07 Kyocera Document Solutions Inc Image correction data generation device and image correction data generation program
JP2014229274A (en) 2013-05-27 2014-12-08 国立大学法人 千葉大学 Marker, object with marker, marker analysis method, and image creation method
JP2017022489A (en) 2015-07-08 2017-01-26 日本電信電話株式会社 Electronic watermark detection method, device, and program
JP2017085533A (en) 2015-10-26 2017-05-18 株式会社リコー Information processing system and information processing method

Also Published As

Publication number Publication date
JP2019185729A (en) 2019-10-24

Similar Documents

Publication Publication Date Title
US9010640B2 (en) Stream dot pattern, method of forming stream dot pattern, information input/output method using stream dot pattern, and dot pattern
JP4310288B2 (en) Image processing apparatus and method, program, and storage medium
JP6010870B2 (en) Image correction apparatus, image correction method, and program
US8923656B1 (en) Correction of acquired images for cutting pattern creation
JP6353893B2 (en) Method, program, and apparatus for scraping articles from paper image taken by camera of portable terminal device
JP7262927B2 (en) Image processing device, image processing method and program
US8913852B2 (en) Band-based patch selection with a dynamic grid
US11190684B2 (en) Image processing apparatus, image processing method, and storage medium
US9818028B2 (en) Information processing apparatus for obtaining a degree of similarity between elements
JP2017010271A (en) Information processing apparatus, image forming system, image forming apparatus, and program
JP4859061B2 (en) Image correction method, correction program, and image distortion correction apparatus
JP7278761B2 (en) Image processing device, image processing method and program
JP7183020B2 (en) Image processing device, image processing method, and program
JP2006331214A (en) Object identification tag and object identification system using it
JP2017149126A (en) Portable type direct printing type handy printer
KR101903617B1 (en) Method for editing static digital combined images comprising images of multiple objects
JP2019036146A (en) Image analysis device and image analysis program
US20230196707A1 (en) Fiducial patterns
CN112529013A (en) Image recognition method, device, equipment and computer readable medium
JP2006331322A (en) Retrieval tag and information retrieval system using it
KR20200131368A (en) System and method for object recognition different by administrative area
JP7310151B2 (en) Mark selection device and image processing device
JP7468472B2 (en) Trained model generation method, recognition method, and information processing device
JP7268560B2 (en) Stone wall placement support program, stone wall placement support method, and stone wall placement support device
CN110869945A (en) Image processing apparatus

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211203

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230510

R151 Written notification of patent or utility model registration

Ref document number: 7278761

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151