JP2005258758A - Apparatus and method for image processing - Google Patents
Apparatus and method for image processing Download PDFInfo
- Publication number
- JP2005258758A JP2005258758A JP2004068821A JP2004068821A JP2005258758A JP 2005258758 A JP2005258758 A JP 2005258758A JP 2004068821 A JP2004068821 A JP 2004068821A JP 2004068821 A JP2004068821 A JP 2004068821A JP 2005258758 A JP2005258758 A JP 2005258758A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image
- coordinate system
- imaging
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、カメラを用いた画像処理装置および画像処理方法において、画像処理を行なう際に、画像処理を行なう領域を指定する画像処理装置および画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method for specifying an area for image processing when performing image processing in an image processing apparatus and an image processing method using a camera.
従来より、画像処理としては、コンピュータ内のメモリ等へ格納した画像データに対して、平均化、フーリエ変換などの各種演算を行なうものが知られている。このような画像処理においては格納した画像データの対応するすべての領域について画像処理を実行するのではなく、画像データの一部の領域に対して処理を行なうことにより高速な画像処理を実行する方式が提案されている。 2. Description of the Related Art Conventionally, as image processing, one that performs various operations such as averaging and Fourier transform on image data stored in a memory in a computer or the like is known. In such image processing, a method for performing high-speed image processing by performing processing on a partial region of image data, rather than performing image processing on all corresponding regions of stored image data. Has been proposed.
図１６は、従来の画像処理方式を説明する概念図である。 FIG. 16 is a conceptual diagram illustrating a conventional image processing method.
図１６を参照して、環境中の対象物としてボール１５を認識することを考える。図１６においては、外装５の上部にカメラ１が設けられ、ボール１５に対してカメラ１が向けられている。
Referring to FIG. 16, consider that the
図１７は、図１６で説明したカメラ１で撮像した画像を示す一例図である。
FIG. 17 is an example diagram illustrating an image captured by the
図１７に示されるようにカメラ画像２０♯において、ボール１５が認識されるとともに、ボール１５に近接してカメラ１を支持するための外装領域５が示されている。なお、本例においては、外装５には円状の模様が付与されているものとし、２次元上のカメラ画像２０♯において、ボール１５と外装５に付与された模様１１とが撮像されているものとする。
As shown in FIG. 17, in the
従来の画像処理による対象物認識方式においては、たとえば一例としてボールを認識するためにボールの色情報や形状情報を利用して画像からボール領域の抽出を行なうことが一般的に行われている。しかしながら、図１７で示されるように環境中に存在するものの模様がたとえばボール１５と同じ色である場合や、同じ形状である場合にはボールであるのか模様であるかどうかの識別は困難である。
In a conventional object recognition method using image processing, for example, in order to recognize a ball, for example, a ball region is generally extracted from an image using color information and shape information of the ball. However, as shown in FIG. 17, it is difficult to identify whether the pattern is a ball or a pattern when the pattern of what exists in the environment has the same color as the
一方、この図１７に示されるカメラ画像２０♯において、画像処理対象領域を外装領域と考えられる部分以外の部分に限定することにより模様１１をボールであると誤認識することから回避することができる。すなわち、図１８のように画像処理対象領域を限定することにより高速な画像処理を実行することが可能となる。
On the other hand, in the
画像処理対象領域の設定方法として、特開平４−１００７５号公報においては画像処理における領域区分しきい値設定方法が開示されている。この特開平４−１００７５号公報においては、画像処理対象領域とその他の領域とを区別する際に原画像に基づく色の特徴量を用いて領域を区別するしきい値が決定されている。また、特開平３−１４４８６１号公報においては、画像処理システムにおいてカメラで撮像した画像に対して、オペレータがユーザインターフェイスを用いて円弧直線により画像処理対象領域を設定する方式が開示されている。また、別の例として、特開平６−２９５３３４号公報においては、画像処理対象領域に関し、画像サイズの画素毎に画像処理対象領域か画像処理不要領域かを事前に記録し、実際に画像処理する際には画像処理対象領域として登録されている領域のみを処理する。上述した３つの公報に開示されるように画像処理における領域をある一部領域に区分して設定することにより高速な画像処理が可能となる。
しかしながら、上述した特開平４−１００７５号公報においては、色の特徴量を用いて画像処理対象領域を区別する方式であるため、たとえば画像処理対象領域の正確さが照明条件や環境中の色要素の複雑さに影響を受けやすいという問題がある。 However, since the above-described Japanese Patent Laid-Open No. 4-10075 uses a color feature amount to distinguish an image processing target area, for example, the accuracy of the image processing target area depends on illumination conditions and color elements in the environment. There is a problem that it is easily affected by the complexity of.
また、特開平３−１４４８６１号公報においては撮像した画像に対して、オペレータがユーザインターフェイスを用いて画像処理対象領域を設定しているため画像処理の途中にオフライン処理が入り全体的な処理の所要時間が増大するという問題がある。 In Japanese Patent Laid-Open No. 3-144861, an operator sets an image processing target area using a user interface for a captured image, so that offline processing is performed in the middle of image processing, and overall processing is required. There is a problem that time increases.
また、特開平６−２９５３３４号公報においては、画像サイズの各画素毎に画像処理対象領域か画像処理不要領域かを事前に記録する必要がある。したがって、撮像領域が変化する場合には事前にすべての場合の画像処理対象領域を記録することが必要であり、画像サイズの各画素が極めて大容量となる場合には画像処理に多大な時間を要するという問題が生じる。 In Japanese Patent Application Laid-Open No. 6-295334, it is necessary to record in advance whether an image processing target area or an image processing unnecessary area for each pixel of the image size. Therefore, when the imaging area changes, it is necessary to record the image processing target area in all cases in advance, and when each pixel of the image size becomes extremely large, a large amount of time is required for the image processing. The problem arises.
本発明は、上記のような問題を解決するためになされたものであって、簡易な方式で環境中の画像処理不要領域を特定して、画像処理対象領域を指定し、高速な画像処理を実行する画像処理装置および画像処理方法を提供することを目的とする。 The present invention has been made in order to solve the above-described problems. A simple method is used to identify an image processing unnecessary area in the environment, specify an image processing target area, and perform high-speed image processing. An object is to provide an image processing apparatus and an image processing method to be executed.
本発明に係る画像処理装置は、撮像軸方向の画像を撮像するための撮像手段と、撮像手段によって撮像された画像データを処理する画像処理手段と、画像処理手段に必要な情報を記憶する記憶手段とを備える。記憶手段は、撮像手段の光学中心を第１の原点とし、撮像軸および互いに撮像軸と直行する２軸を基軸とする第１の座標系における画像内に入る環境内の任意の点を画像上の２次元座標系に変換するための座標変換テーブルと、任意の点を第２の原点とした第２の座標系における環境内における画像処理に不要な領域における不要領域情報とを記憶する。画像処理手段は、記憶手段に記憶されている第２の座標系における不要領域情報を第１の座標系に変換し、画像上に示される座標変換テーブルを用いて変換した第１の座標系に従う不要領域情報に基づいて撮像された画像データを処理する領域を指定する。 An image processing apparatus according to the present invention includes an imaging unit for capturing an image in the imaging axis direction, an image processing unit that processes image data captured by the imaging unit, and a memory that stores information necessary for the image processing unit. Means. The storage means sets an arbitrary point in the environment within the image in the first coordinate system with the optical center of the imaging means as the first origin and the imaging axis and two axes orthogonal to the imaging axis as the basic axes on the image. A coordinate conversion table for converting to the two-dimensional coordinate system and unnecessary area information in an area unnecessary for image processing in the environment in the second coordinate system with an arbitrary point as the second origin are stored. The image processing means converts the unnecessary area information in the second coordinate system stored in the storage means to the first coordinate system, and follows the first coordinate system converted using the coordinate conversion table shown on the image. An area for processing image data captured based on unnecessary area information is designated.
好ましくは、撮像手段の向きを基準となる所定位置から変更するための少なくとも１自由度を有する撮像範囲変更手段と、撮像範囲変更手段により基準となる所定位置から移動した撮像手段の変更角度を検出する角度検出手段とをさらに備える。画像処理手段は、角度検出手段において検出した変更角度に基づいて記憶手段に記憶されている第２の座標系における不要領域情報を第１の座標系に変換し、画像上に示される座標変換テーブルを用いて変換した第１の座標系に従う不要領域情報に基づいて撮像された画像データを処理する領域を指定する。 Preferably, the imaging range changing means having at least one degree of freedom for changing the orientation of the imaging means from the reference predetermined position and the change angle of the imaging means moved from the reference predetermined position by the imaging range changing means are detected. Angle detecting means. The image processing means converts unnecessary area information in the second coordinate system stored in the storage means to the first coordinate system based on the changed angle detected by the angle detection means, and a coordinate conversion table shown on the image. A region for processing image data captured based on unnecessary region information according to the first coordinate system converted using is designated.
特に、角度検出手段は、エンコーダに相当する。 In particular, the angle detection means corresponds to an encoder.
本発明に係る画像処理方法は、撮像軸方向の画像を撮像するための撮像手段と、撮像手段によって撮像された画像データを処理する画像処理手段と、画像処理手段に必要な情報を記憶する記憶手段とを備える、画像処理装置の画像処理方法であって、撮像手段の光学中心を第１の原点とし、撮像軸および互いに撮像軸と直行する２軸を基軸とする第１の座標系における画像内に入る環境内の任意の点を画像上の２次元座標系に変換するための座標変換テーブルを作成し、記憶手段に記憶するステップと、任意の点を第２の原点とした第２の座標系における環境内における画像処理に不要な領域における不要領域情報を記憶手段に記憶するステップと、記憶手段に記憶されている第２の座標系における不要領域情報を第１の座標系に変換するステップと、座標変換テーブルを用いて変換した第１の座標系に従う画像上に示される不要領域情報に基づいて撮像された画像データの画像処理を実行する領域を指定するステップとを備える。 An image processing method according to the present invention includes an imaging unit for capturing an image in the imaging axis direction, an image processing unit that processes image data captured by the imaging unit, and a memory that stores information necessary for the image processing unit. An image processing method of an image processing apparatus, comprising: a first coordinate system having an optical center of an imaging unit as a first origin and an imaging axis and two axes orthogonal to the imaging axis as a base axis A step of creating a coordinate conversion table for converting an arbitrary point in the environment that falls within the image into a two-dimensional coordinate system on the image and storing it in the storage means; and a second step with the arbitrary point as the second origin Storing unnecessary area information in an area unnecessary for image processing in the environment in the coordinate system in the storage means, and converting unnecessary area information in the second coordinate system stored in the storage means to the first coordinate system. The Comprising a-up, and a step of specifying an area for performing image processing of image data captured based on the first unnecessary region information shown on the image according to the coordinate system conversion using the coordinate transformation table.
好ましくは、画像装置は、撮像軸を基準撮像軸から変更させるための少なくとも１自由度を有する撮像範囲変更手段と、撮像軸の基準撮像軸からの変更角度を検出する角度検出手段とをさらに備える。第１の座標系に変換するステップは、角度検出手段において検出した変更角度に基づいて記憶手段に記憶されている第２の座標系における不要領域情報を第１の座標系に変換する。 Preferably, the imaging apparatus further includes an imaging range changing unit having at least one degree of freedom for changing the imaging axis from the reference imaging axis, and an angle detecting unit for detecting a change angle of the imaging axis from the reference imaging axis. . The step of converting to the first coordinate system converts the unnecessary area information in the second coordinate system stored in the storage unit to the first coordinate system based on the changed angle detected by the angle detection unit.
本発明に係る画像処理装置および画像処理方法は、第１の座標系における画像内に入る環境内の任意の点を画像上の２次元座標系に変換する座標変換テーブルを用いて、不要領域情報を変換し、画像データを処理する領域を指定する。したがって、座標変換により、簡易に不要領域情報を画像内で判別することができる。すなわち、簡易に画像データを処理する領域を指定し、高速な画像処理を実行することができる。 The image processing apparatus and the image processing method according to the present invention use the coordinate conversion table that converts an arbitrary point in the environment that falls within the image in the first coordinate system into a two-dimensional coordinate system on the image. To specify the area to process the image data. Therefore, unnecessary area information can be easily determined in an image by coordinate conversion. That is, it is possible to easily designate a region for processing image data and execute high-speed image processing.
本発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付し、その説明は繰返さない。 Embodiments of the present invention will be described in detail with reference to the drawings. In the drawings, the same or corresponding parts are denoted by the same reference numerals, and description thereof will not be repeated.
（実施の形態１）
図１は、本発明の実施の形態１に従う画像処理装置の外観構成図である。
(Embodiment 1)
FIG. 1 is an external configuration diagram of an image processing apparatus according to the first embodiment of the present invention.
図１を参照して、本発明の実施の形態１に従う画像処理装置は、カメラ１と、カメラ１を支持するリンク２と、リンク２を介してカメラ１を固定するとともに、装置内部を覆う外装５とが示される。
Referring to FIG. 1, an image processing apparatus according to
図２は、本発明の実施の形態１に従う画像処理装置の内部回路の概略ブロック図である。 FIG. 2 is a schematic block diagram of an internal circuit of the image processing device according to the first embodiment of the present invention.
図２を参照して、本発明の実施の形態１に従う画像処理装置は、環境中における対象物を撮像するためのカメラ１と、カメラ１を制御するための制御部１０とを備える。制御部１０は、カメラ１で撮像した撮像データを画像処理する画像処理部３と、画像処理に用いるために必要なプログラム情報やデータを記憶するためのメモリ４と、外部との間で入力情報および出力情報を授受する入出力部６とを備える。
Referring to FIG. 2, the image processing apparatus according to the first embodiment of the present invention includes a
本発明の画像処理装置は、特に画像処理において、環境中の対象物を撮像する場合にカメラ１の撮像領域において外装５の一部が含まれる場合の画像処理について説明する。具体的には、撮像領域に含まれる外装５の一部を除きそれ以外の領域を画像処理対象領域に設定する方式について説明する。すなわち、撮像領域における画像処理不要領域を設定し、それ以外の領域を画像処理対象領域として画像処理を実行する方式について説明する。これにより、たとえば撮像された画像データにおいて外装５の領域には対象物が存在しないために画像処理対象領域を外装５以外の領域に設定することにより画像処理時間の短縮および認識精度の向上を図ることができる。
The image processing apparatus according to the present invention will be described with reference to image processing in a case where a part of the
以下、本発明の実施の形態１に従う画像処理方式について説明する。 Hereinafter, an image processing method according to the first embodiment of the present invention will be described.
まず、本発明の実施の形態１に従う画像処理方式における前処理について図３のフローチャート図を用いて説明する。 First, preprocessing in the image processing method according to the first embodiment of the present invention will be described with reference to the flowchart of FIG.
図３を参照して、まず、最初にカメラ座標系の３次元座標と画像上２次元座標の対応を計測する（ステップＳ０）。 With reference to FIG. 3, first, the correspondence between the three-dimensional coordinates of the camera coordinate system and the two-dimensional coordinates on the image is measured (step S0).
図４は、カメラ座標系の３次元座標Σｃを説明する概念図である。 FIG. 4 is a conceptual diagram illustrating the three-dimensional coordinate Σc of the camera coordinate system.
図４に示されるように、カメラ座標系Σｃは、カメラの撮像軸方向すなわちカメラの光軸をＺｃ軸とし、カメラの光軸Ｚｃ軸に対して垂直な面の横軸方向をＸｃ軸とし、縦軸方向をＹｃ軸としている。Ｘｃ軸、Ｙｃ軸およびＺｃ軸は互いに直交している。カメラの撮像領域は、カメラ座標系ΣｃのＺｃ軸上においてカメラの光学中心である原点Ｏｃから離れるほど広がっていく様子が示されている。 As shown in FIG. 4, the camera coordinate system Σc has the imaging axis direction of the camera, that is, the optical axis of the camera as the Zc axis, and the horizontal axis direction of the plane perpendicular to the optical axis of the camera as the Xc axis. The vertical axis direction is the Yc axis. The Xc axis, the Yc axis, and the Zc axis are orthogonal to each other. It is shown that the imaging area of the camera expands with increasing distance from the origin Oc, which is the optical center of the camera, on the Zc axis of the camera coordinate system Σc.
図５は、カメラ１によって撮像されたカメラ画像２０を説明する図である。
FIG. 5 is a diagram illustrating the
図５に示されるように、カメラ１は、光軸方向すなわち撮像軸方向のＺｃ軸における対象物を撮像し、Ｘｃ軸およびＹｃ軸に基づく２次元座標に撮像する。具体的には、図４に示されるカメラの撮像領域がカメラ画像２０であるフレーム領域内に撮像されることになる。Ｚｃ軸に従ってカメラの撮像領域は変化する。したがって、カメラ画像２０に表示される撮像点に対応するカメラ座標Σｃの点は、同一の撮像点であっても、Ｚｃ軸の値ｚｃに応じて、Ｘｃ軸の値ｘｃおよびＹｃ軸の値ｙｃで表現される点（ｘｃ，ｙｃ，ｚｃ）が変化することになる。
As shown in FIG. 5, the
このステップＳ０は、具体的には、カメラ３次元座標系Σｃにおける任意の点が、カメラ画像２０に投影した際に、変化する撮像点の対応関係を計測するものである。
More specifically, this step S0 is to measure the correspondence relationship between imaging points that change when an arbitrary point in the camera three-dimensional coordinate system Σc is projected onto the
再び図３を参照して、次に、計測結果に基づいて、画像処理部３は、座標変換テーブルＴを作成する（ステップＳ１）。具体的には、カメラ３次元座標系Σｃからカメラ画像２０への二次元座標系への座標変換テーブルを作成し、メモリ４に記憶される。座標変換テーブルＴは、簡易に説明するとカメラ３次元座標系Σｃで実測された座標値がカメラ画像２０のフレーム内においていずれの撮像点として投影されるかを変換するテーブルである。なお、カメラ３次元座標系Σｃの全空間の全ての点について実測することは困難であるため、スプライン補間等の既存の補間公式を用いて、座標変換テーブルＴを作成することも可能である。
Referring to FIG. 3 again, next, based on the measurement result, the
次に、任意の基準座標系Σｂを設定する（ステップＳ２）。 Next, an arbitrary reference coordinate system Σb is set (step S2).
図６は、外装５の１つの頂点を原点Ｏｂとして基準座標系Σｂを設定した一例図である。基準座標系Σｂは、水平面において直交する２軸をＸｂ軸およびＹｂ軸とし、水平面に直交する方向をＺｂ軸としている。なお、図６にはカメラ３次元座標系Σｃも示されている。
FIG. 6 is an example diagram in which the reference coordinate system Σb is set with one vertex of the
再び、図３を参照して、次に基準座標系Σｂにおける外装５の３次元座標をメモリに登録（記憶）する（ステップＳ３）。具体的には、外装５の形状を特定するために必要な複数の頂点等に関する３次元座標の値が記憶される。
Referring to FIG. 3 again, next, the three-dimensional coordinates of the
次に、カメラ情報がメモリに登録（記憶）される（ステップＳ４）。具体的には、カメラの姿勢およびカメラの取付けに関する情報が記憶される。 Next, camera information is registered (stored) in the memory (step S4). Specifically, information related to the camera posture and camera mounting is stored.
図７は、３軸直交座標系Σｋにおけるカメラの姿勢を説明する概念図である。 FIG. 7 is a conceptual diagram illustrating the posture of the camera in the three-axis orthogonal coordinate system Σk.
座標系Σｋは、カメラの光学中心である原点Ｏｃにおいて、水平面における２軸をそれぞれＸｋ軸およびＺｋ軸とし、水平面に垂直な方向をＹｋ軸としている。カメラの姿勢は、各軸すなわちＸｋ軸、Ｙｋ軸およびＺｋ軸の回転角度α、β、γでメモリに記憶される。したがって、座標系Σｋにおける各軸の関係と回転角度α、β、γとから座標系Σｃの各軸の関係を導き出すことが可能となる。すなわち、座標系Σｋにおける回転角度α、β、γに基づいて座標系Σｃに変換が可能である。また、これとともに、外装５のサイズ情報および外装５に対するリンク２の取付け位置およびリンク２の長さ等のスカラ情報もメモリに記録される。
In the coordinate system Σk, at the origin Oc that is the optical center of the camera, the two axes in the horizontal plane are the Xk axis and the Zk axis, respectively, and the direction perpendicular to the horizontal plane is the Yk axis. The posture of the camera is stored in the memory with the rotation angles α, β, γ of each axis, that is, the Xk axis, the Yk axis, and the Zk axis. Therefore, it is possible to derive the relationship between the axes of the coordinate system Σc from the relationship between the axes in the coordinate system Σk and the rotation angles α, β, γ. That is, conversion to the coordinate system Σc is possible based on the rotation angles α, β, γ in the coordinate system Σk. Along with this, scalar information such as the size information of the
このステップＳ３およびＳ４により、外装５を含む画像処理装置全体の任意の点について座標系Σｂで標記することが可能になる。そして、カメラ１の位置、具体的にはカメラ１の光学中心である原点Ｏｃを座標系Σｂで示すことができる。以上が前処理である。
Through steps S3 and S4, an arbitrary point of the entire image processing apparatus including the
次に、本発明の実施の形態１に従う画像処理方式の本処理について説明する。 Next, the main process of the image processing method according to the first embodiment of the present invention will be described.
図８のフローチャート図を用いて本発明の実施の形態１に従う本処理について説明する。 This processing according to the first embodiment of the present invention will be described using the flowchart of FIG.
図８を参照して、画像処理を開始する（ステップＳ１０）。 Referring to FIG. 8, image processing is started (step S10).
次に、カメラ１により対象物に対して撮像軸方向の画像を撮像する（ステップＳ１１）。
Next, the
次に、メモリ４に記録されている外装５を含む画像処理装置の座標系Σｂの任意の点について座標系Σｃの座標系に変換する（ステップＳ１２）。具体的には、メモリ４に記憶された座標系Σｂにおける原点Ｏｃと、原点Ｏｃにおける座標系ΣｋにおけるＸｋ軸、Ｙｋ軸およびＺｋ軸の回転角度α、β、γとに基づいて座標系Σｂの任意の点について座標系Σｃの座標系に変換する。
Next, an arbitrary point in the coordinate system Σb of the image processing apparatus including the
次に、座標系Σｃに従う外装５を含む画像処理装置の任意の点について、座標変換テーブルＴを用いて、２次元座標に変換し、カメラ画像２０上に表す（ステップＳ１３）。
Next, an arbitrary point of the image processing apparatus including the
図９は、カメラ画像２０において、画像処理装置の任意の点について、カメラ画像２０に表わされた場合を説明する概念図である。
FIG. 9 is a conceptual diagram illustrating a case where an arbitrary point of the image processing apparatus is represented in the
図９に示されるように、外装５を含む画像処理装置の任意の点について座標系Σｃに変換し、座標変換テーブルＴを用いてカメラ画像２０に表わした場合には、複数の撮像点に画像処理装置の任意の点が示されることになる。
As shown in FIG. 9, when an arbitrary point of the image processing apparatus including the
図１０には、一例として撮像領域に含まれる外装５の任意の点Ａ〜点Ｄが示されている。図９の点Ａ〜点Ｄに対応するものである。
FIG. 10 shows arbitrary points A to D of the
再び、図８を参照して、カメラ画像２０に示される変換した任意の複数の点が集合する領域に基づいて画像処理不要領域を決定する（ステップＳ１４）。具体的には、カメラ画像２０内において、座標変換テーブルＴにより複数の撮像点に示された画像処理装置の任意の点が示される領域を画像処理に不要な領域として決定する。これにより、カメラ画像２０において点１、点２、点３、点４で囲まれる画像領域における画像処理不要領域と画像処理対象領域とを判別することができ、画像処理不要領域を除いて画像処理を実施する（ステップＳ１５）。そして、ステップＳ１６において連続的に画像処理を実施する場合にはステップＳ１１に戻り、再度画像を撮像する。ステップＳ１６において、連続的に画像処理を実施しない場合には画像処理を完了する（ステップＳ１７）。
Again referring to FIG. 8, an image processing unnecessary region is determined based on a region where a plurality of converted arbitrary points shown in
本発明では座標系Σｂで表わされる外装５の任意の点をカメラ座標系Σｃに変換し、カメラ座標系Σｃの座標系からカメラ画像２０の領域内に入る任意の点について座標変換テーブルを用いて算出することにより画像処理対象領域と画像処理不要領域とを簡易に判別することができる。したがって、このように画像処理対象領域と画像処理不要領域とを判別することにより認識対象物が移動物体である場合など連続画像処理が必要な場合には画像処理不要領域に対して画像処理を実施しないことにより高速な画像処理を実行することができる。なお、画像処理不要領域の設定方法については種々の方式が考えられるが、たとえば画像処理をさらに高速にするために座標変換テーブルを用いて座標変換する所定の点を予め定めておくことも可能である。たとえば、設定外装５の頂点部分等に対してのみ座標変換テーブルＴを用いてカメラ画像２０に示し、頂点部分等を直線等で結ぶことにより画像処理対象領域と画像処理不要領域とを判別することも可能である。この場合には、座標変換テーブルＴを用いた座標変換処理に掛かる時間をさらに短縮することが可能であり、さらに高速な画像処理を実行することが可能である。
In the present invention, an arbitrary point on the
（実施の形態２）
上記の実施の形態１においては、カメラ１が固定された状態において画像処理対象領域と画像処理不要領域とを判別する方式について説明した。
(Embodiment 2)
In the first embodiment described above, the method for discriminating between the image processing target area and the image processing unnecessary area when the
本発明の実施の形態２においては、カメラ１が移動してカメラの撮像領域が変化する場合における画像処理方式について説明する。
In the second embodiment of the present invention, an image processing method when the
図１１は、本発明の実施の形態２に従う画像処理装置の外観構成図である。 FIG. 11 is an external configuration diagram of the image processing apparatus according to the second embodiment of the present invention.
図１１を参照して、本発明の実施の形態２に従う画像処理装置は、図１の画像処理装置と比較して、マニピュレータ８が新たに設けられている点が異なる。マニピュレータ８は、カメラの撮像領域を変化させるための１自由度を有する撮像領域変更手段として設けられており、リンク２と外装５との間に設けられている。
Referring to FIG. 11, the image processing apparatus according to the second embodiment of the present invention is different from the image processing apparatus of FIG. 1 in that a
図１２は、本発明の実施の形態２に従う画像処理装置の内部回路の概略ブロック図である。 FIG. 12 is a schematic block diagram of an internal circuit of the image processing device according to the second embodiment of the present invention.
図１２を参照して、本発明の実施の形態２に従う画像処理装置は、制御部１０♯と、カメラ１と、マニピュレータ８とを備える。
Referring to FIG. 12, the image processing device according to the second embodiment of the present invention includes a
マニピュレータ８は、モータドライバ１２と、モータ７と、エンコーダ１３とを含む。マニピュレータ８は、カメラ１の１自由度の位置を制御するとともに、位置情報を制御部１０♯に出力する。
The
モータ７は、マニピュレータの関節の駆動源である。モータドライバ１２は、制御部１０＃からの指示に応じてモータ７を制御する。エンコーダ１３は、モータ７の回転量に応じたパルスを後述する制御部１０＃のカウンタ２３に出力する。
The motor 7 is a drive source for the joint of the manipulator. The
制御部１０♯は、メモリ４と、入出力部６と、バス９と、Ｄ／Ａ変換器２２と、カウンタ２３と、画像処理部３とを含む。
カメラ１で撮像された画像データの出力は、画像処理部３へ入力され、画像処理部３において環境中の対象物を認識および識別処理等が行なわれる。
The output of the image data picked up by the
画像処理部３は、関節の駆動に必要な制御値を算出して、Ｄ／Ａ変換器２２でアナログ出力に変換し、モータドライバ１２を介して関節を駆動するモータ７を制御する。さらに、画像処理部３は、カウンタ２３の値を利用してマニピュレータの関節角度を算出する。
The
マニピュレータ８の自由度は、本例においては１つとする。
The
図１３のフローチャート図を用いて本発明の実施の形態２に従う画像処理方式について説明する。 The image processing method according to the second embodiment of the present invention will be described using the flowchart of FIG.
まず、撮像処理を開始する（ステップＳ２０）。なお、前処理については、上記の実施の形態１の画像処理方式で説明したのと同様であるのでその詳細な説明は繰り返さない。 First, an imaging process is started (step S20). Since the preprocessing is the same as that described in the image processing method of the first embodiment, detailed description thereof will not be repeated.
次に、カメラの撮像範囲を決定し、マニピュレータ８を制御する（ステップＳ２１）。たとえば、所定の向きにおける角度を０度としたとき−２０度から＋２０度まで１０度刻みで環境認識を実施することをタスクとする場合、タスクの進行状況により画像処理部３において撮像範囲が決定される。同時に関節の目標角度が決定されることになる。現在の角度と目標角度とから移動量を画像処理部３において算出し、Ｄ／Ａ変換器２２を介してモータドライバ１２に前記移動量の制御指令を出力する。モータドライバ１２がモータ７を制御することでマニュピュレータ８を制御する。
Next, the imaging range of the camera is determined and the
次に、マニピュレータの静止後にマニピュレータの関節角度を算出する（ステップＳ２２）。具体的には、所定の向きにおける角度からの変更角度をカウンタ２３の値を用いて画像処理部３において算出する。モータに目標関節角度を設定して制御した場合、実際の角度と目標関節角度に誤差が生じる場合がある。この誤差を吸収するためにエンコーダを利用して静止後の関節角度を算出する。たとえば、モータの出力軸と減速器の間にエンコーダを設置することにより高精度に関節角度を測定することができる。なお、本例においては、制御部１０＃における画像処理部３において、関節角度の算出等の演算機能を実行する方式について説明したが、これに限られずたとえば演算機能を有する演算処理部を別に設けて、カウンタ２３の値を利用して当該演算処理部でマニピュレータの関節角度を算出し、上記で説明したのと同様にＤ／Ａ変換器２２を介してモータドライバ１２に対する制御指令を出力するようにすることも可能である。また、上記の実施の形態１において
説明した座標変換テーブルＴの作成についても、画像処理部３において作成するのではなく、たとえば上記演算処理部で作成して、メモリ４に記憶させる方式とすることも可能である。
Next, the joint angle of the manipulator is calculated after the manipulator is stopped (step S22). Specifically, the
次に、画像を撮像する（ステップＳ２３）。 Next, an image is captured (step S23).
次に、マニピュレータの取得した関節角度に基づいてメモリ４に記憶されている外装５の座標系Σｂの任意の点について座標系Σｃの座標系に変換する（ステップＳ２４）。具体的には、前処理においてメモリ４に記憶した所定位置におけるカメラの姿勢すなわち座標系Σｋにおける回転角度α、β、γおよびカメラの所定位置からの移動した際のマニピュレータの取得した関節角度に基づいて座標系Σｂの任意の点について座標系Σｃの座標系に変換する。
Next, an arbitrary point in the coordinate system Σb of the
次に、変換した座標系Σｃを座標変換テーブルＴを用いて変換し、カメラ座標上に表す（ステップＳ２５）。 Next, the converted coordinate system Σc is converted using the coordinate conversion table T and represented on the camera coordinates (step S25).
図１４は、カメラ画像２０において、画像処理装置の任意の点について、カメラ画像２０に表わされた場合を説明する概念図である。
FIG. 14 is a conceptual diagram illustrating a case where an arbitrary point of the image processing apparatus is represented in the
図１４に示されるように、外装５を含む画像処理装置の任意の点についてマニピュレータの取得した関節角度を用いて座標系Σｃに変換し、座標変換テーブルＴを用いてカメラ画像２０に表わした場合には、複数の撮像点に画像処理装置の任意の点が示されることになる。
As shown in FIG. 14, when an arbitrary point of the image processing apparatus including the
図１５には、一例として撮像領域に含まれる外装５の任意の点Ｋ〜点Ｎ，Ｐ，Ｑが示されている。図１４の点Ｋ〜点Ｎ，Ｐ，Ｑに対応するものである。
FIG. 15 shows, as an example, arbitrary points K to N, P, and Q of the
そして、カメラ画像に示される変換した任意の複数の点が集合する領域に基づいて画像処理不要領域を決定する（ステップＳ２６）。これにより、カメラ画像２０において画像領域における画像処理不要領域を除いて画像処理を実施する（ステップＳ２７）。
Then, an image processing unnecessary area is determined based on an area where a plurality of converted arbitrary points shown in the camera image are gathered (step S26). As a result, image processing is performed on the
次に、連続的に画像処理を実施するかどうかを判定する（ステップＳ２８）。連続的に画像処理を実施する場合にはステップＳ３０に進む。ステップＳ３０において、撮像範囲を変更するかどうかを判定する。変更する場合には、再びステップＳ２１に戻って撮像範囲を決定する。一方、変更しない場合には、ステップＳ２３に戻って再び画像を撮像する。 Next, it is determined whether to continuously perform image processing (step S28). When image processing is continuously performed, the process proceeds to step S30. In step S30, it is determined whether to change the imaging range. When changing, it returns to step S21 again and determines an imaging range. On the other hand, when not changing, it returns to step S23 and an image is imaged again.
一方、ステップＳ２８において、連続的に画像処理を実施しない場合には画像処理を完了する（ステップＳ２９）。 On the other hand, if the image processing is not performed continuously in step S28, the image processing is completed (step S29).
本実施例においては、マニピュレータの自由度は１自由度であるが多自由度の場合にも全関節に角度検出手段を設けることによりすなわちエンコーダを配置することにより座標変換が可能となり、上記で説明した画像処理対象領域と画像処理不要領域とを判別することができる。 In the present embodiment, the manipulator has one degree of freedom, but even in the case of multiple degrees of freedom, coordinate conversion is possible by providing angle detection means at all joints, that is, by arranging encoders. The image processing target area and the image processing unnecessary area can be discriminated.
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
１ カメラ、２ リンク、３ 画像処理部、４ メモリ、５ 外装、６ 入出力部、７ モータ、８ マニュピュレータ、９ バス、１０，１０＃ 制御部、１１ 模様、１２ モータドライバ、１３ エンコーダ、２０，２０＃ 画像、２２ Ｄ／Ａ変換器、２３ カウンタ。 1 camera, 2 links, 3 image processing unit, 4 memory, 5 exterior, 6 input / output unit, 7 motor, 8 manipulator, 9 bus, 10, 10 # control unit, 11 pattern, 12 motor driver, 13 encoder, 20 , 20 # image, 22 D / A converter, 23 counter.
Claims (5)
前記撮像手段によって撮像された画像データを処理する画像処理手段と、
前記画像処理手段に必要な情報を記憶する記憶手段とを備え、
前記記憶手段は、
前記撮像手段の光学中心を第１の原点とし、前記撮像軸および互いに前記撮像軸と直行する２軸を基軸とする第１の座標系における画像内に入る環境内の任意の点を画像上の２次元座標系に変換するための座標変換テーブルと、
任意の点を第２の原点とした第２の座標系における前記環境内における画像処理に不要な領域における不要領域情報とを記憶し、
前記画像処理手段は、前記記憶手段に記憶されている第２の座標系における前記不要領域情報を第１の座標系に変換し、前記画像上に示される前記座標変換テーブルを用いて変換した第１の座標系に従う不要領域情報に基づいて前記撮像された前記画像データを処理する領域を指定する、画像処理装置。 Imaging means for capturing an image in the imaging axis direction;
Image processing means for processing image data picked up by the image pickup means;
Storage means for storing information necessary for the image processing means,
The storage means
An arbitrary point in the environment that falls within the image in the first coordinate system with the optical center of the image pickup means as the first origin and the two axes orthogonal to the image pickup axis and the image pickup axis as a base on the image. A coordinate conversion table for converting to a two-dimensional coordinate system;
Storing unnecessary area information in an area unnecessary for image processing in the environment in the second coordinate system with an arbitrary point as the second origin,
The image processing means converts the unnecessary area information in the second coordinate system stored in the storage means into the first coordinate system, and converts the information using the coordinate conversion table shown on the image. An image processing apparatus that designates an area for processing the captured image data based on unnecessary area information according to one coordinate system.
前記撮像範囲変更手段により基準となる所定位置から移動した前記撮像手段の変更角度を検出する角度検出手段とをさらに備え、
前記画像処理手段は、前記角度検出手段において検出した変更角度に基づいて前記記憶手段に記憶されている第２の座標系における前記不要領域情報を第１の座標系に変換し、前記画像上に示される前記座標変換テーブルを用いて変換した第１の座標系に従う不要領域情報に基づいて前記撮像された前記画像データを処理する領域を指定する、請求項１記載の画像処理装置。 An imaging range changing means having at least one degree of freedom for changing the orientation of the imaging means from a predetermined position as a reference;
An angle detection means for detecting a change angle of the imaging means moved from a predetermined position as a reference by the imaging range changing means,
The image processing means converts the unnecessary area information in the second coordinate system stored in the storage means to the first coordinate system based on the change angle detected by the angle detection means, and displays the information on the image. The image processing apparatus according to claim 1, wherein an area for processing the imaged image data is specified based on unnecessary area information according to a first coordinate system converted using the coordinate conversion table shown.
前記撮像手段の光学中心を第１の原点とし、前記撮像軸および互いに前記撮像軸と直行する２軸を基軸とする第１の座標系における画像内に入る環境内の任意の点を画像上の２次元座標系に変換するための座標変換テーブルを作成し、前記記憶手段に記憶するステップと、
任意の点を第２の原点とした第２の座標系における前記環境内における画像処理に不要な領域における不要領域情報を前記記憶手段に記憶するステップと、
前記記憶手段に記憶されている第２の座標系における前記不要領域情報を第１の座標系に変換するステップと、
前記座標変換テーブルを用いて変換した第１の座標系に従う前記画像上に示される不要領域情報に基づいて前記撮像された前記画像データの画像処理を実行する領域を指定するステップとを備える、画像処理方法。 Image processing comprising: imaging means for capturing an image in the imaging axis direction; image processing means for processing image data captured by the imaging means; and storage means for storing information necessary for the image processing means An image processing method for an apparatus,
An arbitrary point in the environment that falls within the image in the first coordinate system with the optical center of the image pickup means as the first origin and the two axes orthogonal to the image pickup axis and the image pickup axis as a base on the image. Creating a coordinate conversion table for conversion into a two-dimensional coordinate system and storing it in the storage means;
Storing unnecessary area information in an area unnecessary for image processing in the environment in the second coordinate system with an arbitrary point as the second origin in the storage means;
Converting the unnecessary area information in the second coordinate system stored in the storage means into a first coordinate system;
Designating an area for performing image processing of the imaged image data based on unnecessary area information shown on the image according to the first coordinate system converted using the coordinate conversion table. Processing method.
前記第１の座標系に変換するステップは、前記角度検出手段において検出した変更角度に基づいて前記記憶手段に記憶されている第２の座標系における前記不要領域情報を前記第１の座標系に変換する、請求項４記載の画像処理方法。 The imaging apparatus further includes an imaging range changing unit having at least one degree of freedom for changing the imaging axis from a reference imaging axis, and an angle detecting unit for detecting a change angle of the imaging axis from the reference imaging axis. Prepared,
The step of converting to the first coordinate system includes converting the unnecessary area information in the second coordinate system stored in the storage unit to the first coordinate system based on the change angle detected by the angle detection unit. The image processing method according to claim 4, wherein conversion is performed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004068821A JP2005258758A (en) | 2004-03-11 | 2004-03-11 | Apparatus and method for image processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004068821A JP2005258758A (en) | 2004-03-11 | 2004-03-11 | Apparatus and method for image processing |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005258758A true JP2005258758A (en) | 2005-09-22 |
Family
ID=35084417
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004068821A Pending JP2005258758A (en) | 2004-03-11 | 2004-03-11 | Apparatus and method for image processing |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005258758A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008246609A (en) * | 2007-03-29 | 2008-10-16 | Honda Motor Co Ltd | Leg type mobile robot |
-
2004
- 2004-03-11 JP JP2004068821A patent/JP2005258758A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008246609A (en) * | 2007-03-29 | 2008-10-16 | Honda Motor Co Ltd | Leg type mobile robot |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6420229B2 (en) | A robot system including a video display device that superimposes and displays an image of a virtual object on a video of a robot | |
| CN105666505B (en) | Robot system having display for augmented reality | |
| JP4844453B2 (en) | Robot teaching apparatus and teaching method | |
| JP4961860B2 (en) | Robot apparatus and control method of robot apparatus | |
| JP5233601B2 (en) | Robot system, robot control apparatus, and robot control method | |
| JP6429473B2 (en) | Robot system, robot system calibration method, program, and computer-readable recording medium | |
| EP2082850B1 (en) | Generating device of processing robot program | |
| JP6399832B2 (en) | Pattern matching method and pattern matching apparatus | |
| US11040451B2 (en) | Teaching device and teaching method | |
| JP6445092B2 (en) | Robot system displaying information for teaching robots | |
| JPH04344503A (en) | Numerical controller for robot | |
| JP2005106825A (en) | Method and apparatus for determining position and orientation of image receiving device | |
| JP5458769B2 (en) | Robot control device | |
| EP4400274A1 (en) | Command value generating device, method, and program | |
| JP2008168372A (en) | Robot device and shape recognition method | |
| KR20130075712A (en) | A laser-vision sensor and calibration method thereof | |
| US20220331972A1 (en) | Robot Image Display Method, Recording Medium, And Robot Image Display System | |
| JP2005258758A (en) | Apparatus and method for image processing | |
| US20210129318A1 (en) | Annotation device | |
| CN116867619A (en) | Teaching device | |
| JP5200866B2 (en) | Robot system, robot control apparatus, and robot control method | |
| JP2001191285A (en) | Robot system and its usage | |
| JP2012022600A (en) | Mask image creation system | |
| JP2012236266A (en) | Robot control system, robot system, and program | |
| WO2022209578A1 (en) | Robot control system and control device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060125 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090303 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090825 |