JP2006302195A - Image processing method and image processing device - Google Patents
Image processing method and image processing device Download PDFInfo
- Publication number
- JP2006302195A JP2006302195A JP2005126563A JP2005126563A JP2006302195A JP 2006302195 A JP2006302195 A JP 2006302195A JP 2005126563 A JP2005126563 A JP 2005126563A JP 2005126563 A JP2005126563 A JP 2005126563A JP 2006302195 A JP2006302195 A JP 2006302195A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- degree
- group
- coupling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像中の複数の物体を個々に分離するために領域分割を行う画像処理方法及び画像処理装置に関する。 The present invention relates to an image processing method and an image processing apparatus that divide a region in order to individually separate a plurality of objects in an image.
撮像画像中の複数の物体をそれぞれ分離するための画像処理方法が各種開発されている。この処理方法として、撮像画像からエッジ情報、色情報、テクスチャ情報などを取得し、これらの情報を利用して類似している領域毎に分割することによって物体を分離する方法がある(特許文献1、特許文献2参照)。
しかし、同じ物体でも、表面の模様や色あるいは影などによって、エッジ情報、色情報、テクスチャ情報などが異なる。このような場合、同じ物体でも別々の領域に分割され、正確に個々の物体に分離することができない。 However, even for the same object, edge information, color information, texture information, and the like differ depending on the pattern, color, or shadow of the surface. In such a case, even the same object is divided into different regions and cannot be accurately separated into individual objects.
そこで、本発明は、画像中の物体を高精度に分離することができる画像処理方法及び画像処理装置を提供することを課題とする。 Therefore, an object of the present invention is to provide an image processing method and an image processing apparatus capable of separating an object in an image with high accuracy.
本発明に係る画像処理方法は、撮像画像中の物体を分離する画像処理方法であって、視点の異なる複数の撮像画像を取得する撮像ステップと、複数の撮像画像に基づいて撮像対象の三次元形状を示す三次元点を求める三次元点処理ステップと、三次元点処理ステップで求めた三次元点をグループ化するグループ化ステップと、グループ化ステップでグループ化した三次元点を複数の撮像画像のうちの基準画像上に投影する投影ステップと、複数の撮像画像のうちの基準画像を領域に過分割する過分割ステップと、過分割ステップで過分割した各過分割領域と投影ステップで投影した各グループの三次元点に基づいて隣接する各過分割領域におけるグループ毎の三次元点の数をそれぞれ求め、当該各グループの三次元点の数により隣接する過分割領域間の結合度を求める結合度処理ステップと、結合度処理ステップで求めた結合度に基づいて隣接する過分割領域間を結合又は分離することによって物体を分離する分離ステップとを含むことを特徴とする。 An image processing method according to the present invention is an image processing method for separating an object in a captured image, an imaging step for acquiring a plurality of captured images from different viewpoints, and a three-dimensional image to be captured based on the plurality of captured images A three-dimensional point processing step for obtaining a three-dimensional point indicating a shape, a grouping step for grouping the three-dimensional points obtained in the three-dimensional point processing step, and a plurality of captured images of the three-dimensional points grouped in the grouping step A projection step for projecting the image on the reference image, an over-division step for over-dividing the reference image of the plurality of captured images into regions, and a projection step for each over-divided region and over-division performed in the over-division step Based on the three-dimensional points of each group, the number of three-dimensional points for each group in each adjacent hyperdivision region is obtained, and the number of three-dimensional points adjacent to each group is determined. A coupling degree processing step for obtaining a coupling degree between regions, and a separation step for separating an object by coupling or separating adjacent over-divided regions based on the coupling degree obtained in the coupling degree processing step. And
この画像処理方法では、撮像ステップで視点の異なる複数の撮像画像を取得する。そして、画像処理方法では、三次元点処理ステップでその視点の異なる複数の撮像画像に基づいて撮像対象の三次元形状(三次元点群)を復元し、グループ化ステップでその三次元点群をグループ化する。さらに、画像処理方法では、投影ステップでそのグループ化した三次元点群を複数の撮像画像のうちの基準画像に投影する。これによって、グループ化した各三次元点は、基準画像上の二次元位置が求まる。また、画像処理方法では、過分割ステップで基準画像を各領域に過分割する。領域分割においては、例えば、撮像画像からエッジ情報、色情報、テクスチャ情報などを取得し、これらの情報を利用して類似している領域に分割する。この領域分割によって1つの物体でも複数の領域に分割されるので、過分割と呼んでいる。そして、画像処理方法では、結合度処理ステップで基準画像を過分割した各過分割領域と基準画像に投影されているグループ化した三次元点から隣接する過分割領域における各過分割領域のグループ毎の三次元点数をそれぞれ求める。さらに、画像処理方法では、結合度処理ステップで隣接する過分割領域における各過分割領域のグループ毎の三次元点の数に基づいてその隣接する過分割領域間の結合度(つまり、その隣接する過分割領域間を同じ物体の領域として結合してもよいか否かの尺度であり、異なる物体の境界として分離してもよいか否かの尺度でもある)を求める。つまり、隣接する過分割領域間において同じグループの三次元点の数が多い場合には同じ物体の領域である可能性が高く、一方、隣接する過分割領域間において同じグループの三次元点の数が少ない場合には異なる物体の領域である可能性が高いので、そのような過分割領域間に占めるグループ毎の三次元点の数に応じて結合度を求める。さらに、画像処理方法では、分離ステップで結合度に基づいて各過分割領域を結合又は分離し(つまり、同じ物体の領域とみなしてよい過分割領域間を結合し、異なる物体の境界とみなしてよい過分割領域間を分離し)、この結合又は分隣した過分割領域によって個々の物体に分離する。このように、この画像処理方法では、隣接する過分割領域間におけるグループ毎の三次元点(投影点)の個数に基づいて結合度を定義し、結合度に応じてその隣接する過分割領域が同じ物体の領域か否かを判断することにより、物体毎に過分割領域を正確に結合できるとともに異なる物体間を正確に分離でき、高精度に個々の物体に分離することができる。さらに、この画像処理方法では、結合度を求める際にグループ毎の三次元点数で少数のものを排除することにより、ノイズの影響を受けることなく、物体を高精度に分離することができる。 In this image processing method, a plurality of captured images having different viewpoints are acquired in the imaging step. In the image processing method, the three-dimensional shape (three-dimensional point group) of the imaging target is restored based on a plurality of captured images having different viewpoints in the three-dimensional point processing step, and the three-dimensional point group is restored in the grouping step. Group. Further, in the image processing method, the grouped three-dimensional point group is projected onto a reference image among a plurality of captured images. Thereby, a two-dimensional position on the reference image is obtained for each grouped three-dimensional point. In the image processing method, the reference image is overdivided into each region in the overdivision step. In the area division, for example, edge information, color information, texture information, and the like are acquired from the captured image, and divided into similar areas using these pieces of information. Since one region is divided into a plurality of regions by this region division, it is called overdivision. In the image processing method, each overdivided region in each of the overdivided regions in the adjacent overdivided region from each overdivided region projected from the grouped three-dimensional point projected on the reference image and the overdivided region overdivided the reference image in the combination degree processing step. 3D points are obtained. Furthermore, in the image processing method, based on the number of three-dimensional points for each group of each overdivided region in the adjacent overdivided region in the combination degree processing step, the degree of coupling between the adjacent overdivided regions (that is, its adjacent It is a measure of whether or not the over-divided regions may be combined as a region of the same object, and is also a measure of whether or not they may be separated as boundaries of different objects). In other words, if there are many three-dimensional points in the same group between adjacent over-divided regions, it is likely that they are the same object region, while the number of three-dimensional points in the same group between adjacent over-divided regions If there is a small number of regions, there is a high possibility that they are regions of different objects, and the degree of coupling is determined according to the number of three-dimensional points for each group that occupy between such over-divided regions. Furthermore, in the image processing method, each of the overdivided regions is combined or separated based on the degree of connection in the separation step (that is, the overdivided regions that may be regarded as the same object region are combined and regarded as the boundary of different objects). Good over-divided areas are separated) and separated into individual objects by this combined or adjacent over-divided area. As described above, in this image processing method, the degree of coupling is defined based on the number of three-dimensional points (projection points) for each group between adjacent overdivided areas, and the adjacent overdivided areas are determined according to the degree of coupling. By determining whether or not they are the same object region, it is possible to accurately combine the overdivided regions for each object, accurately separate different objects, and separate each object with high accuracy. Furthermore, in this image processing method, when obtaining the degree of coupling, by removing a small number of three-dimensional points for each group, it is possible to separate objects with high accuracy without being affected by noise.
本発明に係る画像処理装置は、撮像画像から物体を分離する画像処理装置であって、視点の異なる複数の撮像画像を取得する複数の撮像手段と、複数の撮像画像に基づいて撮像対象の三次元形状を示す三次元点を求める三次元点処理手段と、三次元点処理手段で求めた三次元点をグループ化するグループ化手段と、グループ化手段でグループ化した三次元点を複数の撮像画像のうちの基準画像上に投影する投影手段と、複数の撮像画像のうちの基準画像を領域に過分割する過分割手段と、過分割手段で過分割した各過分割領域と投影手段で投影した各グループの三次元点に基づいて隣接する各過分割領域におけるグループ毎の三次元点の数をそれぞれ求め、当該各グループの三次元点の数により隣接する過分割領域間の結合度を求める結合度処理手段と、結合度処理手段で求めた結合度に基づいて隣接する過分割領域間を結合又は分離することによって物体を分離する分離手段とを備えることを特徴とする。なお、この画像処理装置は、上記した画像処理方法と同様の作用効果を有している。 An image processing apparatus according to the present invention is an image processing apparatus that separates an object from a captured image, and includes a plurality of imaging units that acquire a plurality of captured images from different viewpoints, and a tertiary of an imaging target based on the plurality of captured images. Three-dimensional point processing means for obtaining a three-dimensional point indicating the original shape, grouping means for grouping the three-dimensional points obtained by the three-dimensional point processing means, and imaging of the three-dimensional points grouped by the grouping means Projecting means for projecting on the reference image of the image, over-dividing means for over-dividing the reference image of the plurality of captured images into regions, and projecting with each over-divided region and the projection means over-divided by the over-dividing means Based on the three-dimensional points of each group, the number of three-dimensional points for each group in each adjacent overdivision region is obtained, and the degree of coupling between adjacent overdivision regions is obtained from the number of three-dimensional points in each group. Degree of coupling And management means, characterized in that it comprises separating means for separating an object by binding or separation between over-divided regions adjacent on the basis of the degree of coupling obtained by the coupling of the processing means. This image processing apparatus has the same effects as the image processing method described above.
本発明によれば、隣接する過分割領域におけるグループ化した三次元点の個数に基づいて結合度を定義することにより、撮像画像中の個々の物体を高精度に分離することができる。 According to the present invention, by defining the degree of coupling based on the number of grouped three-dimensional points in adjacent over-divided regions, individual objects in the captured image can be separated with high accuracy.
以下、図面を参照して、本発明に係る画像処理方法及び画像処理装置の実施の形態を説明する。 Embodiments of an image processing method and an image processing apparatus according to the present invention will be described below with reference to the drawings.
本実施の形態では、本発明を、撮像画像内の物体を個々に分離する画像処理装置に適用する。本発明に係る画像処理装置は、ステレオカメラを備えており、ステレオカメラによって所定の対象を撮像し、その撮像画像中の複数の物体を個々の物体に分離するために各物体に相当する領域に分割する。 In the present embodiment, the present invention is applied to an image processing apparatus that individually separates objects in a captured image. An image processing apparatus according to the present invention includes a stereo camera, images a predetermined target with the stereo camera, and separates a plurality of objects in the captured image into individual objects in regions corresponding to the objects. To divide.
図1を参照して、本実施の形態に係る画像処理装置1について説明する。図1は、本実施の形態に係る画像処理装置の構成図である。
An
画像処理装置1は、ステレオカメラで撮像し、その左右の撮像画像中の基準画像(例えば、左撮像画像)を領域に過分割する。そして、画像処理装置1は、隣接する過分割領域間を結合/分離し、個々の物体に分離する。特に、画像処理装置1では、個々の物体を高精度に分離するために、撮像画像中の撮像対象を表す三次元点群をグループ化し、隣接する各過分割領域におけるグループ毎の三次元点の個数に基づく結合度を算出し、結合度に基づいて過分割領域間を結合するかあるいは分離するかを判断する。画像処理装置1は、ステレオカメラを構成する2台のカメラ2,3、モニタ4及び画像処理部5を備えている。
The
なお、本実施の形態ではカメラ2,3が特許請求の範囲に記載する複数の撮像手段に相当し、画像処理部5で行われる各処理が特許請求の範囲に記載する三次元点処理手段、グループ化手段、投影手段、過分割手段、結合度処理手段、分離手段に相当する。
In this embodiment, the
カメラ2,3は、所定の間隔をあけて平行に撮像対象に配置され、撮像対象を撮像するカラーのステレオカメラである。カメラ2で撮像された画像は左撮像画像(基準画像とする)であり、カメラ3で撮像された画像は右撮像画像(参照画像とする)であり、視点の異なる二枚の撮像画像が同時に得られる。カメラ2,3は、CCD[Charge coupled device]などの撮像素子を備えるデジタルカメラであり、デジタル画像データからなる撮像画像を画像信号として画像処理部5に送信する。なお、間隔などのカメラ2,3の位置関係についての情報やカメラ2,3の内部パラメータ、外部パラメータは、画像処理部5に予め保持されている。図2には、左右の撮像画像の一例を示しており、ビン、直方体の箱、ピーマンの3つの物体が模様を有するハンカチの上に置かれている。図2では、各物体に絵柄や文字などを描いていないが、実際には、各物体に絵柄や文字などがあり、影も存在する。
The
モニタ4は、液晶モニタでもあるいはCRT[Cathode Ray Tube]モニタでもよく、画像処理部5の処理結果を表示出力する。モニタ4では、画像処理部5からの出力信号に応じて画像などを表示する。
The
画像処理部5は、パーソナルコンピュータなどのコンピュータ上に構成され、専用のアプリケーションプログラムを実行することによって各処理を行う。画像処理部5では、カメラ2,3から左右の撮像画像(ステレオ画像)をそれぞれ取り入れる。そして、画像処理部5では、左右の撮像画像に基づいて三次元形状(点群)を復元し(三次元形状復元処理)、その三次元点群をグループ化し(グループ化処理)、そのグループ化した三次元点を基準画像に投影する(投影処理)。また、画像処理部5では、基準画像を領域に過分割する(領域過分割処理)。そして、画像処理部5では、過分割領域に対して、隣接する過分割領域のグループ毎の三次元点(投影点)の個数に基づいて結合度を算出する(結合度算出処理)。最後に、画像処理部5では、隣接する過分割領域間を結合度に基づいて結合又は分離し、個々の物体に分離する(物体分離処理)。
The image processing unit 5 is configured on a computer such as a personal computer, and performs each process by executing a dedicated application program. The image processing unit 5 takes in left and right captured images (stereo images) from the
三次元形状復元処理について説明する。画像処理部5では、左右の撮像画像に基づいて三次元物体の形状を示す三次元点群を求める。この三次元形状の復元では、例えば、エッジ復元、テクスチャ復元によって三次元座標点データを取得してもよいし、あるいは、左右の撮像画像間で相関演算を行い、その演算結果から得られた視差を用いて物体までの奥行き距離を算出し、奥行き距離から三次元座標点データを取得してもよい。図3には、図2の左撮像画像における各物体の三次元形状を示す三次元点群を示している。 The three-dimensional shape restoration process will be described. The image processing unit 5 obtains a three-dimensional point group indicating the shape of the three-dimensional object based on the left and right captured images. In this three-dimensional shape restoration, for example, three-dimensional coordinate point data may be acquired by edge restoration or texture restoration, or a correlation calculation is performed between the left and right captured images, and the parallax obtained from the calculation result The depth distance to the object may be calculated using, and 3D coordinate point data may be acquired from the depth distance. FIG. 3 shows a three-dimensional point group indicating the three-dimensional shape of each object in the left captured image of FIG.
グループ化処理について説明する。画像処理部5では、従来のセグメンテーション技術により三次元点群をグループ化し、各三次元点に対してグループ番号をそれぞれ付与する。このグループ化によって、各物体に相当する空間に同じグループ番号の三次元点が集まる。また、セグメンテーションのノイズにより、その同じグループ番号の三次元点の集まりの中に異なるグループの三次元点が点在している。図4には、図3の三次元点群をグループ化した点群を示しており、グループ毎に異なる色で表されている。この図4から判るように、物体毎に同じ色の点が集まり、同じ色の点の集まりの中に異なる色の点が点在している。 The grouping process will be described. The image processing unit 5 groups the three-dimensional point group by a conventional segmentation technique, and assigns a group number to each three-dimensional point. By this grouping, three-dimensional points with the same group number are collected in a space corresponding to each object. Further, due to segmentation noise, three-dimensional points of different groups are scattered in a group of three-dimensional points having the same group number. FIG. 4 shows a point cloud obtained by grouping the three-dimensional point cloud of FIG. 3 and is expressed in a different color for each group. As can be seen from FIG. 4, dots of the same color are collected for each object, and dots of different colors are scattered in the collection of the same color.
投影処理について説明する。画像処理部5では、基準画像上にグループ化した各三次元点を投影する。この各投影点は、グループ番号がそれぞれ付与されており、その位置が基準画像の二次元座標上の位置で規定される。図5には、図2の左撮像画像上に図4のグループ化した各三次元点を投影した画像を示しており、グループ毎に異なる色で表されている。この図5から判るように、各物体の全域にわたって同じ色の三次元点が分布され、その中に異なる色の三次元点が点在している。 The projection process will be described. The image processing unit 5 projects the three-dimensional points grouped on the reference image. Each projection point is assigned a group number, and its position is defined by the position on the two-dimensional coordinate of the reference image. FIG. 5 shows an image obtained by projecting the grouped three-dimensional points in FIG. 4 onto the left captured image in FIG. 2, and is represented by a different color for each group. As can be seen from FIG. 5, three-dimensional points of the same color are distributed over the entire area of each object, and three-dimensional points of different colors are scattered therein.
領域過分割処理について説明する。画像処理部5では、基準画像のエッジ情報、色情報、テクスチャ情報などの画像情報を用いて、基準画像を領域に過分割する。過度な領域分割を行うので、撮像画像における各物体の存在する領域が多数の領域に分かれる。領域の分割手法としては、特に限定するものでなく、例えば、Mean−shift法を用いることにより高速に分割を行うことができる。各種手法で領域分割を行う際に、閾値を高く設定することにより(つまり、分割条件を厳しくすることにより)、過度に領域を分割するようにする。図6には、図2の左撮像画像を領域に過分割した過分割領域画像を示しており、各物体が多数の領域に分割されている。 The area overdivision process will be described. The image processing unit 5 overdivides the reference image into regions using image information such as edge information, color information, and texture information of the reference image. Since excessive region division is performed, the region where each object exists in the captured image is divided into a number of regions. The method for dividing the region is not particularly limited, and for example, division can be performed at high speed by using the Mean-shift method. When performing region division by various methods, the region is excessively divided by setting a high threshold (that is, by making the division condition stricter). FIG. 6 shows an overdivided region image obtained by overdividing the left captured image of FIG. 2 into regions, and each object is divided into a number of regions.
結合度算出処理について説明する。画像処理部5では、全ての過分割領域から隣接する2つの過分割領域i,jを順次選択する。この隣接する各過分割領域i,j上には、基準画像の二次元座標を有するグループ化した三次元点(投影点)がそれぞれ配置されている(図7参照)。そして、画像処理部5では、その各過分割領域i,jについて、グループ毎(つまり、グループ番号毎)に投影点の出現回数をそれぞれカウントする。ここで、隣接する過分割領域i,jが同じ物体の領域の場合、その2つの過分割領域iと過分割領域jでは共に同じグループ番号の投影点が大多数を占めるようになる。一方、隣接する過分割領域i,jが異なる物体の領域の場合、その2つの過分割領域iと過分割領域jでは異なるグループ番号の投影点がそれぞれ大多数を占めるようになる。図7に示す例では、過分割領域iと過分割領域jには、共に、同じグループ番号の投影点(白丸)が大多数を占めている。また、過分割領域iと過分割領域jには、ノイズの影響により、その大多数を占めるグループ番号以外のグループ番号の投影点(黒丸)が点在する。 The coupling degree calculation process will be described. The image processing unit 5 sequentially selects two adjacent excessively divided areas i and j from all the excessively divided areas. A grouped three-dimensional point (projection point) having the two-dimensional coordinates of the reference image is arranged on each of the adjacent excessively divided regions i and j (see FIG. 7). Then, the image processing unit 5 counts the number of appearances of projection points for each group (that is, for each group number) for each of the excessively divided areas i and j. Here, when the adjacent over-divided areas i and j are the same object area, the two over-divided areas i and over-divided areas j both occupy the majority of projection points with the same group number. On the other hand, when the adjacent excessively divided regions i and j are different object regions, the projection points having different group numbers occupy the majority in the two excessively divided regions i and the excessively divided regions j. In the example shown in FIG. 7, the majority of the projection points (white circles) having the same group number occupy both the overdivided region i and the overdivided region j. Further, the over-divided area i and the over-divided area j are dotted with projection points (black circles) of group numbers other than the group numbers that occupy the majority due to the influence of noise.
また、画像処理部5では、その各過分割領域i,jについて、面積Ai,Ajをそれぞれ求める。さらに、画像処理部5では、その各過分割領域i,jについて、各グループの投影点の出現回数の中から最大値Ni,Njをそれぞれ抽出し、その最大値Ni.Njのグループ番号Gi,Gjを認識する。 Further, the image processing unit 5 obtains areas Ai and Aj for the respective excessively divided regions i and j. Further, the image processing unit 5 extracts the maximum values Ni and Nj from the number of appearances of the projection points of each group for each of the excessively divided areas i and j, and the maximum value Ni. Recognize the group numbers Gi and Gj of Nj.
そして、画像処理部5では、隣接する過分割領域i,jの面積Ai,Aj、出現回数の最大値Ni,Nj、出現回数が最大値のグループ番号Gi,Gjを用いて、式(1)により隣接する過分割領域i,j間のrijを算出する。rijは、グループ番号Giとグループ番号Gjとが同じ番号の場合には常に負値となり、グループ番号Giとグループ番号Gjとが異なる番号の場合には常に正値となる。さらに、結合度を0〜1の値で表すために、画像処理部5では、隣接する過分割領域i,jについて、rijを用いて、式(2)により、過分割領域i,j間の結合度uijを算出する。結合度uijは、各過分割領域i,jの最大の出現回数のグループの投影点(三次元点)の個数と領域面積との比からその2つの過分割領域i,jを1つの物体の領域として結合してよいか否かの度合い(言い換えれば、2つの過分割領域i,jを異なる物体の境界として分離してよいか否かの度合い)を示し、0〜1の値である。結合度uが1に近いほどその隣接する過分割領域が同じ物体である確率が高く、結合度uが0に近いほどその隣接する過分割領域が異なる物体である確率が高い。 Then, the image processing unit 5 uses the areas Ai and Aj of the adjacent excessively divided regions i and j, the maximum number of appearances Ni and Nj, and the group number Gi and Gj with the maximum number of appearances to obtain the formula (1). To calculate rij between adjacent over-divided regions i and j. rij is always a negative value when the group number Gi and the group number Gj are the same number, and is always a positive value when the group number Gi and the group number Gj are different numbers. Further, in order to express the degree of coupling with a value of 0 to 1, the image processing unit 5 uses rij for the adjacent overdivided areas i and j, and uses the expression (2) between the overdivided areas i and j. The degree of coupling uij is calculated. The degree of coupling uij is determined by calculating the ratio of the number of projection points (three-dimensional points) of the group of the maximum number of appearances of each overdivided region i, j and the area of the two overdivided regions i, j to one object. This indicates the degree of whether or not the regions can be combined (in other words, the degree of whether or not the two over-divided regions i and j can be separated as boundaries between different objects), and is a value of 0 to 1. The closer the coupling degree u is to 1, the higher the probability that the adjacent over-divided region is the same object, and the closer the coupling degree u is to 0, the higher the probability that the adjacent over-divided region is a different object.
式(2)では、max(rij)は隣接する全ての組み合わせの過分割領域i,j間のrijのうちの最大値であり、min(rij)は隣接する全ての組み合わせの過分割領域i,j間のrijのうちの最小値であり、ρは調整パラメータ(閾値)である。但し、結合度uijが存在しない過分割領域間ではuij=uji=0とする。 In the expression (2), max (rij) is the maximum value of rij between the overdivision regions i and j of all adjacent combinations, and min (rij) is the overdivision region i, j is the minimum value of rij, and ρ is an adjustment parameter (threshold). However, uij = uji = 0 is set between over-divided areas where the degree of coupling uij does not exist.
物体分離処理について説明する。画像処理部5では、全ての過分割領域について、隣接する過分割領域間を結合度の大小に基づいて結合/分離する。つまり、結合度の大きい隣接する過分割領域間については同じ物体と判断して結合し、結合度の小さい隣接する過分割領域間については異なる物体と判断して分離する。画像処理部5では、この隣接する過分割領域間の結合/分離によって隣接する複数の過分割領域からなる領域を生成し、この生成された領域から個々の物体に分離する。図8には、図2の撮像画像中の物体を分離した結果を示す領域分割画像を示しており、ビンに対応する領域A1、直方体の箱に対応する領域A2、ピーマンに対応する領域A3にそれぞれ分割されている。 The object separation process will be described. The image processing unit 5 combines / separates adjacent over-divided areas for all over-divided areas based on the degree of coupling. In other words, adjacent over-divided areas having a high degree of coupling are determined to be the same object, and adjacent over-divided areas having a low degree of coupling are determined to be different objects and separated. The image processing unit 5 generates a region composed of a plurality of adjacent overdivided regions by combining / separating the adjacent overdivided regions, and separates the generated regions into individual objects. FIG. 8 shows a region-divided image showing the result of separating the object in the captured image of FIG. 2. The region A1 corresponds to a bin, the region A2 corresponds to a rectangular box, and the region A3 corresponds to a bell pepper. Each is divided.
画像処理部5では、その個々に分離した物体を示す画像あるいは個々の物体の情報などの出力結果を出力信号として設定し、その出力信号をモニタ4に送信する。また、必要に応じて、画像処理部5では、処理過程で生成される三次元点群、グループ化した三次元点群、グループ化した三次元点群が投影された投影画像、過分割領域画像などを出力信号として設定し、その出力信号をモニタ4に送信する。
In the image processing unit 5, an output result such as an image showing the individually separated objects or information on the individual objects is set as an output signal, and the output signal is transmitted to the
図1を参照して、画像処理装置1における動作について説明する。特に、画像処理部5における全体的な処理の流れについては図9のフローチャートに沿って説明し、結合度算出処理の流れについては図10のフローチャートに沿って説明する。図9は、本実施の形態に係るメイン処理を示すフローチャートである。図10は、本実施の形態に係る結合度算出処理を示すフローチャートである。
The operation of the
カメラ2,3では、撮像対象をそれぞれ撮影し、その各撮像画像を画像信号として画像処理部5に送信する。
Each of the
画像処理部5では、カメラ2,3から各画像信号を受信し、左右の撮像画像(ステレオ画像)を取り入れる(図9のS1)。
The image processing unit 5 receives each image signal from the
画像処理部5では、左右の撮像画像に基づいて三次元形状を復元し、三次元点群を取得する(図9のS2)。そして、画像処理部5では、三次元点群をグループ化する(図9のS3)。さらに、画像処理部5では、基準画像上にグループ化した各三次元点を投影する(図9のS4)。ここで、撮像画像中の物体毎に三次元点がグループ化され、そのグループ化された三次元点の基準画像の二次元座標上での位置が決まる。 The image processing unit 5 restores the three-dimensional shape based on the left and right captured images, and acquires a three-dimensional point group (S2 in FIG. 9). Then, the image processing unit 5 groups the three-dimensional point group (S3 in FIG. 9). Further, the image processing unit 5 projects the three-dimensional points grouped on the reference image (S4 in FIG. 9). Here, three-dimensional points are grouped for each object in the captured image, and the positions of the grouped three-dimensional points on the two-dimensional coordinates of the reference image are determined.
また、画像処理部5では、基準画像を領域に過分割する(図9のS5)。 Further, the image processing unit 5 overdivides the reference image into regions (S5 in FIG. 9).
そして、画像処理部5では、全ての過分割領域における隣接する過分割領域i,j間の結合度をそれぞれ算出する(図9のS6)。この際、画像処理部5では、各過分割領域i,jに属する投影点の各グループ番号の出現回数をそれぞれカウントする(図10のS10)。また、画像処理部5では、各過分割領域i,jの面積Ai,Ajをそれぞれ求める(図10のS11)。画像処理部5では、各過分割領域i,jのグループ毎の出現回数から、出現回数の最大値Ni,Nj及びその最大値Ni,Njのグループ番号Gi,Gjを抽出する(図10のS12)。さらに、画像処理部5では、隣接する過分割領域i,jにおいて、面積Ai,Aj、出現回数の最大値Ni,Nj及びグループ番号Gi,Gjを用いて式(1)によりrijを算出する(図10のS13)。さらに、画像処理部5では、そのrijを用いて、式(2)によりその隣接する過分割領域i,j間の結合度uijを算出する(図10のS14)。ここで、全ての過分割領域群における全ての組み合わせの隣接する過分割領域i,j間についての結合度が求められる。 Then, the image processing unit 5 calculates the degree of coupling between the adjacent excessively divided areas i and j in all the excessively divided areas (S6 in FIG. 9). At this time, the image processing unit 5 counts the number of appearances of each group number of the projection points belonging to each of the excessively divided areas i and j (S10 in FIG. 10). Further, the image processing unit 5 obtains areas Ai and Aj of the respective excessively divided regions i and j (S11 in FIG. 10). The image processing unit 5 extracts the maximum values Ni and Nj of the number of appearances and the group numbers Gi and Gj of the maximum values Ni and Nj from the number of appearances of each overdivided region i and j for each group (S12 in FIG. 10). ). Further, the image processing unit 5 calculates rij by the equation (1) using the areas Ai, Aj, the maximum number of appearances Ni, Nj, and the group numbers Gi, Gj in the adjacent excessively divided regions i, j ( S13 in FIG. Furthermore, the image processing unit 5 calculates the degree of coupling uij between the adjacent excessively divided regions i and j by using the expression r2 using the rij (S14 in FIG. 10). Here, the degree of coupling between the adjacent over-divided areas i and j of all combinations in all the over-divided area groups is obtained.
全ての隣接する過分割領域間の結合度を算出すると、画像処理部5では、全ての過分割領域について、結合度に基づいて隣接する過分割領域間を結合又は分離する。そして、画像処理部5では、複数個の過分割領域からなる領域を生成し、個々の物体に分離する(図9のS7)。ここで、過分割した全ての過分割領域についての結合状態が確定し、各結合状態の過分割領域群からなる領域によって個々の物体に分離されたことになる。 When the degree of coupling between all adjacent overdivided areas is calculated, the image processing unit 5 combines or separates the adjacent overdivided areas with respect to all the overdivided areas based on the degree of coupling. Then, the image processing unit 5 generates a region composed of a plurality of excessively divided regions and separates them into individual objects (S7 in FIG. 9). Here, the combined states of all the excessively divided regions are determined, and the objects are separated into individual objects by the region including the overdivided region group in each combined state.
画像処理部5では、物体の分離結果(画像など)を示す出力信号を生成し、その出力信号をモニタ4に送信する。モニタ4では、受信した出力信号に応じた分離結果を表示する。
The image processing unit 5 generates an output signal indicating an object separation result (image or the like) and transmits the output signal to the
画像処理装置1によれば、隣接する過分割領域におけるグループ毎の三次元点の個数に着目して結合度を定義することにより、隣接する過分割領域が異なる物体かあるいは同じ物体かを高精度に判断できる。そのため、各物体に相当する領域を正確に分割でき、個々の物体を高精度に分離することができる。特に、画像処理装置1では、結合度を求める際に過分割領域に含まれる三次元点のうち出現回数が最大のグループの三次元点しか用いないので、ノイズの影響を受けることなく、物体を高精度に分離することができる。
According to the
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。 As mentioned above, although embodiment which concerns on this invention was described, this invention is implemented in various forms, without being limited to the said embodiment.
例えば、本実施の形態ではコンピュータ上でアプリケーションプログラム(ソフトウエア)を実行することによって各処理を行う構成としたが、ハードウエアによって各処理部を構成してもよい。 For example, in the present embodiment, each process is performed by executing an application program (software) on a computer, but each processing unit may be configured by hardware.
また、本実施の形態では2台のカメラによるステレオカメラで複数の撮像手段を構成したが、3台以上のカメラで複数の撮像手段を構成してもよい。 In this embodiment, a plurality of imaging units are configured by a stereo camera using two cameras, but a plurality of imaging units may be configured by three or more cameras.
また、本実施の形態では基準画像上にグループ化した三次元点群を投影する構成としたが、基準画像を過分割した過分割領域画像上にグループ化した三次元点群を投影するようにしてもよい。ちなみに、基準画像と過分割領域画像とは同じ二次元座標系であるので、基準画像上に投影された場合でも、過分割領域画像上に投影された場合でも、各投影点は同じ座標を有することになる。 In the present embodiment, the grouped three-dimensional point group is projected on the reference image. However, the grouped three-dimensional point group is projected on the overdivided region image obtained by overdividing the reference image. May be. Incidentally, since the reference image and the over-divided area image are the same two-dimensional coordinate system, each projection point has the same coordinates regardless of whether it is projected on the reference image or the over-divided area image. It will be.
また、本実施の形態では全ての過分割領域について隣接する過分割領域間の結合度を求め、その結合度から個々の物体に分離する構成としたが、全ての過分割領域から分離対象の物体が存在する可能性の高い過分割領域を抽出し、その抽出した過分割領域についてのみ隣接する過分割領域間の結合度を求め、その結合度から個々の物体に分離するようにしてもよい。 Further, in this embodiment, the degree of coupling between adjacent overdivided areas is obtained for all overdivided areas and separated into individual objects based on the degree of coupling, but the object to be separated from all overdivided areas It is also possible to extract overdivided regions that are likely to exist, obtain the degree of coupling between adjacent overdivided regions only for the extracted overdivided regions, and separate individual objects from the degree of coupling.
また、本実施の形態では隣接する過分割領域の出現回数が最大のグループの投影点数と領域面積とから式(1)によりrijを算出し、rijを用いて式(2)により結合度を求める構成としたが、他の方法によりグループ毎の投影点数から隣接する過分割領域間の結合度を求めてもよい。 Further, in the present embodiment, rij is calculated from equation (1) from the number of projection points and the area of the group having the maximum number of adjacent overdivided regions, and the degree of coupling is obtained from equation (2) using rij. Although the configuration is adopted, the degree of coupling between adjacent excessively divided regions may be obtained from the number of projection points for each group by another method.
また、本実施の形態では隣接する過分割領域間を結合するかあるいは分離するかを結合度の大小によって判断する構成としたが、結合度の他に、隣接した過分割領域からなる領域に対して立体プリミティブを当てはめ、その当てはめ精度が閾値以上の領域を分離対象の物体とし、当てはめ精度が閾値未満の領域を結合度に基づいて分離する立体プリミティブの当てはめなども用いた他の方法により隣接する過分割領域間を結合/分離してもよい。 Further, in this embodiment, it is configured to determine whether to combine or separate adjacent over-divided areas based on the degree of coupling, but in addition to the degree of coupling, for areas composed of adjacent over-divided areas Next, apply a 3D primitive to the area that has a fitting accuracy equal to or higher than the threshold value as an object to be separated, and use a 3D primitive fitting method that separates areas with a fitting accuracy less than the threshold value based on the degree of coupling. The over-divided areas may be combined / separated.
1…画像処理装置、2,3…カメラ、4…モニタ、5…画像処理部
DESCRIPTION OF
Claims (2)
視点の異なる複数の撮像画像を取得する撮像ステップと、
複数の撮像画像に基づいて撮像対象の三次元形状を示す三次元点を求める三次元点処理ステップと、
前記三次元点処理ステップで求めた三次元点をグループ化するグループ化ステップと、
前記グループ化ステップでグループ化した三次元点を複数の撮像画像のうちの基準画像上に投影する投影ステップと、
複数の撮像画像のうちの基準画像を領域に過分割する過分割ステップと、
前記過分割ステップで過分割した各過分割領域と前記投影ステップで投影した各グループの三次元点に基づいて隣接する各過分割領域におけるグループ毎の三次元点の数をそれぞれ求め、当該各グループの三次元点の数により隣接する過分割領域間の結合度を求める結合度処理ステップと、
前記結合度処理ステップで求めた結合度に基づいて隣接する過分割領域間を結合又は分離することによって物体を分離する分離ステップと
を含むことを特徴とする画像処理方法。 An image processing method for separating an object in a captured image,
An imaging step of acquiring a plurality of captured images with different viewpoints;
A three-dimensional point processing step for obtaining a three-dimensional point indicating a three-dimensional shape of an imaging target based on a plurality of captured images;
A grouping step for grouping the three-dimensional points obtained in the three-dimensional point processing step;
A projecting step of projecting the three-dimensional points grouped in the grouping step onto a reference image among a plurality of captured images;
An overdivision step of overdividing a reference image of a plurality of captured images into regions;
Based on each overdivision area overdivided in the overdivision step and the three-dimensional point of each group projected in the projection step, the number of 3D points for each group in each adjacent overdivision area is determined, and each group A degree-of-association processing step for obtaining the degree of coupling between adjacent over-divided regions by the number of three-dimensional points of
A separation step of separating an object by combining or separating adjacent over-divided regions based on the degree of coupling obtained in the degree of coupling processing step.
視点の異なる複数の撮像画像を取得する複数の撮像手段と、
複数の撮像画像に基づいて撮像対象の三次元形状を示す三次元点を求める三次元点処理手段と、
前記三次元点処理手段で求めた三次元点をグループ化するグループ化手段と、
前記グループ化手段でグループ化した三次元点を複数の撮像画像のうちの基準画像上に投影する投影手段と、
複数の撮像画像のうちの基準画像を領域に過分割する過分割手段と、
前記過分割手段で過分割した各過分割領域と前記投影手段で投影した各グループの三次元点に基づいて隣接する各過分割領域におけるグループ毎の三次元点の数をそれぞれ求め、当該各グループの三次元点の数により隣接する過分割領域間の結合度を求める結合度処理手段と、
前記結合度処理手段で求めた結合度に基づいて隣接する過分割領域間を結合又は分離することによって物体を分離する分離手段と
を備えることを特徴とする画像処理装置。 An image processing apparatus for separating an object from a captured image,
A plurality of imaging means for acquiring a plurality of captured images from different viewpoints;
Three-dimensional point processing means for obtaining a three-dimensional point indicating a three-dimensional shape of an imaging target based on a plurality of captured images;
Grouping means for grouping the three-dimensional points obtained by the three-dimensional point processing means;
Projecting means for projecting the three-dimensional points grouped by the grouping means onto a reference image among a plurality of captured images;
An overdividing unit that overdivides a reference image of a plurality of captured images into regions;
Based on each overdivision area overdivided by the overdivision means and the three-dimensional point of each group projected by the projection means, the number of three-dimensional points for each group in each adjacent overdivision area is determined, and each group A degree-of-association processing means for obtaining the degree of coupling between adjacent over-divided regions according to the number of three-dimensional points;
Separating means for separating an object by combining or separating adjacent over-divided regions based on the degree of coupling obtained by the degree of coupling processing means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005126563A JP2006302195A (en) | 2005-04-25 | 2005-04-25 | Image processing method and image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005126563A JP2006302195A (en) | 2005-04-25 | 2005-04-25 | Image processing method and image processing device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006302195A true JP2006302195A (en) | 2006-11-02 |
Family
ID=37470377
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005126563A Pending JP2006302195A (en) | 2005-04-25 | 2005-04-25 | Image processing method and image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006302195A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9378583B2 (en) | 2010-07-02 | 2016-06-28 | Samsung Electronics Co., Ltd. | Apparatus and method for bidirectionally inpainting occlusion area based on predicted volume |
WO2017006577A1 (en) * | 2015-07-03 | 2017-01-12 | 三菱電機株式会社 | Device for selecting three-dimensional point group, and method for selecting three-dimensional point group |
JP2018181056A (en) * | 2017-04-17 | 2018-11-15 | 富士通株式会社 | Difference detection program, difference detection device, and difference detection method |
JP2022521003A (en) * | 2019-02-22 | 2022-04-04 | デクステリティ・インコーポレーテッド | Multi-camera image processing |
US11851290B2 (en) | 2019-02-22 | 2023-12-26 | Dexterity, Inc. | Robotic multi-item type palletizing and depalletizing |
-
2005
- 2005-04-25 JP JP2005126563A patent/JP2006302195A/en active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9378583B2 (en) | 2010-07-02 | 2016-06-28 | Samsung Electronics Co., Ltd. | Apparatus and method for bidirectionally inpainting occlusion area based on predicted volume |
WO2017006577A1 (en) * | 2015-07-03 | 2017-01-12 | 三菱電機株式会社 | Device for selecting three-dimensional point group, and method for selecting three-dimensional point group |
JPWO2017006577A1 (en) * | 2015-07-03 | 2017-11-24 | 三菱電機株式会社 | 3D point group selection device and 3D point group selection method |
JP2018181056A (en) * | 2017-04-17 | 2018-11-15 | 富士通株式会社 | Difference detection program, difference detection device, and difference detection method |
JP2022521003A (en) * | 2019-02-22 | 2022-04-04 | デクステリティ・インコーポレーテッド | Multi-camera image processing |
JP7299330B2 (en) | 2019-02-22 | 2023-06-27 | デクステリティ・インコーポレーテッド | Multi-camera image processing |
US11741566B2 (en) | 2019-02-22 | 2023-08-29 | Dexterity, Inc. | Multicamera image processing |
US11851290B2 (en) | 2019-02-22 | 2023-12-26 | Dexterity, Inc. | Robotic multi-item type palletizing and depalletizing |
JP7520187B2 (en) | 2019-02-22 | 2024-07-22 | デクステリティ・インコーポレーテッド | Multi-camera image processing |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111066065B (en) | System and method for hybrid depth regularization | |
TWI441095B (en) | Distance evaluation methods and apparatuses, and machine readable medium thereof | |
KR101223046B1 (en) | Image segmentation device and method based on sequential frame imagery of a static scene | |
JP5762211B2 (en) | Image processing apparatus, image processing method, and program | |
JP5327339B2 (en) | Image processing system, image processing method, and program | |
JP2015197745A (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
WO2014044126A1 (en) | Coordinate acquisition device, system and method for real-time 3d reconstruction, and stereoscopic interactive device | |
JP2011185872A (en) | Information processor, and processing method and program of the same | |
TW201118791A (en) | System and method for obtaining camera parameters from a plurality of images, and computer program products thereof | |
JP6087947B2 (en) | Method for 3D reconstruction of scenes that rely on asynchronous sensors | |
JP7159384B2 (en) | Image processing device, image processing method, and program | |
JP2011203811A (en) | Image processing apparatus, image processing method, image processing program, and compound eye digital camera | |
JP2019083402A (en) | Image processing apparatus, image processing system, image processing method, and program | |
US10742852B2 (en) | Image processing apparatus, object shape estimation method, and storage medium | |
JP2020197989A5 (en) | Image processing systems, image processing methods, and programs | |
JP2006226965A (en) | Image processing system, computer program and image processing method | |
JP2006302195A (en) | Image processing method and image processing device | |
WO2017077650A1 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2006301962A (en) | Image processing method and image processor | |
US20120162412A1 (en) | Image matting apparatus using multiple cameras and method of generating alpha maps | |
JP7163049B2 (en) | Information processing device, information processing method and program | |
JP6452361B2 (en) | Information processing apparatus, information processing method, and program | |
KR101857977B1 (en) | Image apparatus for combining plenoptic camera and depth camera, and image processing method | |
KR100879802B1 (en) | Method and apparatus of generating three dimensional scene in virtual view point | |
KR101718309B1 (en) | The method of auto stitching and panoramic image genertation using color histogram |