KR20110051164A - 화상 처리 장치, 화상 처리 방법, 화상 입력 장치 및 화상 입출력 장치 - Google Patents

Abstract

종래보다 고속의 라벨링 처리를 실현하는 것이 가능한 화상 처리 장치를 제공한다. 2치화 데이터(Din)에 의해 표현되는 촬상 화상에 있어서, 각 화소를 순차적으로 주사한다. 또한, 그 순차적인 주사 시에 주목 화소 및 그 주변 화소의 화소 데이터의 값에 따라 촬상 화상 내에 있어서의 연결 영역마다의 식별 번호를 나타내는 레지스터 번호(라벨 정보)를 주목 화소에 있어서 수시로 할당하면서 각 라벨 정보에 대응하는 연결 정보마다의 부가 정보(위치 정보 및 면적 정보)를 수시로 갱신한다. 이에 의해, 1회의 순차적인 주사에 의해 촬상 화상 전체에 관한 라벨 정보, 위치 정보 및 면적 정보가 각각 얻어진다.

Description

화상 처리 장치, 화상 처리 방법, 화상 입력 장치 및 화상 입출력 장치{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, IMAGE INPUT DEVICE, AND IMAGE INPUT/OUTPUT DEVICE}

본 발명은, 촬상 기능을 구비한 화상 입력 장치, 화상 표시 기능과 촬상 기능을 구비한 화상 입출력 장치, 및 그러한 화상 입력 장치 또는 화상 입출력 장치에 있어서의 라벨링 처리 시에 적용되는 화상 처리 장치 및 화상 처리 방법에 관한 것이다.

화상 표시 장치에는 터치 패널을 구비한 것이 있다. 이 터치 패널에는 전기 저항의 변화를 이용한 저항형이나, 정전 용량의 변화를 이용한 정전 용량형 외에, 광학적으로 손가락 등을 검지하는 광학형 터치 패널이 있다. 이 광학형 터치 패널에서는, 예를 들어 백라이트로부터의 광을 액정 소자에 의해 변조하여 화상을 표시면에 표시함과 함께, 표시면으로부터 출사되어 손가락 등의 근접 물체에 의해 반사된 광을, 표시면에 배열된 수광 소자에 의해 수광하여, 근접 물체의 위치 등을 검출하는 것이다. 이러한 화상 표시 장치에 대하여 기재한 것에는, 특허 문헌 1을 들 수 있다. 특허 문헌 1에 기재된 표시 장치는, 화상을 표시하는 표시 수단과, 물체를 촬상하는 촬상 수단을 갖는 표시부를 구비한 것이다.

이러한 광학식의 터치 패널에 의해 복수 점의 검출을 행할 때, 수광 소자로부터 화상으로서 취득된 데이터에 있어서, 1개의 점의 덩어리로 간주할 수 있는 연결 영역마다 식별 번호를 부여하는 처리를 행하는 경우가 있다(예를 들어, 특허 문헌 2). 이러한 처리는, 라벨링 처리라고 부르고 있다.

일본 특허 공개 제2004-127272호 공보 일본 특허 공개 제2002-164017호 공보

그런데 특허 문헌 2 등의 종래의 라벨링 처리에서는, 라벨링 화상이라고 하는 2차원 데이터를 프레임 메모리에 일시 기억시켜 두고, 이 라벨링 화상에 기초하여 라벨링 처리를 행하고 있었다. 따라서, 수광 소자로부터 얻어지는 데이터에 대하여 리얼타임 처리를 행하는 것은 곤란하여, 보다 고속의 라벨링 처리의 실현이 기대되고 있었다.

본 발명은 이러한 문제점을 감안하여 이루어진 것으로, 그 목적은 종래보다 고속의 라벨링 처리를 실현하는 것이 가능한 화상 처리 장치 및 화상 처리 방법, 및 그러한 화상 처리 장치를 구비한 화상 입력 장치 및 화상 입출력 장치를 제공하는 것에 있다.

본 발명의 화상 처리 장치는, 2치화된 화소 데이터에 의해 표현되는 화상에 있어서, 각 화소를 순차적으로 주사하는 주사부와, 각 화소를 순차적으로 주사할 때에 주목 화소 및 그 주변 화소의 화소 데이터의 값에 따라 화상 내에 있어서의 연결 영역마다의 식별 번호를 나타내는 라벨 정보를 주목 화소에 있어서 수시로 할당하면서, 각 라벨 정보에 대응하는 연결 영역마다의 위치 정보 및 면적 정보를 수시로 갱신함으로써, 그 순차적인 주사의 완료 시점에서 화상 전체에 관한 라벨 정보, 상기 위치 정보 및 상기 면적 정보가 각각 취득되도록 처리를 행하는 정보 취득부를 구비한 것이다. 여기서, 「연결 영역」이란, 1개의 점의 덩어리로 간주하는 것이 가능한 화소 영역을 의미한다.

본 발명의 화상 처리 방법은, 2치화된 화소 데이터에 의해 표현되는 화상에 있어서, 각 화소를 순차적으로 주사함과 함께 각 화소를 순차적으로 주사할 때에 주목 화소 및 그 주변 화소의 화소 데이터의 값에 따라 화상 내에 있어서의 연결 영역마다의 식별 번호를 나타내는 라벨 정보를 주목 화소에 있어서 수시로 할당하면서, 각 라벨 정보에 대응하는 연결 영역마다의 위치 정보 및 면적 정보를 수시로 갱신함으로써, 그 순차적인 주사의 완료 시점에서 화상 전체에 관한 라벨 정보, 상기 위치 정보 및 상기 면적 정보가 각각 취득되도록 처리를 행하는 것이다.

본 발명의 화상 입력 장치는, 촬상면을 따라 배열되고, 외부 근접 물체에 의해 반사된 광을 수광하는 복수의 수광 요소를 갖는 입력 패널과, 각 수광 요소로부터의 수광 신호에 기초하여 얻어지는, 2치화된 화소 데이터에 의해 표현되는 촬상 화상에 있어서, 각 화소를 순차적으로 주사하는 주사부와, 각 화소를 순차적으로 주사할 때에 주목 화소 및 그 주변 화소의 화소 데이터의 값에 따라 촬상 화상 내에 있어서의 연결 영역마다의 식별 번호를 나타내는 라벨 정보를 주목 화소에 있어서 수시로 할당하면서, 각 라벨 정보에 대응하는 연결 영역마다의 위치 정보 및 면적 정보를 수시로 갱신함으로써, 그 순차적인 주사의 완료 시점에서 촬상 화상 전체에 관한 라벨 정보, 상기 위치 정보 및 상기 면적 정보가 각각 취득되도록 처리를 행하는 정보 취득부와, 이 정보 취득부에 의해 얻어진 라벨 정보, 위치 정보 및 면적 정보에 기초하여, 상기 외부 근접 물체의 위치, 형상 및 크기 중 적어도 1개에 관한 정보를 취득하는 위치 검출부를 구비한 것이다.

본 발명의 제1 화상 입출력 장치는, 표시면을 따라 배열되고, 화상 신호에 기초하여 화상을 표시하는 복수의 표시 요소와, 표시면을 따라 배열되고, 표시면으로부터 출사되어 외부 근접 물체에 의해 반사된 광을 수광하는 복수의 수광 요소를 갖는 입출력 패널과, 각 수광 요소로부터의 수광 신호에 기초하여 얻어지는, 2치화된 화소 데이터에 의해 표현되는 촬상 화상에 있어서, 각 화소를 순차적으로 주사하는 주사부와, 각 화소를 순차적으로 주사할 때에 주목 화소 및 그 주변 화소의 화소 데이터의 값에 따라 촬상 화상 내에 있어서의 연결 영역마다의 식별 번호를 나타내는 라벨 정보를 주목 화소에 있어서 수시로 할당하면서, 각 라벨 정보에 대응하는 연결 영역마다의 위치 정보 및 면적 정보를 수시로 갱신함으로써, 그 순차적인 주사의 완료 시점에서 촬상 화상 전체에 관한 라벨 정보, 상기 위치 정보 및 상기 면적 정보가 각각 취득되도록 처리를 행하는 정보 취득부와, 이 정보 취득부에 의해 얻어진 라벨 정보, 위치 정보 및 면적 정보에 기초하여, 상기 외부 근접 물체의 위치, 형상 및 크기 중 적어도 1개에 관한 정보를 취득하는 위치 검출부를 구비한 것이다.

본 발명의 제2 화상 입출력 장치는, 제1 기판 및 제2 기판 사이에 액정층을 갖는 표시 패널과, 이 표시 패널 내에 형성되고, 제2 기판의 휨에 의해 접촉 가능한 제1 센서 전극 및 제2 센서 전극을 가짐과 함께 제1 센서 전극 및 제2 센서 전극의 접촉에 의한 전위의 변화를 판독함으로써 외부 근접 물체의 위치에 따른 제2 기판의 휨 위치를 검출하는 위치 검출부를 구비한 입출력 패널과, 위치 검출부로부터의 위치 검출 신호에 기초하여 얻어지는, 2치화된 화소 데이터에 의해 표현되는 화상에 있어서, 각 화소를 순차적으로 주사하는 주사부와, 각 화소를 순차적으로 주사할 때 주목 화소 및 그 주변 화소의 화소 데이터의 값에 따라 화상 내에 있어서의 연결 영역마다의 식별 번호를 나타내는 라벨 정보를 주목 화소에 있어서 수시로 할당하면서, 각 라벨 정보에 대응하는 연결 영역마다의 위치 정보 및 면적 정보를 수시로 갱신함으로써, 그 순차적인 주사의 완료 시점에서 화상 전체에 관한 라벨 정보, 상기 위치 정보 및 상기 면적 정보가 각각 취득되도록 처리를 행하는 정보 취득부와, 이 정보 취득부에 의해 얻어진 라벨 정보, 위치 정보 및 면적 정보에 기초하여, 상기 외부 근접 물체의 위치, 형상 및 크기 중 적어도 1개에 관한 정보를 취득하는 위치 검출부를 구비한 것이다.

본 발명의 화상 처리 장치, 화상 처리 방법, 화상 입력 장치 및 화상 입출력 장치에서는, 2치화된 화소 데이터에 의해 표현되는 화상(예를 들어, 촬상 화상)에 있어서, 각 화소가 순차적으로 주사된다. 그때, 주목 화소 및 그 주변 화소의 화소 데이터의 값에 따라 화상 내에 있어서의 연결 영역마다의 식별 번호를 나타내는 라벨 정보가, 주목 화소에 있어서 수시로 할당되면서, 각 라벨 정보에 대응하는 연결 영역마다의 위치 정보 및 면적 정보가 수시로 갱신된다. 이에 의해, 그러한 순차적인 주사의 완료 시점에서 화상 전체에 관한 라벨 정보, 상기 위치 정보 및 상기 면적 정보를 각각 얻을 수 있다. 즉, 종래와 같은 라벨링 화상의 작성이 불필요하게 되고, 1회의 순차적인 주사에 의해 화상 전체에 관한 라벨 정보 등을 각각 얻을 수 있다.

본 발명의 화상 처리 장치, 화상 처리 방법, 화상 입력 장치 또는 화상 입출력 장치에 의하면, 2치화된 화소 데이터에 의해 표현되는 화상에 있어서 각 화소를 순차적으로 주사함과 함께 그 순차적인 주사 시에 주목 화소 및 그 주변 화소의 화소 데이터의 값에 따라 화상 내에 있어서의 연결 영역마다의 식별 번호를 나타내는 라벨 정보를 주목 화소에 있어서 수시로 할당하면서, 각 라벨 정보에 대응하는 연결 영역마다의 위치 정보 및 면적 정보를 수시로 갱신하도록 했으므로, 1회의 순차적인 주사에 의해 화상 전체에 관한 라벨 정보, 상기 위치 정보 및 상기 면적 정보를 각각 취득할 수 있다. 따라서, 종래보다 고속의 라벨링 처리를 실현하는 것이 가능해진다.

도 1은 본 발명의 제1 실시 형태에 관한 화상 입출력 장치의 구성을 도시하는 블록도이다.
도 2는 도 1의 화상 입출력 장치의 구성을 더욱 상세하게 도시하는 블록도이다.
도 3은 입출력 패널의 일부를 확대한 단면이다.
도 4는 도 1의 라벨링 처리부의 구성을 더욱 상세하게 도시하는 블록도이다.
도 5는 제1 실시 형태의 라벨링 처리 시에 사용되는 2치화 데이터, 라인 버퍼, 어드레스 리스트 및 부가 정보의 일례를 나타내는 모식도이다.
도 6은 화상 입출력 장치에 의한 화상 처리 전체의 흐름도이다.
도 7은 제1 실시 형태의 라벨링 처리의 상세를 나타내는 흐름도이다.
도 8은 제1 실시 형태의 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 9는 도 8에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 10은 도 9에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 11은 도 10에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 12는 도 11에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 13은 도 12에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 14는 도 13에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 15는 도 14에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 16은 도 15에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 17은 도 16에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 18은 도 17에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 19는 도 18에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 20은 도 19에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 21은 도 20에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 22는 도 21에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 23은 도 22에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 24는 제2 실시 형태에 관한 라벨링 처리부의 상세 구성을 도시하는 블록도이다.
도 25는 제2 실시 형태의 라벨링 처리 시에 사용되는 2치화 데이터, 라인 버퍼, 부가 정보 및 빈 번지 정보의 일례를 나타내는 모식도이다.
도 26은 제2 실시 형태의 라벨링 처리의 상세를 나타내는 흐름도이다.
도 27은 도 26에 이어 제2 실시 형태의 라벨링 처리의 상세를 나타내는 흐름도이다.
도 28은 제2 실시 형태의 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 29는 도 28에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 30은 도 29에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 31은 도 30에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 32는 도 31에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 33은 도 32에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 34는 도 33에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 35는 도 34에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 36은 도 35에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 37은 도 36에 이어 라벨링 처리의 상세를 설명하기 위한 모식도이다.
도 38은 본 발명의 변형예에 관한 입출력 패널의 구성을 나타내는 단면도이다.

이하, 본 발명의 실시 형태에 대하여 도면을 참조하여 상세하게 설명한다.

제1 실시 형태

도 1은 본 발명의 제1 실시 형태에 관한 화상 입출력 장치(1)의 개략 구성을 나타내는 것이다. 또한, 도 2는 본 실시 형태에 관한 화상 입출력 장치(1)의 상세 구성을 나타내는 것이다. 또한, 도 3은 입출력 패널의 일부를 확대한 단면을 나타내는 것이다. 본 실시 형태에 관한 화상 입출력 장치(1)는, 도 1에 도시된 바와 같이 디스플레이(10)와, 이 디스플레이(10)를 이용하는 전자 기기 본체(20)를 구비한 것이다. 디스플레이(10)는 입출력 패널(11), 표시 신호 처리부(12), 수광 신호 처리부(13) 및 화상 처리부(14)를 갖고, 전자 기기 본체(20)는 제어부(21)를 갖는다. 또한, 본 발명의 제1 실시 형태에 관한 화상 처리 방법은, 본 실시 형태의 화상 입출력 장치(1)에 의해 구현화되기 때문에, 이하 아울러 설명한다.

입출력 패널(11)은, 도 2에 도시된 바와 같이 복수의 화소(16)가 매트릭스 형상으로 배열된 액정 디스플레이 패널에 의해 구성된 것이며, 표시 요소(11a) 및 수광 요소(11b)를 구비하고 있다. 표시 요소(11a)는 광원이 되는 백라이트로부터 출사된 광을 이용하여 도형이나 문자 등의 화상을 표시면에 표시하는 액정 소자이다. 수광 요소(11b)는 광을 수광하여 전기 신호로서 출력하는, 예를 들어 포토다이오드 등의 수광 소자이다. 수광 요소(11b)는 백라이트의 출사광이 입출력 패널(11)의 외부의 손가락 등의 외부 근접 물체에 의해 반사되어 되돌아 온 반사광을 수광하여, 수광 신호를 출력하는 것이다. 수광 요소(11b)는 본 실시 형태의 경우 화소(16)마다 배치되고, 면 내에 복수 배열되어 있다.

입출력 패널(11)은, 도 2 및 도 3에 도시된 바와 같이 1쌍의 투명 기판(30, 31) 사이에 격벽(32)에 의해 서로 분리된 구조의 복수의 발광 수광 셀(CWR)을 매트릭스 형상으로 배열하여 구성되어 있다. 각 발광 수광 셀(CWR)은 발광 셀(CW(CW1, CW2, CW3, …))과, 이들의 발광 셀(CW)에 내포된 복수의 수광 셀(CR(CR1, CR2, CR3, …))을 구비하고 있다. 발광 셀(CW)은 표시 요소(11a)로서의 액정 셀로 이루어지고, 수광 셀(CR)은 수광 요소(11b)로서의 수광 소자(PD)를 포함한다. 또한, 수광 셀(CR)에 있어서는 백라이트로부터 출사된 광(LB)이 입사되지 않도록, 백라이트측의 투명 기판(30)과 수광 소자(PD) 사이에 차폐층(33)이 배치되어, 각 수광 소자(PD)는 백라이트 광(LB)의 영향을 받지 않고, 백라이트와 반대측의 투명 기판(31)의 방향으로부터 입사된 광만을 검출하게 되어 있다.

도 1에 도시된 표시 신호 처리부(12)는 입출력 패널(11)의 전단에 접속되고, 입출력 패널(11)이 표시 데이터에 기초하여 화상을 표시하도록 입출력 패널(11)의 구동을 행하는 회로이다.

표시 신호 처리부(12)는, 도 2에 도시된 바와 같이 표시 신호 유지 제어부(40), 발광측 스캐너(41), 표시 신호 드라이버(42) 및 수광측 스캐너(43)를 구비하고 있다. 표시 신호 유지 제어부(40)는 표시 신호 생성부(44)로부터 출력되는 표시 신호를 1화면마다(1필드의 표시마다), 예를 들어 SRAM(Static Random Access Memory) 등으로 구성되는 필드 메모리에 저장하여 유지함과 함께 각 발광 셀(CW)을 구동하는 발광측 스캐너(41) 및 표시 신호 드라이버(42), 및 각 수광 셀(CR)을 구동하는 수광측 스캐너(43)를 연동하여 동작하도록 제어하는 기능을 갖는다. 구체적으로는, 발광측 스캐너(41)에는 발광 타이밍 제어 신호를, 수광측 스캐너(43)에는 수광 타이밍 제어 신호를, 표시 신호 드라이버(42)에는 제어 신호 및 필드 메모리에 유지되어 있는 표시 신호에 기초하여, 1수평 라인분의 표시 신호를 출력한다. 이들의 제어 신호 및 표시 신호에 의해, 선순차적인 동작이 행해지게 되어 있다.

발광측 스캐너(41)는 표시 신호 유지 제어부(40)로부터 출력되는 발광 타이밍 제어 신호에 따라 구동 대상의 발광 셀(CW)을 선택하는 기능을 갖는다. 구체적으로는, 입출력 패널(11)의 각 화소(16)에 접속된 발광용 게이트선을 통하여 발광용 선택 신호를 공급하여, 발광 소자 선택 스위치를 제어한다. 즉, 발광용 선택 신호에 의해 어느 한 화소(16)의 발광 소자 선택 스위치가 온 상태로 되는 전압이 인가되면, 그 화소(16)에서는 표시 신호 드라이버(42)로부터 공급된 전압에 대응한 휘도의 발광 동작이 이루어지게 되어 있다.

표시 신호 드라이버(42)는 표시 신호 유지 제어부(40)로부터 출력되는 1수평 라인분의 표시 신호에 따라 구동 대상의 발광 셀(CW)에 표시 데이터를 공급하는 기능을 갖는다. 구체적으로는, 입출력 패널(11)의 각 화소(16)에 접속된 데이터 공급선을 통하여 전술한 발광측 스캐너(41)에 의해 선택된 화소(16)에 표시 데이터에 대응하는 전압을 공급한다. 이 발광측 스캐너(41) 및 표시 신호 드라이버(42)가 연동하여 선순차적으로 동작함으로써 임의의 표시 데이터에 대응하는 화상이 입출력 패널(11)에 표시된다.

수광측 스캐너(43)는 표시 신호 유지 제어부(40)로부터 출력되는 수광 타이밍 제어 신호에 따라 구동 대상의 수광 셀(CR)을 선택하는 기능을 갖는다. 구체적으로는 입출력 패널(11)의 각 화소(16)에 접속된 수광용 게이트선을 통하여 수광용 선택 신호를 공급하여, 수광 소자 선택 스위치를 제어한다. 즉, 전술한 발광측 스캐너(41)의 동작과 마찬가지로 수광용 선택 신호에 의해 어느 한 화소(16)의 수광 소자 선택 스위치가 온 상태로 되는 전압이 인가되면 그 화소(16)로부터 검출된 수광 신호가 수광 신호 리시버(45)에 출력되도록 되어 있다. 이에 의해, 예를 들어 어느 한 발광 셀(CW)로부터의 출사광에 기초하여 접촉 혹은 근접하는 물체에 있어서 반사된 광을, 수광 셀(CR)이 수광하여 검출하는 것이 가능해진다. 또한, 이 수광측 스캐너(43)로부터는 수광 신호 리시버(45) 및 수광 신호 유지부(46)에 수광 블록 제어 신호가 출력되어, 이들 수광 동작에 기여하는 블록을 제어하는 기능도 갖는다. 또한, 본 실시 형태의 화상 입출력 장치(1)에 있어서는, 전술한 발광용 게이트선 및 수광용 게이트선은 각 발광 수광 셀(CWR)에 대하여 별개로 접속되고, 발광측 스캐너(41) 및 수광측 스캐너(43)는 각각 독립하여 동작하는 것이 가능하게 되어 있다.

도 1에 도시된 수광 신호 처리부(13)는 입출력 패널(11)의 후단에 접속되고, 수광 요소(11b)로부터의 수광 신호를 취득하여 증폭 등을 행하는 것이다. 이 수광 신호 처리부(13)는, 도 2에 도시된 바와 같이 수광 신호 리시버(45) 및 수광 신호 유지부(46)를 구비하고 있다.

수광 신호 리시버(45)는, 수광측 스캐너(43)로부터 출력되는 수광 블록 제어 신호에 따라 각 수광 셀(CR)로부터 출력된 1수평 라인분의 수광 신호를 취득하는 기능을 갖는다. 이 수광 신호 리시버(45)에 있어서 취득된 1수평 라인분의 수광 신호는 수광 신호 유지부(46)에 출력된다.

수광 신호 유지부(46)는 수광측 스캐너(43)로부터 출력되는 수광 블록 제어 신호에 따라, 수광 신호 리시버(45)로부터 출력되는 수광 신호를 1화면마다(1필드의 표시마다)의 수광 신호로 재구성하고, 예를 들어 SRAM 등으로 구성되는 필드 메모리에 저장하여 유지하는 기능을 갖는다. 수광 신호 유지부(46)에 있어서 저장된 수광 신호의 데이터는, 화상 처리부(14)(도 1) 내의 위치 검출부(47)에 출력된다. 또한, 이 수광 신호 유지부(46)는 메모리 이외의 기억 소자로 구성되어 있어도 되고, 예를 들어 수광 신호를 아날로그 데이터(전하)로서 용량 소자에 유지해 두는 것도 가능하다.

화상 처리부(14)(도 1)는 수광 신호 처리부(13)의 후단에 접속되고, 수광 신호 처리부(13)로부터 촬상 화상을 취득하여 2치화나 노이즈 제거, 라벨링 등의 처리를 행하고, 외부 근접 물체의 점 정보, 즉 외부 근접 물체의 무게 중심이나 중심 좌표, 및 외부 근접 물체의 영역(크기나 형상)을 나타내는 정보를 얻는 회로이다.

구체적으로는, 화상 처리부(14)에 있어서의 라벨링 처리부(14a)(화상 처리 장치)가, 이하와 같이 하여 라벨링 처리를 행하여 촬상 화상 전체에 관한 라벨 정보(촬상 화상 내에 있어서의 연결 영역마다의 식별 번호를 나타내는 정보), 연결 영역마다의 위치 정보 및 면적 정보를 각각 취득하게 되어 있다. 즉, 상세한 것은 후술하겠지만, 라벨링 처리부(14a)는 2치화된 화소 데이터에 의해 표현되는 촬상 화상에 있어서, 각 화소를 순차적으로 주사함과 함께 그 순차적인 주사 시에 주목 화소 및 그 주변 화소의 화소 데이터의 값에 따라 라벨 정보를 주목 화소에 있어서 수시로 할당하면서, 각 라벨 정보에 대응하는 연결 영역마다의 위치 정보 및 면적 정보를 수시로 갱신함으로써 상기 라벨 정보, 위치 정보 및 면적 정보를 각각 취득하게 되어 있다. 또한, 이 라벨링 처리부(14a)가 본 발명에 있어서의 「주사부」 및 「정보 취득부」의 일구체예에 대응한다.

또한, 화상 처리부(14)에 있어서의 위치 검출부(47)(도 2)는 라벨링 처리부(14a)로부터 얻어진 상기 라벨 정보, 위치 정보 및 면적 정보에 기초하여 신호 처리를 행하여 수광 셀(CR)에 있어서 검출된 물체가 존재하는 위치 등을 특정하게 되어 있다. 이에 의해, 접촉 혹은 근접하는 손가락 등의 위치를 특정하는 것이 가능해진다.

전자 기기 본체(20)(도 1)는, 디스플레이(10)의 표시 신호 처리부(12)에 대하여 표시 데이터를 출력함과 함께 화상 처리부(14)로부터 점 정보를 입력하게 되어 있다. 제어부(21)는 점 정보를 사용하여 표시 화상을 변화시키는 것이다.

제어부(21)(도 1)는, 도 2에 도시된 바와 같이 표시 신호 생성부(44)를 구비하고 있다. 표시 신호 생성부(44)는 도시하지 않은 CPU(Central Processing Unit) 등에 의해 구성되고, 공급된 화상 데이터에 기초하여, 예를 들어 1화면마다(1필드의 표시마다) 표시하기 위한 표시 신호를 생성하고, 그것을 표시 신호 유지 제어부(40)에 출력하게 되어 있다.

이어서, 도 4 및 도 5를 참조하여, 라벨링 처리부(14a)의 상세 구성에 대하여 설명한다. 도 4는 이 라벨링 처리부(14a)의 상세 구성을 블록도로 도시한 것이다. 또한, 도 5는 본 실시 형태의 라벨링 처리 시에 사용되는 2치화 데이터, 라인 버퍼, 어드레스 리스트 및 부가 정보의 일례를 모식적으로 나타낸 것이다.

라벨링 처리부(14a)는, 도 4에 도시된 바와 같이 조건 판정 회로(141)와, 신규 라벨 번호 발행 회로(142)와, 어드레스 리스트(143)와, 라인 버퍼(144)와, 라인 버퍼 제어 회로(145)와, 어드레스 리스트 제어 회로(146)와, 라벨 메모리 컨트롤러(147)와, 부가 정보 메모리(148)를 갖고 있다.

조건 판정 회로(141)는, 예를 들어 도 5 중에 도시된 바와 같은 2치화된 화소 데이터인 2치화 데이터(Din)를 순차적으로 취득하고, 주목 화소 및 그 주변 화소의 화소 데이터의 값에 따라 라벨 정보의 할당 처리와, 연결 영역마다의 위치 정보 및 면적 정보의 갱신 처리를 각각 행하는지의 여부에 대하여 판정하는 것이다. 구체적으로는, 주목 화소에 있어서의 화소 데이터의 값의 유효 또는 무효 판정(여기서는, 유효값 「1」인지, 무효값 「0」인지의 판정)을 행함과 함께 주변 화소(여기서는, 주목 화소의 좌측 화소 및 상측 화소) 라벨 정보를 참조하여 무효 라벨 또는 신규 라벨(새로운 라벨 정보)의 발행 및 할당, 및 라벨의 통합 작업의 명령을 보내게 되어 있다. 또한, 이 조건 판정 회로(141)는 주목 화소가 1라인의 종단(여기서는, 우측 단부)에 위치하는 경우에는 어드레스 리스트의 정리의 명령을 내리게 되어 있다.

신규 라벨 번호 발행 회로(142)는 조건 판정 회로(141)에 의한 판정 결과에 기초하여, 신규 라벨의 발행을 행하는 것이다. 구체적으로는, 라벨이 신규인 경우에 어드레스 리스트(143)에 있어서, 미사용의 레지스터 번호(라벨 정보에 대응)를 발행하게 되어 있다.

라인 버퍼(144)는, 예를 들어 도 5에 도시된 바와 같이 1라인분의 레지스터 번호(라벨 정보)를 기억하는 부분이다. 또한, 도 5 등에 있어서 나타낸 라인 버퍼(이미지)(144a)는, 후술하는 라벨링 처리의 설명을 위하여 편의상 도시한 것이며, 실제의 라인 버퍼(144)는 1라인분의 버퍼로 되어 있다.

라인 버퍼 제어 회로(145)는, 라인 버퍼(144)에 있어서의 레지스터 번호의 기입 및 판독 등의 제어를 행하는 것이다.

부가 정보 메모리(148)는, 예를 들어 도 5에 도시된 바와 같은 부가 정보, 즉 각 라벨 정보에 대응하는 연결 영역마다의 위치 정보(xsum; 연결 영역 내의 x 좌표값의 합계값, ysum; 연결 영역 내의 y 좌표값의 합계값, region; 연결 영역 내의 x 좌표, y 좌표의 최소값이나 최대값 등) 및 면적 정보(sum; 연결 영역 내의 화소수)를 각각 라벨 번호(어드레스 번호에 대응)와 대응시켜 기억하는 것이다.

어드레스 리스트(143)는, 예를 들어 도 5에 도시된 바와 같이 라인 버퍼(144)에 기억되어 있는 레지스터 번호(RegNo; 라벨 정보에 대응)와, 부가 정보 메모리(148)에 기억되어 있는 라벨 번호(No; 어드레스 번호에 대응)와, 각 라벨 정보에 관한 할당의 유무(Flag)를 각각 대응시켜 기억하는 것이다. 구체적으로는, 레지스터 번호를 배열의 포인터로서 유지하고, 배열 내에 라벨 번호가 기술되게 되어 있으며, 이 라벨 번호는 라벨 번호의 번지 그 자체로도 되어 있다. 이에 의해, 레지스터 번호에 대한 라벨 번호의 부여가 이루어져 있다.

어드레스 리스트 제어 회로(146)는, 어드레스 리스트(143)에 있어서의 정보의 기입 및 판독 등의 제어를 행하는 것이다.

라벨 메모리 컨트롤러(147)는 부가 정보 메모리(148)에 있어서의 부가 정보의 기입 및 판독 등의 제어를 행하여 전술한 촬상 화상 전체에 관한 라벨 정보, 연결 영역마다의 위치 정보 및 면적 정보를 각각 라벨 정보(Dout)로서 출력하는 것이다.

이어서, 도 1 내지 도 5 외에 도 6 내지 도 23을 참조하여 본 실시 형태의 화상 입출력 장치(1)의 작용에 대하여 설명한다. 도 6은 화상 입출력 장치(1)에 의한 화상 처리 전체의 흐름을 나타내는 것이다. 또한, 도 7은 본 실시 형태의 라벨링 처리의 상세를 흐름도로 나타낸 것이다. 또한, 도 8 내지 도 23은 본 실시 형태의 라벨링 처리의 상세를 모식적으로 나타낸 것이다.

우선, 도 6을 참조하여 화상 입출력 장치(1)의 기본 동작에 대하여 설명한다.

전자 기기 본체(20)로부터 출력된 표시 데이터는 표시 신호 처리부(12)에 입력된다. 표시 신호 처리부(12)는 표시 데이터에 기초하여 입출력 패널(11)에 화상이 표시되도록 입출력 패널(11)을 구동시킨다.

입출력 패널(11)은 백라이트로부터의 출사광을 사용하여 화상을 표시 요소(11a)에 표시하는 한편, 수광 요소(11b)를 구동하고 있다. 그리고 표시 요소(11a)에 손가락 등의 외부 근접 물체가 접촉 또는 근접하면 표시 요소(11a)에 표시된 화상이 외부 근접 물체에 의해 반사되고 이 반사광이 수광 요소(11b)에 의해 검출된다. 이 검출에 의해, 수광 요소(11b)로부터는 수광 신호가 출력된다. 그리고 수광 신호 처리부(13)는 이 수광 신호를 입력하여 증폭 등의 처리를 행하여 수광 신호를 처리한다(도 6의 스텝 S10). 이와 같이 하여, 수광 신호 처리부(13)에 있어서, 촬상 화상이 얻어진다.

이어서, 화상 처리부(14)는 수광 신호 처리부(13)로부터 촬상 화상을 입력하고, 이 촬상 화상에 대하여 2치화 처리를 행한다(스텝 S11). 즉, 화상 처리부(14)는 미리 설정된 임계값을 기억하고 있으며, 예를 들어 촬상 화상 데이터의 신호 강도가 임계값보다도 작은지 또는 임계값 이상인지를 비교하여, 각각 「0」 또는 「1」로 설정하는 2치화 처리를 행한다. 이에 의해 외부 근접 물체에 의해 반사된 광을 수광한 부분이 「1」로 설정되고, 다른 부분이 「0」으로 설정된다.

그리고 화상 처리부(14)는 2치화된 촬상 화상으로부터 고립점을 제거한다(스텝 S12). 즉, 화상 처리부(14)는 상기와 같이 2치화되어 있는 경우 외부 근접 물체로부터 고립되어 있는 「1」로 설정된 부분을 제거함으로써 노이즈 제거를 행한다.

이 후, 화상 처리부(14)는 라벨링 처리부(14a)에 있어서, 라벨링 처리를 행한다(스텝 S13). 즉, 라벨링 처리부(14a)는 상기와 같이 2치화되어 있는 경우, 「1」로 설정된 부분에 대하여 라벨링 처리를 행한다. 그리고 라벨링 처리부(14a)는, 「1」로 설정된 영역을 외부 근접 물체의 영역으로서 검출하고, 이 영역의 무게 중심 또는 중심 좌표를 얻는다. 이러한 데이터는, 점 정보(전술한 라벨 정보(Dout))로서 제어부(21)에 출력된다.

이어서, 제어부(21)는 화상 처리부(14)로부터 입력한 점 정보를 사용하여, 표시 화상을 변화시키는 등의 필요한 처리를 행한다. 예를 들어, 화면에 어떤 조작 메뉴를 표시한 경우를 가정하면, 그 조작 메뉴 내의 어느 버튼이 유저의 손가락에 의해 선택된 것인지를 검지하여 그 선택된 버튼에 대응하는 명령을 실행한다. 이상에 의해, 화상 입출력 장치(1)에 있어서의 기본 동작이 종료된다.

이어서, 도 7 내지 도 23을 참조하여 본 발명의 특징 부분의 1개인 라벨링 처리부(14a)에 의한 라벨링 처리에 대해 상세하게 설명한다.

우선, 예를 들어 도 8에 도시된 바와 같이 라인 버퍼(144), 어드레스 리스트(143) 및 부가 정보 메모리(148)에서는 각각 값이 초기화되어 있다. 그리고 우선 조건 판정 회로(141)는 2치화 데이터(Din)로 이루어지는 촬상 화상에 있어서, 주목 화소의 화소값(화소 데이터)이 「1」(유효값)인지의 여부를 판정한다(도 7의 스텝 S131).

여기서, 예를 들어 도 9에 도시된 바와 같이 주목 화소의 화소 데이터가 「0」(무효값)인 경우에는(스텝 S131 : "아니오"), 라인 버퍼 제어 회로(145) 및 어드레스 리스트 제어 회로(146)는 각각 이 주목 화소에 있어서 라벨 정보의 발행 및 할당을 행하지 않는다. 즉, 예를 들어 도 10에 도시된 바와 같이 라인 버퍼(144) 및 어드레스 리스트(143)에 있어서, 「z」(무효 라벨)를 할당한다(스텝 S132). 그리고 그 후는 조건 판정 회로(141)는 1라인분의 주사가 종료되었는지의 여부(주목 화소가 1라인의 우측 단부에 위치하는 것인지의 여부)를 판정한다(스텝 S144).

여기서, 1라인분의 주사가 아직 종료되어 있지 않은 경우에는(스텝 S144 : "아니오"), 예를 들어 도 11에 도시된 바와 같이 그 라인 내에서 다음 화소(우측에 이웃한 화소)로 주목 화소를 이동시킨다(순차적으로 주사한다)(스텝 S145). 그리고 이어서 다시 스텝 S131로 되돌아간다.

여기서, 예를 들어 도 11에 도시된 바와 같이 주목 화소의 화소 데이터가 「1」(유효값)인 경우에는(스텝 S131 : "예"), 다음에 조건 판정 회로(141)는 그 주변 화소(여기서는, 주목 화소의 상측 및 좌측 화소)의 라벨이 유효한 것인지 또는 무효한 것인지(주변 화소의 화소 데이터가 유효값인 것인지 무효값인 것인지, 주목 화소가 고립점인 것인지의 여부)를 판정한다(스텝 S133). 여기에서는, 도 11에 도시된 바와 같이 주목 화소의 상측 화소 및 좌측 화소에 있어서, 모두 라벨이 무효(화소 데이터가 「0」(무효값), 주목 화소가 고립점이다)이기 때문에(스텝 S133 : 양쪽 무효), 신규 라벨 번호 발행 회로(142)는, 예를 들어 도 12에 도시된 바와 같이 이 주목 화소에 있어서, 신규 라벨(새로운 라벨 정보)을 발행하여 할당한다(스텝 S134). 또한, 그와 함께 라인 버퍼 제어 회로(145), 어드레스 리스트 제어 회로(146) 및 라벨 메모리 컨트롤러(147)는 각각 예를 들어 도 12에 도시된 바와 같이 부가 정보도 함께 갱신한다(스텝 S135). 그 후는 이 경우, 예를 들어 도 13에 도시된 바와 같이 다시 스텝 S144, S145의 처리가 반복되게 된다. 또한, 도 13 등에 있어서, 2치화 데이터(Din) 내의 화소 내에 나타낸 「(1)」등은 그 화소에 할당된 레지스터 번호(라벨 정보)를 의미하고 있다.

이어서, 예를 들어 도 14에 도시된 바와 같이 스텝 S131, S132, S144, S145의 처리 또는 스텝 S131, S134, S135, S144, S145의 처리가 반복된다. 그리고 1라인분의 주사가 종료되었다고 판정된 경우(스텝 S144 : "예"), 다음에 조건 판정 회로(141)는 촬상 화상 내의 전체 라인의 주사가 종료되었는지의 여부를 판정한다(스텝 S146).

여기서, 도 14에 도시된 바와 같이 전체 라인분의 주사가 아직 종료되어 있지 않은 경우에는(스텝 S146 : "아니오"), 다음에 1라인분의 주사 종료 시의 어드레스 리스트의 정리가 행해지고(스텝 S147), 예를 들어 도 15에 도시된 바와 같이 다음 라인 내의 최초의 화소(좌측 단부의 화소)로 주목 화소를 이동시킨다(순차적으로 주사한다)(스텝 S148). 단, 여기서는(도 14에 도시된 경우에는) 어드레스 리스트의 정리가 행해지지 않기 때문에, 이 어드레스 리스트의 정리에 대해서는 후술한다. 또한, 그 후는 스텝 S131로 되돌아가게 된다.

한편, 예를 들어 도 16에 도시된 바와 같은 경우에는 어드레스 리스트 제어 회로(146)는 이하 설명하는 어드레스 리스트의 정리를 행한다(스텝 S147). 구체적으로는, 예를 들어 도 17에 도시된 바와 같이 어드레스 리스트(143)에 있어서, 라인 버퍼(144) 내에 존재하지 않는 레지스터 번호의 플래그를 「0」(그 레지스터 번호에 대응하는 라벨 정보가 할당되어 있지 않은 것을 나타낸다)으로 설정한다. 이에 의해, 예를 들어 도 18에 도시된 바와 같이 그 후 어드레스 리스트(143)에 있어서 플래그가 「0」으로 되어 있는 레지스터 번호의 재이용(라벨 정보의 재이용)이 가능해진다. 또한, 그 후는 도 18에 도시된 바와 같이 다음 라인 내의 최초의 화소로 주목 화소가 이동하고(스텝 S148), 스텝 S131로 되돌아가게 된다.

이어서, 예를 들어 도 19에 도시된 바와 같이 스텝 S131에 있어서 주목 화소의 화소 데이터가 「1」(유효값)로 판정됨(스텝 S131 : "예")과 함께, 스텝 S133에 있어서 주목 화소의 상측 화소의 라벨만이 유효(화소 데이터가 「1」(유효값))하다고 판정된 경우(스텝 S133 : 상측만 유효), 이하 설명하는 스텝 S136, S137의 처리가 행해진다. 즉, 예를 들어 도 19에 도시된 바와 같이 주목 화소에 있어서, 상측 화소와 동일한 라벨이 할당됨(유효값을 나타내는 화소에 할당되어 있는 발행 완료된 라벨 정보가 할당된다)(스텝 S136)과 함께, 부가 정보(연결 영역마다의 위치 정보 및 면적 정보)가 각각 갱신된다(스텝 S137).

한편, 스텝 S131에 있어서 주목 화소의 화소 데이터가 「1」로 판정됨(스텝 S131 : "예")과 함께, 스텝 S133에 있어서, 주목 화소의 좌측 화소의 라벨만이 유효하다고 판정된 경우(스텝 S133 : 좌측만 유효), 이하 설명하는 스텝 S138, S139의 처리가 행해진다. 즉, 주목 화소에 있어서, 좌측 화소와 동일한 라벨이 할당됨(스텝 S138)과 함께, 부가 정보가 각각 갱신된다(스텝 S139).

또한, 예를 들어 도 20에 도시된 바와 같이 스텝 S131에 있어서 주목 화소의 화소 데이터가 「1」로 판정됨(스텝 S131 : "예")과 함께, 스텝 S133에 있어서, 주목 화소의 상측 화소 및 좌측 화소의 라벨이 양쪽 모두 유효하다고 판정된 경우(스텝 S133 : 양쪽 유효), 다음에 조건 판정 회로(141)는 상측 화소와 좌측 화소에서 라벨이 상이한지의 여부를 판정한다(스텝 S140). 여기서, 상측 화소와 좌측 화소에서 라벨이 동일한 경우에는(스텝 S140 : "아니오"), 전술한 스텝 S138, S139의 처리가 행해진다.

한편, 스텝 S140에 있어서, 상측 화소와 좌측 화소에서 라벨이 상이하다고 판정된 경우(스텝 S140 : "예"), 이하 설명하는 어드레스 리스트의 통합 처리(스텝 S141)가 행해지고, 상측 화소 및 좌측 화소 중 선택된 1화소와 동일한 라벨이 할당됨(스텝 S142)과 함께, 부가 정보가 각각 갱신된다(스텝 S143). 구체적으로는, 라인 버퍼 제어 회로(145), 어드레스 리스트 제어 회로(146) 및 라벨 메모리 컨트롤러(147)는 각각 예를 들어 도 21 및 도 22에 도시된 바와 같이 상측 화소 및 좌측 화소 중 좌측 화소의 레지스터 번호(RegNo; 라벨 정보에 대응)를 선택함과 함께 라벨 번호(No; 어드레스 번호에 대응)의 작은 쪽에 부가 정보를 통합시킨다. 이에 의해, 2개의 연결 영역의 통합이 이루어져 동일한 라벨이 할당되게 된다.

이와 같이 하여, 스텝 S131 내지 S148에 나타낸 라벨링 처리가 행해짐으로써, 예를 들어 도 23에 도시된 바와 같이 촬상 화상 전체에 관한 라벨 정보, 연결 영역마다의 위치 정보 및 면적 정보를 각각 라벨 정보(Dout)로서 얻을 수 있다. 그리고 스텝 S146에 있어서, 전체 라인분의 주사가 종료되었다고 판정된 경우에는(스텝 S146 : "예"), 라벨링 처리가 종료된다.

이와 같이 본 실시 형태의 라벨링 처리에서는, 2치화 데이터(Din)에 의해 표현되는 촬상 화상에 있어서, 각 화소가 순차적으로 주사된다. 그리고 그 순차적인 주사 시에 주목 화소 및 그 주변 화소의 화소 데이터의 값에 따라 레지스터 번호(라벨 정보)가 주목 화소에 있어서 수시로 할당되면서, 각 라벨 정보에 대응하는 연결 영역마다의 부가 정보(위치 정보 및 면적 정보)가 수시로 갱신된다. 이에 의해, 그러한 순차적인 주사의 완료 시점에서 촬상 화상 전체에 관한 라벨 정보, 연결 영역마다의 위치 정보 및 면적 정보가 각각 얻어진다. 즉, 종래와 같은 라벨링 화상의 작성이 불필요하게 되어, 1회의 순차적인 주사에 의해 화상 전체에 관한 라벨 정보 등이 각각 얻어진다.

이상과 같이 본 실시 형태에서는, 2치화 데이터(Din)에 의해 표현되는 촬상 화상에 있어서 각 화소를 순차적으로 주사함과 함께 그 순차적인 주사 시에 주목 화소 및 그 주변 화소의 화소 데이터의 값에 따라 촬상 화상 내에 있어서의 연결 영역마다의 식별 번호를 나타내는 레지스터 번호(라벨 정보)를 주목 화소에 있어서 수시로 할당하면서, 각 라벨 정보에 대응하는 연결 영역마다의 부가 정보(위치 정보 및 면적 정보)를 수시로 갱신하도록 했으므로, 1회의 순차적인 주사에 의해 촬상 화상 전체에 관한 라벨 정보, 위치 정보 및 면적 정보를 각각 취득할 수 있다. 따라서, 종래보다 고속의 라벨링 처리를 실현하는 것이 가능해진다.

또한, 고속의 라벨링 처리가 실현되기 때문에, 종래와 비교하여 라벨링 처리의 리얼 타임성을 향상시킬 수 있어, 스트리밍 처리를 실현하는 것이 가능해진다.

또한, 종래와 같은 라벨링 화상의 작성이 불필요하게 되기 때문에, 그러한 화상을 유지하기 위한 프레임 메모리도 불필요하게 된다. 즉, 본 실시 형태에서는 라인 버퍼를 사용하여 라벨링 처리가 행해지기 때문에, 종래와 비교하여 사용하는 메모리량을 작게 할 수 있다. 따라서, 라벨링 처리의 하드웨어 상에서의 실현이 쉬워진다.

제2 실시 형태

다음에, 본 발명의 제2 실시 형태에 대하여 설명한다. 본 실시 형태의 화상 입출력 장치는, 도 1에 도시된 제1 실시 형태의 화상 입출력 장치(1)에 있어서, 라벨링 처리부(14a) 대신에 후술하는 라벨링 처리부(14b)를 설치하도록 한 것이다. 또한, 제1 실시 형태에 있어서의 구성 요소와 동일한 것에는 동일한 부호를 부여하고, 적절히 설명을 생략한다.

도 24는 본 실시 형태의 라벨링 처리부(14b)의 블록 구성을 나타낸 것이다. 이 라벨링 처리부(14b)는 조건 판정 회로(141)와, 신규 라벨 번호 발행 회로(142)와, 라인 버퍼(144b)와, 라벨 메모리 컨트롤러(147)와, 부가 정보 메모리(148)와, 빈 번지 정보 레지스터(149)를 갖고 있다. 즉, 도 4에 도시된 제1 실시 형태의 라벨링 처리부(14a)에 있어서, 어드레스 리스트(143) 및 어드레스 리스트 제어 회로(146) 대신에 빈 번지 정보 레지스터(149)를 설치함과 함께 라인 버퍼(144) 및 라인 버퍼 제어 회로(145) 대신에 라인 버퍼(144b)를 설치하도록 한 것이다.

라인 버퍼(144b)는, 예를 들어 도 25에 도시된 바와 같이 1라인분의 라벨 번호(라벨 정보에 대응)를 기억하는 부분이다. 또한, 이 라인 버퍼(144b)는 화소 단위의 컨트롤러를 포함하여 구성되고, 이에 의해 주목 화소 및 그 주변 화소(여기서는, 상측 화소 및 좌측 화소)의 라벨 번호의 참조, 기입 및 갱신 등이 가능하게 되어 있다. 또한, 도 25 등에 있어서 나타낸 라인 버퍼(이미지)(144c)는, 후술하는 라벨링 처리의 설명을 위하여 편의상 나타낸 것이며, 실제의 라인 버퍼(144b)는 1라인분의 버퍼로 되어 있다.

빈 번지 정보 레지스터(149)는, 예를 들어 도 25에 도시된 바와 같이 각 라벨 번호에 관한 할당의 유무(Blank list)를 기억하는 것이다. 이 빈 번지 정보 레지스터(149)는 신규 라벨 번호 발행 회로(142)와 함께 사용 중 또는 미사용의 라벨 번호의 관리, 신규 라벨 번호의 검색 등을 행하게 되어 있다. 구체적으로는, 신규 발행된 라벨 번호는 사용 중으로 됨과 함께 통합에 의해 소멸된 라벨 번호는 미사용에의 번호로서 적시에 재기입된다. 이에 의해, 사용한 라벨 번호를 몇 번이라도 재이용할 수 있게 되어 있다. 또한, 여기에서는 번호가 작은 순서로 라벨 번호를 사용하게 되어 있다.

또한, 본 실시 형태의 부가 정보 메모리(148)는 예를 들어 도 25에 도시된 바와 같은 부가 정보, 즉 상기한 라벨 번호(No)와, 각 라벨 정보에 대응하는 연결 영역마다의 위치 정보(xsum, ysum, region) 및 면적 정보(sum)를 각각 대응시켜 기억하는 것이다. 또한, 라벨 번호의 갱신은 라벨 메모리 컨트롤러(147)에 있어서 액세스 중(주목 화소)인 현재 라벨 상에서 행해져, 번호가 변화하는 경우 또는 1라인의 주사가 종료된 시점에서 부가 정보 메모리(148)에의 기입이 행해지게 되어 있다.

이어서, 도 24 및 도 25 외에 도 26 내지 도 37을 참조하여, 본 실시 형태의 화상 입출력 장치의 작용에 대하여 설명한다. 도 26 및 도 27은 본 실시 형태의 라벨링 처리의 상세를 흐름도로 나타낸 것이다. 또한, 도 28 내지 도 37은 본 실시 형태의 라벨링 처리의 상세를 모식적으로 나타낸 것이다. 또한, 화상 입출력 장치의 기본 동작은 제1 실시 형태와 마찬가지이기 때문에, 설명을 생략한다.

우선, 예를 들어 도 28에 도시된 바와 같이 라인 버퍼(144b), 부가 정보 메모리(148) 및 빈 번지 정보 레지스터(149)에서는 각각 값이 초기화되어 있다. 그리고 우선 조건 판정 회로(141)는 2치화 데이터(Din)로 이루어지는 촬상 화상에 있어서, 주목 화소의 화소값(화소 데이터)이 「1」(유효값)인지의 여부를 판정한다(도 26의 스텝 S231).

여기서, 예를 들어 도 29에 도시된 바와 같이 주목 화소의 화소 데이터가 「0」(무효값)인 경우에는(스텝 S231 : "아니오"), 이 주목 화소에 있어서 라벨 번호의 발행 및 할당이 행해지지 않는다. 구체적으로는, 조건 판정 회로(141)는 이어서 주목 화소의 좌측 화소의 라벨이 「0」인지의 여부를 판단한다(스텝 S232). 여기에서는, 좌측 화소의 라벨이 「0」이 아니기 때문에(스텝 S232 : "아니오"), 라인 버퍼(144b) 및 라벨 메모리 컨트롤러(147)는 각각 이하의 스텝 S233, 234의 처리를 행한다. 즉, 도 29에 도시된 바와 같이 현재 라벨 정보 「0」을 부가 정보 메모리(148)에 기록함(스텝 S233)과 함께, 현재 라벨 정보를 라벨 메모리 컨트롤러(147)로부터 소거하고(스텝 S234), 다음에 스텝 S245로 진행한다. 또한, 좌측 화소의 라벨이 「0」인 경우에는(스텝 S232 : "예"), 직접 스텝 S245로 진행한다. 이 스텝 S245에서는, 조건 판정 회로(141)는 1라인분의 주사가 종료되었는지의 여부(주목 화소가 1라인의 우측 단부에 위치하는 것인지의 여부)를 판정한다(도 27의 스텝 S245).

여기서, 1라인분의 주사가 아직 종료되어 있지 않은 경우에는(스텝 S245 : "아니오"), 예를 들어 도 30에 도시된 바와 같이 그 라인 내에서 다음 화소(우측에 이웃한 화소)로 주목 화소를 이동시킨다(순차적으로 주사한다)(스텝 S246). 그리고 다음에, 다시 스텝 S231로 되돌아간다.

한편, 1라인분의 주사가 종료되었다고 판정된 경우(스텝 S245 : "예"), 다음에 조건 판정 회로(141)는 주목 화소의 좌측 화소의 라벨이 「0」인지의 여부를 판단한다(스텝 S247). 여기에서는, 좌측 화소의 라벨이 「0」이기 때문에(스텝 S232 : "예"), 다음에 스텝 S250으로 진행한다. 또한, 좌측 화소의 라벨이 「1」인 경우에는(스텝 S247 : "아니오"), 라인 버퍼(144b) 및 라벨 메모리 컨트롤러(147)는 각각 이하의 스텝 S248, 249의 처리를 행한다. 즉, 현재 라벨 정보 「0」을 부가 정보 메모리(148)에 기록함(스텝 S248)과 함께, 현재 라벨 정보를 라벨 메모리 컨트롤러(147)로부터 소거하고(스텝 S249), 스텝 S250으로 진행한다.

이 스텝 S250에서는, 조건 판정 회로(141)는 촬상 화상 내의 전체 라인의 주사가 종료되었는지의 여부를 판정한다(스텝 S250). 여기에서는, 전체 라인분의 주사가 아직 종료되어 있지 않기 때문에(스텝 S250 : "아니오"), 예를 들어 도 30에 도시된 바와 같이 다음 라인 내의 화소로 주목 화소가 이동되고(순차적으로 주사하고)(스텝 S251), 스텝 S231로 되돌아간다. 이때, 본 실시 형태에서는 어드레스 리스트(143)가 설치되어 있지 않기 때문에 제1 실시 형태와는 달리 어드레스의 정리가 행해지지 않는다.

한편, 예를 들어 도 30에 도시된 바와 같이 주목 화소의 화소 데이터가 「1」(유효값)인 경우에는(스텝 S231 : "예"), 다음에 조건 판정 회로(141)는 그 주변 화소(여기서는, 주목 화소의 상측 및 좌측 화소)의 라벨이 유효한 것인지 또는 무효인 것인지(주변 화소의 화소 데이터가 유효값인 것인지 무효값인 것인지, 주목 화소가 고립점인 것인지의 여부)를 판정한다(스텝 S235). 여기에서는, 도 30에 도시된 바와 같이 주목 화소의 상측 화소 및 좌측 화소에 있어서 모두 라벨이 양쪽 무효(화소 데이터가 「0」(무효값), 주목 화소가 고립점이다)이기 때문에(스텝 S235 : 양쪽 무효), 신규 라벨 번호 발행 회로(142)는 빈 번지 정보 레지스터(149)를 사용하여, 예를 들어 도 30에 도시된 바와 같이 빈 라벨 번호의 검색을 행한다(스텝 S236). 또한, 그와 함께 라인 버퍼(144b) 및 라벨 메모리 컨트롤러(147)는 각각 예를 들어 도 30에 도시된 바와 같이 현재지 정보를 현재 라벨 정보로 함으로써 주목 화소에 있어서 신규 라벨(새로운 라벨 정보)을 할당한다(스텝 S237). 또한, 그 후에는 이러한 경우, 예를 들어 도 31에 도시된 바와 같이 다시 스텝 S245, S246의 처리가 반복되게 된다. 또한, 도 31 등에 있어서, 2치화 데이터(Din) 내의 화소 내에 나타낸 「(1)」 등은 그 화소에 할당된 라벨 번호(라벨 정보)를 의미하고 있다.

이어서, 예를 들어 도 32에 도시된 바와 같이, 이 경우 스텝 S231, S232 내지 S234, S245, S246의 처리 또는 스텝 S231, S235, S236, S237, S245, S246의 처리가 반복된다.

이어서, 예를 들어 도 32에 도시된 바와 같이 스텝 S231에 있어서 주목 화소의 화소 데이터가 「1」(유효값)로 판정됨(스텝 S231 : "예")과 함께, 스텝 S235에 있어서, 주목 화소의 상측 화소의 라벨만이 유효(화소 데이터가 「1」(유효값))하다고 판정된 경우(스텝 S235 : 상측만 유효), 이하 설명하는 스텝 S238의 처리가 행해진다. 즉, 라인 버퍼(144b) 및 라벨 메모리 컨트롤러(147)는 각각 예를 들어 도 32에 도시된 바와 같이 (현재지 정보+상측 화소의 라벨 정보)를 현재 라벨 정보로 함으로써 주목 화소에 있어서, 상측 화소와 동일한 라벨이 할당된다. 이에 의해, 예를 들어 도 33에 도시된 바와 같이 부가 정보(연결 영역마다의 위치 정보 및 면적 정보)가 각각 갱신된다.

한편, 예를 들어 도 34에 도시된 바와 같이, 스텝 S231에 있어서 주목 화소의 화소 데이터가 「1」로 판정됨(스텝 S231 : "예")과 함께 스텝 S235에 있어서 주목 화소의 좌측 화소의 라벨만이 유효하다고 판정된 경우(스텝 S235 : 좌측만 유효), 이하 설명하는 스텝 S239의 처리가 행해진다. 즉, 예를 들어 도 34에 도시된 바와 같이, (현재지 정보+좌측 화소의 라벨 정보)를 현재 라벨 정보로 함으로써, 주목 화소에 있어서, 좌측 화소와 동일한 라벨이 할당된다.

또한, 예를 들어 도 35에 도시된 바와 같이 스텝 S231에 있어서 주목 화소의 화소 데이터가 「1」로 판정됨(스텝 S231 : "예")과 함께, 스텝 S235에 있어서 주목 화소의 상측 화소 및 좌측 화소의 라벨이 양쪽 모두 유효하다고 판정된 경우(스텝 S235 : 양쪽 유효), 다음에 조건 판정 회로(141)는 상측 화소와 좌측 화소에서 라벨이 상이한지의 여부를 판정한다(스텝 S240). 여기서, 상측 화소와 좌측 화소에서 라벨이 동일한 경우에는(스텝 S240 : "아니오"), 전술한 스텝 S239의 처리가 행해진다.

한편, 스텝 S240에 있어서, 상측 화소와 좌측 화소에서 라벨이 상이하다고 판정된 경우(스텝 S240 : "예"), 이하 설명하는 스텝 S241 내지 S244의 처리가 행해져, 상측 화소 및 좌측 화소 중 선택된 1화소와 동일한 라벨이 할당됨과 함께 부가 정보가 각각 갱신된다. 구체적으로는, 라인 버퍼(144b) 및 라벨 메모리 컨트롤러(147)는 각각 예를 들어 도 35에 도시된 바와 같이 (현재지 정보+상측 화소의 라벨 정보+좌측 화소의 라벨 정보)를 현재 라벨 정보로 한다(스텝 S241). 또한, 그와 함께 예를 들어 도 35에 도시된 바와 같이 라인 버퍼(144b) 상의 라벨 번호를 갱신처의 라벨 번호로 일괄 갱신한다(스텝 S242). 그리고 상측 화소 및 좌측 화소 중 큰 쪽의 라벨 번호가 부가 정보 메모리(148)로부터 소거되고(스텝 S243), 빈 번지 정보(빈 라벨 번호)가 갱신된다(스텝 S244). 이에 의해, 예를 들어 도 36에 도시된 바와 같이 2개의 연결 영역의 통합이 이루어져 동일한 라벨이 할당되게 된다.

이와 같이 하여, 스텝 S231 내지 S251에 나타낸 라벨링 처리가 행해짐으로써, 예를 들어 도 37에 도시된 바와 같이 촬상 화상 전체에 관한 라벨 정보, 연결 영역마다의 위치 정보 및 면적 정보를 각각 라벨 정보(Dout)로서 얻을 수 있다. 그리고 스텝 S250에 있어서 전체 라인분의 주사가 종료되었다고 판정된 경우에는(스텝 S250 : "예"), 라벨링 처리가 종료된다.

여기서, 본 실시 형태의 라벨링 처리에 있어서도, 제1 실시 형태와 마찬가지로 2치화 데이터(Din)에 의해 표현되는 촬상 화상에 있어서, 각 화소가 순차적으로 주사된다. 그리고 그 순차적인 주사 시에 주목 화소 및 그 주변 화소의 화소 데이터의 값에 따라 라벨 번호(라벨 정보)가 주목 화소에 있어서 수시로 할당되면서, 각 라벨 정보에 대응하는 연결 영역마다의 부가 정보(위치 정보 및 면적 정보)가 수시로 갱신된다. 이에 의해, 그러한 순차적인 주사의 완료 시점에서 촬상 화상 전체에 관한 라벨 정보, 연결 영역마다의 위치 정보 및 면적 정보가 각각 얻어진다. 즉, 종래와 같은 라벨링 화상의 작성이 불필요하게 되어, 1회의 순차적인 주사에 의해 화상 전체에 관한 라벨 정보 등이 각각 얻어진다.

이상과 같이 본 실시 형태에 있어서도, 제1 실시 형태와 같은 작용에 의해, 마찬가지의 효과를 얻을 수 있다. 즉, 1회의 순차적인 주사에 의해 촬상 화상 전체에 관한 라벨 정보, 위치 정보 및 면적 정보를 각각 취득할 수 있다. 따라서, 종래보다 고속의 라벨링 처리를 실현하는 것이 가능해진다.

또한, 본 실시 형태에서는 제1 실시 형태에 있어서의 어드레스 리스트(143)가 불필요하게 되어 있으며, 라벨 정보를 직접 갱신할 수 있기 때문에 제1 실시 형태와 비교하여 리얼타임성을 더 향상시킬 수 있다. 따라서, 하드웨어 상에서의 라벨링 처리의 실현이 더 쉽게 됨과 함께, 사용하는 메모리량을 더 작게 할 수 있다.

이상, 제1 및 제2 실시 형태를 들어 본 발명을 설명했지만, 본 발명은 이들의 실시 형태에 한정되는 것은 아니고, 여러 변형이 가능하다.

예를 들어, 상기 실시 형태에서는 주목 화소의 주변 화소로서, 주목 화소의 상측 및 좌측의 2방향의 화소를 사용하여 라벨링 처리를 행하는 경우에 대하여 설명했지만, 예를 들어 주목 화소의 상측, 좌측 및 우측 상단의 3방향의 화소를 주변 화소로서 라벨링 처리를 행하도록 해도 좋다.

또한, 상기 실시 형태에서는 화소 데이터의 값이 「1」일 때를 유효값으로 함과 함께 화소 데이터가 「0」일 때를 무효값으로 한 경우에 대하여 설명했지만, 반대로 화소 데이터의 값이 「0」일 때를 유효값으로 함과 함께 화소 데이터가 「1」일 때를 무효값으로 해도 좋다.

또한, 도 2 및 도 3에 도시된 예에서는 1개의 발광 셀에 대응하여 1개의 수광 셀을 설치하도록 했지만, 복수의 발광 셀에 대응하여 1개의 수광 셀을 설치해도 좋다.

또한, 상기 실시 형태에서 설명한 화상 입출력 장치(1, 2)에서는 입출력 패널(11)로서, 액정 디스플레이 패널을 사용한 구성에 대하여 설명했다. 그러나 본 발명의 화상 입출력 장치는 입출력 패널로 하고, 유기 일렉트로 루미네센스(EL) 패널 등을 사용한 구성으로 할 수도 있다. 유기 EL 소자는 순방향 바이어스 전압을 인가하면 발광 동작을 하고, 역방향 바이어스 전압을 인가하면 수광하여 전류를 발생시키는 성질을 갖는다. 이로 인해, 유기 EL 소자는 표시 요소(11a)와 수광 요소(11b)를 갖게 된다. 입출력 패널(11)은, 유기 EL 소자를 화소(16)마다 배치함으로써 구성되고, 표시 데이터에 따라 각 유기 EL 소자에 순방향 바이어스 전압을 인가하여 발광 동작을 시키면 화상을 표시하고, 다른 유기 EL 소자에 역방향 바이어스 전압을 인가하여 반사광을 수광하게 된다.

또한, 상기 실시 형태에서는 복수의 표시 요소(11a)와 복수의 수광 요소(11b)를 갖는 입출력 패널(11)을 구비한 화상 입출력 장치(1)를 예로 들어 본 발명을 설명했지만, 본 발명은 복수의 수광 요소(11b)를 갖는 입력 패널을 구비한 화상 입력 장치(촬상 장치)에도 적용하는 것이 가능하다.

또한, 본 발명의 화상 처리 장치는 수광 요소(11b)에 의해 얻어진 수광 신호에 기초하는 촬상 화상뿐만 아니라, 다른 방법에 의해 생성된 화상에도 적용하는 것이 가능하다. 구체적으로는, 본 발명의 화상 처리 장치는, 예를 들어 도 38에 도시한 입출력 패널(5)(화소(Px)에 있어서의 단면 구조)을 구비한 화상 입출력 장치에 있어서 생성된 화상에도 적용하는 것이 가능하다. 이 입출력 패널(5)은, 유리 기판(50A), 게이트 절연막(51A), 제1 층간 절연막(52A), 시그널 라인(SL), 제2 층간 절연막(52B), 코먼 전극(53), 제3 층간 절연막(52C) 및 화소 전극(54)(제1 센서 전극)을 갖는 제1 기판(50)과, 유리 기판(60A), 컬러 필터(61) 및 대향 센서 전극(62)(제2 센서 전극)을 갖는 제2 기판(60)과, 액정 분자(71)를 포함하는 액정층(70)을 구비하고 있다. 즉, 입출력 패널(5) 내에는 화소 전극(54)과 대향 센서 전극(62)에 의해 저항형 터치 센서가 구성되어 있다. 여기서, 화소 전극(54)은 예를 들어 복수의 에지(54B)를 포함하는 단면 형상으로 되어 있다. 에지(54B)에서는 배향막(도시하지 않음)이 얇아지는 경향이 있어, 에지(54B)가 배향막으로부터 노출되어 있다. 또한, 에지(54B)에 대향하여 대향 센서 전극(62)(슬릿(62A) 및 패턴(62B)으로 이루어진다)이 배치되어 있다. 이에 의해, 제2 기판(60)이 휘면, 대향 센서 전극(62)은 화소 전극(54)의 노출된 에지(54B)에 접촉되어 직접 도통을 취할 수 있으므로 위치 검출의 불안정성이 억제된다. 특히, 이 입출력 패널(5)이 FFS(Fringe Field Switching) 방식의 액정 표시 패널인 경우에는 화소 전극(54)이 원래 복수의 슬릿(54A)을 포함하는 평면 형상을 갖는 점에서 개구율을 저하시키지 않고 위치 검출 성능을 높이는 것이 가능해진다.

또한, 상기 실시 형태에 있어서 설명한 일련의 처리는 하드웨어에 의해 행할 수도 있고, 소프트웨어에 의해 행할 수도 있다. 일련의 처리를 소프트웨어에 의해 행하는 경우에는 그 소프트웨어를 구성하는 프로그램이 범용의 컴퓨터 등에 인스톨되게 되어 있다. 이러한 프로그램은 컴퓨터에 내장되어 있는 기록 매체에 미리 기록시켜 두도록 해도 좋다.

Claims (11)

1. 2치화된 화소 데이터에 의해 표현되는 화상에 있어서, 각 화소를 순차적으로 주사하는 주사부와,
   각 화소를 순차적으로 주사할 때에 주목 화소 및 그 주변 화소의 화소 데이터의 값에 따라 상기 화상 내에 있어서의 연결 영역마다의 식별 번호를 나타내는 라벨 정보를 주목 화소에 있어서 수시로 할당하면서, 각 라벨 정보에 대응하는 연결 영역마다의 위치 정보 및 면적 정보를 수시로 갱신함으로써, 그 순차적인 주사의 완료 시점에서 상기 화상 전체에 관한 라벨 정보, 상기 위치 정보 및 상기 면적 정보가 각각 취득되도록 처리를 행하는 정보 취득부를 구비한, 화상 처리 장치.
2. 제1항에 있어서, 상기 정보 취득부는, 주목 화소의 화소 데이터가 유효값을 나타내는 것임과 함께, 그 주변 화소의 화소 데이터가 모두 무효값을 나타내는 것인 경우에는, 이 주목 화소에 있어서, 새로운 라벨 정보를 발행하여 할당하는, 화상 처리 장치.
3. 제1항 또는 제2항에 있어서, 상기 정보 취득부는, 주목 화소의 화소 데이터가 유효값을 나타내는 것임과 함께, 그 주변 화소 중 1화소의 화소 데이터만이 유효값을 나타내는 것인 경우에는, 이 주목 화소에 있어서, 유효값을 나타내는 1화소에 할당되어 있는 발행 완료된 라벨 정보를 할당함으로써 상기 연결 영역마다의 위치 정보 및 면적 정보를 각각 갱신하는, 화상 처리 장치.
4. 제1항 또는 제2항에 있어서, 상기 정보 취득부는, 주목 화소의 화소 데이터가 유효값을 나타내는 것임과 함께, 그 주변 화소 중 복수의 화소의 화소 데이터가 각각 유효값을 나타내는 것인 경우에는, 이 주목 화소에 있어서, 유효값을 나타내는 복수의 화소 중 선택된 1화소에 할당되어 있는 발행 완료된 라벨 정보를 할당함으로써, 상기 연결 영역마다의 위치 정보 및 면적 정보를 각각 갱신하는, 화상 처리 장치.
5. 제1항 또는 제2항에 있어서, 상기 정보 취득부는 주목 화소의 화소 데이터가 무효값을 나타내는 것인 경우에는, 이 주목 화소에 있어서, 라벨 정보의 발행 및 할당을 행하지 않는, 화상 처리 장치.
6. 제1항 또는 제2항에 있어서, 상기 정보 취득부는,
   주목 화소 및 그 주변 화소의 화소 데이터의 값에 따라 상기 라벨 정보의 할당 처리와, 상기 연결 영역마다의 위치 정보 및 면적 정보의 갱신 처리를 각각 행할지의 여부에 대하여 판정하는 판정부와,
   상기 판정부에 의한 판정 결과에 기초하여, 새로운 라벨 정보를 발행하는 라벨 발행부와,
   화소 단위의 컨트롤러를 포함하여 구성되고, 상기 라벨 정보를 기억하는 라인 버퍼와,
   상기 라벨 정보와, 상기 위치 정보 및 면적 정보를 각각 대응시켜 기억하는 부가 정보 메모리와,
   각 라벨 정보에 관한 할당의 유무를 기억하는 빈 번지 정보 레지스터를 갖는, 화상 처리 장치.
7. 제1항 또는 제2항에 있어서, 상기 정보 취득부는,
   주목 화소 및 그 주변 화소의 화소 데이터의 값에 따라 상기 라벨 정보의 할당 처리와, 상기 연결 영역마다의 위치 정보 및 면적 정보의 갱신 처리를 각각 행할지의 여부에 대하여 판정하는 판정부와,
   상기 판정부에 의한 판정 결과에 기초하여, 새로운 라벨 정보를 발행하는 라벨 발행부와, 상기 라벨 정보를 기억하는 라인 버퍼와,
   상기 위치 정보 및 면적 정보를 각각 어드레스 번호와 대응시켜 기억하는 부가 정보 메모리와,
   상기 라인 버퍼에 기억되어 있는 라벨 정보와, 상기 부가 정보 메모리에 기억되어 있는 어드레스 번호와, 각 라벨 정보에 관한 할당의 유무를, 각각 대응시켜 기억하는 어드레스 리스트를 갖는, 화상 처리 장치.
8. 2치화된 화소 데이터에 의해 표현되는 화상에 있어서, 각 화소를 순차적으로 주사함과 함께,
   각 화소를 순차적으로 주사할 때에 주목 화소 및 그 주변 화소의 화소 데이터의 값에 따라 상기 화상 내에 있어서의 연결 영역마다의 식별 번호를 나타내는 라벨 정보를 주목 화소에 있어서 수시로 할당하면서, 각 라벨 정보에 대응하는 연결 영역마다의 위치 정보 및 면적 정보를 수시로 갱신함으로써, 그 순차적인 주사의 완료 시점에서 상기 화상 전체에 관한 라벨 정보, 상기 위치 정보 및 상기 면적 정보가 각각 취득되도록 처리를 행하는, 화상 처리 방법.
9. 촬상면을 따라 배열되고, 외부 근접 물체에 의해 반사된 광을 수광하는 복수의 수광 요소를 갖는 입력 패널과,
   각 수광 요소로부터의 수광 신호에 기초하여 얻어지는, 2치화된 화소 데이터에 의해 표현되는 촬상 화상에 있어서, 각 화소를 순차적으로 주사하는 주사부와,
   각 화소를 순차적으로 주사할 때에 주목 화소 및 그 주변 화소의 화소 데이터의 값에 따라 상기 촬상 화상 내에 있어서의 연결 영역마다의 식별 번호를 나타내는 라벨 정보를 주목 화소에 있어서 수시로 할당하면서, 각 라벨 정보에 대응하는 연결 영역마다의 위치 정보 및 면적 정보를 수시로 갱신함으로써, 그 순차적인 주사의 완료 시점에서 상기 촬상 화상 전체에 관한 라벨 정보, 상기 위치 정보 및 상기 면적 정보가 각각 취득되도록 처리를 행하는 정보 취득부와,
   상기 정보 취득부에 의해 얻어진 라벨 정보, 위치 정보 및 면적 정보에 기초하여, 상기 외부 근접 물체의 위치, 형상 및 크기 중 적어도 1개에 관한 정보를 취득하는 위치 검출부를 구비한, 화상 입력 장치.
10. 표시면을 따라 배열되고, 화상 신호에 기초하여 화상을 표시하는 복수의 표시 요소와, 상기 표시면을 따라 배열되고, 상기 표시면으로부터 출사되어 외부 근접 물체에 의해 반사된 광을 수광하는 복수의 수광 요소를 갖는 입출력 패널과,
    각 수광 요소로부터의 수광 신호에 기초하여 얻어지는, 2치화된 화소 데이터에 의해 표현되는 촬상 화상에 있어서, 각 화소를 순차적으로 주사하는 주사부와,
    각 화소를 순차적으로 주사할 때에 주목 화소 및 그 주변 화소의 화소 데이터의 값에 따라 상기 촬상 화상 내에 있어서의 연결 영역마다의 식별 번호를 나타내는 라벨 정보를 주목 화소에 있어서 수시로 할당하면서, 각 라벨 정보에 대응하는 연결 영역마다의 위치 정보 및 면적 정보를 수시로 갱신함으로써, 그 순차적인 주사의 완료 시점에서 상기 촬상 화상 전체에 관한 라벨 정보, 상기 위치 정보 및 상기 면적 정보가 각각 취득되도록 처리를 행하는 정보 취득부와,
    상기 정보 취득부에 의해 얻어진 라벨 정보, 위치 정보 및 면적 정보에 기초하여, 상기 외부 근접 물체의 위치, 형상 및 크기 중 적어도 1개에 관한 정보를 취득하는 위치 검출부를 구비한, 화상 입출력 장치.
11. 제1 기판 및 제2 기판 사이에 액정층을 갖는 표시 패널과, 이 표시 패널 내에 형성되고, 상기 제2 기판의 휨에 의해 접촉 가능한 제1 센서 전극 및 제2 센서 전극을 가짐과 함께 상기 제1 센서 전극 및 상기 제2 센서 전극의 접촉에 의한 전위의 변화를 판독함으로써, 외부 근접 물체의 위치에 따른 제2 기판의 휨 위치를 검출하는 위치 검출부를 구비한 입출력 패널과,
    상기 위치 검출부로부터의 위치 검출 신호에 기초하여 얻어지는, 2치화된 화소 데이터에 의해 표현되는 화상에 있어서, 각 화소를 순차적으로 주사하는 주사부와,
    각 화소를 순차적으로 주사할 때에 주목 화소 및 그 주변 화소의 화소 데이터의 값에 따라 상기 화상 내에 있어서의 연결 영역마다의 식별 번호를 나타내는 라벨 정보를 주목 화소에 있어서 수시로 할당하면서, 각 라벨 정보에 대응하는 연결 영역마다의 위치 정보 및 면적 정보를 수시로 갱신함으로써, 그 순차적인 주사의 완료 시점에서 상기 화상 전체에 관한 라벨 정보, 상기 위치 정보 및 상기 면적 정보가 각각 취득되도록 처리를 행하는 정보 취득부와,
    상기 정보 취득부에 의해 얻어진 라벨 정보, 위치 정보 및 면적 정보에 기초하여, 상기 외부 근접 물체의 위치, 형상 및 크기 중 적어도 1개에 관한 정보를 취득하는 위치 검출부를 구비한, 화상 입출력 장치.

Images