KR20210121025A - 센서 장치, 암호화 방법 - Google Patents

센서 장치, 암호화 방법 Download PDF

Info

Publication number
KR20210121025A
KR20210121025A KR1020217023363A KR20217023363A KR20210121025A KR 20210121025 A KR20210121025 A KR 20210121025A KR 1020217023363 A KR1020217023363 A KR 1020217023363A KR 20217023363 A KR20217023363 A KR 20217023363A KR 20210121025 A KR20210121025 A KR 20210121025A
Authority
KR
South Korea
Prior art keywords
encryption
image
unit
random number
encryption key
Prior art date
Application number
KR1020217023363A
Other languages
English (en)
Inventor
스스무 타카츠카
켄타 카와모토
히로키 테츠카와
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20210121025A publication Critical patent/KR20210121025A/ko

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09CCIPHERING OR DECIPHERING APPARATUS FOR CRYPTOGRAPHIC OR OTHER PURPOSES INVOLVING THE NEED FOR SECRECY
    • G09C1/00Apparatus or methods whereby a given sequence of signs, e.g. an intelligible text, is transformed into an unintelligible sequence of signs by transposing the signs or groups of signs or by replacing them by others according to a predetermined system
    • G09C1/06Apparatus or methods whereby a given sequence of signs, e.g. an intelligible text, is transformed into an unintelligible sequence of signs by transposing the signs or groups of signs or by replacing them by others according to a predetermined system wherein elements corresponding to the signs making up the clear text are operatively connected with elements corresponding to the signs making up the ciphered text, the connections, during operation of the apparatus, being automatically and continuously permuted by a coding or key member
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6209Protecting access to data via a platform, e.g. using keys or access control rules to a single file or object, e.g. in a secure envelope, encrypted and accessed using a key, or with access control rules appended to the object itself
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09CCIPHERING OR DECIPHERING APPARATUS FOR CRYPTOGRAPHIC OR OTHER PURPOSES INVOLVING THE NEED FOR SECRECY
    • G09C1/00Apparatus or methods whereby a given sequence of signs, e.g. an intelligible text, is transformed into an unintelligible sequence of signs by transposing the signs or groups of signs or by replacing them by others according to a predetermined system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04KSECRET COMMUNICATION; JAMMING OF COMMUNICATION
    • H04K1/00Secret communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/0819Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s)
    • H04L9/0825Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s) using asymmetric-key encryption or public key infrastructure [PKI], e.g. key signature or public key certificates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0869Generation of secret information including derivation or calculation of cryptographic keys or passwords involving random numbers or seeds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)

Abstract

어레이 센서에서의 촬상에 의해 얻어지는 화상 신호의 암호화에 대해, 시큐리티의 향상을 도모한다. 센서 장치는, 가시광 또는 비가시광의 수광 소자를 갖는 화소가 1차원 또는 2차원으로 복수 배열된 어레이 센서와, 어레이 센서의 화소로부터의 판독 신호에 대해 암호화를 행하는 암호화부를 구비한다. 판독 신호에 대해 암호화를 행함으로써, 메모리에 평문에 의한 화상 신호가 저장되지 않도록 하는 것이 가능하게 되어, 시큐리티의 향상을 도모할 수 있다.

Description

센서 장치, 암호화 방법
본 기술은 센서 장치 및 암호화 방법에 관한 것으로, 특히 어레이 센서에 의해 얻어진 화상 신호를 대상으로 한 암호화에 관한 기술분야에 관한 것이다.
수광 소자가 복수 배열된 어레이 센서(이미지 센서)에 의한 촬상에 의해 얻어진 화상 신호에 대해, 암호화를 행하는 경우가 있다. 예를 들면, 감시 카메라에 의한 촬상에 의해 얻어진 화상 신호에 대해, 피사체로서의 인물 개인이 특정되지 않도록 화상 신호에 대한 암호화를 행하는 것 등을 생각할 수 있다.
한편, 관련되는 종래 기술로서, 하기 특허문헌 1에는, 촬상 화상을 암호화하는 것이 개시되어 있다.
특허문헌 1: 일본공개특허 2009-027333호 공보
종래, 이러한 유형의 암호화는, 어레이 센서로부터 판독되어 일단 외부 메모리에 평문에 의해 저장된 화상 신호를 대상으로 행해지고 있다. 그 때문에, 멀웨어 등을 사용하여, 암호화의 타이밍에 의도적으로 에러를 일으키고, 메모리 내용을 덤프 파일로 출력시켜 메모리에 놓여진 평문을 복사하는 해킹 리스크가 있었다.
본 기술은 상기 사정을 감안하여 이루어진 것이며, 어레이 센서에 의한 촬상에 의해 얻어지는 화상 신호의 암호화에 대해, 시큐리티(security) 향상을 도모하는 것을 목적으로 한다.
본 기술에 따른 센서 장치는, 가시광 또는 비가시광의 수광 소자를 갖는 화소가 1차원 또는 2차원으로 복수 배열된 어레이 센서와, 상기 어레이 센서의 상기 화소로부터의 판독 신호에 대해 암호화를 행하는 암호화부를 구비하는 것이다.
이와 같이 판독 신호에 대해 암호화를 행함으로써, 메모리에 평문에 의한 화상 신호가 저장되지 않도록 하는 것이 가능하게 된다.
상기 본 기술에 따른 센서 장치에서는, 상기 암호화부는, 아날로그 신호에 의한 상기 판독 신호의 진폭 제어를 행하는 제1 진폭 제어부를 갖고, 상기 제1 진폭 제어부에서 암호 키에 따른 진폭 제어를 실행함으로써, 상기 판독 신호의 암호화를 행하는 것을 생각할 수 있다.
아날로그 신호에 의한 판독 신호를 센서 장치 외부로부터 취득하는 것은 매우 곤란하다.
상기 본 기술에 센서 장치에서는, 상기 암호화부는, A/D 변환기에 의해 디지털 신호로 변환된 상기 판독 신호의 진폭 제어를 행하는 제2 진폭 제어부를 갖고, 상기 제2 진폭 제어부에서 암호 키에 따른 진폭 제어를 실행함으로써, 상기 판독 신호의 암호화를 행하는 것을 생각할 수 있다.
이에 의해, 암호화는 디지털 신호에 대한 진폭 제어로서 행해져, 아날로그 신호에 대한 진폭 제어를 행하는 경우보다 암호화 처리의 정확성 향상을 도모할 수 있다.
상기 본 기술에 따른 센서 장치에서는, 상기 어레이 센서와 상기 암호화부가 하나의 패키지 내로 구성된 것으로 하는 것을 생각할 수 있다.
이에 의해, 하드웨어면에서의 내(耐)탬퍼화(tamper resistance)를 도모하는 것이 가능하게 된다.
상기 본 기술에 센서 장치에서는, 상기 암호화부는, 상기 어레이 센서에 의한 광전 변환에 기초하여 얻어지는 난수(random number)인 광전 난수(photoelectric random number)에 기초하여 암호 키를 생성하고, 생성한 상기 암호 키에 기초하여 상기 판독 신호에 대한 암호화를 행하는 것을 생각할 수 있다.
이에 의해, 의사 난수(pseudo random number)를 사용하는 경우보다 암호 키의 해독이 곤란한 암호화를 실현하는 것이 가능하게 된다.
상기 본 기술에 따른 센서 장치에서는, 상기 암호화부는, 암호화의 대상으로 하는 상기 판독 신호의 프레임 기간과는 다른 프레임 기간에 얻어진 상기 광전 난수에 기초하여 상기 암호 키를 생성하는 것을 생각할 수 있다.
이에 의해, 암호화 화상으로부터 암호 키가 추정되는 것의 곤란성을 높일 수 있다.
상기 본 기술에 센서 장치에서는, 상기 암호화부는, 센서 장치 외부로부터의 부정 액세스가 검지됨에 따라 상기 광전 난수를 재취득하는 것을 생각할 수 있다.
이에 의해, 외부로부터의 부정 액세스가 검지된 이후는, 재취득한 광전 난수에 기초한 암호화를 행하는 것이 가능하게 된다.
상기 본 기술에 따른 센서 장치에서는, 상기 암호화부는, 상기 광전 난수를 재취득함에 따라, 과거에 생성한 상기 암호 키를 메모리 상으로부터 소거하는 것을 생각할 수 있다.
이에 의해, 과거에 암호화에 사용한 광전 난수의 유출 방지를 도모하는 것이 가능하게 된다.
상기 본 기술에 센서 장치에서는, 상기 암호화부는, 상기 암호 키의 생성에 따라, 상기 광전 난수의 근원이 된 화상 신호를 메모리 상으로부터 소거하는 것을 생각할 수 있다.
이에 의해, 광전 난수의 근원이 된 화상이 유출되어 광전 난수가 추정되는 것의 방지를 도모하는 것이 가능하게 된다.
본 기술에 따른 암호화 방법은, 가시광 또는 비가시광의 수광 소자를 갖는 화소가 1차원 또는 2차원으로 복수 배열된 어레이 센서의 상기 화소로부터의 판독 신호에 대해 암호화를 행하는 암호화 방법이다.
이러한 암호화 방법에 의해서도, 상기 본 기술에 따른 센서 장치와 동일한 작용이 얻어진다.
도 1은 본 기술에 따른 실시형태로서의 센서 장치의 블록도이다.
도 2는 광전 난수에 기초하여 암호화 필터(암호 키)를 생성하는 수법의 예를 나타내는 도면이다.
도 3은 실시형태에 있어서의 진폭 제어 회로에 의한 판독 신호의 암호화의 이미지를 나타낸 도면이다.
도 4는 디지털 신호에 의한 판독 신호에 대해 암호화를 실시하는 경우의 센서 장치의 구성예를 나타낸 도면이다.
도 5는 실시형태로서의 센서 장치의 구조예를 나타낸 도면이다.
도 6은 실시형태로서의 센서 장치의 구조의 다른 예를 나타내는 도면이다.
도 7은 실시형태로서의 센서 장치의 구조의 또 다른 예를 나타내는 도면이다.
도 8은 제1 실시형태로서의 암호화를 실현하기 위해 실행해야 할 처리의 순서를 나타낸 플로우차트이다.
도 9는 제1 실시형태에 있어서의 분석 결과 데이터의 출력에 관한 설명도이다.
도 10은 화상의 수신측에 복호화를 위한 키를 안전하게 전달하기 위한 수법의 예를 설명하기 위한 도면이다.
도 11은 타겟 클래스가 사람인 경우에 있어서의 단계적인 암호화의 이미지를 나타낸 도면이다.
도 12는 타겟 클래스가 차량인 경우에 있어서의 단계적인 암호화의 이미지를 나타낸 도면이다.
도 13은 단계적인 암호화의 구체적 수법의 예를 설명하기 위한 도면이다.
도 14는 비닉(秘匿) 레벨의 변화 예에 관한 설명도이다.
도 15는 제2 실시형태로서의 암호화의 구체적인 수법의 예를 설명하기 위한 도면이다.
도 16은 제2 실시형태에 있어서의 ROI의 변형예에 대해 설명하기 위한 도면이다.
도 17는 제2 실시형태에 있어서의 시드 프레임(seed frame)의 촬상에서부터 암호 키의 근원이 되는 난수의 저장까지에 대응하는 처리를 나타낸 플로우차트이다.
도 18은 제2 실시형태에 있어서 생성한 암호 키에 기초하여 대상 화상을 암호화하기 위한 처리를 나타낸 플로우차트이다.
도 19는 제2 실시형태에 있어서의 분석 결과 데이터의 출력에 관한 설명도이다.
도 20은 컬러 유닛 단위로 난수값을 할당한 암호 키의 생성예에 관한 설명도이다.
이하, 실시형태를 다음 순서로 설명한다.
<1. 제1 실시형태>
[1-1. 센서 장치의 구성]
[1-2. 암호화에 사용하는 난수에 대해]
[1-3. 처리 대상으로 하는 신호에 대해]
[1-4. 내탬퍼화에 대해]
[1-5. 처리 순서]
[1-6. 분석 정보의 출력예]
[1-7. 키의 전달에 대해]
<2. 제2 실시형태>
[2-1. 제2 실시형태의 암호화 수법]
[2-2. 처리 순서]
[2-3. 분석 정보의 출력예]
<3. 변형예>
<4. 실시형태의 정리>
<5. 본 기술>
한편 이하에서 설명하는 실시형태로서는, 수광 소자 어레이를 가지며, 검출 신호로서 화상 신호를 출력하는 이미지 센서로서의 센서 장치(1)를 예로 든다. 특히 실시형태의 센서 장치(1)는, 화상 해석에 의한 물체 검출 기능을 갖는 것으로 하여 지능형 어레이 센서라고 부를 수 있는 장치이다.
<1. 제1 실시형태>
[1-1. 센서 장치의 구성]
센서 장치(1)의 구성예를 도 1에 나타낸다. 한편 도 1에는 센서 장치(1)와 데이터통신을 행하는 외부 장치로서 외부 프로세서(11), 외부 센서(12)도 나타내고 있다. 외부 프로세서(11)는 센서 장치(1)와 통신 접속되는 범용 프로세서가 상정된다.
센서 장치(1)는, 하드웨어로서는, 이미지 센서 디바이스, DRAM(Dynamic Random Access Memory) 등의 메모리 디바이스, AI(artificial intelligence) 기능 프로세서로서의 구성 부위를 갖고 있다. 그리고, 이들 3개가 3레이어 적층 구조로 되거나, 1레이어로서 이른바 평면 구성으로 되거나, 또는 2레이어(예를 들면 메모리 디바이스와 AI 기능 프로세서가 동일 층) 적층 구조로 되는 등으로 하여 일체형 디바이스로 되어 있다.
도 1과 같이 센서 장치(1)는, 어레이 센서(2), 진폭 제어 회로(10), ADC(Analog to Digital Converter)/픽셀 선택기(3), 버퍼(4), 로직부(5), 메모리(6), 인터페이스부(7), 연산부(8)를 갖는다.
어레이 센서(2)는, 검출 소자가 가시광 또는 비가시광의 수광 소자로 되고, 수광 소자를 갖는 화소가 1차원 또는 2차원으로 복수 배열되어 구성되어 있다. 예를 들면, 행방향 및 열방향의 2차원으로 다수의 화소가 배열되고, 각 화소의 수광 소자에 있어서의 광전 변환에 의해 2차원 화상 신호를 출력하는 구성으로 된다.
한편, 이하의 설명에서는, 어레이 센서(2)는 이미지 센서로서 2차원의 화상 신호를 출력하는 것으로 하지만, 센서 장치(1) 내의 어레이 센서(2)로서는, 음파 검출 소자를 배열한 센서 어레이 모듈이나, 촉각 정보 검출 소자를 배열한 센서 어레이 모듈 등으로서 구성되는 것도 있다.
진폭 제어 회로(10)는, 어레이 센서(2)에 의해 광전 변환된 전기 신호(아날로그 신호)의 진폭 제어를 행한다. 본 예에서는, 진폭 제어 회로(10)는, 연산부(8)로부터의 지시에 기초하여 증폭율을 변경 가능하도록 구성되어 있지만, 이 점에 대해서는 뒤에 다시 설명한다.
ADC/픽셀 선택기(3)에는, 어레이 센서(2)에 의해 광전 변환된 전기 신호가 진폭 제어 회로(10)를 거쳐 입력된다. ADC/픽셀 선택기(3)는, 입력된 아날로그 신호로서의 전기 신호를 디지털 데이터화하여, 디지털 데이터로서의 화상 신호를 출력한다.
또한, ADC/픽셀 선택기(3)는, 어레이 센서(2)의 화소(촬상 소자)에 대한 픽셀 선택의 기능을 갖는다. 이에 의해, 어레이 센서(2)에서의 선택한 화소에 대해서만, 광전 변환 신호를 취득하여 디지털 데이터화하여 출력하는 것이 가능하게 되어 있다. 즉, ADC/픽셀 선택기(3)는, 통상은 1프레임의 화상을 구성하는 유효 화소의 전부에 대해 광전 변환 신호의 디지털 데이터화 출력을 행하지만, 선택한 화소에 대해서만 광전 변환 신호의 디지털 데이터화 출력을 행하는 것도 가능하게 되어 있다.
ADC/픽셀 선택기(3)에 의해, 프레임 단위로 화상 신호가 취득되는데, 이 각 프레임의 화상 신호는 버퍼(4)에 일시적으로 기억되고, 적절한 타이밍에 판독되어 로직부(5)의 처리에 제공된다.
로직부(5)에서는, 입력되는 각 프레임 화상 신호에 대해 각종 필요한 신호 처리(화상 처리)를 행한다.
예를 들면 로직부(5)에서는, 색 보정, 감마 보정, 색 계조 처리, 게인 처리, 윤곽 강조 처리 등의 처리에 의해 화질 조정을 행하는 것이 상정된다. 또한 로직부(5)에서는 데이터 압축 처리, 해상도 변환, 프레임 레이트 변환 등, 데이터 사이즈를 변경하는 처리를 행하는 것도 상정된다.
이들 로직부(5)에서 행해지는 각 처리에 대해서는, 각각의 처리에 사용하는 파라미터가 설정된다. 예를 들면 색이나 휘도의 보정 계수, 게인 값, 압축률, 프레임 레이트 등의 설정값이 있다. 로직부(5)에서는, 각각의 처리에 대해 설정된 파라미터를 사용하여 필요한 처리를 행한다. 본 실시형태에서는, 이들의 파라미터를 연산부(8)가 설정하는 경우가 있다.
로직부(5)에서 처리된 화상 신호는 예를 들면 DRAM 등으로 구성된 메모리(6)에 기억된다.
한편, 메모리(6)로서는 DRAM, SRAM(Static Random Access Memory), MRAM(Magnetoresistive Random Access Memory: 자기 저항 메모리) 등이 상정된다. MRAM은, 자기에 의해 데이터를 기억하는 메모리이며, 자기 코어의 대신에 TMR 소자(tunneling magnetoresistive)를 사용하는 것이 알려져 있다. TMR 소자는 수 원자분만큼의 극히 얇은 절연물의 층을 자성체 사이에 끼운 것으로, 자성체 층의 자화 방향에 따라 전기 저항이 변화한다. TMR 소자의 자화 방향은 전원이 꺼져도 변화하지 않고, 불휘발성 메모리가 된다. 미세화하면 할수록 기입 전류를 크게 할 필요가 있기 때문에, 메모리 셀을 미세화하기 위해서는, 자계를 사용하지 않고, 스핀이 일치한 전자를 흘려서 기입하는 스핀 주입 자화 반전 방식(STT:spin torque transfer)을 사용한 STT-MRAM이 알려져 있다. 물론 메모리(6)의 구체예로서는 이들 이외의 기억 소자이어도 된다.
메모리(6)에 기억된 화상 신호는, 필요한 타이밍에 인터페이스부(7)에 의해 외부 프로세서(11) 등으로 송신 출력된다.
외부 프로세서(11)에서는, 센서 장치(1)로부터 송신되어 온 화상 신호에 대해, 화상 해석, 화상 인식 처리를 행하여, 필요한 물체 검출 등을 실행한다.
외부 프로세서(11)는 외부 센서(12)의 검출 정보를 참조할 수도 있다.
여기서, 외부 프로세서(11)는, 유선 또는 무선으로 센서 장치(1)와 접속되는 것을 생각할 수 있다.
한편, 센서 장치(1)를 구비하는 촬상 장치가 네트워크 통신 기능을 갖고, 예를 들면 인터넷이나 LAN(Local Area Network) 등의 네트워크를 통해, 센서 장치(1)에 의해 얻어진 화상 신호(촬상 화상 신호)를 네트워크 경유로 촬상 장치 외부의 컴퓨터 장치(예를 들면 클라우드 서버 등)에 송신 가능한 구성을 취할 수도 있다. 예를 들면 이러한 경우, 외부 프로세서(11)로서는, 예를 들면 클라우드 컴퓨팅 시스템에 있어서의 프로세서가 되는 경우도 있다.
연산부(8)는, 예를 들면 하나의 AI 프로세서로서 구성된다. 그리고, 실행 가능한 연산 기능으로서 도시된 바와 같이 키 프레임 선택부(81), 물체 영역 인식부(82), 클래스 식별부(83), 파라미터 선택부(84), 암호화 제어부(85), 및 부정 액세스 검지부(86)를 구비한다. 한편 이들의 연산 기능이 복수의 프로세서에 의해 구성되어도 된다.
키 프레임 선택부(81)는, 소정의 알고리즘 또는 지시에 따라, 동화상으로서의 화상 신호의 프레임 내에서 키 프레임을 선택하는 처리를 행한다.
물체 영역 인식부(82)는, 어레이 센서(2)에 의해 광전 변환되어, ADC/픽셀 선택기(3)에 의해 취득되는 화상 신호의 프레임에 대해, 검출의 후보가 되는 물체의 영역 검출이나, 검출 대상의 물체에 대해 화상(프레임)내에서의 해당 물체를 둘러싸는 영역(바운딩 박스)의 인식 처리를 행한다.
화상 신호로부터 검출되는 물체란, 화상으로부터의 인식을 목적으로 하여 검출 대상이 될 수 있는 물체를 말한다. 센서 장치(1)나 외부 프로세서(11)의 검출 목적, 처리 능력, 애플리케이션 종별 등에 따라, 어떤 물체가 검출 대상으로 될지는 다르지만, 모든 물체가, 여기서 말하는 검출 대상의 물체가 될 가능성이 있다. 어디까지나 일부이지만 예시하자면, 동물, 이동체(자동차, 자전거, 항공기 등), 자연물(야채, 식물 등), 공업제품/부품, 건조물, 시설, 산, 바다, 강, 별, 태양, 구름 등, 모든 물체가 해당할 가능성이 있다.
또한, 본 예에 있어서의 물체 영역 인식부(82)는, 바운딩 박스에 기초하여 처리 대상으로 해야 할 영역(관심 영역)을 나타내는 영역 정보인 ROI(Region of Interest)를 산출하는 처리를 실행한다.
클래스 식별부(83)는, 물체 영역 인식부(82)가 검출한 물체에 대해 클래스 분류를 행한다.
클래스란, 물체의 카테고리를 나타내는 정보이며, 예를 들면 「사람」 「자동차」 「비행기」 「배」 「트럭」 「새」 「고양이」 「개」 「사슴」 「개구리」 「말」 등과 같이, 검출해야 할 물체를 클래스 분류한 것이다.
파라미터 선택부(84)는, 각 클래스에 따른 신호 처리용의 파라미터를 기억하고 있고, 클래스 식별부(83)가 식별한 검출 물체의 클래스나 바운딩 박스 등을 사용하여, 대응하는 하나 또는 복수의 파라미터를 선택한다. 그리고 그 하나 또는 복수의 파라미터를 로직부(5)에 설정한다.
여기서, 상기 연산부(8)에 의한 각종 기능의 처리는, 통상 이미지 센서 내에서는 행하지 않았던 처리이며, 본 실시형태에서는, 물체 검출이나 클래스 인식, 및 이들에 기초한 제어를 이미지 센서 내에서 실행한다. 이에 의해, 외부 프로세서(11)에 공급하는 화상 신호를, 검출 목적에 따라 적절한 것으로 설정 것으로 하거나, 검출 성능의 저하를 초래하지 않도록 데이터량을 적절하게 삭감하는 것이 가능하게 된다.
암호화 제어부(85)는, 어레이 센서(2)에서의 촬상에 의해 얻어지는 화상 신호에 대해 암호화가 행해지도록 제어한다. 한편, 이러한 화상 신호의 암호화를 위해 암호화 제어부(85)가 행하는 처리의 구체예에 대해서는 다시 설명한다.
부정 액세스 검지부(86)는, 센서 장치(1) 외부로부터의 부정 액세스를 검지한다. 구체적으로, 본 예에 있어서의 부정 액세스 검지부(86)는, 메모리(6)에 저장된 데이터에 대한 외부로부터의 부정 액세스를 검지한다.
부정 액세스 검지부(86)는, 부정 액세스를 검지한 경우에는, 그 로그 정보 (예를 들면 검지 일시나 부정 액세스의 종별을 나타내는 정보 등)를 메모리(6)의 소정 영역에 기록한다.
[1-2. 암호화에 사용하는 난수에 대해]
여기서, 본 실시형태의 센서 장치(1)는, 화상 신호에 대한 암호화를 행하는 것인데, 종래, 암호화에 사용되는 난수로서는 많은 경우, 소프트웨어에 의해 생성한 의사 난수가 사용되고 있다. 그러나, 의사 난수는 수치를 계산하는 알고리즘으로 생성되는 것으로, 진정한 난수를 생성할 수는 없기 때문에, 암호 키가 해독되어 복제되는 리스크가 있었다.
이 점을 고려하여, 본 실시형태에서는, 암호 키의 생성에 광전 난수를 사용한다.
광전 난수란, 어레이 센서(2)에 의한 광전 변환에 기초하여 얻어지는 난수를 의미한다. 구체적으로, 본 예에서는, 어레이 센서(2)의 광전 변환에 의해 얻어지는 화소마다의 전기 신호의 값을 광전 난수로서 취득하여, 암호 키를 생성한다.
도 2는, 광전 난수에 기초하여 암호화 필터(암호 키)를 생성하는 수법의 예를 나타내고 있다.
먼저, 도면 중 좌측은, 어레이 센서(2)의 광전 변환에 의해 얻어지는 화소마다의 전기 신호의 값을 예시하고 있다. 구체적으로, 본 예에서는, 광전 난수로서, 어레이 센서(2)에서의 촬상에 의해 얻어지는 화상(정지 화상)의 각 화소값(휘도값)을 사용한다.
여기서 이하, 광전 난수를 얻기 위해 촬상된 프레임 화상, 바꾸어 말하면, 광전 난수의 근원이 된 프레임 화상을 「시드 프레임」이라고 표기한다.
본 예에서는, 이러한 화소마다의 전기 신호의 값 그 자체를 암호 키로서 사용하는 것이 아니고, 도면 중 우측에 예시된 바와 같이, 화소마다의 전기 신호의 값의 적어도 일부를, 해당 전기 신호의 값이 얻어진 화소 위치와는 다른 화소 위치에 할당한 형식에 의한 암호 키를 생성한다. 바꾸어 말하면, 광전 난수로서 얻은 화소마다의 전기 신호의 값에 대해, 화소 위치를 셔플(shuffle)시켜 암호 키를 생성한다.
이에 의해, 화소마다의 전기 신호의 값을 이들 전기 신호의 값이 얻어진 화소 위치에 그대로 할당한 암호 키를 사용하는 경우와 비교하여, 암호 키의 해독이 곤란하게 되어, 시큐리티를 높일 수 있다.
여기서, 암호 키의 생성에 있어서는, 화소마다의 전기 신호의 값을 소정의 알고리즘에 의해 변조하여 사용할 수도 있다. 예를 들면, 화소마다의 전기 신호의 값에 소정의 계수를 곱하여 얻은 값을 그 화소의 난수값으로 하는 것을 들 수 있다. 또는, 화소마다의 전기 신호의 값이 소수점 이하의 값을 포함하는 경우에, 소수점 아래 몇 자리의 값을 정수화하여 얻은 값을 그 화소 위치에 있어서의 난수값으로 하는 등의 수법을 취할 수도 있다.
한편, 암호 키의 생성에 있어서는, 상기와 같은 화소 위치의 셔플을 행하는 것은 필수가 아니며, 화소마다의 전기 신호의 값 그 자체를 암호 키로서 사용할 수도 있다.
[1-3. 처리 대상으로 하는 신호에 대해]
종래에 있어서, 어레이 센서(2)에서의 촬상에 의해 얻어지는 화상 신호에 대해 암호화를 행하는 경우에는, 어레이 센서(2)로부터 판독된 화상 신호를 일단 평문의 상태로 메모리에 저장하고, 해당 저장된 화상 신호에 대해 암호화를 실시하는 것이 통상이다.
그러나, 이러한 암호화 수법을 취한 경우에는, 멀웨어 등을 사용하여 암호화의 타이밍에 의도적으로 에러를 일으키고, 메모리 내용을 덤프 파일로 출력시켜, 메모리에 놓여진 평문을 복사하는 것과 같은 해킹이 가능하게 된다.
이에 본 실시형태에서는, 어레이 센서(2)의 화소로부터의 판독 신호에 대해 암호화를 행함으로써, 메모리에 평문에 의한 화상 신호가 저장되지 않도록 한다.
구체적으로, 본 예에서는, 도 1에 나타낸 진폭 제어 회로(10)에 의해, 어레이 센서(2)의 화소로부터의 판독 신호에 대해 도 2에 나타낸 암호 키에 따른 계수에 의한 진폭 제어를 실행시킴으로써, 판독 신호에 대한 암호화를 실현한다.
도 3은, 진폭 제어 회로(10)에 의한 판독 신호의 암호화의 이미지를 나타낸 도면이다.
도시된 바와 같이 어레이 센서(2)에 있어서의 각 화소로부터의 판독 신호 (이 경우는 전하 신호)에 대해, 진폭 제어 회로(10)가 구비하는 앰프에 의해 암호 키에 따른 계수를 곱한다. 도 1에 나타낸 센서 장치(1)에서는, 이와 같이 화소마다의 판독 신호가 아날로그 신호의 단계에서 진폭 제어된 후에, ADC/픽셀 선택기(3)에 의해 A/D 변환되어, 버퍼(4) 및 로직부(5)를 통해 메모리(6)에 저장된다.
암호화 제어부(85)는, 암호 키에 따른 계수를 상기 앰프에 설정함으로써, 어레이 센서(2)에서의 각 화소로부터의 판독 신호에 대한 암호화가 행해지도록 한다.
한편, 도 3은 어디까지나 이미지 도면이며, 진폭 제어 회로(10)에 있어서, 앰프가 화소마다에 설치되는 것은 필수는 아니다. 예를 들면, CCD(Charged-coupled devices) 이미지 센서와 같이 일괄 판독이 행해지는 경우, 진폭 제어 회로(10)가 구비하는 앰프는 각 화소에 공통의 하나가 되는 경우도 있다. 또한 이 경우, 화소마다의 진폭 제어는 시분할에 의해 행한다.
여기서, 각각의 화소의 판독 신호는, 화상 신호를 구성하는 신호라고 할 수 있다. 즉, 각각의 화소의 판독 신호는, 화상 신호의 일부를 구성하는 신호라는 의미에서, 화상 신호에 속하는 것이다.
이상에서는, 판독 신호에 대한 암호화의 예로서, 아날로그 신호에 의한 판독 신호에 암호화를 실시하는 예를 들었으나, A/D변환 후의 디지털 신호에 의한 판독 신호에 대해 암호화를 실시할 수도 있다.
도 4는, 디지털 신호에 의한 판독 신호에 대해 암호화를 실시하는 경우의 센서 장치(1)의 구성예를 나타내고 있다.
이 경우의 센서 장치(1)에는, 진폭 제어 회로(10) 대신, ADC/픽셀 선택기(3)에 의해 디지털 신호로 변환된 판독 신호에 대해 진폭 제어를 행하는 진폭 제어 회로(10A)가 설치된다.
한편, 이 경우에 있어서의 암호화 제어부(85)에 의한 처리는, 암호 키에 따른 화소마다의 계수의 설정 대상이 진폭 제어 회로(10)에서 진폭 제어 회로(10A)로 바뀐 것 이외는 동일하기 때문에, 중복 설명은 생략한다.
여기서, 상술한 바와 같이, 아날로그의 판독 신호에 대한 암호화를 실시하는 것으로 하면, 아날로그 신호를 외부로부터 부정 취득하는 것은 매우 곤란하기 때문에, 시큐리티의 향상을 도모할 수 있다.
한편, 아날로그 판독 신호에 대한 암호화를 실시하는 경우에는, 암호화 화상을 복호하여 얻은 화상에 대해, 화상의 재현성이 저하되는 것이 염려된다.
그러나, 예를 들면 대상으로 하는 화상이 사람 등의 타겟의 속성이나 행동의 분석에 사용되는 경우에는, 화상의 재현성으로서는 타겟의 검출이나 분석이 가능한 정도이면 되고, 실용상의 문제는 생기지 않는다고 생각된다.
한편, 디지털 판독 신호에 대한 암호화를 실시하는 경우에는, 암호화 처리의 정확성이 향상되고, 화상의 재현성 향상을 도모할 수 있다.
여기서, 상기한 바와 같이 판독 신호에 대해 행하는 암호화는, 스트림 암호 방식에 의한 암호화의 일종이다. 스트림 암호 방식은, 평문을 비트 단위나 바이트 단위 등의 소정의 데이터 단위로 암호화하는 암호 방식이다.
스트림 암호 방식에서는, 암호화의 대상 신호에 대해 데이터의 길이를 맞출 필요가 없으며,
그 때문에, 대상 신호에 대한 암호화의 전처리가 불필요하게 된다. 따라서, 스트림 암호 방식의 채용에 의해, 암호화 처리의 고속화를 도모할 수 있다.
[1-4. 내탬퍼화에 대해]
본 예의 센서 장치(1)는, 하드웨어면에서의 내탬퍼화를 도모하기 위해, 도 5에 예시된 바와 같이 어레이 센서(2), 메모리(6), 연산부(8)의 각 칩이 1 패키지화되어 있다. 도 5의 예에서는, 연산부(8)로서의 칩 상에 메모리(6)로서의 칩이 적층되고, 나아가 메모리(6)로서의 칩 상에 어레이 센서(2)로서의 칩이 적층되어 있다.
본 예에 있어서, 판독 신호에 대한 암호화를 실시하는 암호화부는, 예를 들면 어레이 센서(2)로서의 칩 내에 형성되어 있다.
또한, 광전 난수에 기초한 암호 키를 생성하고, 암호화부에 해당 암호 키에 기초한 암호화를 실행시키는 암호화 제어부(85)는, 연산부(8)로서의 칩에 포함되어 있다.
본 예에서는, 각 칩의 전기적인 접속이 Cu(구리)제의 패드끼리를 접속하는 Cu-Cu접속에 의해 행해지고 있으며, 센서 장치(1)의 분해를 시도하면 이들 전기적 접속 부분이 파괴된다. 즉 이에 의해, 하드웨어면에서의 내탬퍼화가 도모되어 있다.
도 6은, 센서 장치(1)의 구조 다른 예를 나타내고 있고, 도 5와의 차이는 연산부(8)와 메모리(6)와의 상하 관계가 뒤바뀐 점이다.
도 7은, 센서 장치(1)의 구조의 또 다른 예를 나타내고 있고, 도 5와의 차이는 메모리(6)로서의 칩이 복수 적층된 점(도면의 예에서는 2층)이다.
한편, 도시는 생략하였으나, 센서 장치(1)로서는, 메모리(6)를 연산부(8)와 같은 레이어에 형성하여 2레이어의 구조로 하거나, 어레이 센서(2), 메모리(6), 및 연산부(8)를 같은 레이어에 형성한 1레이어의 구조로 할 수도 있다.
도 5 내지 도 7에서 예시한 바와 같은 1패키지화의 구성을 취함으로써, 상기 Cu-Cu접속 등, 분해에 의한 메모리(6)로부터의 부정한 정보 취득에 대한 내성을 향상시키기 위한 대책을 실시하는 것이 가능하게 되고, 하드웨어면에서의 내탬퍼화를 도모하는 것이 가능하게 된다.
[1-5. 처리 순서]
계속해서, 이상에서 설명한 제1 실시형태로서의 암호화를 실현하기 위해 연산부(8)가 실행하는 처리의 순서에 대해, 도 8의 플로우차트를 참조하여 설명한다.
한편, 이하에서 설명하는 처리 중 적어도 일부에 대해서는 하드웨어에 의한 처리로서 실현할 수도 있다.
먼저 전제로서, 본 예의 연산부(8)는, 도 8에 도시된 처리를, 기동 시, 및 부정 액세스 검지부(86)에 의해 부정 액세스가 검지됨에 따라 개시한다.
부정 액세스의 검지에 따라 도 8에 도시된 처리를 개시함으로써, 광전 난수의 취득(S101)이나 암호 키의 생성(S105)이 부정 액세스의 검지에 따라 실행된다. 즉, 부정 액세스의 검지에 따라 광전 난수가 재취득되고, 재취득된 광전 난수에 기초하여 암호 키가 재생성된다. 이에 의해, 소프트웨어면에서의 내탬퍼화가 도모된다.
한편, 도 8에 도시된 처리는, 외부로부터의 지시(예를 들면 조작 입력에 따른 지시)에 따라 개시하거나, 일정 시간 간격으로 개시하는 등, 다른 조건에 기초하여 개시할 수도 있다.
도 8에 있어서, 연산부(8)는 스텝(S101)에서, 정지 화상 촬상 처리를 실행한다. 이 정지 화상 촬상 처리는, 암호 키의 생성의 근원이 되는 정지 화상을 촬상하기 위한 처리이며, 연산부(8)는 어레이 센서(2)를 제어하여 1프레임 분의 화상의 촬상(화소마다의 전하의 판독)을 실행시킨다.
여기서, 이하, 암호 키의 생성의 근원이 되는 1프레임 분의 화상(정지 화상)을 「시드 프레임」이라고 표기한다.
스텝(S101)의 정지 화상 촬상 처리가 실행됨으로써, 메모리(6)에 시드 프레임으로서의 화상 데이터가 저장된다.
스텝(S101)에 이어지는 스텝(S102)에서 연산부(8)는, 화소값의 균일성 체크 처리를 실행한다. 이 균일성 체크 처리는, 시드 프레임에 대해 화소마다의 휘도값의 균일성을 체크하는 처리이며, 구체적으로 연산부(8)는, 휘도값이 제로나 포화값(최대값)으로 되어 있는 화소의 수를 카운트한다.
한편, 화소값의 균일성 체크 처리로서는, 판독 신호의 값을 대상으로 한 균일성의 체크 처리로서 실행할 수도 있다.
스텝(S102)에 이어지는 스텝(S103)에서 연산부(8)는, 균일성이 과잉인지 여부를 판정한다. 구체적으로는, 스텝(S102)에서 카운트한 화소의 수가 소정 임계값(예를 들면, 유효 화소수의 30%∼50%에 대응하는 값) 이상인지 여부를 판정한다.
스텝(S102)에서 카운트한 화소의 수가 상기 임계값 이상으로, 균일성이 과잉이라는 판정 결과를 얻은 경우, 연산부(8)는 스텝(S104)으로 진행하여 시드 프레임을 소거하는 처리, 즉 메모리(6)에 저장된 시드 프레임으로서의 화상 데이터를 소거하는 처리를 실행한 후, 스텝(S101)으로 되돌아간다.
이에 의해, 시드 프레임의 화소값의 랜덤성이 낮은 경우에 대응하여, 시드 프레임을 다시 촬상할 수 있다. 즉, 광전 난수의 랜덤성이 낮은 경우에 대응하여, 광전 난수를 다시 취득할 수 있다.
따라서, 랜덤성이 낮은 난수에 기초한 암호 키에 의해 암호화가 행해지는 것을 방지하는 것을 도모할 수 있게 되어, 시큐리티의 향상을 도모할 수 있다.
한편, 스텝(S103)에 있어서, 카운트한 화소의 수가 상기 임계값 이상이 아니고, 균일성이 과잉이 아니라는 판정 결과를 얻은 경우, 연산부(8)는 스텝(S105)으로 진행하여 암호 키를 생성한다. 구체적으로 본 예에서는, 시드 프레임에 있어서의 각 화소의 휘도값에 기초하여, 진폭 제어 회로(10)(또는 10A)에 있어서의 각 앰프에 설정해야 할 계수를 나타내는 암호 키를 생성한다.
여기서, 본 예에 있어서, 스텝(S105)의 처리에서는, 화소마다의 휘도값을 이들 휘도값이 얻어진 화소 위치에 그대로 할당한 형식의 암호 키를 생성하는 것으로는 하지 않고, 화소마다의 휘도값의 적어도 일부를, 해당 휘도값이 얻어진 화소 위치와는 다른 화소 위치에 할당한 형식에 의한 암호 키를 생성한다.
이에 의해, 암호 키의 해독이 곤란하게 되어, 시큐리티의 향상을 도모할 수 있다.
스텝(S105)에 이어지는 스텝(S106)에서 연산부(8)는, 시드 프레임을 소거하는 처리, 즉, 스텝(S101)의 촬상 처리에 의해 메모리(6)에 저장된 시드 프레임으로서의 화상 데이터를 소거하는 처리를 실행한다.
이 시드 프레임의 소거 처리를 행함으로써, 광전 난수의 근원이 된 화상이 유출되어 광전 난수가 추정되는 것을 방지하는 것을 도모할 수 있다.
또한, 예를 들면 연산부(8)의 처리 능력이 높은 경우나 시드 프레임의 화상 사이즈가 작은 경우 등에는, 시드 프레임을 일단 메모리(6)에 저장시키는 것은 필수는 아니다. 이 경우, 연산부(8)(암호화 제어부(85))는, 예를 들면 진폭 제어 회로(10)(또는 10A)로부터 광전 난수를 수취하고, 스텝(S102 및 S103)의 처리를 경유하여 스텝(S105)에서 암호 키의 생성을 행한다. 이 경우에는, 스텝(S106)의 소거 처리는 불필요하다(물론, 스텝(S104)의 소거 처리도 불필요하다).
계속되는 스텝(S107)에서 연산부(8)는, 기존 키가 있으면 소거한다. 예를 들면, 도 8에 도시된 처리가 일정 시간마다 개시되는 등의 경우에는, 과거에 행해진 스텝(S108)의 처리에 의해, 메모리(6)에는 암호 키가 저장되어 있다. 스텝(S107)의 처리는, 이와 같이 메모리(6)에 기존의 암호 키가 저장되어 있는 경우에, 해당 암호 키를 소거하는 처리가 된다.
이러한 기존 키의 소거 처리를 행함으로써, 과거에 암호화에 사용한 암호 키의 유출 방지를 도모하는 것이 가능하게 되고, 과거에 암호화한 신호가 부정하게 복호되는 것의 방지를 도모할 수 있다.
계속되는 스텝(S108)에서 연산부(8)는, 암호 키의 저장 처리를 실행한다. 즉, 스텝(S105)에서 생성한 암호 키를 메모리(6)에 저장하는 처리를 실행한다.
스텝(S108)의 저장 처리를 실행함에 따라, 연산부(8)는 도 8에 도시된 일련의 처리를 마친다.
센서 장치(1)에 있어서는, 스텝(S108)에서 저장된 암호 키를 사용하여, 어레이 센서(2)에서의 촬상에 의해 얻어지는 화상 신호를 대상으로 한 암호화가 행해진다. 구체적으로, 연산부(8)(암호화 제어부(85))는, 도 8에 나타낸 처리의 종료 후, 저장된 암호 키에 기초한 화소마다의 계수를 진폭 제어 회로(10)(또는 10A)에 있어서의 각 앰프에 설정하고, 어레이 센서(2)에서의 촬상에 의해 얻어지는 화상 신호에 해당 저장된 암호 키에 기초한 암호화가 실시되도록 한다.
본 예에서는, 어레이 센서(2)는 동화상의 촬상을 행하는 것이 되며, 진폭 제어 회로(10)(또는 10A)에 의한 암호화는 동화상을 구성하는 각 프레임 화상에 대해 행해진다.
여기서, 상기 설명으로부터 이해되는 바와 같이, 본 예에서는, 화상 신호에 대한 암호화는, 암호화 대상의 화상 신호와는 다른 프레임 기간에 얻은 광전 난수에 기초하여 행하는 것으로 하고 있다.
이에 의해, 암호화 화상으로부터 암호 키가 추정되는 것의 곤란성을 높일 수 있어, 시큐리티의 향상을 도모할 수 있다.
또한, 암호화 대상의 화상 신호와 동일 프레임 기간에 얻은 광전 난수에 기초하여 화상 신호의 암호화를 행하는 것도 가능하다.
[1-6. 센서 장치의 출력 정보에 대해]
여기서, 연산부(8)는, 타겟으로 하는 물체, 구체적으로 본 예에서는 전술한 클래스 중 타겟으로 하는 클래스의 물체에 대해, 그 속성이나 동작에 관한 분석을 할 수 있다.
예를 들면, 어레이 센서(2)에서의 촬상에 의해 얻어지는 화상이 상점 내의 감시 화상인 경우, 화상 해석에 의해, 타겟으로서의 고객(사람)의 인원수나 성별, 연령, 신장, 체중, 안경의 유무, 모자의 유무 등의 속성을 분석하거나, 상점 내에서의 고객의 이동 궤적(동선)이나 자세의 변화 등, 고객의 동작을 분석하는 것이 가능하게 되어 있다.
또는, 어레이 센서(2)에서의 촬상에 의해 얻어지는 화상이 도로를 통행하는 차량의 감시 화상인 경우, 타겟으로서의 차량에 대해, 그 차종이나 색, 탑승자수, 탑승자의 성별 등의 속성을 분석하거나, 도로상에서의 동선, 차량 속도 등의 동작을 분석하는 것이 가능하게 되어 있다.
도 9에 도시된 바와 같이, 센서 장치(1)로서는, 상술한 실시형태로서의 암호화를 실시한 동화상 데이터(도면 중 「암호화 동화상 데이터」)와 함께, 상기 분석 결과를 나타내는 데이터(도면 중 「분석 결과 데이터」)를 외부 프로세서(11)에 출력하는 구성을 취할 수도 있다.
이 때, 인터페이스부(7)는, 분석 결과 데이터를 암호화 동화상 데이터의 메타 데이터로서 출력할 수 있다. 또는, 암호화 동화상 데이터와는 독립적으로 출력할 수도 있다.
또한, 분석 결과 데이터에 대해서는, 예를 들면 외부 프로세서(11)측이, 인터페이스부(7)에 대해 필요한 정보를 지시하고, 인터페이스부(7)가 그에 따른 정보를 출력하는 것도 생각할 수 있다.
여기서, 본 예의 암호화 수법에서는, 판독 신호의 시점에서 암호화가 실시되기 때문에, 연산부(8)가 물체 검출이나 상기 분석을 하기 위해서는, 암호화된 화상 신호를 복호화하는 것을 필요로 한다. 본 예에 있어서, 연산부(8)는, 이들 물체 검출이나 분석의 처리를, 메모리(6)에 저장된 암호화 화상 데이터를 온더플라이(on the fly) 방식으로 복호하면서 행한다. 온더플라이 방식은, 암호화된 데이터를 바이트 단위나 워드 단위로 복호하면서 처리하는 방식이다.
이에 의해, 화상으로부터의 물체 검출이나 검출 물체의 해석을 행할 때에 평문 상태의 화상 신호가 유출될 가능성을 저감하는 것이 가능하게 되어, 시큐리티의 향상을 도모할 수 있다.
[1-7. 키의 전달에 대해]
도 10을 참조하여, 화상의 수신측에 복호화를 위한 키를 안전하게 전달하기 위한 수법의 예에 대해 설명해 둔다. 해당 수법은, 공개 키 암호를 사용하여 공통 키를 전달하는 수법이 된다.
먼저, 화상의 수신측은, 공개 키와 비밀 키를 작성하고, 공개 키를 센서 장치(1)를 갖는 카메라 장치(100)에 전달한다(도 10A).
공개 키를 취득한 카메라 장치(100)측에서는, 전술한 바와 같이 광전 난수에 기초하여 생성한 암호 키를 공통 키로 하여, 해당 공통 키를 공개 키에 의해 암호화하고, 화상의 수신측에 송신한다(도 10B).
그리고, 화상의 수신측에 있어서는, 송신된 공통 키(복호 키)를, 도 10A에서 작성한 비밀 키를 이용하여 복호화한다(도 10C).
이에 의해 이후, 화상의 수신측에 있어서는, 카메라 장치(100)로부터 수신되는 암호화 동화상 데이터를, 복호한 공통 키를 이용하여 고속으로 복호화할 수 있다. 도 10D에서는, 카메라 장치(100) 측에서 공통 키를 사용하여 화상 암호화가 행해지는 것을 모식적으로 나타내고, 도 10E에서는, 공통 키에 의해 암호화된 화상 데이터를 화상의 수신측이 공통 키를 이용하여 복호화하는 것을 모식적으로 나타내고 있다.
한편, 도 10B의 공개 키에 의한 공통 키의 암호화, 및 도 10C의 공통 키의 비밀 키에 의한 복호화에는 각각 몇 초 정도의 시간을 필요로 하지만, 이들 암호화, 복호화를 필요로 하는 것은 하나의 키 전달에 대해 한번 뿐이다.
<2. 제2 실시형태>
[2-1. 제2 실시형태의 암호화 수법]
계속해서, 제2 실시형태로서의 암호화 수법에 대해 설명한다.
한편, 이하의 설명에 있어서, 이미 설명한 부분과 동일한 부분에 대해서는 동일 부호를 붙여 설명을 생략한다. 제2 실시형태에 있어서도, 센서 장치(1)의 구성에 대해서는 도 1에 나타낸 것과 동일하기 때문에 중복 설명은 피한다.
제2 실시형태에서는, 화상 신호에 있어서의 타겟 영역을 대상으로 한 암호화를 행한다.
구체적으로, 제2 실시형태에서는, 화상 전체와 타겟 영역에서 서로 다른 암호 키에 기초한 암호화를 행함과 함께, 타겟 영역에 대해서는, 특정 부위의 영역과 그 이외의 영역에서 서로 다른 암호 키에 기초한 암호화를 행함으로써, 화상의 수신측에 보유시키는 복호 키 별로 정보의 비닉 레벨을 단계적으로 변화시킨다.
도 11, 도 12는, 제2 실시형태에 있어서의 단계적인 암호화의 이미지를 설명하기 위한 도면이다.
도 11은, 타겟 클래스가 사람인 경우에 있어서의 단계적인 암호화의 이미지를 나타내고 있다.
도 11A는 암호화 전의 화상을 나타내고 있다. 이 경우, 타겟 영역(AT)은, 화상 내에서 사람이 비춰지고 있는 부분의 전체 영역이 된다. 또한 이 경우, 특정 부위의 영역인 특정 영역(AS)은, 사람의 얼굴 영역이 된다.
도 11B는, 특정 영역(AS) 만이 암호화된 화상, 도 11C는 특정 영역(AS)을 포함하는 타겟 영역(AT) 만이 암호화된 화상, 도 11D는 화상 전체 영역이 암호화된 화상을 나타내고 있다.
도 12는, 타겟 클래스가 차량인 경우에 있어서의 단계적인 암호화의 이미지를 나타내고 있으며, 도 12A는, 암호화 전의 화상을 나타내고 있다.
이 경우, 타겟 영역(AT)은, 화상 내에서 차량이 비춰지고 있는 부분의 전체 영역이 되고, 특정 영역(AS)은, 차량의 탑승자, 및 번호판 영역이 된다.
도 12B는, 특정 영역(AS) 만이 암호화된 화상, 도 12C는 특정 영역(AS)을 포함하는 타겟 영역(AT) 만이 암호화된 화상, 도 12D는 화상 전체 영역이 암호화된 화상이다.
여기서, 도 12A에 도시된 암호화 전의 화상은, 탑승자도 번호판도 나타나고 있기 때문에 개인 특정이 가능한 개인 정보이다. 그 때문에, 마케팅 데이터 등에 사용하기에는 적합하지 않다.
도 12B에 도시된 특정 영역(AS)만 암호화된 화상이라면, 운전자를 포함하는 탑승자나 번호판 등의 개인을 특정할 수 있는 정보를 취득하지 않고, 예를 들면 자동차 제조사의 마케팅 용도를 위해 차종과 대수를 판단하는 것이 가능하게 된다. 도 12C에 도시된 타겟 영역(AT)만 암호화된 화상이라면 개인 정보나 차종 정보를 취득하지 않고 차의 대수와 움직임의 정보만을 취득할 수 있다. 예를 들면 혼잡 상황을 판단할 수 있다.
도 11, 도 12의 예의 경우, 암호 키로서는, 화상 전체 영역의 암호화에 대응한 제1 암호 키와, 타겟 영역(AT)만의 암호화에 대응한 제2 암호 키와, 특정 영역(AS)만의 암호화에 대응한 제3 암호 키의 3종을 적어도 생성한다.
도 13은, 단계적인 암호화의 구체적 수법의 예를 설명하기 위한 도면이다.
본 예에서는, 대상 화상에 대해 제1, 제2, 제3 암호 키에 기초한 암호화를 각각 개별적으로 실시하지는 않고, 이들 복수의 암호 키를 합성한 합성 키에 기초하여 대상 화상에 대한 암호화를 행한다.
먼저, 특정 영역(AT)을 암호화하기 위한 제3 암호 키, 타겟 영역(AT) 전체 영역을 암호화하기 위한 제2 암호 키, 화상 전체 영역을 암호화하기 위한 제1 암호 키를 각각 준비한다. 이들 3종의 암호 키를 생성함에 있어서는, 3종의 광전 난수를 얻도록(즉, 시드 프레임을 3종 촬상하도록) 하여도 되지만, 본 예에서는, 암호 키 생성에 필요한 시간의 단축화를 위해, 공통의 광전 난수로부터 3종의 암호 키를 생성한다. 구체적으로, 본 예에서는, 3종의 암호 키의 생성에 있어서는, 먼저, 공통의 광전 난수에서의 화소마다의 수치 배치를 각각 다르게 한 3종의 난수(이하, 각각 제1 난수, 제2 난수, 제3 난수로 표기함)를 생성한다.
그리고, 제3 암호 키에 대해서는, 제3 난수의 수치 중, 특정 영역(AS)의 각 화소의 수치를 추출한 암호 키로서 생성한다.
또한, 제2 암호 키에 대해서는, 제2 난수의 수치 중, 타겟 영역(AT)의 각 화소의 수치를 추출한 암호 키로서 생성한다.
제1 암호 키에 대해서는, 제1 난수를 그대로 적용한 암호 키로서 생성한다.
그리고 나서, 합성 키로서, 도시된 바와 같이 이들 제1, 제2, 및 제3 암호 키를 합성한 암호 키를 생성한다.
그리고, 해당 합성 키에 기초하여 대상 화상의 암호화가 행해지도록 한다.
상기와 같은 단계적인 암호화를 행함으로써, 화상의 수신측이 보유하는 복호 키 별로, 정보의 비닉 레벨을 변화시키는 것이 가능하게 된다.
도 14는, 비닉 레벨의 변화 예에 관한 설명도이다.
여기서는, 키의 보유에 관한 레벨로서, 레벨 0에서부터 레벨 3까지의 4레벨을 정의한다. 도시된 바와 같이 레벨 0은 키 없음, 레벨 1은 제1 암호 키만 보유, 레벨 2는 제1, 제2 암호 키의 합성 키를 보유, 레벨 3은 제1, 제2, 및 제3 암호 키의 합성 키를 보유함을 각각 의미한다.
레벨 0의 경우에는, 화상의 수신측에서 암호화 화상을 복호할 수 없고, 전체 영역이 암호화된 화상이 얻어진다.
레벨 1의 경우, 화상의 수신측에서는 제1 암호 키를 사용하여 타겟 영역(AT) 이외의 영역을 복호화할 수 있으며, 따라서 타겟 영역(AT)만이 암호화된 화상이 얻어진다.
레벨 2의 경우, 화상의 수신측에서는 제1, 제2 암호 키의 합성 키를 사용하여 특정 영역(AS) 이외의 영역을 복호화할 수 있고, 타겟에 있어서의 특정 영역(AS) 만이 암호화된 화상이 얻어진다.
레벨 3의 경우, 화상의 수신측에서는 제1, 제2, 및 제3 암호 키의 합성 키를 사용하여 화상 전체 영역을 복호화할 수 있으며, 이 경우에는 정보의 비닉이 없는 화상을 얻을 수 있다.
여기서, 본 예에서는, 암호화 대상의 화상은 동화상이 되기 때문에, 화상 내에 비춰지는 타겟으로서의 물체는 시간 경과와 함께 화상 내에서 변위할 가능성이 있다. 이 때문에, 상기와 같은 타겟 영역(AT)을 대상으로 한 암호화를 행하는 경우에는, 타겟의 추종을 행하는 것을 필요로 한다.
이하, 이러한 타겟을 추종을 포함하는, 제2 실시형태로서의 암호화의 구체적인 수법의 예에 대해, 도 15를 참조하여 설명한다.
한편, 도 15에 있어서, 타겟 클래스는 「사람」인 것으로 한다. 또한, 도 15에서는 설명의 편의상, 타겟 영역(AT)에 있어서 특정 영역(AC)과 그 이외의 영역을 구별하지 않고, 화상 내의 타겟 영역(AT)과 그 이외의 영역에 대해서만 구분하여 암호화하는 예를 든다.
먼저, 도 15A에 도시된 프레임(F1)은, 타겟 클래스인 사람이 아직 프레임 인(frame in)하지 않은 상태를 나타내고 있다. 또한, 여기서는, 화상 내에 타겟 클래스가 아닌 「나무」로서의 물체가 식별되고 있는 예이다.
여기서, 화상 전체 영역에 대한 암호화는, 타겟의 유무에 관계없이 행해지는 것이다. 즉, 본 예에서는, 각 프레임(F)의 화상은, 화상 전체 영역에 대응한 제1 암호 키에 기초하여 진폭 제어 회로(10)(또는 10A)에서 암호화된 후, 메모리(6)에 저장된다. 도 15의 각 분할 도면에 도시된 백색의 키 마크는, 출력 화상으로서, 이러한 화상 전체 영역을 대상으로 한 암호화가 실시되고 있는 것을 나타내고 있다.
타겟의 추종을 위해서는, 연산부(8)는, 화상 내에 있어서의 물체의 영역 검출이나 클래스 식별을 행하게 된다(전술한 물체 영역 인식부(82)나 클래스 식별부(83)의 처리). 이들 처리를 행하기 위해, 연산부(8)는, 상기한 바와 같이 암호화되어 저장된 프레임 화상을 복호화한다. 즉, 연산부(8)는, 타겟 추종을 위한 처리를, 제1 암호 키에 기초하여 암호화된 프레임 화상을 복호화하면서 실행한다.
연산부(8)는, 이 때의 복호화를 온더플라이 방식에 의해 행한다. 이에 의해, 타겟의 추종을 행할 때에 평문 상태의 화상 신호가 유출되는 가능성을 저감하는 것이 가능하게 되어, 시큐리티의 향상을 도모할 수 있다.
도 15B에 도시된 프레임(F2)은, 타겟 클래스인 「사람」이 프레임인(frame in) 한 상태를 나타내고 있다. 이 상태에서는, 이미 식별되어 있는 「나무」와 함께, 타겟 클래스인 「사람」이 식별된다.
이와 같이 타겟 클래스로서의 물체를 식별한 경우, 연산부(8)(물체 영역 인식부(82))는, 해당 물체의 에리어를 둘러싸는 정확한 위치 좌표의 바운딩 박스(20)의 산출을 행한다.
예를 들면 도 15C에 타겟 클래스인 사람의 화상에 대한 바운딩 박스(20)의 예를 나타내고 있다. 즉, 바운딩 박스(20)는 타겟 클래스에 해당하는 물체의 보다 정확한 영역으로서 계산된다.
또한 연산부(8)(물체 영역 인식부(82))는, 바운딩 박스(20)를 바탕으로, 관심 영역인 ROI(21)를 산출한다.
도 15D에, ROI(21)와 바운딩 박스(20)를 나타내고 있다. ROI(21)는, 예를 들면 바운딩 박스(20)의 종횡 사이즈(x×y)를 확대(ax×by)하여 계산된다. 확대 축척 a, b는 종횡별로 설정할 수 있고, 확대율은 고정되어도 되지만, 센서 장치(1)의 외부(예를 들면 외부 프로세서(11) 등)로부터 지정되도록 하는 것도 생각할 수 있다.
본 예에서는, 이 ROI(21)를 타겟 영역(AT)으로 하여, 화상 전체 영역과는 다른 암호 키를 사용한 암호화를 행한다.
여기서, 프레임(F2)은, 화상 내에 타겟 클래스가 새로이 식별된 프레임이며, 타겟 클래스 발견 프레임이라고 바꾸어 말할 수 있다.
본 예에서는, 화소로부터의 판독 신호에 대해 암호화를 실시하는 수법을 취하기 때문에, 타겟 클래스 발견 프레임에 대해서는, ROI(21)에 대해 제2 암호 키에 기초한 암호화를 실시할 수 없다. 타겟 클래스 발견 프레임에 대해서는, 이미 제1 암호 키에만 기초한 암호화가 실시되어 메모리(6)에 저장되어 있다. 이와 같이 제1 암호 키에만 기초한 암호화가 실시된 타겟 클래스 발견 프레임이 그대로 출력되면, 제1 암호 키만 보유하고 있는 보유자에 대해, ROI(21)의 화상 영역이 비닉되지 않고 개시되게 된다.
이에, 본 예에서는, 타겟 클래스 발견 프레임에 대해서는 메모리(6)로부터 소거하는 것으로 하여, 화상의 수신측이 보유하는 복호 키 별로 적절한 정보 비닉 레벨이 실현되도록 한다.
도 15E는, 프레임(F2)의 다음 프레임인 프레임(F3)을 나타내고 있다.
타겟 클래스 발견 프레임의 다음 프레임(F)부터, ROI(21)를 대상으로 한 제2 암호 키에 기초한 암호화를 실시한다. 여기서의 ROI(21)는, 타겟 클래스 발견 프레임인 프레임(F2)의 시점에서 산출된 ROI(21)이다.
타겟 클래스로서의 「사람」이 이동하고 있는 경우에는, 프레임(F3)에서는, 프레임(F2)보다 사람이 이동 방향 측으로 진행하게 되는데, ROI(21)가 바운딩 박스(20)보다도 큰 범위가 됨으로써, 프레임(F3)에 있어서 ROI(21) 내에 타겟 클래스로서의 사람이 들어가게 된다. 즉, 타겟 클래스로서의 사람이 제2 암호 키에 기초한 암호화의 대상 범위 내에 들어간다.
프레임(F3) 이후에 있어서도, 마찬가지로 타겟 클래스에 대한 바운딩 박스(20) 및 ROI(21)의 산출을 행하고, 이에 의해 타겟 클래스가 추종되도록 한다(도 15F 참조).
그리고, 프레임(F4) 이후에서는, 프레임(F3)과 마찬가지로, 하나 앞의 프레임(F)에서 산출된 ROI(21)를 대상으로 하여, 제2 암호 키에 기초한 암호화가 실시되도록 한다(도 15G 참조).
도 15H는, 타겟 클래스로서의 「사람」이 프레임 아웃(frame out)한 후의 프레임(Fn)을 나타내고 있다. 타겟 클래스가 프레임 아웃 함으로써, ROI(21)는 산출되지 않게 된다. 이 때문에, 프레임(Fn)의 화상에 대해서는, 제1 암호 키에만 기초한 암호화가 행해진다.
한편, 상기 설명에서는, 바운딩 박스(20)를 확대한 사각형의 영역을 ROI(21)로 하는 예를 진술하였지만, ROI(21)는 사각형의 영역에 한정되는 것이 아니다.
예를 들면 시맨틱 세그멘테이션(semantic segmentation), 즉, 화소 레벨에서의 물체 에리어 검출을 사용하여, 그 타겟 클래스의 물체의 에리어로부터 ROI(21)를 계산해도 된다.
도 16은 시맨틱 세그멘테이션에 기초하는 ROI(21)를 나타내고 있다. 이는 물체(예를 들면 사람)로서의 화소 영역을 넓혀, 사각형이 아닌 ROI(21)를 설정한 예이다.
예를 들면 돌기물이 있는 트럭, 자전거를 타고 있는 사람 등, 사각형의 ROI(21)에서는 일부가 포함되지 않거나, 또는 지나치게 큰 상태로 되어 버리는 경우가 있다. 화소 레벨의 물체 위치에 따라 비 사각형의 ROI(21)를 생성하면, 타겟에 관한 비닉 영역을 과부족 없이 적절하게 설정하는 것이 가능하게 된다.
[2-2. 처리 순서]
이상에서 설명한 제2 실시형태로서의 암호화를 실현하기 위해 연산부(8)가 실행하는 처리의 순서에 대해, 도 17 및 도 18의 플로우차트를 참조하여 설명한다.
도 17은, 시드 프레임의 촬상에서부터 암호 키의 근원이 되는 난수의 저장까지에 대응하는 처리를 나타내고 있다. 한편, 도 17에 있어서, 이미 도 8에서 설명한 처리와 마찬가지의 처리에 대해서는 동일 스텝 번호를 붙여 설명을 생략한다.
도 8의 처리와 마찬가지로 도 17의 처리는, 기동 시, 및 부정 액세스 검지부(86)에 의해 부정 액세스가 검지됨에 따라 개시한다. 또는, 일정 시간 간격을 두고 개시하는 등, 다른 조건에 기초하여 개시할 수도 있다.
한편, 도 17 및 도 18에서 설명하는 처리 중 적어도 일부에 대해서는 하드웨어에 의한 처리로서 실현할 수도 있다.
도 17에 있어서, 이 경우의 연산부(8)는, 스텝(S103)에서 균일성이 과잉이라고 판정한 경우에, 스텝(S201)으로 진행하여 각 레벨의 난수를 생성한다. 여기서는, 타겟 영역(AT)에서 특정 영역(AS)을 구별하지 않기 때문에, 난수로서는 전술한 제1 난수와 제2 난수의 2종을 생성한다.
한편, 시드 프레임의 광전 난수에 기초하여 각종의 난수를 생성하는 수법에 대해서는 이미 설명하였기 때문에 중복 설명은 피한다.
이 경우의 연산부(8)는, 스텝(S201)의 난수 생성 처리를 실행함에 따라, 스텝(S106)에서 시드 프레임의 소거 처리를 실행한다.
그리고, 스텝(S106)의 소거 처리를 실행함에 따라, 연산부(8)는 스텝(S202)에서 기존 난수가 있으면 소거하는 처리를 실행한다. 즉, 과거에 실행된 스텝(S203)의 처리로 메모리(6)에 저장된 각 레벨의 난수(제1 난수와 제2 난수)가 있으면, 이들 난수를 소거하는 처리이다.
스텝(S202)에 이어지는 스텝(S203)에서 연산부(8)는, 스텝(S201)에서 생성한 각 레벨의 난수를 메모리(6)에 저장하는 처리를 행하고, 도 17에 도시된 일련의 처리를 마친다.
도 18은, 생성한 암호 키에 기초하여 대상 화상을 암호화하기 위한 처리를 나타내고 있다.
먼저, 연산부(8)는 스텝(S301)에서, 암호화 대상으로 하는 화상의 촬상 개시를 대기하고 있고, 촬상 개시가 되면, 스텝(S302)에서 제1 암호 키에 의한 암호화 처리를 실행한다. 즉, 진폭 제어 회로(10)(또는 10A)에 제1 암호 키에 기초한 화소마다의 계수를 지시하여 어레이 센서(2)의 판독 신호에 대한 암호화를 실행시킨다. 전술한 설명으로부터 이해할 수 있는 바와 같이, 본 예에서는, 제1 암호 키는, 제1 난수를 그대로 적용한 암호 키가 된다.
스텝(S302)에 이어지는 스텝(S303)에서 연산부(8)는, 물체 영역 인식 처리를 실행하고, 또한 계속되는 스텝(S304)에서 클래스 식별 처리를 실행한다. 스텝(S303)의 물체 영역 인식 처리는, 전술한 물체 영역 인식부(82)의 처리이며, 현 프레임의 화상으로부터 후보가 되는 물체의 검출 및 그 물체 영역의 인식 처리를 행한다. 또한, 스텝(S304)의 클래스 식별 처리는, 전술한 클래스 식별부(83)의 처리이며, 상기 물체 영역 인식 처리에서 검출된 물체에 대해 클래스 식별을 행한다. 복수의 물체나 복수 종류의 물체가 검출된 경우, 각각에 대해 클래스 식별이 행해져, 각 클래스로 분류된다. 예를 들면, 전술한 도 15B의 경우, 「나무」라는 클래스의 물체가 하나, 「사람」이라는 클래스의 물체가 하나와 같이 클래스 식별 및 분류가 행해진다.
또한, 연산부(8)는, 스텝(S303 및 S304)의 처리에 대해서는, 스텝(S302)이나 후술하는 스텝(S313)에서 암호화된 프레임 화상을 온더플라이 방식으로 복호화하면서 실행한다.
스텝(S304)에 이어지는 스텝(S305)에서 연산부(8)는, 타겟 클래스가 존재하는지 여부를 판정한다. 즉, 스텝(S304)에서 식별된 클래스 중 타겟 클래스가 존재하였는지 여부를 판정한다.
타겟 클래스가 존재하지 않으면, 연산부(8)는 스텝(S306)에서 다음 프레임을 대기(다음 프레임 기간의 도래를 대기)한 후, 스텝(S302)으로 되돌아간다. 즉, 타겟 클래스가 검출될 때까지, 스텝(S302)에 의한 화상 전체 영역의 암호화 처리, 스텝(S303)의 물체 영역 인식 처리, 및 스텝(S304)의 클래스 식별 처리가 프레임마다 반복 실행된다.
스텝(S305)에서 타겟 클래스가 존재한다고 판정한 경우, 연산부(8)는 스텝(S307)으로 진행하여 바운딩 박스(20)의 산출을 행하고, 계속되는 스텝(S308)에서 ROI(21)의 산출을 행한다.
또한, 계속되는 스텝(S309)에서 연산부(8)는, ROI(210)에만 제2 난수의 수치를 적용한 제2 암호 키와, 제1 암호 키를 합성한 합성 키를 생성한다.
스텝(S309)에서 합성 키를 생성함에 따라, 연산부(8)는 스텝(S310)에서 타겟 클래스 발견 프레임인지 여부를 판정한다. 현 프레임이 타겟 클래스 발견 프레임이라면, 연산부(8)는 스텝(S311)에서 타겟 클래스 발견 프레임을 소거하는 처리를 실행한다. 이에 의해, 타겟 클래스 발견 프레임에 대해, 키의 보유 레벨이 레벨 1임에도 불구하고 타겟의 화상 부분이 비닉되지 않게 되는 것의 방지를 도모할 수 있다.
스텝(S310)에 있어서, 현 프레임이 타겟 클래스 발견 프레임이 아니면, 연산부(8)는 스텝(S311)의 소거 처리를 패스하고, 스텝(S312)에서 다음 프레임을 대기하는 처리를 행한다. 또한, 연산부(8)는, 스텝(S311)의 소거 처리를 실행한 경우에도, 스텝(S312)에서 다음 프레임을 대기하는 처리를 행한다.
스텝(S312)의 대기 처리를 실행함에 따라, 연산부(8)는 스텝(S313)에서 하나 앞의 프레임에서 생성한 합성 키에 의한 암호화 처리를 실행한다. 즉, 진폭 제어 회로(10)(또는 10A)에 해당 합성 키에 기초한 화소마다의 계수를 지시하여 어레이 센서(2)의 판독 신호에 대한 암호화를 실행시킨다.
스텝(S313)에 이어지는 스텝(S314)에서 연산부(8)는, 촬상 종료인지 아닌지, 즉, 예를 들면 외부에서의 촬상 종료 지시가 행해지는 등, 암호화 대상의 화상 촬상을 종료해야 하는 상태가 된 것인지 여부를 판정한다.
촬상 종료가 아니면, 연산부(8)는 스텝(S303)으로 되돌아간다. 이에 의해, 촬상 종료가 될 때까지, 지금까지 설명한 처리가 반복된다. 즉, 계속해서 타겟 클래스가 존재하면, 해당 타겟 클래스에 관한 ROI의 산출, 및 산출한 ROI에 기초한 합성 키의 생성, 및 하나 앞의 프레임에서 생성한 합성 키에 기초한 암호화 처리가 행해지고, 타겟 클래스가 존재하지 않게 된 경우는, 합성 키에 의한 암호화 처리가 행해지지 않고, 제1 암호 키에 의한 암호화 처리가 실행된다.
촬상 종료라면, 연산부(8)는 도 18에 도시된 일련의 처리를 마친다.
한편, 본 예에서는, ROI(21)에 대해서는, 다음 프레임에서 타겟으로서의 물체를 포함할 수 있도록 바운딩 박스(20)를 넓힌 영역으로 하여 설정하고 있지만, 종횡 사이즈(x×y)를 확대(ax×by)할 때의 확대 축척 a, b는, 프레임 레이트에 따른 것으로 하는 것도 생각할 수 있다.
예를 들면, 프레임 레이트가 낮으면, 프레임 간격의 시간이 길어져 사람 등의 물체의 이동량도 커지기 때문에, 프레임 레이트가 높은 경우보다 ROI(21)를 넓게 하는 것을 생각할 수 있다.
한편, 타겟 영역(AT)에 대해, 특정 부위와 그 이외의 영역을 구별하여 암호화를 행하는 경우에는, 특정 부위에 대해, 상기에서 설명한 수법과 마찬가지의 수법에 의해 바운딩 박스(20) 및 ROI(21)를 산출하고, 산출한 ROI(21)에 제3 난수의 수치를 적용한 제3 암호 키를 생성한다. 그리고 나서, 제1, 제2, 제3 암호 키를 합성한 합성 키를 생성하고, 다음 프레임의 화상 암호화에 사용하도록 하면 된다.
[2-3. 분석 정보의 출력예]
한편, 제2 실시형태에 있어서도, 센서 장치(1)에서는, 암호화 동화상 데이터와 함께 분석 결과 데이터를 외부에 출력하도록 구성할 수도 있다(도 9 참조).
이 때, 제2 실시형태에서는, 타겟 영역(AT)을 대상으로 한 암호화를 행하고 있다. 따라서, 분석 결과 데이터로서는, 텍스트에 의한 데이터에 한하지 않고, 예를 들면 도 19에 예시된 바와 같이 화상으로서 표시할 수 있는 데이터로 할 수도 있다.
도 19에 있어서, 도 19A는 암호화 전의 원화상을 나타내고 있다.
도 19B는, 타겟 (여기서는 「사람」)에 대해 분석된 속성 정보를 화상 상에 표시하는 예로서, 타겟의 성별 정보를, 암호화된 상태의 타겟 영역에 부여하는 색에 의해 구분하여 표시하는 것이다.
도 19C는, 나아가, 암호화된 상태의 타겟 영역에, 타겟의 분석 처리에 의해 얻어진 자세 정보(Ib)를 중첩 표시하는 예이다.
이와 같이, 타겟의 영역을 대상으로 한 암호화를 행함으로써, 개인 정보의 비닉성을 보장하면서, 타겟의 속성이나 행동에 관한 분석 결과를 보다 파악하기 쉽게 한 화상을 제공하는 것이 가능하게 된다.
근년에는, 상점 내의 카메라 영상을 마케팅 데이터로서 사용하는 경우가 증가되고 있다. 이 경우, 상점 방문 고객의 개인을 특정할 필요는 없으며, 상점 방문 고객의 속성 분석이나 행동 분석 등이 필요한 정보가 된다. 도 19A의 화상 그대로는 개인을 특정할 수 있는 데이터로, 비닉성이 높은 정보이며, 높은 시큐리티 대책을 실시한 시스템이 필요하게 되어 고비용이 된다. 도 19B에 도시된 화상에서는, 고객의 상점 내 동선이나 남녀의 속성을 알 수 있기 때문에 마케팅 데이터로서 유용하다. 도 19C에 도시된 화상에서는 나아가 고객의 자세를 인식할 수 있기 때문에, 상품을 손에 들거나, 시착을 행했으나 구입하지 않은 손님의 동작도 판단할 수 있게 되어, 가치가 높은 마케팅 데이터로서 이용할 수 있다.
도 19B의 화상, 도 19C의 화상은 모두 개인 특정을 할 수 없기 때문에, 도 19A의 화상과 비교하여 저비용의 시큐리티 대책의 시스템에서 운용할 수 있다고 하는 장점이 있다. 또한, 실시형태로서의 센서 장치(1)를 탑재한 카메라를 사용하고 있기 때문에, 상점 내 카메라에 멀웨어가 인스톨되더라도 평문 데이터가 존재하지 않기 때문에, 해킹 리스크가 없다는 효과가 있다.
<3. 변형예>
한편, 실시형태로서는, 지금까지 설명한 구체예에 한정되는 것이 아니고, 다양한 변형예가 생각된다.
예를 들면, 이상에서는 특히 언급하지 않았지만, 어레이 센서(2)로서 예를 들면 베이어 배열(Bayer array) 등에 의한 컬러 필터를 갖는 것을 사용하는 것으로 하여, 촬상 화상으로서 컬러 화상을 얻는 경우에도 본 기술은 바람직하게 적용할 수 있다.
컬러 필터를 갖는 어레이 센서(2)를 사용한 경우에는, 예를 들면 종×횡=복수 화소×복수 화소로 이루어지는 소정의 복수의 화소를 하나의 컬러 유닛으로 하여, 컬러 유닛마다 화소값을 합성하여 RGB 값 등의 색 신호값을 얻는 것이 행해진다. 예를 들면, 베이어 배열이 채용되는 경우에는, RGGB에 의한 컬러 필터가 형성된 종×횡=2×2=4화소가 하나의 컬러 유닛이 되고, 컬러 유닛마다 RGGB의 각 화소값(휘도값)이 합성되어 한 세트의 RGB값이 얻어진다.
컬러 필터를 갖는 어레이 센서(2)를 사용하는 경우에는, 화상 암호화를 위한 암호 키로서, 상기 컬러 유닛 단위로 난수값을 할당한 암호 키를 생성할 수도 있다.
도 20은, 컬러 유닛 단위로 난수값을 할당한 암호 키의 생성예에 관한 설명도이다.
도 20A의 예는, 컬러 유닛 내에 있어서의 하나의 화소의 휘도값을, 그 유닛 내의 각 화소의 난수값으로 할당하는 것이다. 구체적으로, 도면 중의 예에서는, 컬러 유닛마다, 좌측 상단의 화소의 휘도값을 그 유닛 내의 각 화소의 난수값으로서 할당하고 있다.
도 20B의 예는, 컬러 유닛마다, 유닛 내의 화소의 휘도값을 사용한 소정의 연산에 의해 산출되는 값을 각 화소의 난수값으로서 할당하는 것이다. 구체예로서는, 컬러 유닛마다, 유닛 내의 각 화소의 휘도값의 평균치를 그 유닛 내의 각 화소의 난수값으로서 할당하는 것을 생각할 수 있다. 즉, 도면 중의 가장 좌측 상단에 위치하는 컬러 유닛으로 말하면, Vmix1= (V1+V2+V7+V8)/4로 하는 것이다.
이 때, 유닛 내의 전체 화소의 휘도값을 사용한 연산으로 하는 것은 필수가 아니고, 일부 화소의 휘도값만을 사용한 연산으로 할 수도 있다. 예를 들면, Vmix1= (V1+V7)/2로 하는 등이다. 또한, 유닛마다 평균화한 값을 사용하는 것도 필수적이지는 않다. 예를 들면, Vmix1=V1+V2+V7+V8 등과 같이, 유닛마다 각 화소의 휘도값의 합계 값을 할당하는 것 등을 생각할 수 있다.
상기한 바와 같이 컬러 유닛 단위로 난수값을 할당한 암호 키를 생성함으로써, 화소마다 난수값을 할당하는 경우보다 처리 부담 경감을 도모할 수 있다.
또한, 이상에서는, 광전 난수를 사용한 암호화에 대해, 암호화의 대상 신호를 화상 신호로 하는 예를 들었으나, 암호화의 대상 신호는 화상 신호에 한정되지 않는다.
또한, 이상에서는, 어레이 센서(2)의 화소로부터의 판독 신호에 대해 암호화를 행하는 수법, 및 타겟 영역을 대상으로 한 암호화를 행하는 수법에 관해, 암호화에 광전 난수를 사용하는 예를 들었으나, 이들 수법에 관해, 암호화에 사용하는 난수는 광전 난수에 한정되지 않는다. 예를 들면, 의사 난수를 사용할 수도 있다. 또는, 진정한 난수를 사용하는 것이라면, 예를 들면 열이나 소리의 변화 등과 같이, 예측이나 재현이 실질적으로 불가능한 자연 현상을 대응하는 센서로 검지하고, 그 값을 기초로 난수를 생성하는 수법을 들 수 있다.
<4. 실시형태의 정리>
상기한 바와 같이 실시형태의 암호화 장치(센서 장치(1))는, 제1 실시형태에서 설명한 바와 같이, 가시광 또는 비가시광의 수광 소자를 갖는 화소가 1차원 또는 2차원으로 복수 배열된 어레이 센서(어레이 센서(2))에 의한 광전 변환에 기초하여 얻어지는 난수인 광전 난수에 기초하여 암호 키를 생성하는 암호 키 생성부(암호화 제어부(85))와, 암호 키 생성부가 생성한 암호 키에 기초하여 대상 신호의 암호화를 행하는 암호화부(진폭 제어 회로(10 또는 10A))를 구비하고 있다.
이에 의해, 의사 난수를 사용하는 경우보다 암호 키의 해독이 곤란한 암호화를 실현하는 것이 가능하게 된다.
따라서, 시큐리티의 향상을 도모할 수 있다.
또한, 실시형태로서의 암호화 장치에 있어서는, 암호 키 생성부는, 광전 변환에 의해 얻어지는 화소마다의 전기 신호의 값을 광전 난수로서 취득하여 암호 키를 생성하고 있다.
이에 의해, 해독이 곤란한 암호 키를 생성하는 것이 가능하게 된다.
따라서, 시큐리티의 향상을 도모할 수 있다.
나아가, 실시형태로서의 암호화 장치에 있어서는, 암호화부는, 어레이 센서에서의 촬상에 의해 얻어지는 화상 신호에 대해 암호 키에 기초한 암호화를 행하고 있다.
이에 의해, 어레이 센서의 화소마다 암호화를 위한 계수를 할당한 암호 키에 의해 화상 신호에 대한 암호화를 행하는 것이 가능하게 된다.
따라서, 화상 신호의 암호화를 위해 복잡한 연산 처리를 행할 필요가 없고, 암호화 처리의 고속화를 도모할 수 있다.
또한, 실시형태로서의 암호화 장치에 있어서는, 암호 키 생성부는, 화소마다의 전기 신호의 값의 적어도 일부를, 해당 전기 신호의 값이 얻어진 화소 위치와는 다른 화소 위치에 할당한 형식에 의한 암호 키를 생성하고 있다.
이에 의해, 화소마다의 전기 신호의 값을 이들 전기 신호의 값이 얻어진 화소 위치에 그대로 할당한 암호 키를 사용하는 경우와 비교하여, 암호 키의 해독이 곤란하게 된다.
따라서, 시큐리티의 향상을 도모할 수 있다.
또한, 실시형태로서의 암호화 장치에 있어서는, 암호 키 생성부는, 암호화부가 암호화의 대상으로 하는 화상 신호의 프레임 기간과는 다른 프레임 기간에 얻어진 광전 난수에 기초하여 암호 키를 생성하고 있다.
이에 의해, 암호화 화상으로부터 암호 키가 추정되는 것의 곤란성을 높일 수 있다.
따라서, 시큐리티의 향상을 도모할 수 있다.
나아가, 실시형태로서의 암호화 장치에 있어서는, 암호 키 생성부는, 적어도 일부의 화소에 있어서 전기 신호의 값의 균일성이 인정된 경우는, 광전 난수를 재취득하고 있다.
이에 의해, 랜덤성이 낮은 난수에 기초한 암호 키에 의해 암호화가 행해지는 것의 방지를 도모하는 것이 가능하게 된다.
따라서, 시큐리티의 향상을 도모할 수 있다.
또한, 실시형태로서의 암호화 장치에 있어서는, 암호 키 생성부 및 암호화부와 어레이 센서가 하나의 패키지 내에 구성되어 있다.
이에 의해, 하드웨어면에서의 내탬퍼화를 도모하는 것이 가능하게 된다.
따라서, 시큐리티의 향상을 도모할 수 있다.
또한, 실시형태로서의 암호화 장치에 있어서는, 암호 키 생성부는, 암호화 장치 외부로부터의 부정 액세스가 검지됨에 따라 광전 난수를 재취득하고 있다.
이에 의해, 외부로부터의 부정 액세스가 검지된 이후는, 재취득한 광전 난수에 기초한 암호화를 행하는 것이 가능하게 된다.
따라서, 시큐리티의 향상을 도모할 수 있다.
나아가, 실시형태로서의 암호화 장치에 있어서는, 암호 키 생성부는, 광전 난수를 재취득함에 따라, 과거에 생성한 암호 키를 메모리 상으로부터 소거하고 있다.
이에 의해, 과거에 암호화에 사용한 암호 키의 유출 방지를 도모하는 것이 가능하게 된다.
따라서, 과거에 암호화한 신호가 부정하게 복호되는 것의 방지를 도모할 수 있고, 시큐리티의 향상을 도모할 수 있다.
또한, 실시형태로서의 암호화 장치에 있어서는, 암호 키 생성부는, 암호 키의 생성에 따라, 광전 난수의 근원이 된 화상 신호를 메모리 상으로부터 소거하고 있다.
이에 의해, 광전 난수의 근원이 된 화상이 유출되어 광전 난수가 추정되는 것의 방지를 도모하는 것이 가능하게 된다.
따라서, 시큐리티의 향상을 도모할 수 있다.
또한, 실시형태로서의 암호화 장치에 있어서는, 암호화부는, 대상 신호를 스트림 암호 방식에 의해 암호화하고 있다.
이에 의해, 대상 신호에 대한 암호화의 전처리가 불필요하게 된다.
따라서, 암호화 처리의 고속화를 도모할 수 있다.
또한, 실시형태의 암호화 방법은, 가시광 또는 비가시광의 수광 소자를 갖는 화소가 1차원 또는 2차원으로 복수 배열된 어레이 센서에 의한 광전 변환에 기초하여 얻어지는 난수인 광전 난수에 기초하여 암호 키를 생성하고, 생성한 암호 키에 기초하여 대상 신호의 암호화를 행하는 암호화 방법이다.
이러한 암호화 방법에 의해서도, 상기 실시형태로서의 암호화 장치와 동일한 작용 및 효과를 얻을 수 있다.
또한, 실시형태의 센서 장치(센서 장치(1))는, 제1 실시형태에서 설명한 바와 같이, 가시광 또는 비가시광의 수광 소자를 갖는 화소가 1차원 또는 2차원으로 복수 배열된 어레이 센서(어레이 센서(2))와, 어레이 센서의 화소로부터의 판독 신호에 대해 암호화를 행하는 암호화부(진폭 제어 회로(10 또는 10A), 암호화 제어부(85))를 구비하고 있다.
이와 같이 판독 신호에 대해 암호화를 행함으로써, 메모리에 평문에 의한 화상 신호가 저장되지 않도록 하는 것이 가능하게 된다.
따라서, 시큐리티의 향상을 도모할 수 있다.
또한, 실시형태로서의 센서 장치에서는, 암호화부는, 아날로그 신호에 의한 판독 신호의 진폭 제어를 행하는 제1 진폭 제어부(진폭 제어 회로(10))를 갖고, 제1 진폭 제어부에 있어서 암호 키에 따른 진폭 제어를 실행함으로써, 판독 신호의 암호화를 행하고 있다.
아날로그 신호에 의한 판독 신호를 센서 장치 외부로부터 취득하는 것은 매우 곤란하다.
따라서, 시큐리티의 향상을 도모할 수 있다.
나아가, 실시형태로서의 센서 장치에서는, 암호화부는, A/D 변환기에 의해 디지털 신호로 변환된 판독 신호의 진폭 제어를 행하는 제2 진폭 제어부(진폭 제어 회로(10A)를 갖고, 제2 진폭 제어부에 있어서 암호 키에 따른 진폭 제어를 실행함으로써, 판독 신호의 암호화를 행하고 있다.
이에 의해, 암호화는 디지털 신호에 대한 진폭 제어로서 행해지고, 아날로그 신호에 대한 진폭 제어를 행하는 경우보다 암호화 처리의 정확성 향상을 도모할 수 있다.
따라서, 암호화 화상을 복호하였을 때의 화상 내용의 재현성 향상을 도모할 수 있다.
또한, 실시형태로서의 센서 장치에서는, 어레이 센서와 암호화부가 하나의 패키지 내에 구성되어 있다.
이에 의해, 하드웨어면에서의 내탬퍼화를 도모하는 것이 가능하게 된다.
따라서, 시큐리티의 향상을 도모할 수 있다.
또한, 실시형태로서의 센서 장치에서는, 암호화부는, 어레이 센서에 의한 광전 변환에 기초하여 얻어지는 난수인 광전 난수에 기초하여 암호 키를 생성하고, 생성한 암호 키에 기초하여 판독 신호에 대한 암호화를 행하고 있다.
이에 의해, 의사 난수를 사용하는 경우보다 암호 키의 해독이 곤란한 암호화를 실현하는 것이 가능하게 된다.
따라서, 시큐리티의 향상을 도모할 수 있다.
나아가, 실시형태로서의 센서 장치에서는, 암호화부는, 암호화의 대상으로 하는 판독 신호의 프레임 기간과는 다른 프레임 기간에 얻어진 광전 난수에 기초하여 암호 키를 생성하고 있다.
이에 의해, 암호화 화상으로부터 암호 키가 추정되는 것의 곤란성을 높일 수 있다.
따라서, 시큐리티의 향상을 도모할 수 있다.
또한, 실시형태로서의 센서 장치에서는, 암호화부는, 센서 장치 외부로부터의 부정 액세스가 검지됨에 따라 광전 난수를 재취득하고 있다.
이에 의해, 외부로부터의 부정 액세스가 검지된 이후는, 재취득한 광전 난수에 기초한 암호화를 행하는 것이 가능하게 된다.
따라서, 시큐리티의 향상을 도모할 수 있다.
또한, 실시형태로서의 센서 장치에서는, 암호화부는, 광전 난수를 재취득함에 따라, 과거에 생성한 암호 키를 메모리 상으로부터 소거하고 있다.
이에 의해, 과거에 암호화에 사용한 광전 난수의 유출 방지를 도모하는 것이 가능하게 된다.
따라서, 과거에 암호화한 신호가 부정하게 복호되는 것의 방지를 도모할 수 있고, 시큐리티의 향상을 도모할 수 있다.
나아가, 실시형태로서의 센서 장치에서는, 암호화부는, 암호 키의 생성에 따라, 광전 난수의 근원이 된 화상 신호를 메모리 상으로부터 소거하고 있다.
이에 의해, 광전 난수의 근원이 된 화상이 유출되어 광전 난수가 추정되는 것의 방지를 도모하는 것이 가능하게 된다.
따라서, 시큐리티의 향상을 도모할 수 있다.
또한, 실시형태가 다른 암호화 방법은, 가시광 또는 비가시광의 수광 소자를 갖는 화소가 1차원 또는 2차원으로 복수 배열된 어레이 센서의 상기 화소로부터의 판독 신호에 대해 암호화를 행하는 암호화 방법이다.
이러한 암호화 방법에 의해서도, 상기 실시형태로서의 센서 장치와 동일한 작용 및 효과를 얻을 수 있다.
또한, 실시형태가 다른 센서 장치(센서 장치(1))는, 제2 실시형태에서 설명한 바와 같이, 가시광 또는 비가시광의 수광 소자를 갖는 화소가 1차원 또는 2차원으로 복수 배열된 어레이 센서(어레이 센서(2))와, 어레이 센서에서의 촬상에 의해 얻어지는 화상 신호에 기초하여 화상 내에 비춰지는 타겟의 영역을 타겟 영역으로서 검출하는 검출부(연산부(8): 특히 물체 영역 인식부(82), 클래스 식별부(83))와, 검출부가 검출한 타겟 영역의 정보에 기초하여 화상 신호에 있어서의 타겟 영역을 대상으로 한 암호화를 행하는 암호화부(진폭 제어 회로(10 또는 10A), 암호화 제어부(85))를 구비하고 있다.
이에 의해, 어레이 센서에서의 촬상에 의해 얻어지는 화상 신호에 대해, 적어도 개인이 특정되지 않는 정도의 암호화를 이미지 센서 내에서 행하는 것이 가능하게 된다.
따라서, 화상의 수신측에 있어서 개인 정보의 유출 대책을 강구할 필요가 없어지고, 비용 삭감을 도모할 수 있다.
또한, 화상의 수신측에 있어서의 복호 키의 보유 상황에 따라, 개인 정보를 비닉하면서 화상의 일부 내용을 시인시키는 것이 가능하게 된다. 즉, 정보의 과도한 비닉 방지가 도모된 화상 암호화를 실현할 수 있다.
예를 들면, 어느 점포에서의 촬영 화상인지 등과 같이, 촬영 장소의 파악조차 곤란한 과도한 정보 비닉이 행해지는 것의 방지를 도모할 수 있어, 개인 정보의 비닉과 화상의 유용성이 과도하게 훼손되는 것의 방지의 양립을 도모할 수 있다.
또한, 실시형태로서의 센서 장치에서는, 암호화부는, 화상 신호의 암호화로서, 화상 전체를 제1 암호 키에 기초하여 암호화하고, 타겟 영역을 제1 암호 키와 제1 암호 키와는 다른 제2 암호 키에 기초하여 암호화하고 있다.
이에 의해, 화상의 수신측이 보유하는 복호 키 별로 화상 내의 복호할 수 있는 부분이 구별된다. 구체적으로, 제1 암호 키에 대응한 복호 키만을 보유하고 있는 경우에는, 화상 내에 있어서의 타겟 영역이외의 영역만을 복호 가능하게 되고, 제1 암호 키 및 제2 암호 키에 대응한 복호 키를 보유하고 있는 경우에는 타겟 영역을 포함하는 화상 전체를 복호 가능하게 된다.
따라서, 화상의 수신측에 보유시키는 복호 키 별로 정보의 비닉 레벨을 단계적으로 변화시키는 것이 가능한 유용한 암호화 수법을 실현할 수 있다.
나아가, 실시형태로서의 센서 장치에서는, 검출부는, 타겟의 특정 부위를 인식하는 처리를 행하고, 암호화부는, 타겟 영역에 있어서의 특정 부위의 영역과 그 이외의 영역에서 서로 다른 암호 키에 기초한 암호화를 행하고 있다.
이에 의해, 화상의 수신측이 보유하는 복호 키 별로 타겟의 비닉 레벨을 변화시키는 것이 가능하게 된다. 예를 들면, 타겟이 사람인 경우에, 전신의 비닉, 얼굴만의 비닉과 같은 비닉 레벨의 구분을 행하는 것이 가능하게 된다.
따라서, 화상의 이용 양태에 따른 적절한 비닉 레벨에 의한 암호화 화상을 제공할 수 있다.
또한, 실시형태로서의 센서 장치에서는, 상기 타겟의 속성 또는 동작에 관한 분석을 행하는 분석부(연산부(8))와, 분석부에 의한 분석 결과를 나타내는 정보를 출력하는 출력부(인터페이스부(7))를 구비하고 있다.
이에 의해, 화상의 수신측이 복호 키를 보유하지 않는 경우라도, 타겟의 속성이나 동작에 관한 분석 결과를 제공할 수 있다.
또한, 실시형태로서의 센서 장치에서는, 검출부는, 제1 암호 키에 기초하여 암호화된 화상 신호를 온더플라이 방식으로 복호화하여 타겟의 검출을 행하고 있다.
이에 의해, 평문 상태의 화상 신호가 유출될 가능성을 저감하는 것이 가능하게 된다.
따라서, 시큐리티의 향상을 도모할 수 있다.
나아가, 실시형태로서의 센서 장치에서는, 암호화부는, 복수의 암호 키를 합성한 합성 키에 기초하여 화상 신호의 암호화를 행하고 있다.
이에 의해, 개인 정보의 비닉 레벨을 단계적으로 변화시키는 암호화의 실현에 있어서, 필요한 암호화 처리의 실행 횟수의 삭감이 도모된다.
따라서, 암호화에 관한 처리 부담 경감을 도모할 수 있다.
또한, 실시형태로서의 센서 장치에서는, 암호화부는, 타겟을 추종하면서 타겟 영역을 대상으로 한 암호화를 행하고 있다.
이에 의해, 암호화 대상 화상이 동화상인 경우에, 움직임이 있는 타겟을 적절하게 비닉할 수 있다.
또한, 실시형태로서의 센서 장치에서는, 암호화부는, 스트림 암호 방식에 의해 화상 신호의 암호화를 행하고 있다.
이에 의해, 화상 신호에 대한 암호화의 전처리가 불필요하게 된다.
따라서, 암호화 처리의 고속화를 도모할 수 있다.
나아가, 실시형태로서의 센서 장치에서는, 어레이 센서와 검출부와 암호화부가 하나의 패키지 내에 구성되어 있다.
이에 의해, 하드웨어면에서의 내탬퍼화를 도모하는 것이 가능하게 된다.
따라서, 시큐리티의 향상을 도모할 수 있다.
또한, 실시형태로서의 센서 장치에서는, 암호화부는, 어레이 센서에 의한 광전 변환에 기초하여 얻어지는 난수인 광전 난수에 기초하여 암호 키를 생성하고, 생성한 암호 키에 기초하여 화상 신호에 대한 암호화를 행하고 있다.
이에 의해, 의사 난수를 사용하는 경우보다 암호 키의 해독이 곤란한 암호화를 실현하는 것이 가능하게 된다.
따라서, 시큐리티의 향상을 도모할 수 있다.
또한, 실시형태로서의 센서 장치에서는, 암호화부는, 어레이 센서의 화소로부터의 판독 신호에 대해 암호화를 행하고 있다.
이에 의해, 암호화에 있어서 메모리에 평문에 의한 화상 신호가 저장되지 않도록 하는 것이 가능하게 된다.
따라서, 시큐리티의 향상을 도모할 수 있다.
또한, 실시형태의 또 다른의 암호화 방법은, 가시광 또는 비가시광의 수광 소자를 갖는 화소가 1차원 또는 2차원으로 복수 배열된 어레이 센서에서의 촬상에 의해 얻어지는 화상 신호에 기초하여 화상 내에 비춰지는 타겟의 영역을 타겟 영역으로서 검출하고, 검출한 타겟 영역의 정보에 기초하여 화상 신호에 있어서의 타겟 영역을 대상으로 한 암호화를 행하는 암호화 방법이다.
이러한 암호화 방법에 의해서도, 상기 실시형태가 다른 센서 장치와 동일한 작용 및 효과를 얻을 수 있다.
한편, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것이 아니고, 또한 다른 효과가 있어도 된다.
<5. 본 기술>
본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
가시광 또는 비가시광의 수광 소자를 갖는 화소가 1차원 또는 2차원으로 복수 배열된 어레이 센서와,
상기 어레이 센서의 상기 화소로부터의 판독 신호에 대해 암호화를 행하는 암호화부를 구비하는 센서 장치.
(2)
상기 암호화부는,
아날로그 신호에 의한 상기 판독 신호의 진폭 제어를 행하는 제1 진폭 제어부를 갖고, 상기 제1 진폭 제어부에 있어서 암호 키에 따른 진폭 제어를 실행함으로써, 상기 판독 신호의 암호화를 행하는 상기 (1)에 기재된 센서 장치.
(3)
상기 암호화부는,
A/D 변환기에 의해 디지털 신호로 변환된 상기 판독 신호의 진폭 제어를 행하는 제2 진폭 제어부를 갖고, 상기 제2 진폭 제어부에 있어서 암호 키에 따른 진폭 제어를 실행함으로써, 상기 판독 신호의 암호화를 행하는 상기 (1)에 기재된 센서 장치.
(4)
상기 어레이 센서와 상기 암호화부가 하나의 패키지 내로 구성된 상기 (1) 내지 (3) 중 어느 하나에 기재된 센서 장치.
(5)
상기 암호화부는,
상기 어레이 센서에 의한 광전 변환에 기초하여 얻어지는 난수인 광전 난수에 기초하여 암호 키를 생성하고, 생성한 상기 암호 키에 기초하여 상기 판독 신호에 대한 암호화를 행하는 상기 (1) 내지 (4) 중 어느 하나에 기재된 센서 장치.
(6)
상기 암호화부는,
암호화가 대상으로 하는 상기 판독 신호의 프레임 기간과는 다른 프레임 기간에 얻어진 상기 광전 난수에 기초하여 상기 암호 키를 생성하는 상기 (5)에 기재된 센서 장치.
(7)
상기 암호화부는,
센서 장치 외부로부터의 부정 액세스가 검지됨에 따라 상기 광전 난수를 재취득하는 상기 (5)또는 (6)에 기재된 센서 장치.
(8)
상기 암호화부는,
상기 광전 난수를 재취득함에 따라, 과거에 생성한 상기 암호 키를 메모리 상으로부터 소거하는 상기 (7)에 기재된 센서 장치.
(9)
상기 암호화부는,
상기 암호 키의 생성에 따라, 상기 광전 난수의 근원이 된 화상 신호를 메모리 상으로부터 소거하는 상기 (5) 내지 (8) 중 어느 하나에 기재된 센서 장치.
1: 센서 장치
2: 어레이 센서
3: ADC/픽셀 선택기
4: 버퍼
5: 로직부
6: 메모리
7: 인터페이스부
8: 연산부
10, 10A: 진폭 제어 회로
20: 바운딩 박스
21: ROI
82: 물체 영역 인식부
83: 클래스 식별부
85: 암호화 제어부
86: 부정 액세스 검지부
100: 카메라 장치

Claims (10)

  1. 가시광 또는 비가시광의 수광 소자를 갖는 화소가 1차원 또는 2차원으로 복수 배열된 어레이 센서와,
    상기 어레이 센서의 상기 화소로부터의 판독 신호에 대해 암호화를 행하는 암호화부를 구비하는 센서 장치.
  2. 제1항에 있어서,
    상기 암호화부는,
    아날로그 신호에 의한 상기 판독 신호의 진폭 제어를 행하는 제1 진폭 제어부를 갖고, 상기 제1 진폭 제어부에서 암호 키에 따른 진폭 제어를 실행함으로써, 상기 판독 신호의 암호화를 행하는 센서 장치.
  3. 제1항에 있어서,
    상기 암호화부는,
    A/D 변환기에 의해 디지털 신호로 변환된 상기 판독 신호의 진폭 제어를 행하는 제2 진폭 제어부를 갖고, 상기 제2 진폭 제어부에서 암호 키에 따른 진폭 제어를 실행함으로써, 상기 판독 신호의 암호화를 행하는 센서 장치.
  4. 제1항에 있어서,
    상기 어레이 센서와 상기 암호화부가 하나의 패키지 내에 구성된 센서 장치.
  5. 제1항에 있어서,
    상기 암호화부는,
    상기 어레이 센서에 의한 광전 변환에 기초하여 얻어지는 난수인 광전 난수에 기초하여 암호 키를 생성하고, 생성한 상기 암호 키에 기초하여 상기 판독 신호에 대한 암호화를 행하는 센서 장치.
  6. 제5항에 있어서,
    상기 암호화부는,
    암호화의 대상으로 하는 상기 판독 신호의 프레임 기간과는 다른 프레임 기간에 얻어진 상기 광전 난수에 기초하여 상기 암호 키를 생성하는 센서 장치.
  7. 제5항에 있어서,
    상기 암호화부는,
    센서 장치 외부로부터의 부정 액세스가 검지됨에 따라 상기 광전 난수를 재취득하는 센서 장치.
  8. 제7항에 있어서,
    상기 암호화부는,
    상기 광전 난수를 재취득함에 따라, 과거에 생성한 상기 암호 키를 메모리에서부터 소거하는 센서 장치.
  9. 제5항에 있어서,
    상기 암호화부는,
    상기 암호 키의 생성에 따라, 상기 광전 난수의 근원이 된 화상 신호를 메모리에서부터 소거하는 센서 장치.
  10. 가시광 또는 비가시광의 수광 소자를 갖는 화소가 1차원 또는 2차원으로 복수 배열된 어레이 센서의 상기 화소로부터의 판독 신호에 대해 암호화를 행하는 암호화 방법.
KR1020217023363A 2019-01-30 2020-01-22 센서 장치, 암호화 방법 KR20210121025A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2019-013968 2019-01-30
JP2019013968 2019-01-30
PCT/JP2020/002121 WO2020158540A1 (ja) 2019-01-30 2020-01-22 センサ装置、暗号化方法

Publications (1)

Publication Number Publication Date
KR20210121025A true KR20210121025A (ko) 2021-10-07

Family

ID=71840941

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217023363A KR20210121025A (ko) 2019-01-30 2020-01-22 센서 장치, 암호화 방법

Country Status (6)

Country Link
US (2) US11955032B2 (ko)
EP (1) EP3920165A4 (ko)
KR (1) KR20210121025A (ko)
CN (1) CN113330499B (ko)
TW (1) TW202040989A (ko)
WO (1) WO2020158540A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021203110A1 (en) * 2020-03-30 2021-10-07 Citrix Systems, Inc. Extended reality authentication
US11362825B2 (en) * 2020-03-30 2022-06-14 Citrix Systems, Inc. Extended reality authentication
US11558183B2 (en) * 2020-05-15 2023-01-17 Bank Of America Corporation System for exchanging symmetric cryptographic keys using computer network port knocking
US11928187B1 (en) * 2021-02-17 2024-03-12 Bank Of America Corporation Media hosting system employing a secured video stream
CN116634390B (zh) * 2023-05-15 2023-11-10 南京晓庄学院 一种基于分布式无线传感器的数据传输管理***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027333A (ja) 2007-07-18 2009-02-05 Sony Corp 撮像システム、撮像指示装置、撮像装置、撮像方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5598472A (en) * 1994-12-22 1997-01-28 Stanford Telecommunications, Inc. Charge-coupled-device based all-analog wave form scrambling with applications in audio, video, video-on-demand, and TV systems
JP3610642B2 (ja) * 1995-09-25 2005-01-19 富士通株式会社 書画の暗号化及び復号化装置
JPH118842A (ja) * 1997-06-18 1999-01-12 Nippon Telegr & Teleph Corp <Ntt> 画像スクランブル装置および画像スクランブル解除装置
JP4320543B2 (ja) * 2002-12-16 2009-08-26 ソニー株式会社 映像信号処理システム、映像信号処理装置および方法、記録媒体、並びにプログラム
US7240208B1 (en) * 2003-04-23 2007-07-03 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Encrypting digital camera with automatic encryption key deletion
EP1864209B1 (en) * 2005-03-21 2008-09-10 Dow Corning Corporation Random number generation using a scattering waveguide
JP2007026051A (ja) * 2005-07-15 2007-02-01 Matsushita Electric Ind Co Ltd 情報処理装置および情報処理システム
KR20070018360A (ko) * 2005-08-09 2007-02-14 삼성전자주식회사 디지털 카메라의 영상을 암호화하는 cmos 이미지 센서.
US20100226495A1 (en) 2007-10-29 2010-09-09 Michael Kelly Digital readout method and apparatus
JP4348381B2 (ja) * 2007-05-30 2009-10-21 富士通株式会社 画像暗号化/復号化装置、方法およびプログラム
CN101682682B (zh) * 2007-05-30 2012-11-21 富士通株式会社 图像加密装置、图像解密装置以及方法
WO2008146391A1 (ja) * 2007-05-31 2008-12-04 Pfu Limited 電子データ暗号化システム、復号システム、プログラムおよび方法
JP2010226506A (ja) * 2009-03-24 2010-10-07 Chugoku Electric Power Co Inc:The デジタルカメラ、記憶装置、デジタルカメラの制御方法およびプログラム
CN102063694B (zh) * 2010-11-17 2013-04-24 安徽工业大学 一种基于折纸变换的数字图像加密方法
CN102572314B (zh) * 2011-12-22 2015-01-14 格科微电子(上海)有限公司 图像传感器以及支付认证方法
CN103248854B (zh) * 2013-04-27 2016-04-20 东北大学 基于均匀置乱和混沌映射的医学图像加密方法
CN103458316B (zh) * 2013-07-22 2016-05-04 太原理工大学 一种图像加密方法
US20150104002A1 (en) * 2013-10-10 2015-04-16 Elwha Llc Methods, systems, and devices for handling image data from captured images
US9830467B1 (en) * 2014-04-14 2017-11-28 Michael Harold System, method and apparatus for securely storing data on public networks
US9871658B2 (en) 2015-03-24 2018-01-16 Semiconductor Components Industries, Llc Imaging systems with data encryption and embedding capabalities
WO2016167076A1 (ja) 2015-04-16 2016-10-20 ブリルニクスインク 固体撮像装置、固体撮像装置の駆動方法、および電子機器
CN106156654B (zh) * 2016-08-30 2019-06-11 成都百润百成科技股份有限公司 文档加密装置与方法
CN106972934A (zh) * 2017-04-28 2017-07-21 山东大学 一种基于puf的照相机图像存储***

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027333A (ja) 2007-07-18 2009-02-05 Sony Corp 撮像システム、撮像指示装置、撮像装置、撮像方法

Also Published As

Publication number Publication date
US20240119867A1 (en) 2024-04-11
US20220028302A1 (en) 2022-01-27
TW202040989A (zh) 2020-11-01
CN113330499A (zh) 2021-08-31
US11955032B2 (en) 2024-04-09
WO2020158540A1 (ja) 2020-08-06
CN113330499B (zh) 2024-05-24
EP3920165A4 (en) 2022-02-23
EP3920165A1 (en) 2021-12-08

Similar Documents

Publication Publication Date Title
KR20210121025A (ko) 센서 장치, 암호화 방법
EP3989206A1 (en) Cryptography key generation device and cryptography key generation method
WO2020158539A1 (ja) 暗号化装置、暗号化方法
US20210287322A1 (en) Robust selective image, video, and audio content authentication
JP6910772B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
KR20210119982A (ko) 센서 장치, 암호화 방법
WO2021084944A1 (ja) 情報処理システム、情報処理方法、撮像装置、情報処理装置
Rakhra et al. A Review on Data hiding using Steganography and Cryptography
KR20130114037A (ko) 프라이버시 영역의 마스킹 및 복원 방법
Sarmah et al. Optimization models in steganography using metaheuristics
Kumar et al. A hybrid hash-stego for secured message transmission using stegnography
KR20090004552A (ko) 비디오 처리 권리의 실시를 위한 방법 및 디바이스
CN113012021B (zh) 一种图像加密及解密方法、计算机及可读存储介质
WO2021175714A1 (en) Scrambling of regions of interest in an image to preserve privacy
CN114004726A (zh) 水印显示方法、装置、计算机设备和存储介质
CN116456127B (zh) 一种视频处理***、方法、装置、电子设备及存储介质
Tomar et al. An approach of Information Hiding by the Guidance of Noise
CN116156309A (zh) 图像处理方法、装置及电子设备
KR20130016080A (ko) 이미지 처리 장치에서 이미지를 합성하는 장치 및 방법
Dong et al. A Visual Hiding Algorithm Based on Human Visual System

Legal Events

Date Code Title Description
E902 Notification of reason for refusal