다중 분광 카메라: 무엇이고 어떻게 작동할까요?
현대 과학기술은 놀라운 속도로 발전을 거듭해왔습니다. 인류는 육안으로 볼 수 없는 것들을 볼 수 있는 기술을 개발해 다양한 산업 분야에서 응용해왔습니다.
현미경으로 아주 작은 물체를 확대해서 볼 수도 있다는 것은 아마 모두 알고 계실 것입니다. 하지만 여기에서 한발 더 나아가, 현미경으로 보는 방법 이외에 ‘다중 분광’을 통해 볼 수도 있습니다. 다중 분광 역시 인간의 눈으로 볼 수 없는 것을 보는 방법 중 하나인데요. 대표적으로, 사람이 눈으로 보고 뇌에서 판단하는 것을 카메라와 영상인식 알고리즘이 대체한 시스템인 ‘머신 비전’을 예로 들 수 있습니다.
‘머신 비전’ 기술은 스마트 제조의 핵심기술 중 하나입니다. 머신 비전 기술이 점점 발전하면서 산업 전반에 걸쳐 활용되는 영역도 넓어지고 있습니다. 최근에는 인공지능(AI)이 탑재되고, 부품의 성능이 업그레이드되면서 글로벌 머신 비전 공급업체들은 미래 기술의 차별화를 꾀하고 있습니다.
글로벌 시장에서 주목받는 머신 비전 제품 중 하나인 ‘다중 분광 카메라’란 무엇이고, 어떻게 작동하는지 자세히 살펴보도록 하겠습니다.
다중 분광 카메라란?
먼저 ‘다중 분광’이란 다양한 파장 대역에서 이미지 데이터를 추출하는 방법으로, 육안으로는 확인할 수 없는 정보도 추가로 얻을 수 있습니다. 예를 들어, 다중 분광 카메라를 통해 태양을 보면 사람의 눈으로 볼 수 없던 태양의 표면에 대한 정보를 얻을 수 있습니다.
다중 분광 카메라는 가시 영역과 적외선 영역 내에서 10개 이하의 파장대를 이용하여 분광 이미지를 얻는 카메라입니다. 즉, 가시광선 영역을 넘어 각각 분산된 위치에 있는 여러 스펙트럼 밴드 정보를 캡처하는 카메라를 말합니다. 다중 분광 카메라를 사용하면 모양과 색상, 라벨 등 가시 영역뿐만 아니라, 근적외선 대역 등의 보이지 않는 정보를 파악하고 검증할 수 있습니다.
다중 분광 센서란?
표준 시각 센서는 빨간색(Red), 녹색(Green), 파란색(Blue) 파장의 빛을 수집합니다. 다중 분광 센서는 이러한 가시적인 파장뿐만 아니라 가시 스펙트럼 밖에 있는 파장을 수집할 수 있습니다. 여기에는 근적외선(NIR), 단파 적외선(SWIR) 등이 포함됩니다.
"다중 분광 센서는 환경에 있는 물체의 빛 에너지 반사에 대한 데이터를 캡처합니다. 이 데이터는 근처의 다른 물체들과 비교되어 이들 사이의 중요한 차이를 이해할 수 있습니다."라고 지리 공간 과학자인 스콧 해쳐(Scott Hatcher)가 전했습니다. "더 나아가, 반사경을 전체적으로 비교하려면 조정된 센서를 사용하여 다르게 처리해야 합니다. 이 작업을 수행할지 여부는 사용 사례에 따라 다릅니다. 먼저 문제를 정의하세요."
참고 | 표준 시각 센서
표준 시각 센서(RGB 센서라고도 함)는 빨간색, 녹색 및 파란색 파장의 빛을 수집한다. 이 파장은 인간의 눈에 보이는 가시 스펙트럼에 포함된다.
다중 분광 센서는 3~5개의 스펙트럼 대역을 포함하며, 두 가지 범주 - 수정밴드 및 멀티밴드 - 로 나뉩니다.
전자기 스펙트럼 다중 분관 카메라 센서 - 산업용 카메라 솔루션 JAI
표준 시각 센서에 특수 필터를 배치하면 수정된 센서가 생성됩니다. 결과적으로, 수정된 센서는 하나의 동일한 렌즈를 통해 세 개의 빛의 밴드를 동시에 수집합니다. 필터는 다양한 형식으로 제공되어 여러 파장 대역의 조합을 표시할 수 있습니다. 가장 일반적인 형식은 근적외선 정보(NIR)를 기록하기 위해 가시 대역 중 하나를 희생합니다. 예를 들어, R-G-NIR 필터는 근적외선 에너지(약 700 - 800nm)를 수집하기 위해 파란색(B)을 희생합니다.
멀티밴드 센서는 다중 분광 데이터 수집을 위해 특별히 제작되었습니다. 각 대역은 전용 센서에 의해 수집되므로 여러 번의 실행이 필요하지 않습니다. 또한 멀티밴드 센서를 사용하면 필요에 따라 다양한 파장대의 조합으로 혼합할 수 있습니다.
“다중 분관 센서는 뛰어난 공간 해상도로 데이터를 캡처하고…” - 스콧 해쳐, 지리 공간 광학자
다중 분광 카메라의 작동 원리
다중 분광 카메라는 다른 파장의 빛을 촬영하는 방식으로 작동합니다. 다중 분광 카메라에는 다중 스펙트럼 이미지 센서가 있으며, 각 센서에는 특정 빛의 파장만 캡처할 수 있는 특수 광학 필터가 있습니다. 처리된 카메라 데이터의 출력은 각 픽셀의 값이 해당 파장에 대한 빛의 반사율과 같은 이미지 세트가 됩니다. 그런 다음 이러한 이미지 세트를 함께 연결하여 정확한 모자이크를 만들고 파장마다 여러 레이어를 만듭니다. 이러한 층을 수학적으로 결합하면 가시광선 영역을 넘어 각각 분산된 위치에 있는 여러 스펙트럼 밴드 정보를 캡처할 수 있습니다.
다중 분광 카메라는 어디에 사용되나요?
1. 헬스 케어 산업
생명 과학 분야
현미경이나 내시경 검사에서의 이미징 기술은 이미 확립되어 있습니다. 예를 들어, 최신 RGB 이미징 기술을 응용해 내시경 선단에 부착된 센서는 매우 작은 직경의 구멍으로 인체 깊숙이 스며들어 고해상도 이미지를 캡처 할 수 있습니다. 알약만 한 크기의 작은 캡슐에 장착된 카메라를 입으로 삼키면 캡슐이 소화기 안을 이동하면서 인체 내부를 캡처하고, 그 이미지를 무선으로 날려 체외 녹화 장치에 기록하는 시스템도 실용화되었습니다. 이러한 기기에 센서와 협대역 스펙트럼 필터를 결합하여 더욱 상세한 조직 검사까지 가능한 시스템이 등장하고 있습니다.
하지만, 가시광선이 피부 표면을 투과할 수 없기 때문에 내시경을 통해 캡처할 수 있는 것은 가시광선에 한정되어 있습니다. 또한, 인체의 내부를 파악하더라도 각 장기의 표면(최 외층)까지만 이미지화 할 수 있습니다.
하지만 다중 분광 카메라를 응용하면 가시광선 영역 이외의 스펙트럼을 포함하여 여러 파장 대역에서 동시에 이미지를 포착할 수 있습니다. 인간의 세포 조직과 장기를 검사하는 경우, 근적외선 (NIR) 파장에서 이미지를 포착하면 장기의 표면뿐만 아니라 그 속 깊숙이 있는 세포의 상태까지 캡처할 수 있습니다. 이 기술이 실용 단계에 들어 의사가 인간의 눈에는 보이지 않는 특정 조직뿐만 아니라 특이 상태까지 파악할 수 있게 되었습니다.
수술의 시각 보조 시스템으로 활용
다중 분광 카메라는 수술 시 집도의의 시각을 보조하는 시스템에도 빠르게 도입되고 있어 향후 유망한 응용 프로그램으로 주목받고 있습니다. 종양 적출은 고도로 숙련된 기술이 요구되는 매우 복잡하고 중대한 수술입니다. 그동안은 집도의의 수술 경험이 적출 성패의 결정적인 요인이었습니다.
수술 시, 컬러 이미지와 NIR 이미지를 오버레이 처리하여 종양과 주변 조직 및 혈관을 명확하게 식별할 수 있다 - JAI 다중 분광 카메라를 헬스케어 산업에 응용한 ‘머신 비전’의 예시
JAI의 3-CMOS 다중 분광 프리즘 카메라는 1대의 카메라로 3개의 서로 다른 스펙트럼 밴드(400~700nm의 가시광선 대역, 700~800nm의 NIR 대역, 820~1,000nm의 NIR 대역)을 동시에 촬영할 수 있다.
그러나 최근에는 다중 분광 카메라를 장착한 시각 보조 시스템을 도입해 숙련된 외과 의사만이 가지는 고급 기술과 능력의 부를 시스템이 담당하거나 보조하고 있습니다. 형광 세포 조직을 일정한 스펙트럼에서 그림으로 파악함으로써 종양 세포와 주변 조직과 육안 식별이 더욱 쉬워졌습니다. 변이 세포나 조직만을 분리하는 작업은 숙련된 의사가 아니라면 힘든 고난도의 의학적 판단과 기술을 요구합니다. 하지만 특정 스펙트럼에서 얻은 이미지를 통해 수술 보조가 가능해짐에 따라 모두가 같은 수준의 판단을 할 수 있게 되었습니다. 다중 분광 카메라를 응용한 ‘머신 비전’ 시각 보조가 의료 기술 분야에 큰 공헌을 하고 있는 것입니다.
2. 인텔리전트 농업
최근, 정밀 농업과 인텔리전트 농업이 빠르게 발전하고 있습니다. 이 분야에서는 “어떻게 잡초를 제거하는가?” 하는 문제가 점점 더 중요해지고 있습니다.
기존의 제초 방법은 잡초가 논밭에 균일하게 분포하고 있다는 전제하에 제초제를 사용했습니다. 그러나 대부분의 경우, 잡초는 그때그때 공간을 발견하면서 랜덤하게 성장합니다. 따라서 농작물이 재배되는 넓은 논밭에서 불규칙하게 분포하고 있는 잡초만 찾아내는 것은 현실적으로 어려운 작업이라고 할 수 있습니다.
하지만 최근 들어, 머신 비전과 딥러닝 등 AI의 발전으로 지금까지의 잡초 제거 시스템에서 인간이 맡고 있던 부분을 AI로 대체하려는 움직임이 나오고 있습니다. 이는 인텔리전스 데이터(화상)의 캡처와 그 데이터를 바탕으로 의사 결정을 하는 “지성과 판단”이 요구되는 프로세스입니다.
AI 시스템이 지면에서 개체(=대상물, 이 경우는 잡초)를 제거할지 여부를 결정하려면 먼저 대상을 광학적으로 식별해야 할 뿐만 아니라, 그것이 잡초인지 작물인지를 분류하는 기능도 필요합니다. 통상, 잡초와 작물은 스펙트럼 특성이 다릅니다. 쉽고 정확하게 분리하려면, 적절한 종류의 화상을 광학 센서에서 확실하게 제공해주는 ‘다중 분광 카메라’의 존재가 필수적입니다.
다중 분광 카메라를 사용하면 RGB와 NIR 화상을 결합하여 반사율의 비율을 측정함으로써, 잡초와 작물을 식별해내는 정밀도가 비약적으로 향상합니다. 또한, 토양과 시든 식물 등 대상의 “배경” 부분의 반사율도 다르므로, RGB와 NIR을 조합한 딥러닝은 정확성과 효율성 면에서 AI의 강화로 연결됩니다.
3. 지폐 검사
지폐 검사에 사용되는 다중 분광 카메라 - JAI의 고성능 산업용 카메라
통상, 지폐는 조폐국의 여러 공장에서 제조됩니다. 돈을 지불하는 데 사용되어 신용 되려면 지폐가 고품질이어야 하며, 위조 방지를 위한 복잡한 보안 기능이 포함되어 있어야 합니다. 그래서 다양한 기능을 지원하고, 모든 제조 현장에서 높은 품질과 컴플라이언스(기본 규정)를 확보할 수 있는 견고하며 고감도의 품질 관리 시스템이 필요합니다. 그 솔루션을 제공하는 것이 바로 멀티 스펙트럼 카메라를 이용한 자동 외관 검사 시스템입니다.
자동 외관 검사에서 대부분의 보안 기능을 검증할 수 있습니다. 지폐에는 각각 1장씩 고유함을 나타내기 위한 일련번호가 매겨져 있습니다. 이것은 종래의 RGB 카메라에서 간단히 확인할 수 있습니다. RGB 카메라는 그 외에도 색상, 크기, 인쇄 품질, 금액과 일본 은행권 같은 레이블 검사도 할 수 있습니다. 하지만 일반적인 RGB 카메라에서는 근자외선 영역(UV)이나 근적외선 영역(NIR)에서 검사를 필요로 하는 보안 기능 검사를 추가할 수 없습니다. 이때, 다중 분광 카메라가 필요하게 됩니다.
다중 분광 카메라는 가시광선 영역을 넘어, 각각 분산된 위치에 있는 여러 스펙트럼 밴드 정보를 캡처합니다. 다중 분광 카메라를 사용하면 하나의 검사 공정으로, 모양과 색상, 라벨 등 눈에 보이는 품질이나 보안 기능과 동시에, 근적외선 대역 등의 보이지 않는 정보를 파악하고 검증할 수 있습니다. 품질 검사에 사용하는 장치를 하나로 집약하여, 검사 시스템은 보다 효율적이고 견고하며, 가격 대비 성능도 뛰어납니다. 이처럼 다중 분광 카메라를 이용한 검사 시스템은 다양한 제조 현장에 적합합니다.
- 전문 읽기: 컬러 및 멀티 스펙트럼을 이용한 지폐 검사
이제 다중 분광 카메라의 원리와 산업 전반에서 어떻게 활용되는지 이해하셨을 것입니다. 그밖에 더 궁금하신 사항이나 비용 상담 등을 원하시면 JAI에 문의해주세요. 지금 JAI의 제품 엔지니어와 상담해보세요!