적외선 카메라 편집하기

'''적외선 카메라'''(Infrared Camera)는 [[적외선]]에 대한 충분한 감도를 갖는 전하 결합 소자(CCD1)로 만들어진 [[카메라]]이다. '''열화상 카메라''', '''적외선 전방 주시장치'''(Forward Looking infrared)라고도 한다. 야간에 야생 동식물을 촬영할 경우, 집광성이 강한 조명에 적외선 필터를 부착해 사용하면 자연 생태계를 파손하지 않게 되므로 매우 효과적이다. 최근에는 레이저를 이용한 근적외선 광원과 II(Image Intensifier)를 사용한 일체형 적외선 카메라가 시험 제작되고 있다.

이와 같이 적외선 카메라는 야간에도 사물을 볼 수 있는 장점 때문에 주로 특수 산업 분야에서 활용되고 있다. 하지만 요즘에는 어두운 곳을 달리는 [[자동차]]의 [[전후방카메라]], 폐쇄회로 TV(CCTV2) 등의 분야에도 적용하는 추세이다.

패시브 방식 원적외선 비전 시스템은 [[레이더]]나 [[라이더]]의 취약점을 보완해준다. 자동차 주변에 있는 사람이나 사물로부터 발산하는 열을 감지해 주변 상황을 인식한다. 특히 원적외선 기술은 수십년간 야간용 고글이나 보안 카메라에 적용됐다. 그러나 자동차 분야에는 매우 제한적으로 이용됐다. 오직 '오토리브(Autoliv)'라는 기업이 최고급 자동차용으로 적외선 카메라를 제공하고 있다. 그러나 가격이 2천 달러를 넘는다. [[BMW]], [[아우디]], [[메르세데스-벤츠]], [[롤스로이스]] 등 최고급 자동차에만 탑재되어 있을 뿐이다.

== 야간 자율주행의 새로운 대안 ==
[[파일:왜 적외선 카메라를 쓰는지 알려주는 영상.png|썸네일|500픽셀|왜 적외선 카메라를 쓰는지 알려주는 영상. 왼쪽은 야간에 일반카메라로 촬영한 장면이고, 오른쪽은 같은 상황에서 FLIR로 촬영한 영상이다. 야간임에도 전방의 장애물 등이 더 뚜렷하게 보인다.]]

안전한 고급 [[ADAS]](Advanced Driver Assist Systems) 차량 및 AV(Autonomous Vehicles)를 사용하려면 센서가 SAE(Society of Autonomous Engineers, 미국자동차 기술자협회) 자동화 레벨 5의 모든 조건에서 자율적으로 탐색하는 데 사용되는 감지 및 분류 알고리즘에 적합한 장면 데이터를 제공해야 한다. 이는 자동차 엔지니어와 개발자에게 까다로운 요구 사항이다.

가시광 카메라, 소나 및 레이더는 현재 SAE 자동화 레벨 2에서 생산 차량에 이미 사용되고 있다. SAE 자동화 레벨 3 및 4 테스트 플랫폼에는 LIDAR 센서 제품군이 추가되었다. 이러한 각 기술에는 장단점이 있다. 비극적으로 최근 Uber 및 Tesla 사고에서 볼 수 있듯이, SAE의 현재 센서 자동화 수준 2와 3은 자동차나 보행자를 적절하게 감지하지 못한다.
=== 자율주행용 센서별 장단점 ===
ADAS 및 AV 플랫폼은 여러 기술의 센서를 사용하며, 핵심적인 기술은 객체를 감지하고 분류하는 작업 과정이다. 예를 들어, 레이더 및 LIDAR 시스템은 수집된 반사 정보로부터 획득한 점 밀도 구름에서 물체를 분류하고, 물체의 위치와 차량의 정지 속도를 계산한다. 모든 주행 조건을 만족하면서 효율적인 비용과 신뢰할 수 있는 솔루션으로 물체를 분류하기에 필요한 양의 데이터를 획득하기 위해서는 레이더와 LIDAR 이외에 가시광선 및 열화상 카메라의 정보가 융합되어야 한다.
[[파일:센서 종류별 적용이 가능한 응용 분야.jpg|썸네일|500픽셀|가운데|센서 종류별 적용이 가능한 응용 분야]]
조명이 약한 환경(예를 들면, 야간 운전, 햇빛에 의한 눈부심 및 악천후)에서는 일반적인 센서 제품군의 경우 물체의 분류가 어렵다. 적외선 센서는 이러한 문제를 극복할 수 있으며, 상기와 같은 환경에서도 일반적인 주행 조건과 같이 차량, 사람, 동물 및 기타 물체를 안정적으로 분류할 수 있다. 또한 적외선 센서를 사용하는 열화상 카메라는 주간 주행에서도 똑같이 잘 작동하며 가시광 카메라에 유사한 정보(흑백 정보이기 때문에 신호등의 상태는 파악이 어려움)를 제공할 수 있다.

LIDAR 및 레이더와 결합된 저조도 가시광 카메라는 기본적인 야간 성능을 제공하지만, 약 50m (165 피트) 이상을 넘어서는 영역에서는 열화상 카메라가 저조도 가시광 카메라보다 성능이 훨씬 뛰어나며, 모든 조명 조건에서 보다 일관된 이미지를 제공한다.

애리조나 주 템피에서 발생한 Uber 사건에 대한 NTSB 보고서에 따르면, 보행자는 LIDAR, 레이더 및 가시광 센서를 사용하는 개발형 SAE 수준 3 자율 주행 자동차에 치명타를 입었다. 보행자가 처음에는 알 수 없는 물체로 분류 된 후 자동차 또는 자전거로 분류되었고, 최종적으로 사람으로 분류되었다. 그러나 열화상 카메라 시스템으로 시험을 해 보면, 약 280 피트 (85.4m)에서부터 보행자로 분류하였다. 이는 43mph (135 피트 또는 41m)에서 사람이 운전하는 데 필요한 "빠른 반응" 정지 거리의 두 배 이상의 거리를 확보할 수 있음을 의미한다. 만약 좁은 FOV 열화상 카메라를 사용한다면, 200 미터에서도 보행자 분류가 가능하며 이는 일반적인 헤드라이트 및 가시광 카메라가 볼 수 있는 거리보다 4배 더 먼 거리이다.
[[파일:열화상 카메라는 헤드라이트 대비 식별 능력이 최대 4배 향상.jpg|썸네일|500픽셀|가운데|열화상 카메라는 헤드라이트 대비 식별 능력이 최대 4배 향상]]
[[파일:태양광으로 인한 눈부심 현상, 안개, 암흑 등 조광 상태가 어려운 상황에서도 정확하게 물체를 식별 가능.jpg|썸네일|500픽셀|가운데|태양광으로 인한 눈부심 현상, 안개, 암흑 등 조광 상태가 어려운 상황에서도 정확하게 물체를 식별 가능]]
=== 원리 ===
LWIR 열화상 카메라는 자체적으로 어떠한 에너지도 내 보내지 않으면서 물체에서 방사되는 열을 감지하기 때문에 완전한 수동적(passive) 방식이며, 이는 능동형(active) 방식인 가시광 카메라와 LIDAR 및 레이더에 비해 가장 큰 장점이다. 왜냐하면 물체의 반사율 및 대기 효과와 같은 조건들은 능동형 센서의 센서 성능에 영향을 끼칠 수 있기 떄문이다.
* 가시광 카메라는 태양광, 가로등 또는 물체에서 반사되어 센서에 수신되는 헤드 라이트에 의존한다.
*  LIDAR 센서는 레이저 광 에너지를 방출하고 광원의 비행 시간을 측정하여 반사된 에너지를 처리한다.
* 레이더는 무선 신호를 방출하고 물체에서 반사된 신호를 처리한다.

열화상 이미지는 모든 물체가 열 에너지를 방출한다는 사실을 이용하므로 조명 소스에 대한 의존성이 없다. 아래 그림에서 보듯이 안개의 상황에 따라 열화상 카메라가 가시광 카메라 보다 최소 4배 더 멀리 볼 수 있다는 것을 보여준다.
[[파일:원리.jpg|썸네일|500픽셀|가운데|]]
최근 사건과 우리 자신의 운전 경험이 보여 주듯이 보행자를 밤낮으로 보는 것은 어려울 수 있다. 운전 조건과 다양한 환경에서의 열화상 카메라는 더욱 필요하다고 볼 수 있으며, 어찌보면 열화상 카메라가 유일한 대안 기술로 볼 수 있다.

보행자의 레이더 또는 LIDAR 신호는 근처 차량의 경쟁 신호에 의해 위장될 수도 있다. 보행자가 두 대의 자동차 사이를 건너고 있거나 일부가 나뭇잎에 의해 가려지면 보행자를 감지하는 반사 신호가 거의 또는 전혀 없을 수도 있다. 이러한 경우 수색 및 구조 또는 군사 분야에서 사용되는 열화상 카메라는 밝은 나뭇잎을 통해 볼 수 있다. 적외선 센서는 가시적인 모양이 아닌 열을 인식하기 때문에 부분적으로 분류할 때 가시광 카메라보다 유리하다. 나뭇잎 등에 가려진 사람과 동물의 열은 아래 그림과 같이 부분적으로 가려진 전경에서도 분류가 가능하다.
[[파일:나뭇잎 등에 가려진 보행자도 열화상 카메라는 열을 감지하기 때문에 보행자로 분류가 가능.jpg|썸네일|500픽셀|가운데|나뭇잎 등에 가려진 보행자도 열화상 카메라는 열을 감지하기 때문에 보행자로 분류가 가능]]
=== 필요성 ===
ADAS 및 AV 플랫폼의 주요 과제는 모든 주행 조건에 대비하는 것이다. 도로는 복잡하고 예측할 수 없는 상황으로 가득차 있으며, 자동차에는 매번 올바른 결정을 내리기 위해 가능한 한 많은 정보를 수집 할 수있어야 하며, 이를 위해 비용대비 효율적인 센서 제품군이 장착되어야 한다. 현재 표준 센서 제품군으로는 SAE 레벨 3 이상에 대한 요구 사항을 완전히 충족할 수 없다.

최근까지 도로를 주행하는 SAE 자동화 레벨 2 (부분 자동화) 및 레벨 3 (조건부 자동화) 차량의 센서 제품군에 열 화상 카메라가 포함되어 있지 않았다. 많은 테스트 차량이 테스트 및 이상적인 조건에서 훌륭하게 작동하지만, 실제 성능은 실제 주행 조건의 엄격한 조건을 견뎌 내야 한다.

열 또는 LWIR 에너지는 도로 위 또는 모든 물체에서 자발적으로 방사 및 반사되고 있다. 열화상 카메라는 섭씨 0.05℃ 의 작은 온도 차이도 구분이 가능하다. VGA급 열화상 카메라 (640 x 512 픽셀)는 거의 모든 물체를 선명하게 나타낼 수 있다. 아래 그림은 (애리조나 주 템피에서 Uber 사고를 재현한 열화상 영상 화면 캡처) 운전자에게 필요한 "빠른 반응" 정지 거리의 두 배 이상에서 물체를 감지하고 보행자로 분류하였으며, 건물 벽에 있는 글자도 명확하게 볼 수 있다. 
[[파일:건물벽 글자.jpg|썸네일|500픽셀|가운데|]]
2016 AWARE (All Weather All Roads Enhanced) 비전 프로젝트에서 밤, 안개, 비, 눈과 같은 까다로운 가시성 조건에서 잠재적으로 시력을 향상시킬 수 있는 카메라 제품군을 테스트 했다. 최고의 전천후 비전을 제공하는 기술을 식별하기 위해 전자기 스펙트럼에서 가시광 RGB, 근적외선 (NIR), 단파 적외선 (SWIR) 및 LWIR 또는 열의 네 가지 대역에 대해 평가했다. 이 프로젝트는 다양한 안개 밀도에서 보행자 감지를 측정한 후 다음과 같은 세 가지 결론을 공식화했다.

* LWIR 카메라는 NIR 및 SWIR보다 안개를 더 잘 투과했다. 가시광 카메라는 가장 낮은 안개 투과 기능을 가졌다.
*  LWIR 카메라는 완전한 어둠 속에서 보행자를 감지하는 유일한 센서였다. LWIR 카메라는 또한 안개 속에서 다가오는 전조등으로 인한 눈부심에 더 탄력적인 것으로 입증되었다.
* 가시광 RGB, SWIR 및 NIR 카메라는 보행자가 헤드 램프 눈부심으로 숨겨져 있기 때문에 때때로 보행자를 볼 수 없었다.

=== 경제적인 문제점 및 전망 ===
SAE 자동화 레벨 3 (조건부 자동화) 이상의 대량 채택은 합리적인 가격의 센서 기술, 들어오는 센서 데이터를 처리하는 데 필요한 컴퓨터 성능, 현실 세계에서 안전하고 신뢰할 수있는 운송을 제공하는 운전 명령을 실행하는 데 필요한 [[인공지능]]에 달려 있다. 

일반적인 오해는 군사용 배경을 가진 적외선 센서가 자동차에 사용되기에는 너무 고가이라는 점이다. SAE 자동화 레벨 2 이상에 사용이 가능한 열화상 카메라는 열화상 기술의 발전, 제조 기술의 향상, 제조량 증가로 인해 합리적인 가격으로 대량 생산이 가능해지고 있다. 최근까지 열화상 카메라는 VGA 해상도 이상에서 수천 달러에 판매되었으나, 이제는 생산 수량과 기술 향상으로 인해 가격이 훨씬 저렴해지고 있다. 

현재 개발 계획에 따르면 향후 몇 년 동안 추가로 2배의 비용 절감을 달성 할 수있을 것으로 예상된다. SAE2와 3의 자동화 수준을 위해 상당한 양의 열화상 카메라 채택이 2022년 또는 2023년에 시작될 것이며, 2030년까지 연간 성장률은 200 ~ 300% 정도로 예상하고 있다. 자동차 제조 규모에 따라 열 화상 카메라는 ADAS 및 AV 센서 제품군을 위한 저렴한 구성 요소가 될 것으로 예상하고 있다.

최근 한국에서도 자율주행 차량용 열화상 카메라를 개발하기 위해 노력하고 있다. 센서 전문업체인 트루윈과 한화시스템즈는 자율주행용 열화상 카메라 개발을 위해 협약을 맺었다.

== 동영상 ==
<youtube>hbjZDQxdktA</youtube>

== 참고자료 ==
* 〈[https://terms.naver.com/entry.naver?docId=3586845&cid=59277&categoryId=59279 적외선 카메라]〉, 《손에 잡히는 방송통신융합 시사용어》
* "[https://namu.wiki/w/FLIR FLIR]", 《나무위키》
* 〈[https://namu.wiki/w/%EC%97%B4%ED%99%94%EC%83%81%EC%B9%B4%EB%A9%94%EB%9D%BC 열화상카메라]〉, 《나무위키》
* 센서로세계로미래로, 〈[https://blog.naver.com/PostView.nhn?blogId=iotsensor&logNo=222248995420 자율주행차량을 위해 열화상 카메라가 왜 필요한가?]〉, 《네이버 블로그》, 2021-02-19
* 한상민 기자, 〈[https://www.autoelectronics.co.kr/article/articleView.asp?idx=3619 자율주행에 추가된 열화상 기술]〉, ''AEM'', 2020-07
* 〈[http://www.irobotnews.com/news/articleView.html?idxno=11997 야간 자율주행의 새로운 대안 '적외선 카메라']〉, 《로봇신문》, 2017-10-19

== 같이 보기 ==
* [[전후방카메라]]
* [[레이더]]
* [[라이다]]
* [[자율주행]]
* [[적외선]]

{{자동차 전장|검토 필요}}