어느

Scientific Reports 13권, 기사 번호: 12894(2023) 이 기사 인용

측정항목 세부정보

야간에 촬영한 이미지에는 저조도 어두운 영역과 밝은 조명 과다 노출 영역이 모두 있을 수 있는 등 실제 사진 촬영 중에 고르지 않은 조명 조건이 자주 발생합니다. 저조도 영역을 향상시키는 기존 알고리즘은 노출 과다 영역의 밝기도 증가시켜 이미지의 전반적인 시각적 효과에 영향을 미칩니다. 따라서 저조도 영역과 고조도 영역을 차별화하여 강화하는 것이 중요합니다. 본 논문에서는 하이라이트 특징을 제한하여 저조도 특징을 더 잘 추출하기 위해 희소 주의 변환기와 CNN(컨볼루션 신경망)을 갖춘 불균일 조명 보정 네트워크(CUI-Net)라는 네트워크를 제안합니다. 구체적으로 CUI-Net은 저조도 향상 모듈과 보조 모듈이라는 두 가지 주요 모듈로 구성됩니다. 향상 모듈은 CNN과 Transformer 네트워크의 장점을 결합한 하이브리드 네트워크로, 고르지 않은 조명 문제를 완화하고 로컬 세부 정보를 더 잘 향상할 수 있습니다. 보조 모듈은 훈련 단계에서 여러 향상 모듈의 향상 결과를 수렴하는 데 사용되므로 추론 속도를 높이기 위해 테스트 단계에서 하나의 향상 모듈만 필요합니다. 또한 이 논문에서는 페어링되거나 페어링되지 않은 학습 데이터 없이 복잡하고 고르지 않은 조명 환경에 적응하기 위해 제로샷 학습을 사용합니다. 마지막으로 알고리즘의 유효성을 검증하기 위해 다양한 유형의 여러 데이터 세트에서 테스트한 결과, 알고리즘은 안정적인 성능을 보여 우수한 견고성을 입증했습니다. 또한 이 알고리즘을 객체 검출, 얼굴 검출, 의미 분할 등 실용적인 시각적 작업에 적용하고, 다른 최첨단 저조도 영상 향상 알고리즘과 비교함으로써 실용성과 장점을 입증했습니다.

저조도 이미지 향상은 수년 동안 연구되어 왔으며 야간 비디오 감시 및 자율주행차와 같은 분야에서 중요한 응용 분야를 가지고 있습니다. 따라서 저조도 이미지 향상 알고리즘을 사용하여 저조도 이미지를 일반 조명 이미지로 복원하면 객체 감지, 객체 추적, 의미론적 분할과 같은 후속 고수준 비전 작업을 위한 견고한 기반이 제공됩니다. 동시에 저조도 영상 향상 기술은 군사 보안, 심해 탐사 등의 분야에서도 필수적입니다1.

저조도 이미지 향상을 위한 전통적인 방법2,3,4,5,6,7은 일반적으로 히스토그램 균등화 및 Retinex 기반 접근 방식을 기반으로 합니다. 이러한 방법은 저조도 영상의 밝기를 높이는 데 어느 정도 효과가 있지만 과도한 강화 및 디테일 손실이 발생하는 경우가 많으며, 계조 수준 감소, 장면 복잡도 및 불안정한 사전 지식으로 인한 과도한 노이즈 및 색상 왜곡이 발생하는 경우가 많습니다. 추출1.

컴퓨터 하드웨어 기술의 발전으로 데이터 처리 속도가 크게 향상되었습니다. 많은 딥러닝 기반 방법8,9,10,11,12,13이 저조도 이미지 향상 분야에서 좋은 성능을 보여주었습니다. 현재 대부분의 저조도 이미지 향상 방법은 신중하게 설계된 CNN 구조를 통해 대량의 데이터에서 저조도 이미지와 일반 조명 이미지의 매핑 관계를 학습하는 CNN(컨벌루션 신경망)을 기반으로 합니다. 그러나 CNN의 컨볼루션 작업 중 제한된 수용 필드는 입력 이미지의 장거리 픽셀 관계를 완전히 고려할 수 없으며 이는 이미지 향상 효과에 영향을 미칩니다. Transformers17,18,19,20,21의 self-attention 메커니즘15,16이 이 문제를 해결할 수 있습니다. Self-Attention 메커니즘은 장거리 종속성을 모델링하여 이미지 세부 정보를 더 잘 보존하고 노이즈의 영향을 줄여 이미지 품질을 향상시킬 수 있습니다. Transformer 기반 방법은 이미지 초해상도23,24, 이미지 노이즈 제거25 및 이미지 디헤이징26과 같은 낮은 수준의 비전 작업에서 중요한 진전을 이루었습니다. 현재 관련 Transformer 방법27,28은 저조도 이미지 향상에도 적용되어 우수한 성능을 달성했습니다. 이는 비국소 정보를 더 잘 모델링하여 고품질 이미지 재구성을 달성할 수 있기 때문입니다. 그러나 이러한 방법은 CNN이 뛰어난 점인 이미지의 로컬 특징을 잘 향상시키지 못합니다. 따라서 최근 연구자들29,30,31에서는 CNN과 Transformer 네트워크를 결합하여 두 네트워크의 장점을 결합하고 해당 작업의 성능을 향상시키려는 시도를 했습니다. 저조도 향상 작업의 경우, 네트워크 아키텍처 설계는 하이라이트 기능보다 저조도 기능이 더 많은 저조도 이미지의 특성에 맞게 조정되어야 합니다. 동시에 실제 장면의 저조도 향상 작업의 경우 쌍을 이루는 데이터 세트가 부족한 실제 장면에서 높은 수준의 비전 작업을 더 잘 해결하려면 제로 샷 학습32 방법이 필요합니다. 특히, 제로샷 학습은 훈련 중에 쌍을 이루는 데이터나 쌍을 이루지 않는 데이터가 필요하지 않음을 의미합니다.