Image Composition Using Exposure Fusion

간략한 설명

파일: \examples\Processing\HDR_ImageComposition\ExposureFusion\ExposureFusion.vad

기본 플랫폼: mE5-MA-VCL

요약 설명

노출 시간이 다른 최대 16장의 이미지로 구성된 이미지를 하나로 합성하여 과다 노출이나 과소 노출 픽셀 없이 전체 이미지에서 세부 사항과 대비를 보여줍니다. 이 예시는 High Dynamic Range Imaging에 대한 간단한 대안입니다.

노출 융합(Exposure fusion)은 서로 다른 Exposure Time을 가진 이미지들을 하나의 이미지로 결합합니다. 이 결과 이미지에서는 저노출 및 과노출 픽셀이 방지되고 디테일이 온전히 보존됩니다. 노출 융합의 목적은 HDR(High Dynamic Range) Imaging(섹션 및 참조)과 유사하지만, 이 방법과 달리 획득한 이미지의 밝기 다이내믹 레인지는 확장되지 않습니다. 노출 융합은 단순히 시퀀스 이미지의 가장 좋은 부분들을 취해 하나의 결과 이미지로 결합합니다. 사용자는 획득한 이미지의 Exposure Time을 알 필요가 없으므로 노출 융합을 더 쉽게 다룰 수 있습니다. 결과 이미지의 Quality는 HDRI 알고리즘을 사용한 것보다 약간 떨어집니다. 다음에서는 "ExposureFusion.vad"에 구현된 노출 융합 알고리즘을 소개합니다.

노출 융합(Exposure Fusion) 이론

[Mer07]에 따른 노출 융합 알고리즘은 가중 블렌딩을 사용하여 길이가 N인 시퀀스의 이미지들을 결과 이미지로 결합합니다. :

식 44.


여기서 은(는) 시퀀스의 k번째 이미지에 있는 위치에 있는 픽셀의 각 색상 구성 요소(빨간색, 초록색, 파란색)에 대한 가중치입니다.

식 45.


은(는) 위치에서의 픽셀 값에 따라 달라지는 가중치 함수이며, 이 픽셀이 적절히 노출되었는지를 나타내는 척도입니다. "ExposureFusion.vad"에서 은(는) 픽셀 값이 127까지는 선형 함수입니다. 128부터 255 사이의 픽셀 값에 대해, 은(는) 127로 설정됩니다. 요구 사항에 따라 사용자는 섹션에 설명된 대로 이 가중치 함수를 쉽게 변경할 수 있습니다. 예: [Mer07]에 따름. 대비나 채도와 같은 Quality 척도([Mer07] 참조)는 이 레퍼런스 디자인에 구현되어 있지 않습니다. 식 45 에서 분모의 빨간색, 초록색, 파란색 색상 구성 요소에 대한 합산은 결과 이미지의 픽셀이 원래 이미지의 색상 정보를 잃지 않도록 방지합니다.

VisualApplets에서의 구현

그림 358에는 "ExposureFusion.vad"의 기본 디자인 구조가 나와 있습니다.

"ExposureFusion.vad"의 기본 디자인 구조

그림 358. "ExposureFusion.vad"의 기본 디자인 구조


Camera Link 베이스 구성의 RGB 카메라에서 나온 시퀀스 이미지들은 HierarchicalBox ExposureFusion의 식 44에 있는 알고리즘에 따라 하나의 결과 이미지로 결합됩니다. 시뮬레이션을 위해 최대 1024x1024 픽셀 크기의 이미지 최대 16장을 시뮬레이션 소스 TestImages에 로드하십시오. Exposure Time과 관련된 이미지의 순서는 중요하지 않습니다! 상자 ExposureFusion을 "마우스 우클릭"하여 이미지 시퀀스 길이와 입력 이미지의 크기를 설정할 수 있습니다. 최대 이미지 수는 16개이며 최대 이미지 크기는 1024x1024 픽셀입니다. 출력 이미지는 DMA를 통해 PC로 전송됩니다. 그림 359에는 HierarchicalBox ExposureFusion의 내용이 나와 있습니다.

HierarchicalBox ExposureFusion의 콘텐츠

그림 359. HierarchicalBox ExposureFusion의 콘텐츠


박스 ImageSequence 시퀀스의 이미지들이 하나의 큰 이미지로 결합됩니다. 위치의 픽셀들 이미지들이 이웃으로 배치됩니다. 박스 ImageComposition 식에 따른 노출 융합(exposure fusion) 알고리즘 44 이 구현되어 있습니다. 그림에서 그 콘텐츠를 확인할 수 있습니다. 360.

HierarchicalBox ImageComposition의 콘텐츠

그림 360. HierarchicalBox ImageComposition의 콘텐츠


구성품 중량 가중치 함수 (식 참조 45)가 픽셀 값에 따라 각 컬러 컴포넌트에 대해 구현됩니다. 박스의 콘텐츠를 확인할 수 있습니다. 중량 에서 361.

HierarchicalBox Weight의 콘텐츠

그림 361. HierarchicalBox Weight의 콘텐츠


박스들의 각 컬러 컴포넌트에 대한 가중치 함수들 Red, Green 및 Blue 식에 따라 합산됩니다. 45. 그림에서 362 가중치 함수를 볼 수 있습니다. 적색(red) 컬러용.

Weight 박스 내 Red HierarchicalBox의 콘텐츠

그림 362. Weight 박스 내 Red HierarchicalBox의 콘텐츠


픽셀 값 127까지는 함수가 선형입니다. 픽셀 값 128부터 255까지는, 이(가) 127로 설정됩니다. 룩업 테이블 오퍼레이터 LUT_Weights 을(를) 사용하면 사용자가 요구 사항에 맞게 가중치 함수를 손쉽게 조정할 수 있습니다. 또한 ClipHigh 및 CastBitWidth 오퍼레이터의 파라미터를 변경하거나(삭제하는 것까지도) 사용자에게 이러한 가능성을 제공합니다. 상자 내용으로 돌아가서 ImageComposition. 여기서는 eq.에 따라44 빨강, 초록, 파랑 색상 성분의 픽셀 값이 가중치 함수 그리고 상자 내 값이 3인 상수 Const 와(과) 곱해집니다 Red, Green 및 Blue. 박스의 콘텐츠는 그림 Red 에서 363.

ImageComposition 상자의 HierarchicalBox Red 내용

그림 363. ImageComposition 상자의 HierarchicalBox Red 내용


여기서 이(가) 모든 이미지에 대해 합산됩니다. 그런 다음 식에 따라 45(으)로 나눕니다. 마지막으로 색상 성분이 병합되고(그림 360 참조) 출력 이미지가 PC로 전송됩니다. 그림 364 에서 그림 365의 결과 이미지와 함께 5개의 예시 입력 이미지를 확인할 수 있습니다. 결과 이미지에는 과소 노출 및 과다 노출된 픽셀이 없으며 세부 정보가 보존됩니다.

Exposure Time이 다른 예시 입력 이미지

그림 364. Exposure Time이 다른 예시 입력 이미지


노출 융합(exposure fusion) 후 5개의 예시 입력 이미지의 결과 이미지

그림 365. 노출 융합(exposure fusion) 후 5개의 예시 입력 이미지의 결과 이미지