이미지 Quality 최적화#
Camera parameters(예: frame rate, Exposure Time, gain)는 이미지 캡처 시기와 방법을 결정합니다. 그 외에도 이미지 Quality에 큰 영향을 미칩니다. 3차원 이미지의 Quality를 더욱 향상시키기 위해 조정할 수 있는 여러 stereo matching parameters가 있습니다.
두 유형의 파라미터 모두 pylon 3D Viewer를 사용하여 구성할 수 있습니다. 이를 통해 각 image windows에서 설정 변경 효과를 즉시 확인할 수 있습니다.
Camera Parameters#
변경 사항을 확인하려면 Intensity image window를 사용하십시오.
프레임 속도#
달성 가능한 최대 frame rate(초당 프레임 수 = fps)는 카메라 구성과 호스트 시스템의 하드웨어 모두에 따라 달라집니다. 여러 주요 요인이 프레임 레이트에 영향을 미칩니다.
- Illumination Control: 프로젝터의 듀티 사이클은 최대 2.5%로 제한됩니다. 최대 5ms의 Exposure Time와 결합되어 이미지 캡처 속도가 제한됩니다.
- Exposure Time: Exposure Time은 이미지 취득 사이의 간격에 직접적인 영향을 미칩니다. Exposure Time이 짧을수록 더 높은 프레임 레이트가 가능하며, Exposure Time이 길어지면 가능한 최대 프레임 레이트가 낮아집니다.
- Depth Calculation: 3차원 이미지 계산에 필요한 시간은 다음을 통해 설정된 해상도에 따라 달라집니다.
BslDepthResolution파라미터 및 호스트 시스템에서 사용할 수 있는 처리 하드웨어(CPU 또는 GPU). 해상도가 높고 하드웨어 성능이 낮을수록 처리 시간이 늘어나므로 달성 가능한 프레임 레이트가 낮아집니다.
프레임 레이트는 GigE Vision 인터페이스를 통해 전송되는 이미지의 수를 결정합니다. 프레임 레이트를 낮추면 네트워크 부하뿐만 아니라 Stereo ace 카메라와 수신 호스트 컴퓨터 모두의 컴퓨팅 부하를 크게 줄일 수 있습니다. 많은 응용 분야에서 시스템의 기능을 충족하는 동시에 응용 분야의 요구 사항을 충족하기 위해 프레임 레이트를 낮추거나 낮추어야 합니다.
Exposure Time 및 Gain#
Exposure Time은 이미지 취득 중에 이미지 센서가 빛에 노출되는 시간입니다. 캡처된 이미지의 밝기에 영향을 미칩니다. Exposure Time은 일반적으로 수 밀리초 정도입니다. 장면에 빛이 적을 경우 더 긴 Exposure Time이 필요합니다. 그러나 Exposure Time이 길면 장면의 물체나 Stereo ace 카메라 자체가 움직일 때 블러 현상이 발생할 수 있습니다.
이미지 밝기에 영향을 미치는 두 번째 파라미터는 gain입니다. gain은 이미지의 밝기를 높여주는 증폭 계수입니다. 하지만 동시에 이미지 노이즈도 증가합니다.
Exposure Time과 gain을 구성하면 장면의 중심에 있는 물체 등 응용 분야와 관련된 장면에 집중할 수 있습니다. 관심 영역 내의 과다 노출은 피해야 하지만 응용 분야와 관련이 없는 장면 부분에서는 허용될 수 있습니다.
일반적으로 픽셀이 너무 빨리 포화되어 과다 노출된 영역의 정보가 손실되기 때문에 이미지 처리에는 과다 노출이 과소 노출보다 더 나쁩니다. 대조적으로 과소 노출된 영역에는 이미지 처리에 충분한 정보가 포함되어 있는 경우가 많습니다. 따라서 이미지가 너무 밝은 것보다는 어둡게 파라미터를 구성하는 것이 좋습니다.
gain은 조명이 어두운 환경에서만 높이거나 모션 블러를 방지하기 위해 Exposure Time을 줄이려는 경우에만 높여야 합니다. 일반적인 규칙으로 gain 값은 항상 가능한 한 낮아야 합니다.
Stereo Matching Parameters#
변경 사항을 확인하려면 Point Cloud, Depth Map, Confidence image windows를 사용하십시오.
Working Range#
먼저 응용 분야의 working range을 고려해야 합니다. 다음을 설정하여 BslDepthMaxDepth 파라미터를 특정 값으로 설정하면 더 멀리 있는 depth 이미지의 모든 픽셀이 무효화됩니다. 이는 응용 분야와 관련이 없는 장면의 일부를 제외하는 간단한 방법입니다.
마찬가지로, 다음과 같이 늘릴 수 있습니다. BslDepthMinDepth 지정된 거리보다 Stereo ace 카메라에 더 가까이 위치할 타겟 오브젝트가 없다고 확실한 경우 이 파라미터를 사용하십시오. 최소 거리를 늘리면 깊이 이미지 연산에 소요되는 시간이 줄어들어 프레임 레이트가 향상되는 이점이 있습니다.
지연 시간#
일부 애플리케이션에서는 깊이 값의 품질보다 깊이 이미지가 연산되는 지연 시간이 더 중요할 수 있습니다. 이 경우 다음 파라미터를 줄일 수 있습니다. BslDepthResolution 파라미터를 다음에서 Full (으)로 High 또는 Low으로 변경합니다. 깊이 해상도가 낮아지면 스테레오 매칭 이전의 이미지 크기가 줄어듭니다. 이로 인해 처리 시간이 단축되고 달성할 수 있는 프레임 레이트가 크게 향상됩니다. 단, 깊이 이미지 연산을 위한 프레임 레이트는 항상 카메라의 프레임 레이트 설정에 의해 제한됩니다.
호스트 측 전송 및 디스플레이 부하가 병목 현상인 경우, 다음 항목을 줄일 수도 있습니다. BslIntensityResolution.
위에서 설명한 바와 같이, 지연 시간을 줄이고 달성 가능한 프레임 레이트를 높이는 데도 도움이 되므로 가능한 경우 최소 깊이를 늘려야 합니다.
Density#
밀도는 이미지에 유효하지 않은 픽셀이 얼마나 많은지를 나타내는 지표입니다. 밀도가 높을수록 유효하지 않은 픽셀이 적다는 의미입니다. 깊이 이미지에는 pylon 3D Viewer에 표시되는 깊이 맵에서 검은색으로 나타나는 유효하지 않은 값이 포함되는 경우가 많습니다. 이는 지정된 working range을 벗어난 장면에 있는 부품뿐만 아니라 오브젝트의 왼쪽 영역에서도 발생합니다. 이는 왼쪽 카메라이며 오른쪽 카메라에서는 배경의 일부가 보이지 않기 때문입니다. 이를 오클루전(Occlusion)이라고 하며 정상적인 현상입니다.
일반적으로 유효하지 않은 픽셀은 바람직하지 않습니다. 이는 스테레오 매칭 방식이 깊이를 연산하지 못하기 때문에 발생합니다. 여기에는 여러 가지 이유가 있습니다. 깊이 이미지의 밀도를 높이기 위해 다섯 가지의 상호 보완적인 전략을 사용할 수 있습니다.
- 이미지 노출 조정: 과노출된 영역에는 매칭에 필요한 정보가 충분하지 않으므로 유효하지 않은 것으로 나타납니다. 또한 이미지 노이즈가 장메의 텍스처보다 강한 경우 영역이 유효하지 않은 것으로 나타날 수 있습니다. Exposure Time and Gain 섹션에서 설명한 대로 Exposure Time 및 Gain 설정을 조정하여 두 가지 문제를 모두 해결할 수 있습니다.
- 정적 장면 활용: 이미지를 캡처하는 동안 장면과 Stereo ace 카메라가 움직이지 않는 경우 Basler는 Static Scene 모드 사용을 권장합니다(
BslDepthStaticScene파라미터). 이 파라미터가 활성화되면 Stereo ace 카메라는 내부적으로 연속된 이미지를 수집하고 이 이미지들의 평균을 내어 노이즈를 줄입니다. 이를 통해 텍스처가 약한 오브젝트에 대해서도 스테레오 매칭이 가능합니다. 이는 종종 훨씬 더 촘촘한 깊이 이미지를 생성합니다. - 프로젝터를 통한 장면 텍스처 개선: 실내 환경에서 유효하지 않은 영역이 발생하는 가장 일반적인 이유 중 하나는 텍스처가 없거나 매우 반복적인 텍스처가 존재하기 때문입니다. 일반적으로 벽과 탁자는 텍스처가 없는 단색입니다. 다른 구조물은 반복성이 매우 높습니다. 두 경우 모두 성공적인 스테레오 매칭에 실제로 도움이 되지 않습니다. 이러한 텍스처가 과도하거나 부족한 오브젝트와 장면에 속하는 부품이 애플리케이션에서 중요한 경우, 프로젝터를 사용하여 인위적으로 텍스처를 추가하는 것이 유일한 캡처 방법입니다.
- Illumination Mode 선택: 장면에 투사된 패턴 없이 강도 데이터를 검색하려면 다음을 사용하십시오.
AlternateActiveIllumination Mode. 이 모드에서는 각 이미지마다 두 번의 노출이 수행됩니다. 하나는 깊이 계산을 위해 프로젝터가 켜진 상태이고 다른 하나는 강도 데이터를 캡처하기 위한 것입니다. 참고 사항:AlternateActive지연 시간이 늘어납니다. Disparity 데이터만 필요한 경우 다음을 설정하여 지연 시간을 줄일 수 있습니다.BslIlluminationMode(으)로AlwaysActive대신AlternateActive. 이렇게 하면 노출되는 동안 프로젝터가 항상 켜져 있습니다. - 조명 구성: 조절합니다. 조명 Property
BslIlluminationStrength및BslIlluminationMode장면에 맞게 투사된 패턴을 최적화합니다. Illumination Strength를 높이면 특히 주변광이 강한 장면에서 투사된 패턴의 가시성을 향상시킬 수 있습니다. 동시에 듀티 사이클 및 최대 활성화 시간을 초과하지 않도록 해야 합니다. 최상의 결과를 얻으려면 적절한 Illumination Mode를 선택하여 프로젝터를 카메라 노출과 동기화하십시오. 내부AlternateActiveIllumination Mode, 주변광이 거의 없고 투사된 패턴이 없는 이미지가 너무 어두운 경우 Illumination Strength를 줄이고 Exposure Time을 늘려 더 나은 이미지 밝기를 달성해 보세요.
Depth Artifacts#
다음과 같은 깊이 아티팩트가 흔히 발생합니다.
- 이상치(Outliers): 일반적으로 Working Range 내 어디에나 나타날 수 있는 작은 깊이 값 패치입니다.
- Geometric errors: 실제 심도에 가깝지만 잘못된 것으로 판정된 심도 값입니다.
필터링 오류는 잘못된 심도 값을 유효하지 않음으로 설정하는 것을 의미합니다. 이 BslDepthFill 파라미터를 사용하면 일반적으로 오류 필터링으로 인해 발생하는 작은 영역을 보간할 수 있습니다. Fill 값이 높을수록 보간할 수 있는 영역의 수가 늘어납니다. 보간되는 영역의 크기는 오류 필터링의 segmentation 설정에 직접적으로 좌우됩니다.
Outliers 은(는) BslDepthSeg 파라미터를 사용하여 필터링할 수 있습니다. 이 파라미터는 제거할 연결된 픽셀의 최대 개수를 제공합니다. 픽셀 수가 적은 모든 패치는 유효하지 않음으로 설정됩니다. 이 크기는 BslDepthFill 파라미터에도 사용됩니다. 이 필터로 인해 발생한 홀은 일반적으로 보간됩니다.
Outliers의 가능성을 줄이는 또 다른 방법은 minimum confidence을(를) 높이는 것입니다. confidence는 픽셀이 outlier가 아닐 확률이기 때문입니다.
잠재적으로 높은 geometric error 이(가) 있는 심도 값은 다음을 사용하여 필터링할 수 있습니다. BslDepthMaxDepthErr 파라미터.
일부 애플리케이션의 경우 심도 이미지의 표면이 부드러워야 합니다. 이는 Smoothing 파라미터를 활성화하여 달성할 수 있습니다.
카메라 이미지에 심도 이미지에서 재구성되지 않은 하이라이트(경면 반사)가 포함된 경우, 이러한 하이라이트가 카메라 프로젝터에 의해 발생했는지 확인할 수 있습니다(예: 프로젝터를 간단히 꺼서 확인). 이 경우 Basler에서는 Double-Shot 모드 사용을 권장합니다.