VisualApplets
기본 및 예제

기본 오퍼레이터

다음 그림과 같이 디자인의 기본 오퍼레이터부터 시작합니다. 모든 기본 파라미터와 링크 Property를 사용할 수 있습니다.

동기화

다음으로 두 카메라의 데이터 스트림을 동기화해야 합니다. 이는 SYNC 오퍼레이터를 사용하여 간단하게 수행할 수 있습니다. SYNC 오퍼레이터는 출력들이 완전히 동기화되도록 입력을 제어합니다. 보시다시피 동기화 전에 두 개의 버퍼 모듈을 사용했습니다. 두 카메라가 100% 동기화된다고 보장할 수 없으므로 이들을 사용해야 합니다.

이미지 데이터를 동기화했음에도 불구하고 여전히 몇 가지 제약 사항에 주의해야 합니다.

오버레이 블렌드

마지막 단계는 두 이미지를 결합하기 위해 오버레이 블렌드를 구현하는 것입니다. 편의를 위해 오버레이 블렌드 구현에 계층적 상자(hierarchical box)를 사용합니다.

오버레이 블렌드는 모든 색상 성분에 개별적으로 적용되어야 합니다. 따라서 링크를 세 가지 색상 성분 모두로 분할해야 합니다. 오버레이 블렌드는 다시 한번 계층적 상자 내부에 배치됩니다. 결과적으로 현재 계층적 상자 내부에 세 개의 계층적 상자가 있게 됩니다. 복사 및 붙여넣기를 사용하여 각 색상 성분에 대한 상자를 복제할 수 있습니다.

We will have varying possibilities to realize the equation given above using VisualApplets operators. In general, you should always try to adapt and optimize an equation for FPGA use before implementing it.

방정식에는 상숫값을 사용하는 일부 곱셈과 나눗셈이 포함됩니다. 이러한 연산은 VisualApplets에서 사용할 수 있지만 FPGA에서 매우 효율적으로 구현되지는 않습니다. 곱셈이나 나눗셈을 2의 거듭제곱 곱셈으로 작성할 수 있는 경우 구현을 위해 간단한 비트 시프트를 사용할 수 있습니다. 비트 시프트는 리소스를 전혀 필요로 하지 않습니다! 우리는 단순화할 것입니다

(으)로

즉, 이는 7비트 오른쪽 시프트이며, 하위 7비트를 버리는 것을 의미합니다.

다음으로, 방정식에는 255에서 ColorA를 뺀 값과 같은 부분들이 있습니다. 이것은 단순한 색상 반전입니다. 흰색은 어둡게, 어두운 부분은 밝게 바뀝니다. 값의 반전은 각 비트를 간단히 반전하는 방식으로도 수행할 수 있습니다. 이를 통해 최종적으로 방정식을 다음과 같이 다시 작성할 수 있습니다:

식 2. FPGA 구현을 위한 최적화된 오버레이 블렌드

이제 구현을 시작할 수 있습니다. 방정식의 나머지 연산들은 VisualApplets 오퍼레이터로 제공됩니다. 다음 항목들이 필요합니다:

시뮬레이션을 통한 검증

1. VisualApplets 시뮬레이션을 사용하여 오버레이 블렌드의 기능을 쉽게 검증할 수 있습니다. 두 개의 시뮬레이션 소스를 사용하여 두 카메라 모두에 이미지를 주입합니다. 원하는 링크에 시뮬레이션 프로브를 배치합니다. 시뮬레이션 결과는 두 이미지의 오버레이를 보여줍니다. 관심이 있는 경우 계층형 상자에서 오버레이의 중간 결과도 확인할 수 있습니다.

   
2. 시뮬레이션은 타이밍이 아닌 앱릿의 기능적 부분만 반영하므로, 시뮬레이션으로는 동기화를 검증할 수 없습니다. 하드웨어에서의 검증이 필요합니다.

트리거 추가

앞서 언급했듯이 버퍼 중 하나에서 오버플로가 발생하는 것을 방지하려면 두 카메라가 동일한 프레임 레이트로 작동해야 합니다. 이는 트리거 시스템을 사용하여 쉽게 해결할 수 있습니다.

기본 오퍼레이터

두 개의 카메라 모듈, 두 개의 버퍼, 하나의 DMA를 사용하는 두 카메라용 표준 디자인이 필요합니다.

이미지 멀티플렉싱

이미지를 멀티플렉싱하기 위해 InsertImage 오퍼레이터를 사용합니다. 이 오퍼레이터는 입력된 이미지를 차례대로 전달합니다. 예를 들어 두 개의 입력을 사용하는 경우, 오퍼레이터는 입력 0, 1, 0, 1, 0, 1, ... 순으로 이미지를 전달합니다. 따라서 하나의 입력이 처리된 후 다음 입력이 사용됩니다. 그러므로 두 입력의 프레임 수가 같아야 하며, 즉 입력들이 동일한 프레임 레이트를 가져야 합니다.

보시다시피 이미지 삽입 전에 이미지 버퍼 모듈을 배치했습니다. 이는 InsertImage 오퍼레이터 자체에는 버퍼가 없기 때문입니다. 입력 0의 이미지가 전달되는 동안 입력 1은 차단되므로 데이터 손실을 방지하기 위해 카메라 이미지를 버퍼링해야 합니다.

각 입력(I0, I1, ...)에 대해 오퍼레이터는 Ins0, Ins1, ...이라는 두 번째 입력을 제공합니다. 이 입력은 이미지를 사용할지 또는 버릴지 제어하는 제어 입력입니다. 따라서 Ins 입력에 값 0이 있으면 입력을 건너뛸 수 있고, 값 1이 제공되면 사용됩니다. 입력 그룹 I와 Ins는 동기화되어야 하며, 즉 O형 오퍼레이터의 임의 네트워크를 통해 동일한 M형 오퍼레이터로부터 소스를 제공받아야 합니다. 자세한 내용은 'Operator Types'를 참조하십시오. 두 입력이 동기화되므로 동일한 이미지 크기를 가져야 합니다. InsertImage는 Ins 입력의 첫 번째 픽셀을 사용하여 이미지 사용 여부를 결정합니다. 이전 스크린샷에서 볼 수 있듯이 이미지 사용을 활성화하기 위해 단순히 CONST 오퍼레이터를 사용했습니다. 삽입을 활성화하려면 CONST 오퍼레이터의 출력 링크 비트 심도를 1비트로 설정하고 "Value" 파라미터를 1로 설정하십시오.

참고: Ins 입력 중 하나의 값이 0인 경우에도 오퍼레이터는 해당 입력의 이미지를 계속 처리해야 합니다. 값이 0이라고 해서 이미지를 제공할 필요가 없다는 의미는 아닙니다. 입력에 이미지가 제공되지 않으면 오퍼레이터는 이미지를 사용할 수 있을 때까지 대기합니다.

언급했듯이 한 번에 하나의 페어 입력만 열리고 나머지는 차단됩니다. 이미지는 서로 다른 버퍼 등에서 비동기적으로 소스를 가져와야 합니다. 다음 그림에서는 작동하지 않는 두 가지 구성을 볼 수 있습니다. 앱릿이 자체적으로 차단되므로 어떠한 결과도 얻을 수 없습니다. 이를 "교착 상태(deadlock)" 조건이라고 합니다.

그림 209. InsertImage를 사용한 교착 상태 구성

다른 입력이 활성화되어 있는 동안 중지된 입력 중 하나를 버퍼링할 수 있는지 항상 확인하십시오. 교착 상태 상황은 DRC나 시뮬레이션으로 감지할 수 없다는 점을 잊지 마십시오. 교착 상태에 대한 자세한 내용은 'Timing Synchronization'에서 확인할 수 있습니다.