콘텐츠로 바로 가기
STAGING SERVER
DEVELOPMENT SERVER

pylon AI Agent#

pylon AI Agent는 딥 러닝(DL) 모델을 관리하고 애플리케이션 내의 pylon AI vTools에 배포하는 데 도움을 주는 독립형 애플리케이션입니다.

DL 모델은 하드웨어 구성 등과 함께 번들로 패키징되어 pylon AI Platform을 통해 릴리스됩니다. 릴리스된 후에는 pylon AI Agent를 사용하여 Triton Inference Server에서 pylon AI vTools용 모델을 배포합니다.

Triton Inference Server가 추론 프로세스를 처리합니다. 딥 러닝의 맥락에서 추론이란 학습된 모델을 새롭고 보지 못한 데이터에 적용하여 콘텐츠에 대한 예측을 수행하는 것을 의미합니다.

pylon AI Agent 개요#

AI Agent를 시작하는 방법에는 두 가지가 있습니다:

  • pylon Viewer의 Workbench 메뉴에서
  • vTool의 설정 대화상자에서
    vTool에서 pylon AI Agent 시작하기

두 방법 모두 Deployed Models 탭에서 AI Agent를 엽니다. 여기에서 이미 배포된 모델을 확인할 수 있습니다.

pylon AI Agent - Deployed Models 탭

모델을 배포하려면 pylon AI Platform을 통한 배포 또는 하드 드라이브나 플래시 드라이브와 같은 스토리지에서의 배포 중 하나를 선택할 수 있습니다.

pylon AI Platform을 통한 배포#

pylon AI Platform을 통해 모델을 배포하려면 다음 사항을 유의해야 합니다:

  • AI Agent를 Workbench 메뉴에서 연 경우, Deploy via pylon AI Platform 탭에서 모든 비전 작업에 사용할 수 있는 모델을 볼 수 있습니다.Workbench 메뉴에서 연 pylon AI Agent - 플랫폼을 통한 배포

  • vTool의 설정 대화상자에서 AI Agent를 연 경우, 현재 구성 중인 vTool에 적합한 모델 페이지만 볼 수 있습니다. 다음 스크린샷에서는 Classification vTool의 설정 대화상자에서 AI Agent가 열렸습니다.
    vTool 설정 대화상자에서 연 pylon AI Agent - 플랫폼을 통한 배포

스토리지에서 배포#

스토리지에서 모델을 배포하려면 먼저 AI Platform에서 원하는 모델이 포함된 번들을 원하는 스토리지 매체에 다운로드해야 합니다.

pylon AI Agent - Deploy from Storage 탭

모델 배포#

  1. Triton Inference Server를 시작합니다.
    지침은 pylon AI용 pylon Supplementary Package에 포함된 Install 문서를 참조하십시오.
  2. 다음 방법 중 하나로 pylon AI Agent를 시작합니다:
    • pylon Viewer의 Workbench 메뉴에서
    • vTool의 설정 대화상자에서
      pylon AI Agent가 Deployed Models 탭에서 열립니다. 여기에서 이미 배포된 모델을 확인할 수 있습니다.

  3. 저장소 또는 pylon AI Platform을 통해 새 모델을 배포할지 여부를 결정합니다.

    • 저장소에서 배포

      1. 아직 다운로드하지 않은 경우 pylon AI Platform에서 원하는 번들을 다운로드합니다.
      2. Deploy from Storage 탭으로 이동합니다.
      3. 번들을 드롭 영역에 끌어다 놓거나 폴더 아이콘을 클릭하여 원하는 번들 파일을 찾습니다.
        로컬 또는 원격 스토리지 위치를 사용할 수 있습니다.
      4. Deploy를 클릭합니다.
      5. 다음 파라미터 블록에서 서버 선택 대화 상자에서 모델을 배포할 Triton Inference Server를 선택합니다.
        서버 선택
      6. OK를 클릭합니다.
        배포가 즉시 시작됩니다. 배포가 완료되면 메시지가 표시됩니다.

    • Deploy via pylon AI Platform

      1. Deploy via pylon AI Platform 탭으로 이동합니다.
      2. Log in 버튼을 클릭하여 pylon AI Platform에 로그인합니다.
        로그인할 수 있는 AI Platform으로 이동합니다. 이후 웹 페이지가 닫히고 AI Agent로 자동 복귀됩니다. 그렇지 않은 경우 AI Agent로 직접 돌아와 계속 진행하세요.
      3. 테이블에 나열된 번들 중 하나 이상을 선택합니다.
      4. Deploy를 클릭합니다.
      5. 다음 파라미터 블록에서 서버 선택 대화 상자에서 모델을 배포할 Triton Inference Server를 선택합니다.
        서버 선택
      6. OK를 클릭합니다.
        배포가 즉시 시작됩니다. 배포가 완료되면 메시지가 표시됩니다.

일반적인 고려사항#

  • Model naming: Triton Inference Server에 동일한 이름의 여러 모델을 배포할 수 없습니다. Triton Inference Server의 모델 리포지토리 내에서 각 모델은 고유한 이름을 가져야 합니다. Triton Inference Server가 모델 이름을 식별자로 사용하여 추론 요청을 적절한 모델에 관리하고 라우팅하기 때문에 고유한 이름이 필요합니다. 이름이 같은 모델이 두 개 있는 경우 서버가 이들을 구별할 수 없습니다.
  • Network latency and bandwidth: 충분한 대역폭을 확보하십시오. 대형 모델은 대역폭이 제한된 네트워크에서는 다운로드하는 데 오랜 시간이 걸릴 수 있습니다.
  • Sufficient local storage: Triton Inference Server는 다운로드한 모델을 캐시하거나 임시로 저장할 수 있는 충분한 로컬 스토리지가 필요합니다. 로컬 스토리지가 부족한 경우, 대용량 모델 또는 여러 모델을 동시에 배포할 때 문제가 발생할 수 있습니다.
  • 서버 및 vTools 원격 실행: 원격 컴퓨터에서 Triton Inference Server를 실행하고 다른 위치에서도 AI vTools를 실행하는 경우 다음과 같은 중요한 제한 사항과 고려 사항에 유의하십시오.
    • 추론 요청을 수행하는 vTools와 Triton Inference Server 간에 데이터가 이동하는 데 걸리는 시간은 전체 응답 시간에 영향을 미칠 수 있습니다.
    • 지연 시간이 길어지면 특히 실시간 애플리케이션의 경우 추론 프로세스가 느려질 수 있습니다.
    • 네트워크 대역폭이 제한되면 특히 대량의 데이터를 전송할 때 통신이 느려지거나 불안정해질 수 있습니다.