콘텐츠로 바로 가기
STAGING SERVER
DEVELOPMENT SERVER

pylon AI 시작하기#

이 항목에서는 Pylon AI 기능을 사용하기 위한 개발 환경을 설정하는 방법을 설명합니다.

pylon AI를 사용하려면 다음 구성 요소를 설치해야 합니다:

  • pylon Software Suite
  • pylon AI용 pylon 보조 패키지
    이 주제에서는 보조 패키지의 설치 방법을 설명합니다.
  • 또한 사용하려는 vTool에 대한 라이선스도 필요합니다. 이러한 라이선스를 취득하고 활성화하는 방법에 대한 자세한 내용은 ‘vTool 라이선싱’ 항목을 참조하십시오.

pylon AI용 pylon 보충 패키지는 AI vTools가 딥러닝 모델을 실행할 수 있도록 하는 백엔드 서비스를 제공합니다. 이 백엔드 서비스는 모델 암호화 및 라이선싱을 지원하는 Basler 애드온이 포함된 NVIDIA Triton Inference Server입니다.

다음은 개발 환경에서 Triton 추론 서버가 배치되는 위치에 대한 개요입니다:

AI 개발 환경 개요

Triton Server를 설치하는 방법에는 다음 두 가지가 있습니다:

  • 로컬 컴퓨터에서
  • 네트워크 내의 원격 컴퓨터에서

첫 번째 방법은 혼자서 자신의 프로젝트를 진행할 때 권장되는 반면, 두 번째 방법은 팀으로 작업할 때 더 적합합니다.

Basler는 Triton 서버의 라이브 인스턴스를 제공하지 않으며, 해당 서버를 공개 인터넷 엔드포인트로 노출하는 것을 권장하지 않습니다. 이 서버는 항상 개발 환경의 일부로 간주하고 그에 따라 적절히 보호해야 합니다.

pylon AI용 pylon 보충 패키지에는 pylon AI vTools 및 pylon AI Agent 와 함께 사용할 수 있도록 Triton 추론 서버를 준비하는 수정된 Docker 이미지가 포함되어 있습니다. 또한 이 패키지에는 설정 및 실행 스크립트와 함께 릴리스 노트 및 타사 라이선스 정보도 포함되어 있습니다.

시스템 요구 사항#

Ubuntu 및 WSL용 Ubuntu#

  • x86_64 CPU: 최신 Intel Core i5 (이상) 또는 동급 제품.
  • Memory: 사용 가능한 RAM 최소 8 GB. 사용 가능한 RAM 16 GB 이상을 권장합니다.
  • 디스크 유형: SSD를 권장합니다.
  • 디스크 공간: 설치에 필요한 최소 여유 디스크 공간은 20 GB입니다. 모델 저장소에 필요한 공간은 배포할 모델의 크기와 개수에 따라 달라집니다. 모델의 크기는 개당 몇 메가바이트에서 몇 기가바이트까지 다양할 수 있습니다.
  • CUDA 버전: 12 이상
  • GPU 그래픽 카드: 적합한 그래픽 카드의 예로는 NVIDIA RTX A5000, NVIDIA RTX A2000 노트북용 GPU, NVIDIA Tesla T4 등이 있습니다.

정보

Triton Inference Server를 실행하는 데는 일반 CPU로도 충분합니다. 더 빠른 성능이 필요한 경우, GPU 을 사용하는 것이 좋습니다.

Jetson 제트팩을 착용한 가족 6#

  • 모듈: 모든 NVIDIA Jetson
  • Memory: 사용 가능한 RAM 최소 8 GB. 사용 가능한 RAM 16 GB 이상을 권장합니다.
  • 디스크 유형: SSD를 권장합니다.
  • 디스크 공간: 설치에 필요한 최소 여유 디스크 공간은 20 GB입니다. 모델 저장소에 필요한 공간은 배포할 모델의 크기와 개수에 따라 달라집니다. 모델의 크기는 개당 몇 메가바이트에서 몇 기가바이트까지 다양할 수 있습니다.

전제 조건#

정보

  • 설치 과정 중에는 인터넷 연결이 필요합니다.

  • 사용자의 로컬 컴퓨터에서 8000, 8001, 8002 및 22350 포트가 차단되지 않았는지 확인하십시오.
    사용자 측에서 발생할 수 있는 시나리오가 다양하고 복잡하기 때문에, Basler는 일반적인 해결책을 제공할 수 없습니다. 따라서 잠재적인 접속 문제는 고객이 IT 부서의 지원을 받아 직접 해결해야 합니다.

Ubuntu#

자세한 내용은 ‘Ubuntu에 Docker 설치하기’를 참조하세요.

컴퓨터에 NVIDIA GPU 가 설치되어 있다면, ‘NVIDIA 드라이버 설치’ 및 ‘NVIDIA Container Toolkit’ 문서를 참조하십시오.

WSL용 우분투#

정보

WSL 내부에서는 Linux 에 있는 디스플레이 드라이버를 설치하지 마십시오. 드라이버는 반드시 Windows 에 직접 설치해야 합니다.

WSL에 Ubuntu OS를 설치하려면 다음 지침을 따르세요.

WSL의 Ubuntu에서 Docker를 설치하려면 다음 지침을 따르세요.

Jetson Family (JetPack 6.x)#

기기는 SDK Manager를 사용하여 플래시해야 합니다. JetPack 6.x가 필요합니다. 여기에는 이미 Docker가 포함되어 있습니다.

모든 OS 버전#

운영 체제를 준비한 후, 다음 요구 사항이 충족되는지 확인하십시오.

  • CodeMeter 런타임이 설치되었습니다.
    CodeMeter 런타임의 설치는 pylon Software Suite 설치 과정의 일부입니다.
  • AI vTools 라이선스를 구매하실 수 있습니다.
    자세한 내용은 Basler 웹사이트를 방문해 주십시오.

  • Docker Engine이 설치되었습니다.
    Docker Engine이 설치되었는지 확인하려면:

    docker --version

  • GPU 사용 시: NVIDIA Container Toolkit이 설치되어 있습니다.
    이 툴킷이 설치되어 있는지 확인하려면:

    nvidia-container-toolkit -version

    아직 설치하지 않았다면 다음 섹션을 읽어보세요.

NVIDIA 드라이버 및 NVIDIA Container Toolkit 설치 ( GPU 사용에 필요)#

NVIDIA Container Toolkit은 GPU 기반 가속 연산에 필요한 라이브러리와 도구를 제공합니다. Triton Inference Server는 CUDA를 사용하여 모델 추론과 같은 GPU 기반 가속 연산을 실행합니다. NVIDIA Container Toolkit의 버전은 Triton Server와 배포하려는 모델에서 요구하는 버전과 일치해야 합니다.

NVIDIA 드라이버 버전을 확인하려면 터미널을 열고 다음 명령어를 입력하세요:

nvidia-smi

아직 드라이버나 툴킷이 설치되어 있지 않다면, 다음 페이지의 지침을 따르십시오: https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

이 페이지를 확인하여 사용 중인 NVIDIA 드라이버가 NVIDIA Container Toolkit 및 Triton Inference Server와 호환되는지 확인하십시오: https://docs.nvidia.com/deeplearning/triton-inference-server/release-notes/rel-24-11.html#rel-24-11

Triton 추론 서버 설치#

설치 과정에서 홈 디렉토리에 모델 저장소가 생성됩니다(예: /home/username/pylon_ai/model_repository). 이 경로를 변경해서는 안 됩니다.

온라인 설치#

pylon AI용 pylon 보충 패키지에서 Triton 추론 서버를 설치하려면 다음 단계를 따르십시오:

  1. Basler 웹사이트에서 다운로드한 pylon-supplementary-package-for-pylon-ai-*.tar.gz 아카이브 파일이 있는 디렉토리로 이동하십시오.

  2. pylon AI tar.gz 아카이브에 포함된 pylon 보충 패키지를 원하는 디렉터리에 압축을 풀어주세요(다른 디렉터리에 압축을 풀고 싶다면 ./pylon_ai_setup을 다른 경로로 변경하세요).

    mkdir pylon_ai_setup && tar -xzvf ./pylon-supplementary-package-for-pylon-ai-*.tar.gz -C pylon_ai_setup

  3. pylon AI용 pylon 보충 패키지를 추출한 폴더로 이동하세요.

    cd pylon_ai_setup

  4. 루트 권한으로 설치 스크립트를 실행하십시오.

    sudo chmod +x setup-pylon-ai-triton-inference-server.sh && sudo ./setup-pylon-ai-triton-inference-server.sh

오프라인 설치#

인터넷에 연결할 수 없는 경우에는 다음 단계를 따르십시오.

  1. 인터넷에 연결된 컴퓨터에서 Docker Hub에 접속하여 Basler Triton Server Docker 이미지를 다운로드하세요.
    이 이미지는 다음 링크에서 확인할 수 있습니다: https://hub.docker.com/repository/docker/basler/tritonserver/general

  2. Triton Server를 설치할 컴퓨터에 이미지를 전송하십시오.
    다음 명령어를 사용하여 1단계와 2단계를 수행할 수 있습니다.

    docker pull basler/tritonserver:[tagname]

    docker save basler/tritonserver:[tagname] | gzip > tritonserver.[tagname].tgz

    예: 

    docker image save basler/tritonserver:24.11-py3_1.3.0 | gzip > tritonserver.24.11-py3_1.3.0_rc4.tgz

  3. Basler 웹사이트에서 다운로드한 pylon-supplementary-package-for-pylon-ai-*.tar.gz 아카이브 파일이 있는 디렉토리로 이동하십시오.

  4. pylon AI tar.gz 아카이브에 포함된 pylon 보충 패키지를 원하는 디렉터리에 압축을 풀어주세요(다른 디렉터리에 압축을 풀고 싶다면 ./pylon_ai_setup을 다른 경로로 변경하세요).

    mkdir pylon_ai_setup && tar -xzvf ./pylon-supplementary-package-for-pylon-ai-*.tar.gz -C pylon_ai_setup

  5. 저장된 .tar 파일을 pylon_ai_setup 폴더에 복사하십시오.

  6. 루트 권한으로 설치 스크립트를 실행하십시오.

    sudo chmod +x setup-pylon-ai-triton-inference-server.sh && sudo ./setup-pylon-ai-triton-inference-server.sh

Triton 추론 서버 시작하기#

이 섹션에서는 추론 서버를 시작하는 세 가지 방법을 자세히 설명합니다. 서버 및 vTools를 원격으로 실행하는 것과 관련된 다음 정보를 참고하여, 사용자의 필요에 가장 적합한 방법을 선택하십시오.

추론 서버를 실행하면, 서버는 모델 저장소가 기본 위치(즉, /home/username/pylon_ai/model_repository)에 있을 것으로 예상합니다. 실수로 저장소의 이름을 변경하거나 삭제한 경우, 서버를 다시 설치하여 저장소를 새로 생성해야 합니다.

서버 및 vTools 원격 실행

원격 컴퓨터에서 Triton Inference Server를 실행 중이고, 다른 위치에서 AI vTools 또는 AI Agent도 실행 중인 경우, 다음의 중요한 제한 사항 및 고려 사항을 유의해야 합니다.

  • 추론 요청을 수행하는 vTools와 Triton Inference Server 간에 데이터가 이동하는 데 걸리는 시간은 전체 응답 시간에 영향을 미칠 수 있습니다.
  • 지연 시간이 길어지면 특히 실시간 애플리케이션의 경우 추론 프로세스가 느려질 수 있습니다.
  • 네트워크 대역폭이 제한되면 특히 대량의 데이터를 전송할 때 통신이 느려지거나 불안정해질 수 있습니다.
  • 원격 기능을 사용하려면 포트 8000, 8001 및 8002에 대한 접근이 가능해야 합니다. (이를 위해서는 IT 부서의 지원이 필요할 수 있습니다. 예를 들어, 방화벽 및 프록시 설정 확인 등이 필요합니다.)

필요할 때 서버 시작하기#

컴퓨터가 시작될 때 Triton Inference Server를 Docker 컨테이너로 실행하지 않으려면, 다음 셸 스크립트를 사용하여 필요할 때 Triton Inference Server를 시작할 수 있습니다.

  1. pylon AI용 pylon 보충 패키지를 추출한 폴더로 이동하세요.

  2. Triton 추론 서버를 실행합니다.

    sudo chmod +x run-pylon-ai-triton-inference-server.sh && sudo ./run-pylon-ai-triton-inference-server.sh

부팅 시 서버 시작#

컴퓨터를 부팅할 때 Triton Inference Server Docker 컨테이너를 자동으로 시작하거나, 시스템이 중단된 경우 자동으로 다시 시작하려면, “run-pylon-ai-triton-inference-server.sh” 셸 스크립트를 추가 매개변수와 함께 실행하여 필요에 맞는 systemd 서비스를 생성할 수 있습니다.

  1. pylon AI용 pylon 보충 패키지를 추출한 폴더로 이동하세요.

  2. 설치 프로그램 스크립트를 실행합니다.

    sudo chmod +x run-pylon-ai-triton-inference-server.sh && sudo ./run-pylon-ai-triton-inference-server.sh --service

Triton Inference Server를 서비스로 설치한 후에는 필요에 따라 일시적으로 중지할 수 있습니다. 단, 기기를 재부팅하면 자동으로 다시 시작된다는 점을 유의하시기 바랍니다.

Triton 추론 서버를 실행하는 systemd 서비스를 일시적으로 중지하려면, (어떤 디렉터리에서든) 터미널을 열고 다음 명령을 실행하십시오:

sudo systemctl stop tritonserver.service

이 서비스를 다시 시작하려면 다음 명령을 실행하여 서비스를 시작해야 합니다:

sudo systemctl start tritonserver.service

이 서비스에서 관리하는 현재 실행 중인 서버에 문제가 있는 경우, 다음 명령을 실행하여 서버를 다시 시작할 수 있습니다:

sudo systemctl restart tritonserver.service

서비스를 영구적으로 비활성화하려면 다음 명령을 실행하면 됩니다:

sudo systemctl disable tritonserver.service

라이선싱#

라이선스 정보는 여기에서 확인하거나, pylon AI용 pylon 보충 패키지에 포함된 라이선스 파일에서 확인할 수 있습니다.

문제 해결#

CodeMeter Pylon 설치 과정에서 트리톤 추론 서버가 필요한 라이선스에 접근할 수 있도록 구성됩니다.

드물게 이 방법이 실패할 수도 있습니다. 그럴 경우, CodeMeter 을 네트워크 서버로 설정하십시오:

  1. CodeMeter 제어 센터를 열고 오른쪽 하단의 WebAdmin 버튼을 클릭합니다.
  2. CodeMeter WebAdmin에서 [구성 ] > [서버 ] > [ 서버 액세스]로 이동합니다.
  3. “네트워크 서버 ” 영역에서 “사용”을 선택한 후 “적용”을 클릭하여 확인합니다.
  4. CodeMeter 제어 센터로 돌아가세요.
  5. '프로세스' 메뉴에서 ' CodeMeter 서비스 다시 시작'을 클릭하여 CodeMeter 을 네트워크 서버로 다시 시작하십시오.

알려진 문제#

Jetson 에서 발생한 ONNX 런타임 오류 Orin

Jetson Orin 기기에서 다음을 실행할 때 런타임 오류가 발생합니다. run-pylon-ai-triton-inference-server.sh 장치가 저전력 모드로 실행 중인 경우 이 명령어가 표시됩니다. 하지만 로드하려는 모델은 여전히 로드됩니다. 이 오류를 방지하려면 Jetson Orin에서 더 높은 전력 모드로 설정하십시오.