/opt/nim/start_server.sh

--chown=nim:nim NOTICE /opt/nim/NOTICE

--chown=nim:nim MODEL_LICENSE /opt/nim/MODEL_LICENSE

--chown=nim:nim model_manifest.yaml /opt/nim/etc/default/model_manifest.yaml

--chown=nim:nim VERSION /opt/nim/VERSION

--chown=nim:nim LICENSE /opt/nim/LICENSE

INFERENCE_MICROSERVICE_LLM_NIM_VERSION=2.0.2

NIM_SERVED_MODEL_NAME=meta/llama-3.1-8b-instruct

NIM_HTTP_API_PORT=8000

NIM_MODEL_NSPECT_ID=NSPECT-0DQP-LNLV