/opt/nim/start_server.sh

--chown=nim:nim NOTICE_3 /opt/nim/NOTICE_3

--chown=nim:nim NOTICE_2 /opt/nim/NOTICE_2

--chown=nim:nim MODEL_LICENSE /opt/nim/MODEL_LICENSE

--chown=nim:nim model_manifest.yaml /opt/nim/etc/default/model_manifest.yaml

--chown=nim:nim VERSION /opt/nim/VERSION

--chown=nim:nim LICENSE /opt/nim/LICENSE

INFERENCE_MICROSERVICE_LLM_NIM_VERSION=2.0.1

NIM_SERVED_MODEL_NAME=meta/llama-3.1-8b-instruct

NIM_HTTP_API_PORT=8000