NVIDIA NIM for NV-EmbedQA-E5-V5

Setup Environment

First create your namespace and your secrets

\nNAMESPACE=nvidia-nims\nDOCKER_CONFIG='{\"auths\":{\"nvcr.io\":{\"username\":\"$oauthtoken\", \"password\":\"'${NGC_API_KEY}'\" }}}'\necho -n $DOCKER_CONFIG | base64 -w0\nNGC_REGISTRY_PASSWORD=$(echo -n $DOCKER_CONFIG | base64 -w0 )\n\nkubectl create namespace ${NAMESPACE}\nkubectl apply -n ${NAMESPACE} -f - <<EOF\napiVersion: v1\nkind: Secret\nmetadata:\n  name: nvcrimagepullsecret\ntype: kubernetes.io/dockerconfigjson\ndata:\n  .dockerconfigjson: ${NGC_REGISTRY_PASSWORD}\nEOF\nkubectl create -n ${NAMESPACE} secret generic ngc-api --from-literal=NGC_API_KEY=${NGC_API_KEY}\n\n

Install the chart

helm upgrade \\\n    --install \\\n    --username '$oauthtoken' \\\n    --password \"${NGC_API_KEY}\" \\\n    -n ${NAMESPACE} \\\n    --set persistence.class=\"local-nfs\" \\\n    text-embedding-nim \\\n    https://helm.ngc.nvidia.com/nim/nvidia/charts/text-embedding-nim-1.2.0.tgz\n\n

Set the Container Image

Add the following to update the container image for the helm chart:

--set image.repository=\"nvcr.io/nim/nvidia/nv-embedqa-e5-v5\" \\\n--set image.tag=\"1.2.0\" \\\n

Parameters

Deployment parameters

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n