armand1m

#!/bin/bash
docker run -d \                                                                                                                                                                     
    --name vllm \
    --restart unless-stopped \                                                                                                                                                        
    --gpus all \                                                                                                                                                                    
    --ipc host \
    --shm-size 64gb \
    --memory 110g \
    --memory-swap 120g \
    --pids-limit 4096 \