Explorar el Código

Upload Dockerfile: expandable_segments fix + reduced params

Sameric hace 4 meses
padre
commit
1bbc0df33e
Se han modificado 1 ficheros con 2 adiciones y 0 borrados
  1. 2 0
      Dockerfile

+ 2 - 0
Dockerfile

@@ -66,6 +66,8 @@ ENV HF_HOME=/home/user/hf_cache
 ENV TRANSFORMERS_CACHE=/home/user/hf_cache
 ENV TORCH_HOME=/home/user/torch_cache
 ENV PATH="/home/user/.local/bin:$PATH"
+# Limit PyTorch CUDA memory fragmentation and allow expandable segments
+ENV PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
 
 USER user