Przeglądaj źródła

Upload Dockerfile: expandable_segments fix + reduced params

Sameric 4 miesięcy temu
rodzic
commit
1bbc0df33e
1 zmienionych plików z 2 dodań i 0 usunięć
  1. 2 0
      Dockerfile

+ 2 - 0
Dockerfile

@@ -66,6 +66,8 @@ ENV HF_HOME=/home/user/hf_cache
 ENV TRANSFORMERS_CACHE=/home/user/hf_cache
 ENV TORCH_HOME=/home/user/torch_cache
 ENV PATH="/home/user/.local/bin:$PATH"
+# Limit PyTorch CUDA memory fragmentation and allow expandable segments
+ENV PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
 
 USER user