diff --git a/CMakeLists.txt b/CMakeLists.txt
index 48e3238df..b46c2adf9 100644
--- a/CMakeLists.txt
+++ b/CMakeLists.txt
@@ -182,6 +182,7 @@ if (LLAMA_CUBLAS)
     cmake_minimum_required(VERSION 3.17)
 
     find_package(CUDAToolkit)
+
     if (CUDAToolkit_FOUND)
         message(STATUS "cuBLAS found")
 
@@ -197,6 +198,23 @@ if (LLAMA_CUBLAS)
             set(LLAMA_EXTRA_LIBS ${LLAMA_EXTRA_LIBS} CUDA::cudart CUDA::cublas CUDA::cublasLt)
         endif()
 
+        if (CMAKE_VERSION VERSION_LESS 3.25)
+            if (NOT MSVC)
+                if (LLAMA_STATIC)
+                    set(LLAMA_EXTRA_LIBS ${LLAMA_EXTRA_LIBS} -lcufile_static)
+                else()
+                    set(LLAMA_EXTRA_LIBS ${LLAMA_EXTRA_LIBS} -lcufile)
+                endif()
+            else()
+                message(FATAL "TODO: cufile on Windows")
+            endif()
+        else()
+            if (LLAMA_STATIC)
+                set(LLAMA_EXTRA_LIBS ${LLAMA_EXTRA_LIBS} CUDA::cufile_static)
+            else()
+                set(LLAMA_EXTRA_LIBS ${LLAMA_EXTRA_LIBS} CUDA::cufile)
+            endif()
+        endif()
     else()
         message(WARNING "cuBLAS not found")
     endif()