diff --git a/Makefile b/Makefile
index f8ad9f146..3b7ff0c4d 100644
--- a/Makefile
+++ b/Makefile
@@ -574,7 +574,7 @@ endif # LLAMA_METAL
 
 ifdef LLAMA_MPI
 ggml-mpi.o: ggml-mpi.cpp ggml-mpi.h
-	$(CC) $(CFLAGS) -c $< -o $@
+	$(CXX) $(CXXFLAGS) -c $< -o $@
 endif # LLAMA_MPI
 
 GF_CC := $(CC)