4xTesla T4 64GB 本地大语言模型推理服务器搭建记录

用户使用4张Tesla T4 16GB GPU（总计64GB显存）搭建本地大语言模型推理服务器，配置768GB DDR4 ECC内存和4块1TB三星870 EVO固态硬盘，运行Ubuntu 26.04系统，通过llama.cpp与OpenWebui提供推理服务。相比旧主机更多核心的CPU配置，当前推理速度表现出色，计划扩展更多GPU。