noonghunna/club-3090:README 来源编辑指南
基于 README、仓库元数据和许可证整理 noonghunna/club-3090 的安装与核验路径。
项目定位
noonghunna/club-3090 的 README 将项目描述为"Community recipes for serving LLMs on RTX 3090/4090/5090 CUDA gpus. Multi-engine (vLLM, llama.cpp, ikllama) and model-agnostic. Currently shipping Qwen3.6-27B Qwen3.6 35B Gemma 4 26B Gemma 4 31B configs for 1× and 2× cards."。本文只整理仓库能直接核验的内容,不把星标、Fork 或宣传语当成质量证明。README 在"club-3090"下的说明是:Recipes for serving LLMs locally on RTX 3090s. Multi-engine (vLLM, llama.cpp, ikllama), multi-model, model-agnostic by design.。这给出的首先是项目边界,而不是已经完成的生产验证。
适用场景
从 README 的"TL;DR , what this is"和相关条目看,读者可以先判断它是否解决自己的具体问题:🏎 vLLM dual = max throughput. Up to 127 TPS code (DFlash) or 4 concurrent streams @ 262K (turbo). Full feature stack (vision · tools · MTP · streaming).。如果你的目标与这段说明不一致,就不应仅凭项目热度采用它。这里保留原项目名、命令和组件名,方便回到一手来源核对。 README 还列出了另一条可核对的信息:Two complementary routes , pick by what your workload breaks on:。这类原文条目可以帮助读者设计试运行步骤,但不能代替自己的环境测试。
工作方式
README 把工作方式分散写在"club-3090"等段落中。可确认的线索包括:> 🎯 4090 or 5090 owner? The composes run cross-rig , contributors have benched both with measured numbers: Can I use a 4090? → + cross-rig benchmark rows live in the FAQ.。这篇整理没有把未写出的架构、性能或安全边界补成结论;真正的运行链仍应结合仓库目录、配置文件和版本标签检查。
安装与第一次运行
第一次安装应从 README 给出的入口开始。当前可复核的命令是: # 1. Clone the repo git clone https://github.com/noonghunna/club-3090.git cd club-3090 # Profile compatibility tooling requires PyYAML. Ubuntu LTS usually has it via # python3-yaml; otherwise run: python3 -m pip install pyyaml # 2. Pick/download + SHA-verify the model (interactive hardware-aware picker) # (asks you which model, then where to put model weights , pick in-repo # default, ~/models, or a custom path on a different drive. To skip prompts: # `export MODEL_DIR=/path/to/mode 如果仓库没有提供命令,本文不会替它编造安装步骤,而是建议先打开 README 的"Quick start"部分,确认系统依赖、默认端口和首次初始化动作。
配置与日常使用
日常使用的细节取决于项目实际文档。README 的"club-3090"段落提到:> 🎨 Want image generation too? The Image Studio bundle runs Ideogram-4 image gen + a chat model + Open WebUI together on two GPUs , one command: bash scripts/setup-image-studio.sh.。对于配置文件、环境变量、权限和数据目录,当前稿只记录来源明确的部分;未写明的默认值必须在测试环境中验证,并保留可回滚的配置副本。 同一部分还提到:🛡 llama.cpp single = max robustness. Full 200K context on one 3090 (max-safe , fills cleanly with margin; see CLIFFS , slower than vLLM dual but doesn't crash on real-world tool-using agents.。