LLM-Apps

Open-Source-LLM-Apps und -Frameworks

Das ist die breiteste Gruppe: Chat-Oberflächen, SDKs und Frameworks, Werkzeuge für Prompts und Evaluierung sowie Anwendungen, die auf großen Sprachmodellen aufbauen. Viele funktionieren mit Modellen verschiedener Anbieter, manche können Modelle auf Ihrer eigenen Hardware ausführen.

Worauf Sie achten sollten

Wenn Sie etwas produktiv einsetzen wollen, prüfen Sie zuerst drei Fakten: die Lizenz, denn manche beliebten Projekte schränken die kommerzielle Nutzung ein; ob der Modellanbieter unterstützt wird, den Sie bereits nutzen; und ob das Projekt noch gepflegt wird. Der Kasten „Auf einen Blick“ auf jeder Projektseite beantwortet die Fragen zu Lizenz und Pflege anhand von GitHub-Daten.

Projekte mit den meisten Sternen

265–288 von 871

dataease

SQLBot

★ 6.801

🔥 基于大模型和 RAG 的智能问数系统，对话式数据分析神器。Text-to-SQL Generation via LLMs using RAG.

JavaScript

tbphp

gpt-load

★ 6.775

Self-hosted AI gateway for multi-channel, multi-credential setups — API keys and subscription accounts, scheduling, failover, request logs and usage. 自托管 AI 网关：多渠道多凭据统一接入，含密钥与订阅账号、调度容错、日志与用量。

nndl

llm-beginner

★ 6.746

《大模型与智能体》电子书与 6 个编程任务：Transformer、mini-GPT、SFT/DPO、RAG、工具调用与编程智能体。

Python

drumih

turbo-fieldfare

★ 6.737

Gemma 4 26B-A4B inference in ~2 GB of RAM on any M-series MacBook

Swift

vas3k

TaxHacker

★ 6.699

Self-hosted AI accounting app. LLM analyzer for receipts, invoices, transactions with custom prompts and categories

TypeScript

antvis

Infographic

★ 6.667

🦋 An Infographic Generation and Rendering Framework, bring words to life with AI!

TypeScript

BlockRunAI

ClawRouter

★ 6.603

The agent-native LLM router for autonomous agents. Every frontier model behind one wallet, <1ms local routing, USDC payments on Base & Solana via x402.

TypeScript

MakazhanAlpamys

Soup

★ 6.596

Fine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.

Python

julep-ai

julep

★ 6.587

Julep, langlebige, zusammensetzbare KI-Agenten. Flows, die abstürzen und fortgesetzt werden, sicher erneut versuchen und jeden Schritt erklären.

Python

kvcache-ai

Mooncake

★ 6.578

Mooncake ist die Bereitstellungsplattform für Kimi, einen führenden LLM-Dienst von Moonshot AI.

C++

j3ssie

osmedeus

★ 6.566

A Modern Orchestration Engine for Security

airweave-ai

airweave

★ 6.565

Open-Source-Kontextabrufschicht für KI-Agenten. Open-Source-Kontextabrufschicht für KI-Agenten und RAG-Systeme.

Python

Osmantic

ODS

★ 6.488

Verwandeln Sie Ihren PC, Mac oder Ihre Linux-Box in einen KI-Server. LLM-Inferenz, Chat-Benutzeroberfläche, Sprache, Agenten, Workflows, RAG und Bildgenerierung.

Python

josStorer

RWKV-Runner

★ 6.478

A RWKV management and startup tool, full automation, only 8MB. And provides an interface compatible with the OpenAI API. RWKV is a large language model that is fully open source and available for commercial use.

TypeScript

genkit-ai

genkit

★ 6.441

Open-source framework for building agentic apps in JavaScript, Go, Dart, and Python, built and used in production by Google

TypeScript

haifengl

smile

★ 6.414

Statistical Machine Intelligence & Learning Engine

Java

Arthur-Ficial

apfel

★ 6.384

The free AI already on your Mac. CLI tool, OpenAI-compatible server, and interactive chat — all on-device via Apple Intelligence. No API keys, no cloud, no downloads.

Swift

e2b-dev

fragments

★ 6.376

Open-source Next.js template for building apps that are fully generated by AI. By E2B.

TypeScript

modelscope

FunClip

★ 6.315

FunASR-powered video transcription, subtitle generation, and LLM-assisted clipping tool with a local Gradio UI.

Python

KunAgent

Kun

★ 6.310

Local-first AI agent workspace for coding, writing, design, research, and automation — one runtime for desktop GUI and TUI.

TypeScript

Tencent

AI-Infra-Guard

★ 6.271

Eine Full-Stack-AI-Red-Teaming-Plattform, die KI-Ökosysteme über OpenClaw Security Scan, Agent Scan, Skills Scan, MCP-Scan, AI Infra Scan und LLM-Jailbreak-Bewertung sichert.

Python