LLM-Apps

Open-Source-LLM-Apps und -Frameworks

Das ist die breiteste Gruppe: Chat-Oberflächen, SDKs und Frameworks, Werkzeuge für Prompts und Evaluierung sowie Anwendungen, die auf großen Sprachmodellen aufbauen. Viele funktionieren mit Modellen verschiedener Anbieter, manche können Modelle auf Ihrer eigenen Hardware ausführen.

Worauf Sie achten sollten

Wenn Sie etwas produktiv einsetzen wollen, prüfen Sie zuerst drei Fakten: die Lizenz, denn manche beliebten Projekte schränken die kommerzielle Nutzung ein; ob der Modellanbieter unterstützt wird, den Sie bereits nutzen; und ob das Projekt noch gepflegt wird. Der Kasten „Auf einen Blick“ auf jeder Projektseite beantwortet die Fragen zu Lizenz und Pflege anhand von GitHub-Daten.

Projekte mit den meisten Sternen

217–240 von 871

shaxiu

XianyuAutoAgent

★ 9.173

智能闲鱼客服机器人系统：专为闲鱼平台打造的AI值守解决方案，实现闲鱼平台7×24小时自动化值守，支持多专家协同决策、智能议价和上下文感知对话。

Python

iflytek

astron-agent

★ 9.016

Enterprise-grade, commercial-friendly agentic workflow platform for building next-generation SuperAgents.

Java

bentoml

BentoML

★ 8.842

The easiest way to serve AI apps and models - Build Model Inference APIs, Job queues, LLM apps, Multi-model pipelines, and more!

Python

fishaudio

Bert-VITS2

★ 8.800

vits2 backbone with multilingual-bert

Python

google

adk-go

★ 8.793

An open-source, code-first Go toolkit for building, evaluating, and deploying sophisticated AI agents with flexibility and control.

microsoft

TypeChat

★ 8.685

TypeChat is a library that makes it easy to build natural language interfaces using types.

TypeScript

0xPlaygrounds

rig

★ 8.640

⚙️🦀 Build modular and scalable LLM Applications in Rust

Rust

poloclub

transformer-explainer

★ 8.580

Transformer Explained Visually: Learn How LLM Transformer Models Work with Interactive Visualization

JavaScript

bitsandbytes-foundation

bitsandbytes

★ 8.478

Accessible large language models via k-bit quantization for PyTorch.

Python

idosal

git-mcp

★ 8.393

Put an end to code hallucinations! GitMCP is a free, open-source, remote MCP server for any GitHub project

TypeScript

qualcomm

GenieX

★ 8.373

Run frontier LLMs and VLMs locally on Qualcomm devices across NPU, GPU, and CPU with a few lines of code

Rust

deeplethe

utopia

★ 8.370

World's first open-source enterprise world model.

Rust

maximhq

bifrost

★ 8.090

Fastest enterprise AI gateway (50x faster than LiteLLM) with adaptive load balancer, cluster mode, guardrails, 1000+ models support & <100 µs overhead at 5k RPS.

InternLM

lmdeploy

★ 8.071

InternLM/lmdeploy bietet eine praxistaugliche Open-Source-Implementierung mit stabiler Einsatzbarkeit für reale Anwendungsfälle.

Python

trailhq

Graft

★ 8.014

Turbocharge Claude Code, Cursor, Codex, Gemini & every coding agent: faster, cheaper, with contextual understanding specific to your codebase.

TypeScript

FareedKhan-dev

kimi-k3-in-c

★ 7.952

A 2.78-trillion-parameter Kimi K3 running inference on a single CPU in 8.24 GB of RAM. Portable C99: no BLAS, no framework, no GPU.

evidentlyai

evidently

★ 7.917

Evidently is an open-source ML and LLM observability framework. Evaluate, test, and monitor any AI-powered system or data pipeline. From tabular data to Gen AI. 100+ metrics.

Jupyter Notebook

osaurus-ai

osaurus

★ 7.911

Besitzen Sie Ihre KI. Das native macOS-System für KI-Agenten jedes Modells, persistenten Speicher, autonome Ausführung und kryptografische Identität. Gebaut in Swift. Vollständig offline. Open Source.

Swift

NirDiamant

Prompt_Engineering

★ 7.852

22 prompt engineering techniques with hands-on Jupyter Notebook tutorials, from fundamental concepts to advanced strategies for leveraging LLMs.

Jupyter Notebook

AAswordman

Operit

★ 7.835

The most powerful AI agent and AI chat software on Android/Operit是一款Android上能力最为强大、发展最久的AI Agent

Kotlin

PaddlePaddle

ERNIE

★ 7.735

The official repository for ERNIE 4.5 and ERNIEKit – its industrial-grade development toolkit based on PaddlePaddle.

Python

EricLBuehler

mistral.rs

★ 7.682

Fast, flexible LLM inference

Rust

mufeedvh

code2prompt

★ 7.656

A CLI tool to convert your codebase into a single LLM prompt with source tree, prompt templating, and token counting.

Rust

steel-dev

steel-browser

★ 7.645

🔥 Open Source Browser API for AI Agents & Apps. Steel Browser is a batteries-included browser sandbox that lets you automate the web without worrying about infrastructure.

TypeScript