LLM-Apps

Open-Source-LLM-Apps und -Frameworks

Das ist die breiteste Gruppe: Chat-Oberflächen, SDKs und Frameworks, Werkzeuge für Prompts und Evaluierung sowie Anwendungen, die auf großen Sprachmodellen aufbauen. Viele funktionieren mit Modellen verschiedener Anbieter, manche können Modelle auf Ihrer eigenen Hardware ausführen.

Worauf Sie achten sollten

Wenn Sie etwas produktiv einsetzen wollen, prüfen Sie zuerst drei Fakten: die Lizenz, denn manche beliebten Projekte schränken die kommerzielle Nutzung ein; ob der Modellanbieter unterstützt wird, den Sie bereits nutzen; und ob das Projekt noch gepflegt wird. Der Kasten „Auf einen Blick“ auf jeder Projektseite beantwortet die Fragen zu Lizenz und Pflege anhand von GitHub-Daten.

Projekte mit den meisten Sternen

169–192 von 871

Lightning-AI

litgpt

★ 13.665

20+ high-performance LLMs with recipes to pretrain, finetune and deploy at scale.

Python

doocs

md

★ 13.330

✍ WeChat Markdown Editor | 一款高度简洁的微信 Markdown 编辑器：支持 Markdown 语法、自定义主题样式、内容管理、多图床、AI 助手等特性

TypeScript

halfrost

Halfrost-Field

★ 13.236

✍🏻 Source Code Deep Dives, System Design & Engineering Blogs | Halfrost-Field 冰霜之地：源码解析、系统设计与工程实践笔记

langchain4j

★ 13.100

LangChain4j is an idiomatic, open-source Java library for building LLM-powered applications on the JVM. It offers a unified API over popular LLM providers and vector stores, and makes implementing tool calling (including MCP support), agents and RAG easy. It integrates seamlessly with enterprise Java frameworks like Quarkus and Spring Boot.

Java

ShishirPatil

gorilla

★ 13.023

Gorilla: Training and Evaluating LLMs for Function Calls (Tool Calls)

Python

nidhinjs

prompt-master

★ 13.011

A Claude skill that writes the accurate prompts for any AI tool. Zero tokens or credits wasted. Full context and memory retention

Portkey-AI

gateway

★ 13.000

A blazing fast AI Gateway with integrated guardrails. Route to 1,600+ LLMs, 50+ AI Guardrails with 1 fast & friendly API.

TypeScript

EverMind-AI

EverOS

★ 12.978

One portable memory layer for every AI agent: local-first, Markdown-native, user-owned, and self-evolving across apps, tools, and workflows.

Python

PaddlePaddle

PaddleNLP

★ 12.972

Easy-to-use and powerful LLM and SLM library with awesome model zoo.

Python

neuml

txtai

★ 12.949

💡 All-in-one AI framework for semantic search, LLM orchestration and language model workflows

Python

StarTrail-org

LEANN

★ 12.940

[MLsys2026 Best Paper]: https://arxiv.org/abs/2506.08276. RAG on Everything with LEANN. Enjoy 97% storage savings while running a fast, accurate, and 100% private RAG application on your personal device.

Python

codexu

note-gen

★ 12.806

Eine plattformübergreifende Markdown AI-Notizsoftware. Damit soll sichergestellt werden, dass nützliche Fragmente nicht verschwinden, bevor Sie Zeit haben, sie in etwas Vollständiges umzuwandeln.

TypeScript

The-Pocket

PocketFlow-Tutorial-Codebase-Knowledge

★ 12.662

Pocket Flow: Codebase to Tutorial

Python

bentoml

OpenLLM

★ 12.531

Run any open-source LLMs, such as DeepSeek and Llama, as OpenAI compatible API endpoint in the cloud.

Python

axolotl-ai-cloud

axolotl

★ 12.475

Go ahead and axolotl questions

Python

Chainlit

chainlit

★ 12.452

Build Conversational AI in minutes ⚡️

Python

TheR1D

shell_gpt

★ 12.284

A command-line productivity tool powered by AI large language models like GPT-5, will help you accomplish your tasks faster and more efficiently.

Python

FlagOpen

FlagEmbedding

★ 12.162

Retrieval and Retrieval-augmented LLMs

Python

jina-ai

reader

★ 12.000

Convert any URL to an LLM-friendly input with a simple prefix https://r.jina.ai/

TypeScript

dataelement

bisheng

★ 11.968

BISHENG is an open LLM devops platform for next generation Enterprise AI applications. Powerful and comprehensive features include: GenAI workflow, RAG, Agent, Unified model management, Evaluation, SFT, Dataset Management, Enterprise-level System Management, Observability and more.

Python

0x4m4

hexstrike-ai

★ 11.888

HexStrike AI MCP Agents is an advanced MCP server that lets AI agents (Claude, GPT, Copilot, etc.) autonomously run 150+ cybersecurity tools for automated pentesting, vulnerability discovery, bug bounty automation, and security research. Seamlessly bridge LLMs with real-world offensive security capabilities.

Python

ludwig-ai

ludwig

★ 11.755

Low-code framework for building custom LLMs, neural networks, and other AI models

Python

cocoindex-io

cocoindex

★ 11.557

Incremental engine for long horizon agents 🌟 Star if you like it!

Rust

MemTensor

MemOS

★ 11.355

Selbstentwickelndes Speicher-Betriebssystem für LLM- und KI-Agenten: ultrapersistenter Speicher, Hybridabruf und aufgabenübergreifende Wiederverwendung von Fertigkeiten mit 35,24 % Token-Einsparungen.

TypeScript