Zum Inhalt springen
>_<
AI EngineeringWiki
AI Tools Datenbank

AI Tools Datenbank

Kuratierte Sammlung von 67 Tools für lokale AI-Infrastruktur. Kategorisiert, durchsuchbar, mit echten Bewertungen. 15 Tools setzen wir selbst produktiv ein.

📋 Überblick
67 kuratierte AI-Tools in 12 Kategorien — von LLM Runtimes über Agent Frameworks bis Monitoring. Jedes Tool mit GitHub-Link, Lizenz, Star-Count und Self-Hosted-Status. Filterbar nach Kategorie, Suchbegriff und Einsatzstatus.
🦙

LLM Runtimes

Lokale LLM-Ausführung und Inference-Engines für Self-Hosted AI.

Ollama

Im EinsatzSelf-Hosted

Lokale LLM-Ausführung. Ein Befehl, Modell läuft.

120k+ \u2B50
MIT
llmlocalinference

vLLM

Self-Hosted

High-Throughput Inference-Engine mit PagedAttention und kontinuierlichem Batching.

50k+ \u2B50
Apache 2.0
llminferencegpu

llama.cpp

Self-Hosted

LLM-Inferenz in C/C++. Läuft auf CPU und GPU, extrem optimiert.

75k+ \u2B50
MIT
llmcpugguf

LM Studio

Self-Hosted

Desktop-App für lokale LLMs. Modelle herunterladen und sofort nutzen.

Proprietär
llmdesktopgui

GPT4All

Self-Hosted

Open-Source LLM-Chatbot für Desktop. Privat, offline, keine API nötig.

72k+ \u2B50
MIT
llmdesktopoffline

LocalAI

Self-Hosted

Self-Hosted OpenAI-Alternative. Drop-in Replacement für die OpenAI API.

30k+ \u2B50
MIT
llmopenai-kompatibelapi

Jan

Self-Hosted

Open-Source ChatGPT-Alternative. 100% offline, läuft auf jedem Computer.

25k+ \u2B50
AGPL-3.0
llmdesktopoffline
💬

Chat Interfaces

Web-basierte Chat-Oberflächen für LLMs mit Multi-User, RAG und Plugin-Support.

Open WebUI

Im EinsatzSelf-Hosted

Feature-reiche WebUI für Ollama und OpenAI-kompatible APIs. RAG, Multi-User, Plugins.

60k+ \u2B50
MIT
chatwebuirag

LibreChat

Self-Hosted

ChatGPT-Klon mit MCP-Support, Multi-Provider und Multi-User Auth.

22k+ \u2B50
MIT
chatmcpmulti-provider

Lobe Chat

Self-Hosted

Modernes Chat-Framework mit Plugin-System und Vision-Support.

55k+ \u2B50
MIT
chatpluginsvision

Chatbot UI

Self-Hosted

Open-Source ChatGPT-Interface. Clean, schnell, erweiterbar.

29k+ \u2B50
MIT
chatminimalnextjs

Big-AGI

Self-Hosted

AI-Suite für Profis: Multi-Model-Chat, Personas, Branching, Code-Interpreter.

6k+ \u2B50
MIT
chatmulti-modelpower-user

Workflow Automation

Workflow-Engines und Automatisierungs-Plattformen mit nativer AI-Integration.

n8n

Im EinsatzSelf-Hosted

Fair-Code Workflow-Automation mit 400+ Nodes und nativer AI-Integration.

55k+ \u2B50
Fair-Code
automationworkflowsai-nodes

Dify

Self-Hosted

LLM App Development Platform. Visual Workflow Builder, RAG, Agent-Orchestrierung.

70k+ \u2B50
Apache 2.0
automationllm-appsrag

Flowise

Self-Hosted

Drag & Drop LLM Flow Builder. LangChain-basiert, No-Code.

35k+ \u2B50
Apache 2.0
automationno-codelangchain

Activepieces

Self-Hosted

Open-Source Zapier-Alternative mit AI-Pieces und Self-Hosting.

12k+ \u2B50
MIT
automationno-codezapier-alternative

Kestra

Self-Hosted

Event-Driven Orchestration Platform. Workflows in Code oder UI.

15k+ \u2B50
Apache 2.0
orchestrationevent-drivendata

Langflow

Self-Hosted

Visual Framework für Multi-Agent und RAG-Anwendungen.

45k+ \u2B50
MIT
automationvisualrag
🔍

RAG & Search

Vector-Datenbanken, Suchmaschinen und RAG-Frameworks für AI-Anwendungen.

ChromaDB

Self-Hosted

AI-native Open-Source Embedding-Datenbank. Einfach zu starten, skaliert mit.

18k+ \u2B50
Apache 2.0
vector-dbembeddingspython

Weaviate

Self-Hosted

Cloud-native Vector-Datenbank mit Hybrid Search und Multi-Tenancy.

12k+ \u2B50
BSD-3
vector-dbhybrid-searchgraphql

Meilisearch

Self-Hosted

Blitzschnelle Such-Engine mit Typo-Toleranz. Instant Search in Millisekunden.

50k+ \u2B50
MIT
searchfull-textinstant

Qdrant

Self-Hosted

High-Performance Vector Search Engine in Rust. Filterung, Payload, gRPC.

22k+ \u2B50
Apache 2.0
vector-dbrustperformance

LanceDB

Self-Hosted

Serverlose Vector-Datenbank für AI. Kein Server nötig, embedded.

5k+ \u2B50
Apache 2.0
vector-dbserverlessembedded

open-notebook

Im EinsatzSelf-Hosted

Open-Source NotebookLM-Alternative. Knowledge Management mit AI.

1k+ \u2B50
MIT
knowledgenotebookrag
🤖

Agent Frameworks

Frameworks für autonome AI-Agenten, Multi-Agent Systeme und Orchestrierung.

LangChain

Self-Hosted

Framework für LLM-Anwendungen. Chains, Agents, Tools, Memory.

100k+ \u2B50
MIT
agentschainstools

LlamaIndex

Self-Hosted

Data Framework für LLM-Anwendungen. Indexing, Retrieval, Query Engines.

38k+ \u2B50
MIT
agentsdataindexing

AutoGen

Self-Hosted

Multi-Agent Conversation Framework von Microsoft. Agenten diskutieren und lösen Aufgaben.

40k+ \u2B50
CC-BY-4.0
agentsmulti-agentmicrosoft

CrewAI

Self-Hosted

Framework für rollenbasierte autonome AI-Agenten. Teams aus spezialisierten Agents.

25k+ \u2B50
MIT
agentsrolesorchestration

Semantic Kernel

Self-Hosted

Microsofts SDK für AI-Integration in Apps. Planner, Plugins, Memory.

23k+ \u2B50
MIT
agentssdkmicrosoft

Haystack

Self-Hosted

End-to-End NLP Framework. Pipelines für Search, QA und RAG.

18k+ \u2B50
Apache 2.0
agentspipelinesnlp
🔧

MCP Servers

Model Context Protocol Server für Tool-Integration und AI-Anbindung.

MCP Servers (Anthropic)

Im EinsatzSelf-Hosted

Offizielle MCP-Server-Sammlung von Anthropic. Filesystem, Git, Postgres, Slack, und mehr.

18k+ \u2B50
MIT
mcptoolsofficial

Awesome MCP Servers

Community-kuratierte Liste von MCP-Servern für jeden Anwendungsfall.

40k+ \u2B50
CC0
mcpawesome-listcommunity

Playwright MCP

Im EinsatzSelf-Hosted

Browser-Automation via MCP. Websites steuern, Screenshots, Testing.

8k+ \u2B50
Apache 2.0
mcpbrowsertesting

Notion MCP

Im EinsatzSelf-Hosted

MCP-Server für Notion. Seiten lesen, erstellen, durchsuchen.

2k+ \u2B50
MIT
mcpnotionproductivity

Docker MCP

Self-Hosted

MCP-Server für Docker. Container verwalten via AI-Agent.

1k+ \u2B50
Apache 2.0
mcpdockerinfrastructure
📊

Monitoring

Observability, Metriken, Alerting und Uptime-Monitoring für AI-Infrastruktur.

Grafana

Im EinsatzSelf-Hosted

Dashboards und Observability. Visualisierung für Prometheus, Loki und mehr.

66k+ \u2B50
AGPL-3.0
dashboardsvisualizationalerting

Prometheus

Im EinsatzSelf-Hosted

Monitoring und Alerting Toolkit. Time-Series Datenbank, PromQL.

57k+ \u2B50
Apache 2.0
metricstime-seriesalerting

Uptime Kuma

Im EinsatzSelf-Hosted

Self-Hosted Monitoring. Status-Pages, Notifications, Clean UI.

65k+ \u2B50
MIT
uptimestatus-pagenotifications

Netdata

Self-Hosted

Real-Time Infrastructure Monitoring. Auto-Discovery, Zero Config.

73k+ \u2B50
GPL-3.0
real-timeauto-discoveryinfrastructure

Langfuse

Self-Hosted

LLM Engineering Platform. Traces, Evals, Prompt Management, Kosten-Tracking.

8k+ \u2B50
MIT
llm-monitoringtracingevals
🛡

Security & Compliance

Secrets Management, Container-Security, Intrusion Prevention und Schwachstellen-Scanning.

Vault

Self-Hosted

Secrets Management von HashiCorp. API Keys, Zertifikate, Encryption.

32k+ \u2B50
BUSL-1.1
secretsencryptioncertificates

Trivy

Self-Hosted

All-in-One Security Scanner. Container, Filesystem, Git Repos, Kubernetes.

25k+ \u2B50
Apache 2.0
scannercontainervulnerabilities

CrowdSec

Self-Hosted

Open-Source Intrusion Prevention. Community-basierte IP-Blocklisten.

9k+ \u2B50
MIT
idsintrusion-preventioncommunity

Fail2ban

Im EinsatzSelf-Hosted

Brute-Force Protection. Überwacht Logs und bannt verdächtige IPs.

12k+ \u2B50
GPL-2.0
brute-forcelogsbanning

promptfoo

Self-Hosted

AI Red Teaming und Prompt Testing. LLM-Sicherheit validieren.

5k+ \u2B50
MIT
ai-securityred-teamtesting
🎨

Image Generation

Lokale Bildgenerierung mit Stable Diffusion, Flux und anderen Modellen.

ComfyUI

Self-Hosted

Node-basierte UI für Stable Diffusion. Visueller Workflow Builder für Bildgenerierung.

70k+ \u2B50
GPL-3.0
image-gennodesworkflows

Stable Diffusion WebUI

Self-Hosted

AUTOMATIC1111s WebUI. Der Klassiker für lokale Bildgenerierung.

145k+ \u2B50
AGPL-3.0
image-genwebuiklassiker

Fooocus

Self-Hosted

Minimale UI für Bildgenerierung. Midjourney-Qualität, lokal, keine Config nötig.

42k+ \u2B50
GPL-3.0
image-gensimplequality

InvokeAI

Self-Hosted

Professionelle Bildgenerierung mit Canvas, Controlnet und Workflows.

24k+ \u2B50
Apache 2.0
image-gencanvasprofessional

Stable Diffusion WebUI Forge

Self-Hosted

Optimierte Fork von A1111. Schneller, weniger VRAM, mehr Features.

10k+ \u2B50
AGPL-3.0
image-genoptimizedfork
🎙

Speech & Audio

Speech-to-Text, Text-to-Speech und Audio-Verarbeitung mit lokalen Modellen.

Whisper

Self-Hosted

OpenAIs Speech-to-Text Modell. Robust, multilingual, lokal einsetzbar.

75k+ \u2B50
MIT
sttmultilingualopenai

Whisper.cpp

Self-Hosted

C/C++ Port von Whisper. Extrem schnell, läuft auf CPU.

38k+ \u2B50
MIT
sttcppfast

Piper TTS

Self-Hosted

Schnelle lokale Text-to-Speech Engine. Viele Stimmen, viele Sprachen.

8k+ \u2B50
MIT
ttslocalmultilingual

Coqui TTS

Self-Hosted

Deep Learning Text-to-Speech. Voice Cloning, Multi-Speaker, Multi-Language.

37k+ \u2B50
MPL-2.0
ttsvoice-cloningdeep-learning

Faster Whisper

Self-Hosted

CTranslate2-basierter Whisper. 4x schneller, gleiche Qualität.

14k+ \u2B50
MIT
sttoptimizedfast
📝

Coding Assistants

AI-gestützte Programmier-Tools, Code-Completion und Terminal-Integration.

Claude Code

Im Einsatz

Anthropics agentic Coding-Tool. Terminal-basiert, versteht ganze Codebases.

Proprietär
codingterminalagentic

GitHub Copilot

AI Pair Programmer von GitHub/OpenAI. Code-Suggestions direkt im Editor.

Proprietär
codingeditorsuggestions

Cursor

AI-first Code Editor. Fork von VS Code mit integriertem AI-Chat und Editing.

Proprietär
codingeditorai-first

Cody

Sourcegraphs AI Coding Assistant. Versteht deine gesamte Codebase.

3k+ \u2B50
Apache 2.0
codingcodebasesearch

Continue

Self-Hosted

Open-Source AI Code Assistant. VS Code und JetBrains, lokale Modelle möglich.

22k+ \u2B50
Apache 2.0
codingopen-sourcelocal

Aider

Self-Hosted

AI Pair Programming im Terminal. Versteht Git, editiert Dateien direkt.

25k+ \u2B50
Apache 2.0
codingterminalgit
🏗

Infrastructure

Container, Virtualisierung, Reverse Proxies und Management-Tools für den AI-Stack.

Docker

Im EinsatzSelf-Hosted

Container-Runtime. Basis für jeden Self-Hosted AI-Stack.

70k+ \u2B50
Apache 2.0
containerruntimebasis

Proxmox VE

Im EinsatzSelf-Hosted

Open-Source Virtualisierungsplattform. VMs, LXC, Clustering, GPU-Passthrough.

AGPL-3.0
virtualizationhypervisorcluster

Caddy

Self-Hosted

Moderner Web-Server mit automatischem HTTPS. Zero-Config TLS.

62k+ \u2B50
Apache 2.0
webserverhttpsreverse-proxy

Traefik

Im EinsatzSelf-Hosted

Cloud-nativer Reverse Proxy. Auto-Discovery, Let's Encrypt, Docker-Integration.

53k+ \u2B50
MIT
reverse-proxydockerauto-discovery

Portainer

Self-Hosted

Container Management UI. Docker und Kubernetes per Web-Interface verwalten.

32k+ \u2B50
Zlib
containermanagementui

Coolify

Self-Hosted

Self-Hostable Heroku/Netlify-Alternative. One-Click Deployments.

38k+ \u2B50
Apache 2.0
paasdeploymentone-click

67 Tools in 12 Kategorien. Star-Counts sind ungefähre Werte (Stand: März 2026). Tools mit dem Badge "Im Einsatz" werden von uns produktiv in unserer AI-Infrastruktur genutzt. Alle Angaben ohne Gewähr.

Quellen

  • Ollama — Lokale LLM Runtime (MIT)
  • Open WebUI — Feature-reiche Chat-Oberfläche für LLMs
  • n8n — Fair-Code Workflow Automation
  • LangChain — Framework für LLM-Anwendungen
  • Grafana — Dashboards und Observability
  • MCP Servers — Model Context Protocol Server (Anthropic)

Weiterführende Artikel: Vergleich Alternativen · Ollama Tutorial · Was ist ein LLM?

Für die Umsetzung gibt es Ressourcen auf ai-engineering.at.

Verwandte Artikel

War dieser Artikel hilfreich?

Weiter im Lernpfad

Der Lernpfad bringt diese Artikel in eine Reihenfolge, und der Hub führt die Bausteine, die wir im eigenen Betrieb geprüft haben.

Warum AI Engineering
  • Lokal und selbst gehostet
  • Dokumentiert und prüfbar
  • Aus eigenem Betrieb
  • Made in Austria
Kein Ersatz für Rechtsberatung.