
AI Tools Datenbank
Kuratierte Sammlung von 67 Tools für lokale AI-Infrastruktur. Kategorisiert, durchsuchbar, mit echten Bewertungen. 15 Tools setzen wir selbst produktiv ein.
LLM Runtimes
Lokale LLM-Ausführung und Inference-Engines für Self-Hosted AI.
Ollama
Im EinsatzSelf-HostedLokale LLM-Ausführung. Ein Befehl, Modell läuft.
vLLM
Self-HostedHigh-Throughput Inference-Engine mit PagedAttention und kontinuierlichem Batching.
llama.cpp
Self-HostedLLM-Inferenz in C/C++. Läuft auf CPU und GPU, extrem optimiert.
LM Studio
Self-HostedDesktop-App für lokale LLMs. Modelle herunterladen und sofort nutzen.
GPT4All
Self-HostedOpen-Source LLM-Chatbot für Desktop. Privat, offline, keine API nötig.
LocalAI
Self-HostedSelf-Hosted OpenAI-Alternative. Drop-in Replacement für die OpenAI API.
Chat Interfaces
Web-basierte Chat-Oberflächen für LLMs mit Multi-User, RAG und Plugin-Support.
Open WebUI
Im EinsatzSelf-HostedFeature-reiche WebUI für Ollama und OpenAI-kompatible APIs. RAG, Multi-User, Plugins.
LibreChat
Self-HostedChatGPT-Klon mit MCP-Support, Multi-Provider und Multi-User Auth.
Lobe Chat
Self-HostedModernes Chat-Framework mit Plugin-System und Vision-Support.
Chatbot UI
Self-HostedOpen-Source ChatGPT-Interface. Clean, schnell, erweiterbar.
Workflow Automation
Workflow-Engines und Automatisierungs-Plattformen mit nativer AI-Integration.
n8n
Im EinsatzSelf-HostedFair-Code Workflow-Automation mit 400+ Nodes und nativer AI-Integration.
Dify
Self-HostedLLM App Development Platform. Visual Workflow Builder, RAG, Agent-Orchestrierung.
Flowise
Self-HostedDrag & Drop LLM Flow Builder. LangChain-basiert, No-Code.
Activepieces
Self-HostedOpen-Source Zapier-Alternative mit AI-Pieces und Self-Hosting.
Kestra
Self-HostedEvent-Driven Orchestration Platform. Workflows in Code oder UI.
RAG & Search
Vector-Datenbanken, Suchmaschinen und RAG-Frameworks für AI-Anwendungen.
ChromaDB
Self-HostedAI-native Open-Source Embedding-Datenbank. Einfach zu starten, skaliert mit.
Weaviate
Self-HostedCloud-native Vector-Datenbank mit Hybrid Search und Multi-Tenancy.
Meilisearch
Self-HostedBlitzschnelle Such-Engine mit Typo-Toleranz. Instant Search in Millisekunden.
Qdrant
Self-HostedHigh-Performance Vector Search Engine in Rust. Filterung, Payload, gRPC.
LanceDB
Self-HostedServerlose Vector-Datenbank für AI. Kein Server nötig, embedded.
Agent Frameworks
Frameworks für autonome AI-Agenten, Multi-Agent Systeme und Orchestrierung.
LangChain
Self-HostedFramework für LLM-Anwendungen. Chains, Agents, Tools, Memory.
LlamaIndex
Self-HostedData Framework für LLM-Anwendungen. Indexing, Retrieval, Query Engines.
AutoGen
Self-HostedMulti-Agent Conversation Framework von Microsoft. Agenten diskutieren und lösen Aufgaben.
CrewAI
Self-HostedFramework für rollenbasierte autonome AI-Agenten. Teams aus spezialisierten Agents.
Semantic Kernel
Self-HostedMicrosofts SDK für AI-Integration in Apps. Planner, Plugins, Memory.
MCP Servers
Model Context Protocol Server für Tool-Integration und AI-Anbindung.
MCP Servers (Anthropic)
Im EinsatzSelf-HostedOffizielle MCP-Server-Sammlung von Anthropic. Filesystem, Git, Postgres, Slack, und mehr.
Awesome MCP Servers
Community-kuratierte Liste von MCP-Servern für jeden Anwendungsfall.
Playwright MCP
Im EinsatzSelf-HostedBrowser-Automation via MCP. Websites steuern, Screenshots, Testing.
Notion MCP
Im EinsatzSelf-HostedMCP-Server für Notion. Seiten lesen, erstellen, durchsuchen.
Monitoring
Observability, Metriken, Alerting und Uptime-Monitoring für AI-Infrastruktur.
Grafana
Im EinsatzSelf-HostedDashboards und Observability. Visualisierung für Prometheus, Loki und mehr.
Prometheus
Im EinsatzSelf-HostedMonitoring und Alerting Toolkit. Time-Series Datenbank, PromQL.
Uptime Kuma
Im EinsatzSelf-HostedSelf-Hosted Monitoring. Status-Pages, Notifications, Clean UI.
Netdata
Self-HostedReal-Time Infrastructure Monitoring. Auto-Discovery, Zero Config.
Security & Compliance
Secrets Management, Container-Security, Intrusion Prevention und Schwachstellen-Scanning.
Vault
Self-HostedSecrets Management von HashiCorp. API Keys, Zertifikate, Encryption.
Trivy
Self-HostedAll-in-One Security Scanner. Container, Filesystem, Git Repos, Kubernetes.
CrowdSec
Self-HostedOpen-Source Intrusion Prevention. Community-basierte IP-Blocklisten.
Fail2ban
Im EinsatzSelf-HostedBrute-Force Protection. Überwacht Logs und bannt verdächtige IPs.
Image Generation
Lokale Bildgenerierung mit Stable Diffusion, Flux und anderen Modellen.
ComfyUI
Self-HostedNode-basierte UI für Stable Diffusion. Visueller Workflow Builder für Bildgenerierung.
Stable Diffusion WebUI
Self-HostedAUTOMATIC1111s WebUI. Der Klassiker für lokale Bildgenerierung.
Fooocus
Self-HostedMinimale UI für Bildgenerierung. Midjourney-Qualität, lokal, keine Config nötig.
InvokeAI
Self-HostedProfessionelle Bildgenerierung mit Canvas, Controlnet und Workflows.
Speech & Audio
Speech-to-Text, Text-to-Speech und Audio-Verarbeitung mit lokalen Modellen.
Whisper
Self-HostedOpenAIs Speech-to-Text Modell. Robust, multilingual, lokal einsetzbar.
Whisper.cpp
Self-HostedC/C++ Port von Whisper. Extrem schnell, läuft auf CPU.
Piper TTS
Self-HostedSchnelle lokale Text-to-Speech Engine. Viele Stimmen, viele Sprachen.
Coqui TTS
Self-HostedDeep Learning Text-to-Speech. Voice Cloning, Multi-Speaker, Multi-Language.
Coding Assistants
AI-gestützte Programmier-Tools, Code-Completion und Terminal-Integration.
Claude Code
Im EinsatzAnthropics agentic Coding-Tool. Terminal-basiert, versteht ganze Codebases.
GitHub Copilot
AI Pair Programmer von GitHub/OpenAI. Code-Suggestions direkt im Editor.
Cursor
AI-first Code Editor. Fork von VS Code mit integriertem AI-Chat und Editing.
Cody
Sourcegraphs AI Coding Assistant. Versteht deine gesamte Codebase.
Continue
Self-HostedOpen-Source AI Code Assistant. VS Code und JetBrains, lokale Modelle möglich.
Infrastructure
Container, Virtualisierung, Reverse Proxies und Management-Tools für den AI-Stack.
Docker
Im EinsatzSelf-HostedContainer-Runtime. Basis für jeden Self-Hosted AI-Stack.
Proxmox VE
Im EinsatzSelf-HostedOpen-Source Virtualisierungsplattform. VMs, LXC, Clustering, GPU-Passthrough.
Caddy
Self-HostedModerner Web-Server mit automatischem HTTPS. Zero-Config TLS.
Traefik
Im EinsatzSelf-HostedCloud-nativer Reverse Proxy. Auto-Discovery, Let's Encrypt, Docker-Integration.
Portainer
Self-HostedContainer Management UI. Docker und Kubernetes per Web-Interface verwalten.
67 Tools in 12 Kategorien. Star-Counts sind ungefähre Werte (Stand: März 2026). Tools mit dem Badge "Im Einsatz" werden von uns produktiv in unserer AI-Infrastruktur genutzt. Alle Angaben ohne Gewähr.
Quellen
- Ollama — Lokale LLM Runtime (MIT)
- Open WebUI — Feature-reiche Chat-Oberfläche für LLMs
- n8n — Fair-Code Workflow Automation
- LangChain — Framework für LLM-Anwendungen
- Grafana — Dashboards und Observability
- MCP Servers — Model Context Protocol Server (Anthropic)
Weiterführende Artikel: Vergleich Alternativen · Ollama Tutorial · Was ist ein LLM?
Für die Umsetzung gibt es Ressourcen auf ai-engineering.at.
Verwandte Artikel
Open Source Tools & Projekte
Kuratierte Liste der besten Open-Source-Tools für lokale AI: LLM Runtimes, Agent Frameworks, RAG, Automation und Security.
Ollama: Lokale LLMs einfach gemacht
Installation, Modelle, GPU-Setup, REST API, Open WebUI Integration.
AI Stack Setup in 30 Minuten
Ollama + Open WebUI + Docker: Dein eigener ChatGPT-Klon in 30 Minuten, lokal auf deiner Hardware.
War dieser Artikel hilfreich?
Weiter im Lernpfad
Der Lernpfad bringt diese Artikel in eine Reihenfolge, und der Hub führt die Bausteine, die wir im eigenen Betrieb geprüft haben.
- Lokal und selbst gehostet
- Dokumentiert und prüfbar
- Aus eigenem Betrieb
- Made in Austria