Catálogo oficial AMD para ejecutar, optimizar y gestionar LLMs locales en hardware AMD.
Proyecto dual enfocado en:
- Skill
local-ai-use— Catálogo de herramientas para ejecutar/optimizar LLMs locales en GPU AMD (HIP/Vulkan) y CPU Zen - Dashboard IA — Interfaz web para gestionar modelos, benchmarks, auto-tuning y generación de scripts optimizados
- GPU: AMD Radeon RX 9070 16GB (RDNA 4 / gfx1103 Vulkan, gfx1201 HIP)
- CPU: AMD Ryzen 7 7800X3D 8-Core (Zen 4)
- ROCm: 7.2.0
AMD.AI/
├── skills/local-ai-use/ # ✅ Skill completo (detect, bench, tune, analyze)
├── dashboard/ # 🟢 Dashboard MVP (FastAPI + HTMX)
│ ├── routers/ # Routers modulares (benchmark, tuning, launch, llama, events, blog)
│ ├── utils/ # Model scanner, event logger, blog generator
│ └── templates/ # 6 tabs HTMX (models, benchmark, tuning, launch, blog, updates)
├── docs/ # Documentación técnica y resultados
├── ROADMAP-IA-DASHBOARD.md # Plan de desarrollo
└── INFORME DETALLADO.md # Informe completo con hallazgos técnicos
git clone https://github.com/albertgracia/AMD.AI.git
cd AMD.AIcd dashboard
pip install -r requirements.txt$env:PATH += ";C:\Users\leobc\AppData\Local\Programs\Python\Python313\Lib\site-packages\_rocm_sdk_devel\bin"python run_dashboard.py
# Acceso: http://localhost:9090Herramientas CLI para ejecutar LLMs locales en hardware AMD:
| Script | Función |
|---|---|
detect_local.py |
Detección GPU, validación backends, matriz compatibilidad |
bench_local.py |
Benchmarking parametrizable (hasta 1,620 combos) |
tune_local.py |
Auto-tuning con 5 perfiles de optimización |
analyze_local.py |
Escalabilidad, traces Chrome, Prometheus |
throughput— Máximo decode tok/s (API server, batch)latency— Mínimo TTFT (chat interactivo)balanced— Equilibrio general (default)max_context— Máximo contexto (RAG, documentos largos)memory_efficient— Mínima VRAM (multi-modelo)
CPU Zen 4 supera a GPU RX 9070 en 2.7-9x para modelos ≤8GB Q4_K. La GPU no está bien aprovechada por kernels actuales.
HIP > Vulkan en GPU: +20% decode, +55% prefill.
Ver INFORME DETALLADO.md para análisis completo.
- ✅ FASE 0: Skill
local-ai-usecompleto - ✅ FASE 1: Dashboard MVP funcional (95%)
- 🟡 FASE 2: Blog pipeline + Astro integration
- ⏳ FASE 3: Dashboard avanzado (visualización, CI/CD, auth)
Ver ROADMAP-IA-DASHBOARD.md para detalles.
- Fork el repositorio
- Crear branch (
git checkout -b feature/nueva-funcionalidad) - Commit cambios (
git commit -m 'feat: añadir nueva funcionalidad') - Push al branch (
git push origin feature/nueva-funcionalidad) - Abrir Pull Request
Este proyecto está bajo la Licencia MIT — ver LICENSE para detalles.
El skill local-ai-use se integra con:
- serving-llms-on-instinct — MI300X/MI325X datacenter
- serving-llms-on-epyc — EPYC CPU inference
- lemonade-router-builder — Multi-model routing
- hyperloom-workload-optimizer — Cluster optimization
Desarrollado para AMD Ryzen 7 7800X3D + Radeon RX 9070 16GB 🎮