In questa guida vedremo come installare e configurare un Server AI completo e replicabile basato su Ubuntu 24.04 LTS e hardware Intel N100, ottimizzato per ambienti domestici o piccoli laboratori IT.
ARCHITETTURA E PREREQUISITI
L’infrastruttura prevede:
Ollama per l’esecuzione dei modelli LLM locali
Open-WebUI come interfaccia web moderna stile ChatGPT
Agent AI (RAG Server) per estendere le funzionalità con documenti, embedding e automazioni
Nginx con HTTPS per un accesso sicuro
Ottimizzazioni CPU, RAM (zram), LVM e hardening di base
La guida è completamente replicabile, strutturata passo-passo e pensata per ottenere un sistema:
Performante anche su hardware a basso consumo e Sicuro (zero porte AI esposte)
Pronto per utilizzo personale o laboratorio professionale
Al termine avrai un’infrastruttura AI locale stabile, organizzata e pronta per essere integrata nella tua rete (anche su VLAN dedicata).
Base: Ubuntu 24.04 LTS minimal
Hardware: Intel N100 – 16/32GB RAM – NVMe
INSTALLAZIONE DEL SISTEMA BASE
Aggiornamento sistema
|
0 1 2 |
sudo apt update sudo apt upgrade -y sudo apt autoremove -y |
OTTIMIZZAZIONE N100
Governor performance
|
0 1 2 |
sudo apt install cpufrequtils -y echo 'GOVERNOR="performance"' | sudo tee /etc/default/cpufrequtils sudo systemctl restart cpufrequtils |
ZRAM
|
0 1 |
sudo apt install zram-tools -y sudo nano /etc/default/zramswap |
Impostare la percentuale della memoria adeguata (es 50%)
|
0 |
sudo systemctl restart zramswap |
INSTALLAZIONE DOCKER
|
0 1 2 3 4 |
sudo apt install docker.io -y sudo systemctl enable docker sudo systemctl start docker sudo usermod -aG docker $USER newgrp docker |
INSTALLAZIONE OLLAMA
|
0 |
curl -fsSL https://ollama.com/install.sh | sh |
Procedere con l’Hardening Ollama:
|
0 |
sudo systemctl edit ollama |
Inserire il seguente output:
|
0 1 2 3 4 5 6 |
ini [Service] Environment="OLLAMA_NO_CLOUD=true" Environment="OLLAMA_HOST=127.0.0.1" Environment="OLLAMA_NUM_PARALLEL=1" Environment="OLLAMA_MAX_QUEUE=8" Environment="OLLAMA_KEEP_ALIVE=5m" |
Poi:
|
0 1 |
sudo systemctl daemon-reload sudo systemctl restart ollama |
Scaricare i modelli consigliati
|
0 1 2 3 |
ollama pull phi3 ollama pull mistral ollama pull deepseek-coder:6.7b-instruct-q4_K_M ollama pull nomic-embed-text |
INSTALLAZIONE OPEN-WEBUI
Creare una cartella persistente con i seguenti comandi:
|
0 1 |
sudo mkdir -p /data-ai/openwebui sudo chown -R $USER:$USER /data-ai |
Avviare il container sicuro con il comando:
|
0 |
docker run -d --name open-webui -p 127.0.0.1:3000:8080 -e OLLAMA_BASE_URL=http://127.0.0.1:11434 -e CORS_ALLOW_ORIGIN=https://ai.local -v /data-ai/openwebui:/app/backend/data --restart always ghcr.io/open-webui/open-webui:main |
INSTALLAZIONE DI NGINX PER HTTPS
|
0 1 |
sudo apt install nginx -y sudo mkdir -p /etc/nginx/ssl |
Generare un certificato self-signed con i seguenti comandi:
|
0 1 2 |
sudo openssl req -x509 -nodes -days 3650 -newkey rsa:4096 \ -keyout /etc/nginx/ssl/ai.key \ -out /etc/nginx/ssl/ai.crt |
Procedere con la configurazione del vhost:
|
0 |
sudo nano /etc/nginx/sites-available/ai |
Contenuto completo da copiare all’interno del file di configurazione:
|
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 |
nginx server { listen 80; server_name ai.local; return 301 https://$host$request_uri; } server { listen 443 ssl; server_name ai.local; ssl_certificate /etc/nginx/ssl/ai.crt; ssl_certificate_key /etc/nginx/ssl/ai.key; ssl_protocols TLSv1.2 TLSv1.3; ssl_prefer_server_ciphers on; ssl_session_timeout 1d; ssl_session_cache shared:SSL:10m; ssl_session_tickets off; add_header Strict-Transport-Security "max-age=63072000; includeSubDomains" always; add_header X-Content-Type-Options nosniff; add_header X-Frame-Options DENY; add_header X-XSS-Protection "1; mode=block"; server_tokens off; location / { proxy_pass http://127.0.0.1:3000; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection "upgrade"; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; } } |
Attivare il sito con i comandi:
|
0 1 2 |
sudo ln -s /etc/nginx/sites-available/ai /etc/nginx/sites-enabled/ sudo nginx -t sudo systemctl restart nginx |
FIREWALL BASE
|
0 1 2 3 4 |
sudo ufw default deny incoming sudo ufw default allow outgoing sudo ufw allow 443/tcp sudo ufw allow from 192.168.3.0/24 to any port 22 sudo ufw enable |
VERIFICA FINALE
|
0 |
ss -tulnp |
Deve risultare:
|
0 1 2 3 4 |
0.0.0.0:443 0.0.0.0:80 0.0.0.0:22 127.0.0.1:3000 127.0.0.1:11434 |
BACKUP CONFIGURAZIONE
|
0 1 2 |
sudo mkdir -p /data-ai/backups sudo tar -czf /data-ai/backups/ai_stack_backup_$(date +%F).tar.gz /etc/nginx /etc/systemd/system/ollama.service.d /data-ai /home/$USER/.ollama |
0 commenti