Ridurre la pressione sulla memoria di PostgreSQL in Matrix Synapse

Se PostgreSQL sta consumando più memoria del previsto per Matrix Synapse, innanzitutto verifica se la memoria è occupata da buffer condivisi, query attive, autovacuum o da un numero elevato di connessioni. Quindi, ottimizza una fonte alla volta e misura nuovamente il consumo. Anche i processi Python di Synapse utilizzano una quantità considerevole di memoria, quindi prima di modificare le impostazioni del database, conferma che i processi di PostgreSQL o il container del database siano effettivamente la causa del problema.

Comprendere cosa significa “memoria elevata”

PostgreSQL utilizza la memoria condivisa per la cache, la memoria privata per ogni connessione al server e query, e la cache di pagina del sistema operativo. Su Linux, la memoria mostrata come "utilizzata" può includere la cache del filesystem recuperabile; questo dato da solo non dimostra che il database sia sotto pressione. Presta attenzione a periodi prolungati di bassa memoria disponibile, attività di swap, eventi di memoria insufficiente o un container che si avvicina al limite di memoria. Confronta questi segnali con le metriche di processo di Synapse e PostgreSQL.

Un backend PostgreSQL è un processo server che gestisce una connessione client. Il pool di connessioni al database di Synapse può aprire diversi backend per processo e ogni worker di Synapse ha il proprio pool. Pertanto, aumentare il numero di worker o la dimensione del pool può incrementare il carico di lavoro simultaneo sul database e la richiesta di memoria. Azione: prima di modificare PostgreSQL, eseguire un inventario dei processi Synapse, del numero di worker, delle impostazioni del pool, delle connessioni PostgreSQL e del limite di memoria dell'host o del container.

Trova la fonte principale prima di sintonizzarti

Connettiti al database Synapse come amministratore e controlla le impostazioni che regolano la memoria e le connessioni:

SHOW shared_buffers;
SHOW work_mem;
SHOW maintenance_work_mem;
SHOW autovacuum_work_mem;
SHOW max_connections;

shared_buffersè la cache condivisa di PostgreSQL e viene allocata all'avvio del server. work_memè un budget per operazione di query per ordinamenti e tabelle hash, non un limite per server; una query può utilizzare diverse di queste operazioni e molte connessioni possono eseguirle contemporaneamente. La memoria di manutenzione e autovacuum può anche moltiplicarsi quando sono in esecuzione più processi di manutenzione. Azione: confrontare i valori configurati con la RAM disponibile, la concorrenza e il numero di connessioni Synapse, anziché presumere che l'impostazione più grande sia la migliore.

Utilizza questa query per visualizzare il numero di sessioni client connesse e il loro stato (attive o inattive):

SELECT application_name, state, count(*)
FROM pg_stat_activity
GROUP BY application_name, state
ORDER BY count(*) DESC;

Se supportato dalla tua implementazione, controlla il limite di memoria del container PostgreSQL e utilizza le sue metriche o le metriche del processo e del cgroup dell'host. La somma della memoria residente tra i processi PostgreSQL può sovrastimare il numero di pagine condivise. Azione: utilizza il conteggio totale della memoria del container o dell'host per verificare la pressione, quindi utilizza le statistiche di connessione e query per identificare la probabile causa.

Scegliere le modifiche in base alle prove

Se la memoria delle query subisce picchi durante i periodi di maggiore attività

Prima di procedere, è necessario effettuare una revisione work_mem. Un valore elevato può consumare una quantità considerevole di memoria quando le query simultanee eseguono più operazioni di ordinamento o di hashing. Ridurlo con cautela se le misurazioni mostrano che la concorrenza delle query sta moltiplicando l'utilizzo della memoria; il compromesso è che le operazioni di grandi dimensioni potrebbero essere scritte su file temporanei e risultare più lente. Evitare di copiare valori generici da un server diverso, poiché il carico di lavoro di Synapse e la versione di PostgreSQL sono rilevanti.

La documentazione di PostgreSQL descrive shared_buffersi buffer condivisi come la cache principale e suggerisce circa il 25% della RAM come punto di partenza ragionevole solo per un server di database dedicato con almeno 1 GB di RAM. Nota inoltre che allocare più del 40% difficilmente apporterà benefici alla maggior parte dei carichi di lavoro, poiché PostgreSQL si basa anche sulla cache del sistema operativo. Azione: utilizzare questi valori come contesto, non come obiettivo per un host Synapse condiviso; se i buffer condivisi occupano già una porzione significativa della memoria totale, valutare un valore inferiore durante un riavvio pianificato.

Se il numero di connessioni è la pressione principale

Esamina i valori di Synapse database.args.cp_mine nei file di configurazione dei worker. La guida di Synapse per PostgreSQL mostra queste impostazioni come dimensione minima e massima del pool di connessioni. Quando ci sono molti worker, ognuno con un pool, il numero totale di connessioni possibili può essere molto maggiore del valore in un singolo file. Ridurre può limitare i backend di database concorrenti e il loro consumo di memoria, ma un pool troppo piccolo può far sì che le richieste attendano una connessione.cp_maxhomeserver.yamlcp_max

database:
  name: psycopg2
  args:
    user: synapse_user
    password: "use-a-secret-store-or-protected-config"
    dbname: synapse
    host: 127.0.0.1
    port: 5432
    cp_min: 2
    cp_max: 5

I valori sopra riportati sono solo a scopo illustrativo e non costituiscono una raccomandazione universale. Conta i pool per il processo principale e per ogni worker, e lascia un margine per l'amministrazione, le migrazioni, il monitoraggio e gli altri client. PostgreSQL alloca alcune risorse in base a max_connections, quindi aumentare tale limite "per precauzione" può incrementare la pressione sulla memoria di base. Azione: limita i pool di Synapse a un livello adeguato alle tue esigenze di concorrenza misurate e assicurati che il limite di connessioni di PostgreSQL sia sufficiente per tutti i servizi e per l'accesso amministrativo.

Se la manutenzione o l'aspirazione automatica coincidono con i picchi

PostgreSQL potrebbe allocare memoria di manutenzione per le operazioni di vacuum e di indicizzazione. La memoria per l'autovacuum può essere allocata per ogni worker, quindi un'impostazione elevata combinata con diversi worker può aumentare il consumo di memoria di picco. Non disabilitare l'autovacuum per ridurre la memoria: esegue la necessaria manutenzione delle tabelle. Azione: esaminare i log e l'attività durante il picco, quindi regolare maintenance_work_memla memoria autovacuum_work_memsolo se tali operazioni sono state confermate come cause del problema.

Applica le modifiche e verifica il risultato

Eseguire prima un backup della configurazione di PostgreSQL e di Synapse. Modificare una variabile o un limite del pool alla volta, conservare le credenziali esistenti in modo sicuro e utilizzare il percorso di configurazione appropriato per il pacchetto o il container in uso. Alcuni parametri di PostgreSQL, inclusi shared_bufferse max_connections, richiedono il riavvio del server; le impostazioni ricaricabili possono essere applicate tramite il meccanismo di ricaricamento supportato da PostgreSQL. Verificare il contesto dell'impostazione prima di presumere che sia stata applicata tramite ricaricamento.

Dopo la modifica, monitora i picchi di utilizzo della memoria, gli eventi di swap e di memoria insufficiente, le connessioni attive, la latenza delle query, l'attività dei file temporanei e i ritardi delle richieste Synapse durante un periodo di utilizzo rappresentativo. La modifica è utile se riduce la pressione sulla memoria senza causare attese prolungate delle connessioni, query più lente o un crescente accumulo di richieste in sospeso. Se è Synapse il processo che consuma RAM anziché PostgreSQL, configura separatamente il comportamento della cache di Synapse e il numero di worker; le impostazioni di PostgreSQL non risolveranno il problema della memoria occupata dai worker Python.

Non impostare work_memun valore uguale all'intera RAM del server, non aumentare il valore max_connectionssenza calcolare i totali del pool e non disabilitare l'autovacuum come soluzione generalizzata. Se l'utilizzo della memoria rimane elevato, acquisire metriche durante il picco e analizzare le query effettivamente in esecuzione e le fonti di connessione prima di aggiungere hardware o apportare modifiche generali alla configurazione.

Riferimenti ufficiali

Lascia un commento

Ridurre la pressione sulla memoria di PostgreSQL in Matrix Synapse

Scopri se l'utilizzo della memoria PostgreSQL deriva da query, buffer condivisi, connessioni o operazioni di manutenzione, quindi apporta modifiche mirate e compatibili con Synapse.

Perché le connessioni tra le stanze di sinapsi di Matrix sono lente e cosa controllare

Perché le connessioni tra le stanze di sinapsi di Matrix sono lente e cosa controllare

Traccia le connessioni lente alle stanze Matrix verso un homeserver remoto, il backoff della federazione, il caricamento del database locale o una coda di invio in uscita prima di modificare le impostazioni di Synapse.

Chiudere le iscrizioni a Matrix o richiedere token di invito su Synapse

Impedisci la creazione di account aperti su un server Synapse self-hosted oppure mantieni le registrazioni accessibili solo su invito con token di registrazione a utilizzo limitato.

Avviso di identità della sessione Element: verifica le tue credenziali di accesso in modo sicuro

Clear Element offre un sistema di avviso per sessioni non verificate utilizzando un dispositivo attendibile o una chiave di ripristino, con controlli che proteggono la cronologia delle chat crittografate.

Evita i timeout di blocco dei file di ownCloud con il backend giusto

Distingui i conflitti di blocco del database dai blocchi WebDAV scaduti, quindi scegli e configura la soluzione ownCloud 10 più adatta.

Cosa controllare quando ownCloud Web si apre su una pagina vuota

Cosa controllare quando ownCloud Web si apre su una pagina vuota

Individua le cause di una schermata web ownCloud vuota, come la cache del browser, la mancanza di risorse web, errori di servizio o impostazioni URL del proxy inverso, tramite controlli mirati.

Rimuovi l'avviso di memoria PHP di ownCloud nel runtime corretto

Imposta il limite di memoria PHP web di ownCloud, riavvia il servizio corrispondente e verifica il valore attivo senza confonderlo con le impostazioni della CLI o i limiti di caricamento.

Risoluzione dei problemi di connessione MySQL di ownCloud 10

Scopri se MySQL, PHP, le impostazioni dei socket o i permessi del database stanno bloccando ownCloud 10, quindi verifica una soluzione sicura.

Imposta un limite di scadenza preciso per i link pubblici di ownCloud.

Imposta un limite di scadenza preciso per i link pubblici di ownCloud.

Rendi obbligatoria la scadenza dei link pubblici in ownCloud Classic, imposta una durata massima e verifica le condivisioni esistenti che potrebbero richiedere una pulizia separata.

Aggiungi l'autenticazione a due fattori TOTP a ownCloud Infinite Scale con Keycloak

Aggiungi l'autenticazione a due fattori TOTP a ownCloud Infinite Scale con Keycloak

Abilita TOTP tramite Keycloak, registra gli utenti in modo sicuro e scopri quando si applicano le impostazioni MFA a livello di percorso di Infinite Scale.