Deployment
This content is not available in your language yet.
One topology, described once, deployed as overlays:
deploy/base the shared manifests: Postgres 18, NATS, regnid (+ mail worker), regnmed-api (migrate init container, nightly anchor CronJob)deploy/shared what the SERVED environments run and the laptop does not: nightly backups + weekly restore-verification, and abonnement invoicing. Referenced by prod and test, copied into neither.deploy/local k3d in colima, *.localhost, no TLS, local-path storage — the integration proving ground (scripts/dev-cluster.sh, 2 GB VM)deploy/test prod-shaped: replicated storage, secrets out of git, every scheduled job running, and the card rail against Stripe TEST mode. Runs on homelabdeploy/prod real domains, TLS, secrets out of git, backups with restore-verification, TSA-witnessed anchoring. Runs on the Hetzner cluster since 2026-11-08 — see «Prod på Hetzner» belowTest is prod-shaped, not local-shaped. That is the whole point of it: replicated storage, the three-host split, the restore drill and the card rail all run there, so they are found broken while that is cheap. An environment that skips them tests nothing about them. What it does not share with production: one API replica instead of two, small volumes, and no external TSA witness — a timestamp is a claim about a real ledger, and test roots are not that.
Prod på Hetzner (2026-11-08)
Section titled “Prod på Hetzner (2026-11-08)”Prod flyttet fra homelab til Hetzner-clusteret (bisand/hetzner, PLAN.md
fase 4); test ble igjen på homelab, så Hetzner bærer prod alene. Test kjørte
først en generalprøve på Hetzner med samme oppsett, og flyttingen av prod
fulgte den: frys på homelab, pg_dump av begge databasene, restore inn i
CNPG-primæren, verify-ledger før noe startet (67 bilag, 65 vedlegg, 11
ankere OK), så DNS.
Plattformen eier clusteret; regnmed er en tenant:
tenants/regnmed/prod.yaml lager navnerommet regnmed, en ServiceAccount
som bare er admin der, en NetworkPolicy som bare slipper inn Traefik,
monitoring og CNPG-operatoren, og Flux-objektene som henter deploy/prod
fra høyeste release-tagg. Overlayet kan ikke røre noe utenfor navnerommet —
heller ikke Namespace-objektet, som overlayet sletter fra base.
Det som skiller prod fra test i rørleggingen:
- Postgres er CloudNativePG (
deploy/prod/postgres.yaml): to instanser på to bokser, synkron replikering mens standby lever. Tjenestenpostgreser pekt om til primæren, så alle URL-er, backupjobben og restore-sjekken er uendret. Innloggingen erpostgres-login(basic-auth, samme passord som idb-credentials). - Lesetilgang for verifisering: rollen
regnmed_readonly(pg_read_all_data, ingen skriverettigheter, intet passord) logger inn bare over podens lokale socket, så det er serveren — ikke den som skriver — som nekter en skriving:kubectl -n regnmed exec -i postgres-1 -c postgres -- psql -U regnmed_readonly -d regnmed(bytt til den som er primær; standby svarer også, bare et øyeblikk på etterskudd). - To backuper: CNPG arkiverer hver WAL-fil og tar en nattlig
basebackup til
s3://bogenhuset/cnpg/regnmed-prod(30 dager) — det er gjenopprettingsveien.pg_dump+ ukentlig restore-og-verify-ledgerbestår — det er revisjonsbeviset. - Ett sted: alt ligger i Helsinki sammen med databasen
(
patches/site.yaml). Clusteret spenner over to datasentre ~25 ms fra hverandre, og med API-et i Falkenstein tok/anchors~1 s mot 0,12 s samlet. - postbud nås gjennom en Tailscale-egressproxy (
deploy/prod/postbud.yaml,tag:regnmed), siden podene ikke er på tailnettet selv. - TLS fra cert-manager via plattformens
letsencrypt(HTTP-01 gjennom Traefik) på plattformens Floating IP 65.109.248.196; HTTP svarer 301 til HTTPS.www.regnmed.nohører ikke til clusteret lenger: den er markedsføringssiden på GitHub Pages (CNAME hos Domeneshop), og portalen bor påregnmed.no. - arm64. Imagene er multi-arch fra samme tagg (images.yml bygger amd64 og arm64 nativt og slår dem sammen), så homelab-test og Hetzner-prod kjører samme tagg.
- DNS for regnmed.no ligger hos Domeneshop (flyttet fra Cloudflare 2026-11-08).
Utrulling: clusteret HENTER, GitHub dytter aldri
Section titled “Utrulling: clusteret HENTER, GitHub dytter aldri”| Miljø | Følger | Utløses av |
|---|---|---|
| test | grenen main, deploy/test |
hver push med grønn CI |
| prod | semver-tagger >=0.1.0, deploy/prod |
at en release publiseres |
CI-porten (2026-08-06): images-workflowen og ci-workflowen
kjører parallelt, og rullesteget i images ventet ikke — test fikk to
ganger et bygg hvis CI senere feilet. Rullesteget venter nå på at ci
er grønn på samme commit før test-overlayet skrives; feiler CI, feiler
images-jobben på samme sted, synlig. Selve image-pushen er ikke portet
(et image i registeret deployer ingenting). Forhåndsutgaver
(vX.Y.Z-rcN) er fortsatt fluktluken for risikofylte endringer: de
bygger et image utenfor prods semver-område og kan soakes på test før
den ordentlige taggen kuttes.
Flux kjører i clusteret og henter fra git. Manifestene for det ligger i
søsterrepoet ../homelab (cluster/flux-regnmed.yaml) — de hører ikke
hjemme her, like lite som UniFi-manifester gjør.
Retningen er ikke en smakssak. To forhold tvinger den, og begge de enklere alternativene er feil:
- k3s-API-et ligger bak NAT, så en GitHub-hostet runner kan ikke nå det — og løsningen er ikke å åpne 6443 mot internett, for det er å publisere et cluster-admin-endepunkt.
- BogenTech/regnmed er et OFFENTLIG repo. En self-hosted runner ville da la hvem som helst som åpner en pull request kjøre kode på en maskin inne i hjemmenettet, ved siden av hovedboken. GitHub anbefaler selv mot nettopp dette.
Hvor hemmelighetene bor
Section titled “Hvor hemmelighetene bor”I clusteret, og ingen andre steder. db-credentials og
stripe-credentials opprettes én gang med kubectl create secret og
lever videre gjennom hver utrulling. CI trenger dem aldri: den bygger et
image og skriver en tagg til git, og clusteret gjør selve applyen.
Derfor kan en kompromittert workflow på et offentlig repo ikke nå
Stripe-nøklene eller databasen.
Ingenting legges i GitHub repo secrets eller environment secrets. Flux trenger heller ingen deploy key, siden repoet er offentlig og lesing er anonym. Dette er docs/secrets.md som holder, ikke som omgås.
.env er utelukkende for lokal utvikling (se .env.example, som
dokumenterer alle 28 variablene) og har ingen rolle i utrulling.
Hvordan en test-utrulling faktisk skjer
Section titled “Hvordan en test-utrulling faktisk skjer”.github/workflows/images.yml bygger og pusher
ghcr.io/bogentech/regnmed:sha-<short>, og committer så den taggen inn
i deploy/test/kustomization.yaml på main. Den commiten ER utrullingen
— Flux rekonsilierer den innen minuttet. Git blir den eneste kilden til
sannhet, og taggene forblir uforanderlige, som er nettopp det som gjør at
test alltid kan navngi commiten den kjører.
Workflowen har paths-ignore: deploy/**. Uten den ville dens egen
tagg-commit utløst et nytt bygg, i det uendelige.
Å slippe til produksjon
Section titled “Å slippe til produksjon”Produksjon er automatisk ved release, uten godkjenningssteg — releasen er den bevisste handlingen. To følger av det:
- Commiten du tagger må ALLEREDE peke på det image-taggen prod skal
kjøre, i
deploy/prod/kustomization.yaml. Prod følger ikke nyeste image; den følger det releasen sier. Det er dette som gjør at prod kan navngi sin egen commit. - Å slette en feil tagg ruller ikke tilbake. Flux går til den høyeste semver-taggen som matcher, så publiser en rettet, høyere release i stedet.
Slippflyten (revidert 2026-08-06 — versjonen i brukermenyen skal være releasen, og hver release skal forklare seg):
-
Verifiser at testmiljøet faktisk kjører shaen du slipper —
test.regnmed.noserverer portalbunten fra det bygget (CI ruller test automatisk ved push til main). -
Sett
newTag: vX.Y.Z(den KOMMENDE taggen) for regnmed ideploy/prod/kustomization.yaml, commit («Prod: roll to vX.Y.Z»), tagg samme commitvX.Y.Z, push begge. Dette steget er nå en port, ikke bare en setning:images.ymlnekter å bygge et image for en tagg hvisdeploy/prodikke peker på taggen selv (se nedenfor om hvorfor). Tag-pushen bygger imaget medREGNMED_VERSION=vX.Y.Zbakt inn — Flux kan stå i ImagePullBackOff i ~4 minutter til imaget finnes, og henter seg inn selv. Kodeekvivalensen sha == tag holder fordi pin-commiten bare rørerdeploy/, som aldri går inn i imaget. -
Opprett GitHub-releasen — taggen alene er ikke nok:
Terminal window gh release create vX.Y.Z --title "vX.Y.Z" --notes "$(git log --format='- %s' vFORRIGE..vX.Y.Z^)"Notatene skal si hva som slippes siden forrige release, i klartekst — det er endringsloggen kunder og drift leser, og
git log-linjene er utgangspunktet, ikke fasiten: rediger til noe et menneske har glede av. -
Verifiser at prod svarer med releasen:
curl -s https://regnmed.no/portal-configskal bære"versjon": "vX.Y.Z".
Hvilket nummer (vedtatt 2026-11-09). Vi blir på 0.x — 1.0 er for tidlig. Innenfor 0.x betyr tallene dette:
- Minor (0.7.0, 0.8.0, …): ny funksjonalitet, en migrasjon, en ny miljøvariabel eller hemmelighet, en ny CLI-kommando, et nytt eller endret API-endepunkt — alt en driftsperson eller en integrasjon merker. Under 1.0 går også brytende endringer her.
- Patch (0.7.1, …): feilrettinger og interne endringer, ingenting annet.
Grunnen: 0.6.x fikk 25 patch-releaser fra 2026-08-08 til 2026-11-09, blant dem en ny innloggingsmodell, innlogging med telefon og dokumenter flyttet til objektlager med migrasjon — og seks releaser på én dag uten notater. Nummeret sa ingenting om hva som endret seg.
Slipp samlet, ikke per retting. Test ruller allerede på hver push til
main; iterer der, og bruk -rcN når noe skal modnes. En release kuttes
når endringen virker, ikke etter hvert steg underveis — og hver release
har notater.
1.0 er en API-avgjørelse, ikke en milepæl i tid. Den tas når den offentlige API-flaten (docs/api.md, JSON-feltnavnene, MCP-verktøyenes skjemaer) erklæres stabil. Fra da krever en brytende endring der en major, og det er da nummeret begynner å bety noe for kunder med integrasjoner (#45).
paths-ignore gjelder IKKE tagg-pusher. images.yml ignorerer
deploy/**, docs/** og *.md på main, så workflowens egen tagg-bump i
deploy/test ikke utløser en ny runde av seg selv. Det er lett å tro at
filteret også gjelder tagger — og da ville en commit som BARE flytter
pinnen (nøyaktig det steg 2 ber om) kunne tagges uten at noe image ble
bygget. Den frykten er ubegrunnet, prøvd 2026-10-29: v0.6.8-commiten
rørte bare deploy/ og docs/, og tagg-pushen bygget imaget. GitHub
evaluerer ikke sti-filtre for tagger.
Skulle et bygg likevel utebli (Actions-hendelser kan droppes), er fluktluken den workflowen alt dokumenterer:
gh workflow run images.yml --ref vX.Y.ZHvorfor steg 2 er en port (funnet 2026-10-29). Prod kjørte image
v0.6.4 mens både v0.6.5 og v0.6.6 var sluppet. Begge taggene bar et
deploy/prod som fortsatt sa v0.6.4, så Flux gikk pliktskyldig til
nyeste tagg og applyerte manifestene derfra — og manifestene navnga et
eldre image. Imagene v0.6.5 og v0.6.6 BLE bygget og ligger i
registeret; de ble bare aldri tatt i bruk. Ingenting var ødelagt,
ingenting var høylytt, og to releaser leverte ingen applikasjonskode.
Det er samme felle som nesten-tabben i CLAUDE.md punkt 56, og den kom
igjen fordi «tagg» og «oppdater pinnen» er to handlinger og ingenting
sjekket at de var enige. Nå gjør images.yml det: på en v*-tagg
sammenlignes taggen med regnmeds newTag i deploy/prod, og bygget
feiler hvis de spriker. En feilpinnet tagg bygger da ikke noe image, som
er riktig retning — prod blir stående på det den alt kjørte, og feilen
er synlig i Actions i stedet for i et versjonsnummer ingen leser.
Forhåndsutgaver (v1.2.3-rc1) er utenfor semver-området, så en
release-kandidat kan tagges og inspiseres uten å røre produksjon.
prune: true på begge: fjerner du en ressurs fra et overlay, blir den
faktisk slettet i clusteret. Uten det samler det seg opp levende objekter
ingen manifest beskriver — det skjedde her én gang alt, med en
gjenglemt ClusterIssuer.
Production checklist (deploy/prod)
Section titled “Production checklist (deploy/prod)”-
Pin images. Build with
scripts/build-images.sh, push to your registry, set the twonewTagvalues indeploy/prod/kustomization.yaml. Never:devin production. -
Hosts. Three of them, and they mirror the local cluster:
Host Serves Ingress regnmed.nothe portal — what a human opens regnmed-portalapi.regnmed.nothe API — what an integration calls regnmed-apiid.regnmed.nothe IdP regnidThe first two point at the same service: one binary serves both the SPA and the API (docs/portal.md). That is deliberate, and it is what keeps the portal’s own calls same-origin — the app asks for
/companies/…relative to wherever it was loaded, so a human onregnmed.nonever makes a cross-origin request. No CORS, andconnect-src 'self'in the CSP (docs/auth.md §9) keeps meaning what it says. Split them onto different services and both stop holding.Edit the hostnames in
deploy/prod/ingress.yaml, the matchingISSUER/OIDC_ISSUERvalues indeploy/prod/patches/— the issuer URL the browser sees must be the one the pods see — andPORTAL_BASE_URL, which is the portal host, since it becomes the link in the invitation e-mail (#66). Registerhttps://regnmed.no/callbackas a redirect URI on the portal’s OIDC client; add the API host too if the app should be openable there as well. -
Volumes — replicated storage, and check the arithmetic. Everything about volumes lives in
deploy/prod/patches/storage.yaml, which shows its working.Production needs a replicated storage class. The base manifests name none, so the local k3d cluster gets
local-path— a directory on the single node. That is right for a laptop and wrong for production, where a node-local volume means the database dies with its node. The prod patch nameslonghorn; any distributed provisioner does (Rook/Ceph, OpenEBS Mayastor, a cloud class), and it is named in that one file so switching is one edit. What the class must provide, whatever its name: replication across nodes,allowVolumeExpansion: true, and snapshots.ReadWriteOnceis correct and stays — Postgres is a single writer, and the two CronJobs sharing/backupnever run at once (01:30 nightly, 04:00 Sundays), so the volume reattaches cleanly if they land on different nodes.The local cluster deliberately does not run Longhorn. It needs iSCSI, real block devices and roughly a gigabyte for its own components;
dev-cluster.shfits in a 2 CPU / 2 GB VM on purpose (docs/frugality.md). So this is the one place where local stops mirroring production, and it is worth knowing before a storage problem is met for the first time in prod. Everything above the volume — schema, jobs, restore drill — is identical.Sizes: 50Gi for Postgres and 150Gi for backups (the base sizes are for the local VM).
The two are not independent. The nightly job keeps 14
pg_dump -Fcfiles, and-Fccompression does nothing for content that is already JPEG or PDF — so the backup volume needsretention × database, not some fraction of it. The pair that shipped before this was already broken in that direction: 2Gi of database against 10Gi of backups, where a full database needs ~28Gi of dumps. The backup volume would have filled first, and the nightly job would have begun failing while the database still looked healthy. Failed Jobs are the alerting signal (see Observability), so it would have been visible — but the thing that broke would not have been the thing that was undersized.What fills the database is not the ledger; vouchers and entries are small rows. It is four bytea columns — bilagsvedlegg, innboks documents, receipt photos, raw e-mail — capped at 20 MB per upload and averaging a few hundred KB in practice.
Full daily dumps do not scale with blob storage: they re-copy every unchanged photo, nightly. PITR via CloudNativePG (below) is the answer, and the trigger to adopt it is the database passing ~20 GB, not a date.
Replication multiplies all of it. Those are the sizes Kubernetes reports; a replicated class stores each one N times, and Longhorn’s default N is 3 — so 50 + 150 + 1 Gi of volumes is about 600Gi of raw disk across the pool. That is the number to provision against. It is also the reason to consider
numberOfReplicas: 2for the backup volume specifically: its contents are already a copy, and a third replica of a copy is thin value for 150Gi.Storage snapshots do not replace the dumps. A block snapshot of a running Postgres is crash-consistent — Postgres recovers from it as from a power cut — but it proves nothing about the ledger. The weekly restore-verification exists to prove exactly that, and it stays whatever the storage layer offers. Treat snapshots as a faster recovery tier layered on top.
Volumes can usually be grown in place later (
allowVolumeExpansion: trueon the StorageClass) but never shrunk. Confirm that before the first apply; the alternative is dump-and-restore. -
TLS — terminert av Traefik i clusteret (fra 2026-08-01). Dette er den ene plassen som sier hvilket hopp som eier sertifikatene, og den må oppdateres i samme endring som manifestene.
I dag: Traefik eier ruterens 80/443, og cert-manager utsteder Let’s Encrypt-sertifikater per ingress via HTTP-01. Hver regel har
tls:ogcert-manager.io/cluster-issuer: letsencrypt.ClusterIssuer-objektet er clusteromfattende og bor derfor i hjemmelab-repoet (stacks/edge/), ikke her — to repoer som begge eier samme objekt ville kjempet om det.cert-issuer.yamlblir liggende i overlayene som klargjort konfigurasjon for en frittstående utrulling som ikke har hjemmelab-repoet.HISTORIKK, og grunnen til at overgangen måtte gjøres i to trinn: fram til 2026-08-01 terminerte nginx-proxy-manager TLS og videresendte ren HTTP til Traefik. Ingressene hadde da verken
tls:-blokk eller issuer-annotasjon, og det var ikke latskap: en ruter videresender 80/443 til ÉN destinasjon og kan ikke rute på vertsnavn — det er L7, og en ruter er L4. Ba man cert-manager om sertifikater mens NPM eide porten, kunne det ikke fungere: NPM svarte på HTTP-01-utfordringen i stedet for solver-poden. Erfart 2026-07-29, treCertificate-objekt stoready=Falsemed «failed to perform self check». Sertifikatet var ikke problemet — topologien var det.SELVE OVERGANGEN ble derfor delt: port 80 flyttet til Traefik først, mens 443 fortsatt gikk til NPM. Da kunne cert-manager løse HTTP-01 og utstede alle sertifikatene mens HTTPS var uforstyrret, og 443 ble flyttet først da hvert
CertificatestoReady. Grunnen til å ikke bare flytte begge: Let’s Encrypt tillater 5 mislykkede valideringer per vertsnavn per time, så å rulle ut annotasjonene før porten var flyttet ville brent kvoten nøyaktig når man trenger den.Prisen, fortsatt verdt å kjenne: produksjons-ACME har grenser per registrert domene, så
test.regnmed.noogregnmed.nodeler budsjett. cert-manager fornyer på 2/3 av levetiden og reutsteder ikke ved hver ombygging, men et cluster som stadig gjenskapes kan komme borti taket. -
Secrets — before the first apply, never in git:
Terminal window kubectl -n regnmed create secret generic db-credentials \--from-literal=password='<strong password>' \--from-literal=regnmed-url='postgres://regnmed:<pw>@postgres:5432/regnmed' \--from-literal=regnid-url='postgres://regnmed:<pw>@postgres:5432/regnid' \--from-literal=restore-check-url='postgres://regnmed:<pw>@postgres:5432/regnmed_restore_check'Kortskinnen (#74) trenger sin egen, samme regel — aldri i git:
Terminal window kubectl -n regnmed create secret generic stripe-credentials \--from-literal=secret-key='sk_live_…' \--from-literal=webhook-secret='whsec_…'Webhook-hemmeligheten er den live-endepunktets: Stripe utsteder én per modus, og en test-hemmelighet her gjør at hver eneste ekte hendelse avvises som usignert.
I PRODUKSJON er kortskinnen foreløpig AV (besluttet 2026-07-31 ved første utrulling):
STRIPE_*er tatt ut avdeploy/prod/patches/regnmed-api.yaml, såstripe-credentialstrengs ikke der ennå og portalen sier at kortbetaling ikke er tilgjengelig. Å slå den på er de to blokkene som står igjen i toppkommentaren i patchen, pluss hemmeligheten — og da med live-verdier. En testnøkkel der ville ikke feilet: den ville tatt imot et ekte kort, ikke trukket noe, og likevel lukket reskontroposten.I TESTMILJØET må BEGGE hemmelighetene finnes FØR første apply (
-n regnmed-test, medsk_test_…/whsec_…fra Stripes testmodus). Manglerstripe-credentialsmens patchen krever den, starter ikke regnmed-api i det hele tatt: poden blir stående iCreateContainerConfigErrormed «secret “stripe-credentials” not found», mens Postgres, migrasjonene og alt annet ser friskt ut. Feilen står i pod-hendelsene, ikke i loggene — containeren rekker aldri å starte. Erfart 2026-07-29 ved første utrulling av testmiljøet.Every DATABASE_URL/POSTGRES_PASSWORD/STRIPE_* in the prod render comes from a secret; the rendered YAML contains no credential (usernames and the OIDC audience are the only literals).
-
Abonnementsfakturering og kortskinnen (docs/abonnement.md): onboard driftsselskapet i regnmed (BRREG, som alle andre) og sett dets orgnr som
REGNMED_DRIFT_ORGNRbegge stedene — påregnmed-api(patches/regnmed-api.yaml) og på CronJob-en (deploy/shared/abonnement-faktura.yaml, patchet i overlayet).De tre kortinnstillingene er et sett.
STRIPE_SECRET_KEYogSTRIPE_WEBHOOK_SECRETer begge-eller-ingen — mangler én er skinnen av, og endepunktene sier det. Den tredje,REGNMED_DRIFT_ORGNR, er den som svir: webhooken er det som gjør et Stripe-trekk om til et betalingsbilag og en lukket reskontropost, og uten orgnr vet den ikke hvilken hovedbok det hører hjemme i. Stripe har uansett tatt pengene. Å sette de to første uten den tredje er verre enn å la skinnen være av: kunden trekkes, og regnskapet får det aldri med seg. Og de to stedene må ha SAMME orgnr — ellers utstedes fakturaen i én hovedbok og betalingen bokføres i en annen, og posten lukkes aldri.Pek Stripes live-webhook på
https://<api-host>/webhooks/stripe. -
E-post inn (#35, docs/epost-inn.md):
MAIL_IN_DOMAINer vanlig konfigurasjon, ikke en hemmelighet — domenet innboksadressene vises under. Sett det først når det domenets MX faktisk leverer inn i regnids mottak; ellers viser portalen en adresse som stille tar imot ingenting, og det er nettopp det den usatte tilstanden finnes for å unngå. -
kubectl apply -k deploy/prod. -
Bootstrap — OIDC-klienten og det første mennesket, se neste avsnitt. Uten steget står et miljø oppe som ingen kan logge inn i.
Bootstrap etter første apply
Section titled “Bootstrap etter første apply”Manifestene reiser topologien, men de kan ikke reise staten inne i regnid. OIDC-klienten og den første kontoen er rader i regnids database, og et passord kan uansett aldri ligge i dette repoet (docs/secrets.md). Da finnes bare én plass framgangsmåten kan bo, og det er her.
Den bodde ingen steder fram til 2026-08-06, og prisen kom som forventet:
spørsmålet «hvilken administrator lagde vi til testmiljøet?» kunne ikke
besvares av noen, og repoet kunne ikke svare heller — det eneste
add-user-kallet i git er seed() i scripts/dev-cluster.sh, som
sår det lokale clusteret og aldri har rørt test.regnmed.no.
Passordet hører hjemme i en passordhåndterer; det som mangler her er
bare hvilke steg som ble tatt.
Stegene kjøres én gang per miljø, etter første apply. -n regnmed-test
for test, -n regnmed for prod; alt annet er likt. Eksemplene under er
testverdier — bytt vertsnavnene i prod.
1. OIDC-klienten regnmed-portal
Section titled “1. OIDC-klienten regnmed-portal”kubectl -n regnmed-test exec deploy/regnid -- /app/regnid add-client \ --client-id regnmed-portal --name "regnmed portal" \ --redirect-uri https://test.regnmed.no/callback \ --redirect-uri https://api.test.regnmed.no/callback \ --post-logout-redirect-uri https://test.regnmed.no/ \ --post-logout-redirect-uri https://api.test.regnmed.no/ \ --audience regnmed--audience regnmed er det som svir hvis den glemmes. Innloggingen
virker helt fint uten den — brukeren kommer tilbake til portalen med et
token — og så svarer hvert eneste API-kall 401, uten et spor noe sted
som peker på klientregistreringen. Erfart i prod 2026-07-31.
Klient-id-en må være den API-et ber om: PORTAL_OIDC_CLIENT_ID, som
faller tilbake på regnmed-portal (crates/regnmed-api/src/portal.rs).
Redirect-URI-ene er hver origin portalen kan åpnes fra, ikke bare
den vanlige: appen bygger sin egen redirect_uri av location.origin
(ui/portal/src/lib/auth.svelte.js), og de to første vertsnavnene peker
på samme service — én binær serverer både SPA-en og API-et — så portalen
svarer også på API-verten. Åpner noen den der, må den origin være
registrert, ellers avviser regnid redirecten.
2. Den første kontoen
Section titled “2. Den første kontoen”kubectl -n regnmed-test exec deploy/regnid -- /app/regnid add-user \ --email deg@example.no --password '<engangspassord>' \ --name 'Navn Navnesen' --admin--admin gjelder regnids egne administrasjonssider (brukere og
klienter i IdP-en) og gir ingen tilgang til noen hovedbok — grensen i
docs/auth.md §8 går ikke gjennom regnid. Passordet står i klartekst i
kommandoen, altså i skallhistorikken: bruk et engangspassord og bytt det
fra kontosiden etter første innlogging. Regnid har også /forgot, men
den veien forutsetter at utgående e-post faktisk leveres i miljøet
(MAIL_BACKEND=nats + en mail-worker med transport-legitimasjon) — er
den ikke oppe, er add-user eneste vei inn.
3. Selskapsadministrator lages ikke her
Section titled “3. Selskapsadministrator lages ikke her”Den kommer av seg selv: den som onboarder et selskap fra Enhetsregisteret blir dets administrator (docs/marketplace.md). Registreringsflyten i portalen er hele framgangsmåten, og det finnes ingen CLI-vei — med vilje.
4. Plattformrolle, hvis miljøet skal ha en
Section titled “4. Plattformrolle, hvis miljøet skal ha en”kubectl -n regnmed-test exec deploy/regnmed-api -- /app/regnmed platform-grant \ --epost deg@example.no --rolle systemadmin \ --til 2026-12-31 --notat 'Sak 123: drift av testmiljøet'Personen må ha logget inn i portalen én gang først — platform-grant
slår opp en eksisterende person, og finner den ingen, sier den det.
--til er obligatorisk og eksklusiv (docs/auth.md §8: en plattformrolle
uten utløpsdato kan ikke skrives inn). platform-list viser
medlemskapene, platform-end --id <id> avslutter et med virkning fra
neste kall.
Hva finnes allerede i et miljø?
Section titled “Hva finnes allerede i et miljø?”Det er dette spørsmålet avsnittet finnes for. Kontoene:
kubectl -n regnmed-test exec deploy/postgres -- psql -U regnmed -d regnid -c "select email, name, is_admin, created_at from users order by created_at"(psql over containerens egen socket trenger ikke passord.) Og
plattformrollene, aktive som avsluttede:
kubectl -n regnmed-test exec deploy/regnmed-api -- /app/regnmed platform-listPod hardening
Section titled “Pod hardening”Every container runs unprivileged, with no capabilities and a default
seccomp profile: allowPrivilegeEscalation: false,
capabilities: drop [ALL], seccompProfile: RuntimeDefault. Beyond
that, the containers differ, and the differences are the interesting part.
| runs as | root fs | |
|---|---|---|
| regnmed-api, regnid, mail worker, every CronJob | 65532 (nonroot) | read-only |
| postgres | 70 (postgres) |
writable |
| nats | 65532 | read-only |
Our own images are distroless :nonroot, so they already had a nonroot
USER — but an image saying so is not the same as the cluster requiring
it, and nothing was requiring it. runAsNonRoot is what makes a future
image change fail loudly instead of quietly running as root.
postgres and nats were genuinely running as root until this was
set; both images drop privileges themselves, or would have if asked, and
neither was being asked. Postgres needs fsGroup: 70 so the data
directory is owned by the user it now runs as, and keeps a writable
root filesystem on purpose: it writes its socket to
/var/run/postgresql and temp files to /tmp, neither a volume.
Turning those into emptyDirs to win the flag would add moving parts for
no real gain — the container is already unprivileged and capability-free.
nats gained -m 8222 and a readiness probe on /healthz. Without one,
a client could be routed to a NATS that had not finished opening its
JetStream store. The mail worker deliberately has no probe; the
manifest explains why.
Dokumentlagring (docs/blob-store.md)
Section titled “Dokumentlagring (docs/blob-store.md)”Dokumentene ligger i objektlagring, ikke i databasen. Hvert miljø får en
Secret blob-store med de seks BLOB_S3_*-variablene, laget for hånd
(nøkkelen er Hetzner-prosjektets S3-nøkkel, samme som homelab bruker til
Longhorn-backup):
kubectl -n regnmed create secret generic blob-store \ --from-literal=BLOB_S3_ENDPOINT=https://hel1.your-objectstorage.com \ --from-literal=BLOB_S3_BUCKET=bogenhuset \ --from-literal=BLOB_S3_REGION=hel1 \ --from-literal=BLOB_S3_PREFIX=regnmed-prod/documents/ \ --from-literal=BLOB_S3_ACCESS_KEY=… --from-literal=BLOB_S3_SECRET_KEY=…Alle regnmed-containere leser den med valgfri envFrom (deploy/base,
deploy/shared); uten Secret-en lagres dokumentene i databasen. Etter at
den finnes og podene er startet på nytt, flyttes eksisterende dokumenter
med én kjøring av regnmed offload-documents.
For backup betyr det: pg_dump inneholder ikke lenger dokumentene, og
gjenopprettingsøvelsens verify-ledger leser dem fra lagringen — øvelsen
beviser dermed også at hvert dokument fortsatt finnes og er uendret.
Backups — restored weekly, or they don’t count
Section titled “Backups — restored weekly, or they don’t count”deploy/shared/backup.yaml (prod and test both run it):
- Nightly
pg_dump(custom format) of both databases to the backup PVC, pruned after 14 days. - Weekly restore-verification: the newest dump is restored into a
scratch database and
regnmed verify-ledgerre-walks every hash chain in the restored copy — including the anchor checks. This proves, unattended, that the backup restores and that the restored ledger is untampered. A backup that has never been restored is a hope, not a backup.
The same drill runs anywhere via scripts/backup-verify.sh
(DATABASE_URL=… scripts/backup-verify.sh). It has been exercised both
ways: a clean ledger passes; a database containing forged anchor rows
fails with the tampering named. Copy the backup PVC off-cluster (object
storage, another site) — a backup next to its database shares its
fate.
Growth path, deliberate: when RPO of minutes (not a day) is required, move Postgres to the CloudNativePG operator with WAL archiving to object storage — true PITR. The dump+verify drill stays even then; PITR replaces the nightly granularity, not the verification.
Hendelse 2026-10-29: AppArmor sluttet å slippe gjennom signaler
Section titled “Hendelse 2026-10-29: AppArmor sluttet å slippe gjennom signaler”Symptom, runde 1: alt som leser databasen hang; /health og et 401
svarte på millisekunder. Prod, test OG et tredje, urelatert Postgres på
samme cluster — alle tre samtidig. Postgres hadde 100 forbindelser som
sto fast i authentication og aldri ble ryddet.
Symptom, runde 2: etter omstart fullførte Postgres recovery på under
ett millisekund og nådde så aldri «ready to accept connections».
startup og checkpointer sto parkert i S, uten CPU, i det uendelige.
Begge er samme feil.
Hvem startet nodene på nytt
Section titled “Hvem startet nodene på nytt”Ikke unattended-upgrades: apt-config dump på noden viser
Unattended-Upgrade::Automatic-Reboot "false", og homelab-repoet slår
fast at den innstillingen er bevisst og må stå — en omstart her krever
drain først, og unattended-upgrades vet ingenting om Longhorn-replikaer
eller etcd-quorum.
Det var den nattlige vedlikeholdsjobben i bisand/homelab
(daily-homelab-update, kl. 01:20Z): den kjørte maintain.sh apt, som
hentet 7.0.0-42, og deretter sin egen drain-og-omstart-runde node for
node over Tailscale — joda → obiwan → andor → mando → luke. Sporet på
mando er entydig: Accepted publickey for bisand from 100.117.182.8
(Mac-en, over tailnettet) kl. 01:43:45–01:45:25, så
systemd-logind: The system will reboot now! kl. 01:45:26. luke hadde
alt fått kjernen av unattended-upgrade dagen før.
Prosedyren var altså riktig — hver node ble drenert først, gate var
OK før runden startet, og hver node kom opp Ready med alle pods Running.
Det som gikk galt lå i kjernen, ikke i framgangsmåten, og ingenting i
passet kunne sett det: feilen rammer bare signaler inne i containere.
Rotårsaken
Section titled “Rotårsaken”Kl. 01:43–01:45 startet alle fem noder på nytt på kjerne 7.0.0-38 →
7.0.0-42. Ubuntu setter
kernel.apparmor_restrict_unprivileged_unconfined=1, og kjernen gjør da
om et uprivilegert change_profile til unconfined til en STABEL. En
prosess kubelet exec-er inn i en container — altså en probe — bærer
derfor etiketten
cri-containerd.apparmor.d//&unconfinedmens containerens egne prosesser bærer det bare navnet. containerds profilmal tillater signaler bare til det bare navnet:
signal (send,receive) peer={{.Name}},Så signaler mellom dem ble nektet. 425 avslag på to noder: 234 SIGURG, 147 SIGTERM, 44 SIGKILL.
Hvorfor det lammer Postgres: fra PG 16 vekkes latcher med SIGURG.
Nektes den, venter en prosess som venter på en latch for alltid — det er
runde 2, startup som venter på checkpointer. Og nektes SIGTERM, kan
postmasteren ikke rydde backender — det er runde 1, der
authentication_timeout fyrte av men signalet aldri kom fram.
På 7.0.0-38 ble stablingen logget, men slo sjelden inn. På 7.0.0-42 rammer den hver uprivilegert container. Det er grunnen til at dette traff i det sekundet nodene kom opp igjen.
Dette er ikke vårt, men vi må leve med det: containerd#14485 (åpen, ingen release), k3s#13625 (lukket, «nothing actionable on our side»). Rapporten der har nøyaktig vår stack: Ubuntu 26.04, 7.0.0-42-generic, k3s v1.36.5+k3s1, containerd v2.3.4.
Fiksen
Section titled “Fiksen”Containerds egen mal, rendret med nodens egne verdier, pluss to regler
(oppskriften og grensene står i
../deploy/host/README.md; den utrullede kopien
for vår homelab ligger i bisand/homelab under
nodes/common/cri-containerd.apparmor.d, siden en rendret profil er
vertsspesifikk og hører til vertsrepoet):
signal (send,receive) peer=cri-containerd.apparmor.d//&unconfined,ptrace (trace,tracedby,read,readby) peer=cri-containerd.apparmor.d//&unconfined,Dette svekker ingenting. Det lar en containers prosesser signalere
prosesser i SIN EGEN container som kjernen tilfeldigvis merket som en
stabel — nøyaktig det containerd alt har tenkt. All annen innestenging
står. De to alternativene er begge dårligere: appArmorProfile: Unconfined fjerner all innestenging fra produksjonsdatabasen, og
sysctl ...=0 slår av herdingen på hele verten.
Verifisert: 0 nye avslag på alle fem noder, kill -TERM virker igjen
(det svarte «Permission denied» før), og avstanden fra redo done til
ready to accept connections gikk fra 5 minutter til 29
millisekunder.
Det vi endret hos oss også
Section titled “Det vi endret hos oss også”readinessProbe var pg_isready, som med vilje ikke fullfører
håndtrykket: den sender oppstartspakken, leser utfordringen og legger på
uten å autentisere og uten Terminate. Backenden den etterlater kommer
bare ut via en EOF eller authentication_timeout — to utganger som
begge var stengt her. Proben er nå
psql -U regnmed -d regnmed -qtAXc 'select 1', som fullfører
protokollen og sender Terminate, så backenden avslutter fordi den ble
bedt om det. authentication_timeout=10s er lagt til ved siden av.
Vær tydelig på hva dette er: ikke rotårsaken, men dybdeforsvar. Med AppArmor-feilen på plass hadde begge vært maktesløse. Uten den er de likevel verdt å ha, for en probe som er avhengig av at noen oppdager at en klient gikk sin vei, er skjør uansett.
Det som gjorde feilsøkingen vanskelig
Section titled “Det som gjorde feilsøkingen vanskelig”- En uferdig autentisert forbindelse står IKKE i
pg_stat_activity. Den holder en slot og er usynlig for enhver spørring vi kunne skrevet. Bare prosesstabellen viste dem, som[local] authentication. Ingen overvåking vi kunne lagt på ville sett det. - Nodene kjørte forskjellige images under samme tag.
postgres:18-alpineflyter ogimagePullPolicyer ikke satt, så andor kjørte 18.6 mens luke og mando kjørte 18.4. Det var ikke årsaken her, men det er en ekte feil: samme manifest ga forskjellig programvare per node. Oppfølger:imagePullPolicy: Always, som holder nodene like UTEN å pinne en versjon. ps | grep authenticationtreffer postmasteren så snartauthentication_timeoutstår på kommandolinjen. Etkillpå det treffet tar ned hele databasen. Brukgrep "postgres: .* authentication".
Hvorfor vi ikke rullet kjernen tilbake
Section titled “Hvorfor vi ikke rullet kjernen tilbake”7.0.0-38 lå fortsatt på alle fem nodene, så det var lett. Men en nedgradering gjør sikkerhetsoppdateringer til noe vi skyver foran oss, og feilen ville kommet tilbake ved neste oppgradering. Profilen retter årsaken og holder nodene oppdatert.
Merk ved endring
Section titled “Merk ved endring”Et strategic-merge-patch erstatter args-lista.
authentication_timeout står derfor i base OG i begge overlayene — et
flagg bare i base ville blitt stilletiende borte i prod og test.
Oppetidssjekk: utenfor clusteret, og mot databasen
Section titled “Oppetidssjekk: utenfor clusteret, og mot databasen”.github/workflows/oppetid.yml, hvert tiende minutt.
Hendelsen 2026-10-29 varte i fire timer og ble oppdaget ved at eieren prøvde å bruke systemet. Overvåkingen sviktet ikke — den fantes ikke. Og det er verre enn det: det ene endepunktet man instinktivt ville satt en vakt på, var det ene som ikke kunne se feilen.
| endepunkt | under nedetiden | hvorfor |
|---|---|---|
/health |
200 hele veien | rører ikke databasen |
/me uten token |
401 på millisekunder | svarer før tilgangsoppslaget |
/portal-config |
hang for alltid | leser platform_setting |
/anchors |
hang for alltid | leser forankringstabellen |
/health er en liveness-løgn. Jobben sjekker derfor bare endepunkter
som faktisk går i databasen, og den behandler treghet som feil — ti
sekunders frist, for symptomet var henging, ikke 5xx.
Den kjører i GitHub Actions og ikke i clusteret med vilje: en vaktpost inne i clusteret går ned sammen med det den vokter. Den er gratis, den ligger utenfor, og den bor allerede der slippene bor — altså innenfor frugalitetsbudsjettet (docs/frugality.md), som er grunnen til at det ikke står en Prometheus-stack her.
Den åpner én issue med merkelappen oppetid når prod ikke svarer,
kommenterer på den hvis det vedvarer, og lukker den selv når prod
svarer igjen — så en natt med nedetid ikke blir tolv like varsler.
Den dekker ikke test. Det er et valg: et varsel som går av for testmiljøet blir et varsel ingen leser.
Images: flytende tagger må hentes
Section titled “Images: flytende tagger må hentes”postgres:18-alpine og nats:alpine flyter, og uten imagePullPolicy
bruker hver node det den tilfeldigvis har hentet. 2026-10-29 kjørte
andor PostgreSQL 18.6 mens luke og mando kjørte 18.4 — samme
manifest, samme tag, ulik programvare. Det var ikke årsaken til
hendelsen, men det kostet en feilaktig diagnose underveis.
Begge står nå på imagePullPolicy: Always. Det er med vilje IKKE en
pinning: oppdateringer skal fortsatt flyte inn, men likt på alle noder.
Prisen er at en node ikke kan starte podden hvis registeret er
utilgjengelig — en avveining vi tar, siden alternativet er at nodene
stilletiende divergerer.
regnmed- og regnid-imagene er unntatt: overlayene gir dem
uforanderlige tagger (v0.6.4, sha-…), så IfNotPresent er riktig
der.
Observability, within the frugality budget
Section titled “Observability, within the frugality budget”No metrics stack by default — the budget (docs/frugality.md) is spent on the product. What production runs on:
- Probes:
/healthreadiness on the API; pg_isready on Postgres. - Integrity monitoring is the observability that matters here: the
nightly anchor CronJob (every root witnessed via
ANCHOR_TSA_URL) and the weekly backup-verification are both checks that fail loudly inkubectl get jobs/ alerting on failed Jobs — they watch the one thing this system promises, the ledger. - Logs:
kubectl logs; ship them with the cluster’s collector if one exists. A/metricsendpoint is a conscious later addition, and the frugality gate will price it.
Deliberately not yet
Section titled “Deliberately not yet”Multi-node/HA Postgres, CloudNativePG (above), NetworkPolicies, autoscaling — added when a real load or a real requirement asks, each priced against the frugality budget.
Longhorn in the local cluster is on this list too, and stays there: it needs iSCSI, real block devices and about a gigabyte for itself, against a 2 GB VM. The manifests support a replicated class (checklist item 3) without the laptop having to run one.