Årsag til hændelse: Forhøjet antal 500-fejl på Object Storage-platformen

Vi ser i øjeblikket et forhøjet antal HTTP 500-fejl på vores Object Storage-platform. Fejlene optræder periodisk og rammer både læse- og skriveoperationer. Et retry vil som regel gå igennem umiddelbart efter.

Vi fejlsøger aktivt på årsagen. Der er på nuværende tidspunkt ikke identificeret en underliggende årsag, og vi kan derfor ikke oplyse en forventet tid for udbedring.

Berørte kunder:
Kunder med følgende services kan opleve påvirkning:

• objXXXX.obj.storagefactory.io

Risiko for nedetid:
[LAV] – Platformen er fortsat tilgængelig. Påvirkningen består i enkelte fejlede requests, ikke i utilgængelighed.

Næste opdatering:
10:00 – eller tidligere, hvis der er væsentligt nyt.

TSM16.zitcom.dk Backup Server is currently down.
Scheduled backups and restores via TSM16 are currently unavailable.
Restores can still be performed directly from the target server.
We are actively troubleshooting the issue in coordination with our backup supplier. Next update will be provided as soon as new information is available.

TSM7.zitcom.dk Backup Server is down.
Scheduled backups and restores via TSM7 are currently unavailable.
Restores can still be performed directly from the target server. We are actively troubleshooting the issue in coordination with our backup supplier. Next update will be provided as soon as new information is available.

Our TSM Backup service provider will be performing scheduled maintenance on TSM backup servers. During this period, backup operations will be unavailable.
Restore operations will still be possible from target servers. The following backup servers will be affected:
TSM27.zitcom.dk
TSM20.zitcom.dk
TSM24.zitcom.dk
TSM1.zitcom.dk
TSM10.zitcom.dk
TSM12.zitcom.dk
TSM14.zitcom.dk
TSM16.zitcom.dk
TSM3.zitcom.dk
TSM7.zitcom.dk
TSM9.zitcom.dk

Årsag til afvikling: Konfigurationsrettelse på Object Storage-platformen

For at rette periodiske 500-fejl i særligt belastede perioder retter vi en række indstillinger på Object Storage-platformen. Dette kræver, at vi genstarter services på noderne én ad gangen.

Under genstarten kan enkelte HTTP-requests fejle med en HTTP 500-fejl. Et retry vil som regel løse dette umiddelbart efter.

Berørte kunder:

Kunder med følgende services er berørt af denne konfigurationsrettelse:

• objXXXX.obj.storagefactory.io

Risiko for nedetid:

[LAV] – Services genstartes én node ad gangen, hvorefter de øvrige noder overtager trafikken, indtil den genstartede node er klar igen.

Årsag til afvikling: Konfigurationsrettelse på Object Storage-platformen

For at rette periodiske 500-fejl i særligt belastede perioder retter vi en række indstillinger på Object Storage-platformen. Dette kræver, at vi genstarter services på noderne én ad gangen.

Under genstarten kan enkelte HTTP-requests fejle med en HTTP 500-fejl. Et retry vil som regel løse dette umiddelbart efter.

Berørte kunder:

Kunder med følgende services er berørt af denne konfigurationsrettelse:

• objXXXX.obj.storagefactory.io

Risiko for nedetid:

[LAV] – Services genstartes én node ad gangen, hvorefter de øvrige noder overtager trafikken, indtil den genstartede node er klar igen.

Planlagt opgradering af infrastruktur Kunder med følgende services kan blive påvirket under servicevinduet i form af manglende netværksadgang til servicen: Betalingsgateway.
Risiko for nedetid: Høj. Selvom de berørte dele indgår som del i et redundant setup, kan platformen være utilgængelig, da kritiske komponenter opdateres. Forventede længste udfald er på 1 min.

Grundet en vigtig sikkerhedsopdatering, som netop er frigivet til Citrix NetScaler, opdaterer vi i aften vores NetScalere, som håndterer Citrix fjernskrivebordsforbindelser til Hosted.dk.

Opdateringen bør ikke påvirke eksisterende forbindelser andet end måske give et kort hop i forbindelsen.
Skulle en session blive afbrudt, så forsøg at starte sessionen på ny.