(LØST) Netplads: web4 har det hårdt i det nye år

Vi har bemærket at web4.netplads.dk har haft en hård nat mellem den 1. og 2. januar, vi ser i øjeblikket på hvad det skyldes.. (kl er 7:30 2. januar 2017)

update:

8:30

vi arbejder stadig på dette

8:40

vi har slukket en del services på web4 for lige at få kontrol over serveren på en mere human måde..

9:00

maskine er rebootet, der er rettet lidt fejl, og apache er tændt igen… diverse mailservices er stadig slukket

10:25

All services er re-enabled. vi afslutter herfra

(LØST) GratisDNS: ForwardSRS Mailforward nede

Mailforward har været nede siden igår aftes. Der arbejdes på at få den tilbage i drift.

MVH

Jørgen

14. december 2016 kl 10:55:

vi har forsøgt at løse problemet med en simple løsning, der desværre slog softwaren mere ihjel.. Vi er derfor ved at restore software fra backup

14. december 2016 kl 13:46:

Backupen løste desværre ikke så mange problemer, softwaren er desværre ret komplex. vi laver en rollback til den 13. og ser om det ikke løser de fleste problemer (der er intet tab af emails, serveren er en proxy). Forventet endnu et par timer, uden at være helt konkret, men måske kortere tid.. Vi smider pt lidt 80GB images rundt i baggrunden.

14. december 2016 kl 17:16:

Vi venter stadig på, måske danmarks langsomste backup, men den er snart i mål (98% ca).

14. december 2016 kl 17:45:

yay, its alive!

Ikke nok med ingen af backupsne i sig selv var nok, porgrammellet havde også lykkes at modificere sig selv til ukendelighed under en update for 2 dage siden, så den nægtede purre at opstarte… fejlen er fixet, den kører igen, og vi holder lige ekstra øje med den 🙂

(LØST) Larsen Data Hosting: vi har pt udfald på en fysisk maskine

Udfaldet betyder at visse hosting produkter er offline, dette er dog kun 3 kunder der er berørt, incl danskere med VPN adgange. fejlen startet ca 13. december 2016 kl 18:25.

13. december 2016 kl 18:45
Vi er ved at undersøge hvad fejlen er, fejlsøgning pågår

13. december 2016 kl 18:55

maskinen er tjekket for hardware fejl, og er pt under reboot, reboot tager dog tid.

13. december 2016 kl 19:00

Fejlen er løst

(LØST) MXHotel: mail01.mxhotel.dk – emergency service

Vi bliver nød til at lave lidt øjeblikkelig service på mail01.mxhotel.dk

Vi har en disk som er næste fyldt, og for ikke at give for mange problemer har vi fundet en flot ny disk, hvor vi er i gang med at synce alle mails over på.

Vi vil blive nød til at slukke for alle services under sidste sync, den burde dog kunne gøre på under 30 minutter (gerne langt under) og derefter genoptage almindelig drift.

påvirket services:
server: mail01.mxhotel.dk

pop3
imap
smtp
web

Der er i den forbindelse ikke noget datatab, eller forventet skader på data.

Nuværende status:
13. december kl 11:40

Vi er ved at rsynce op til dato og tid

13. december kl 11:45

vi starter med at lukke for web (og dermed webmail)

13. december kl 11:47

pop3, og imap er nu lukket smtp lige om lidt

13. december kl 11:50

næstsidste rsync sat i gang

13. december kl 11:56

sidste rsync kører

13. december kl 11:59

fstab opdateret, afventer stadig sidste rsync, ellers klar til reboot

13. december kl 12:00

rsync var ok. vi tjekker lidt data og afventer reboot. max 10 mins nu

13. december kl 12:04

alle services er tilbage online igen. service afsluttet

Netplads: web5 opstart (løst)

vi er begyndt at opstarte en web5 server, vi vil flytte enkelte plads/trafik krævende kunder over fra web4 for at lette trykket, og for at give mere plads.

der vil også ske en konsolidering fra web2b og web3 over til web5, dette for at slippe for at vedligeholde ældre software.

Kunder der berøreres vil blive kontaktet direkte. Ønsker du at blive flyttet fra web2b eller web3 til web5 med det samme, kan du kontakte support.

^PL