(Løst) Netplads: web2b migrering

Vi konvertere web2(b) den 15/feb/2017 til en nyere version af software, det betyder at vi skal migrerer ca 400GB data..

Det vil tage ca 4-5 timer, vi regner med at starte ca kl 21-22

updates følger herunder:

20:00

Vi er klar til om ca 1 time..

Vi vil i den forbindelse lukke ned for services på web2(b) for på den måde at undgå at lave split data.

Services der lukker ca kl 21 er derfor

mail
http
https
adgang til cpanel mm.

næste update når vi har sat konverteringen igang.

21:05

migreringen er sat i gang, og de fleste services er lukket ned

næste update om et par timer/senest kl 5:30

5:30

desværre har softwaren knækket sig igen i nat,
RESTORE: 315 completed, 22 had warnings, and 224 failed.

det er desværre ikke muligt at fixe fejlene inden acceptabel tid, og migreringen afbrydes derfor.

13:00

web service har været ude af drift da firewall ikke var loadet korrekt, fejlen er rettet

(Løst) Netplads: web2(b).netplads.dk migrering

Vi konvertere web2(b) i aften (13/feb/2017) til en nyere version af software, det betyder at vi skal migrerer ca 400GB data..

Det vil tage ca 4-5 timer, vi regner med at starte ca kl 21-22

updates følger herunder:

update kl 19:00

Vi forventer at starte om ca 2 timer

Vi vil i den forbindelse lukke ned for services på web2(b) for på den måde at undgå at lave split data.

Services der lukker ca kl 21 er derfor

mail
http
https
adgang til cpanel mm.

kl 23 update

restore kører på fuld smæk, vi sover lidt og fortsætter ca 5:30 med tilpasninger

kl 5:15

vi ser desværre fejl der gør at vi bliver nød til at afbryde konverteringen. Konverteringen udsættes derfor 48 timer til 15. feb kl 21

kl 20:00 den 14. feb.
vi har i løbet af den 14. feb analyseret fejlen, og testet en ny konvertering. testen gik fint, og vi bør være klar til re migrering den 15. feb kl 21.

(LØST) Netplads: web4 har det hårdt i det nye år

Vi har bemærket at web4.netplads.dk har haft en hård nat mellem den 1. og 2. januar, vi ser i øjeblikket på hvad det skyldes.. (kl er 7:30 2. januar 2017)

update:

8:30

vi arbejder stadig på dette

8:40

vi har slukket en del services på web4 for lige at få kontrol over serveren på en mere human måde..

9:00

maskine er rebootet, der er rettet lidt fejl, og apache er tændt igen… diverse mailservices er stadig slukket

10:25

All services er re-enabled. vi afslutter herfra

(LØST) GratisDNS: ForwardSRS Mailforward nede

Mailforward har været nede siden igår aftes. Der arbejdes på at få den tilbage i drift.

MVH

Jørgen

14. december 2016 kl 10:55:

vi har forsøgt at løse problemet med en simple løsning, der desværre slog softwaren mere ihjel.. Vi er derfor ved at restore software fra backup

14. december 2016 kl 13:46:

Backupen løste desværre ikke så mange problemer, softwaren er desværre ret komplex. vi laver en rollback til den 13. og ser om det ikke løser de fleste problemer (der er intet tab af emails, serveren er en proxy). Forventet endnu et par timer, uden at være helt konkret, men måske kortere tid.. Vi smider pt lidt 80GB images rundt i baggrunden.

14. december 2016 kl 17:16:

Vi venter stadig på, måske danmarks langsomste backup, men den er snart i mål (98% ca).

14. december 2016 kl 17:45:

yay, its alive!

Ikke nok med ingen af backupsne i sig selv var nok, porgrammellet havde også lykkes at modificere sig selv til ukendelighed under en update for 2 dage siden, så den nægtede purre at opstarte… fejlen er fixet, den kører igen, og vi holder lige ekstra øje med den 🙂

(LØST) Larsen Data Hosting: vi har pt udfald på en fysisk maskine

Udfaldet betyder at visse hosting produkter er offline, dette er dog kun 3 kunder der er berørt, incl danskere med VPN adgange. fejlen startet ca 13. december 2016 kl 18:25.

13. december 2016 kl 18:45
Vi er ved at undersøge hvad fejlen er, fejlsøgning pågår

13. december 2016 kl 18:55

maskinen er tjekket for hardware fejl, og er pt under reboot, reboot tager dog tid.

13. december 2016 kl 19:00

Fejlen er løst

(LØST) MXHotel: mail01.mxhotel.dk – emergency service

Vi bliver nød til at lave lidt øjeblikkelig service på mail01.mxhotel.dk

Vi har en disk som er næste fyldt, og for ikke at give for mange problemer har vi fundet en flot ny disk, hvor vi er i gang med at synce alle mails over på.

Vi vil blive nød til at slukke for alle services under sidste sync, den burde dog kunne gøre på under 30 minutter (gerne langt under) og derefter genoptage almindelig drift.

påvirket services:
server: mail01.mxhotel.dk

pop3
imap
smtp
web

Der er i den forbindelse ikke noget datatab, eller forventet skader på data.

Nuværende status:
13. december kl 11:40

Vi er ved at rsynce op til dato og tid

13. december kl 11:45

vi starter med at lukke for web (og dermed webmail)

13. december kl 11:47

pop3, og imap er nu lukket smtp lige om lidt

13. december kl 11:50

næstsidste rsync sat i gang

13. december kl 11:56

sidste rsync kører

13. december kl 11:59

fstab opdateret, afventer stadig sidste rsync, ellers klar til reboot

13. december kl 12:00

rsync var ok. vi tjekker lidt data og afventer reboot. max 10 mins nu

13. december kl 12:04

alle services er tilbage online igen. service afsluttet