(LØST) MXHotel: mail01.mxhotel.dk – emergency service

Vi bliver nød til at lave lidt øjeblikkelig service på mail01.mxhotel.dk

Vi har en disk som er næste fyldt, og for ikke at give for mange problemer har vi fundet en flot ny disk, hvor vi er i gang med at synce alle mails over på.

Vi vil blive nød til at slukke for alle services under sidste sync, den burde dog kunne gøre på under 30 minutter (gerne langt under) og derefter genoptage almindelig drift.

påvirket services:
server: mail01.mxhotel.dk

pop3
imap
smtp
web

Der er i den forbindelse ikke noget datatab, eller forventet skader på data.

Nuværende status:
13. december kl 11:40

Vi er ved at rsynce op til dato og tid

13. december kl 11:45

vi starter med at lukke for web (og dermed webmail)

13. december kl 11:47

pop3, og imap er nu lukket smtp lige om lidt

13. december kl 11:50

næstsidste rsync sat i gang

13. december kl 11:56

sidste rsync kører

13. december kl 11:59

fstab opdateret, afventer stadig sidste rsync, ellers klar til reboot

13. december kl 12:00

rsync var ok. vi tjekker lidt data og afventer reboot. max 10 mins nu

13. december kl 12:04

alle services er tilbage online igen. service afsluttet

(LØST) MXHotel: Problemer med at sende til Hotmail, Live og Outlook adresser

Kunder på vores MXHotel oplever i øjeblikket problemer med at sende til Hotmail, Live og Outlook adresser. Dette skyldes at en kunde tidligere har udsendt en stor mænge spam. Kunden blev lukket så snart vi blev opmærksom på problemet.

Vi afventer at de fjerner os fra deres blacklist og regner med at dette desværre vil tage et par dage endnu.

Update 23/8: Vi har desværre haft flere kunder som er blevet hacket på samme tid, og som har udsendt spam. Vi kan desværre ikke sige noget om hvornår Hotmail åbner op for os igen. Vi holder øje med situationen løbende.

Update 31/8: Vi arbejder stadig på at løse problemet. Vi har desværre ikke noget nyt omkring tidshorisont på det.

Update 16/9: Vi har aktiveret udgående spamfilter for alle kunder og indtil videre har vi ingen problemer med at sende til hotmail, live og outlook adresser. Vi fortsætter med at holde øje med udgående mails.

Denne løsning er indtil videre midlertidig, og alt efter både feedback fra kunder og vores egne erfaringer vil vi i løbet af de næste par måneder vurdere og vi skal gøre denne løsning permanent.

(Løst) Problemer med flere services – DNS upåvirket

Vi oplever i øjeblikket problemer med flere af vores services.

DNS er upåvirket.

Følgende services oplever problemer:

  • gratisdns.dk og web.gratisdns.dk
  • DNS kontrolpanel på admin.gratisdns.dk
  • URL forwards
  • mxhotel.dk
  • netplads.dk
  • Kunder på web2b/web3/web4.netplads.dk

Vi arbejder på højtryk for at løse det.

 

Status:
Vi har haft en stor fejl på noget storage, der ud over at bringe en del services ned, også har brugt en del indgange til at lave rescue ned. vi har reetableret adgang ca kl 16:20 dansk tid.

opdatering 16:55

DNS kontrolpanelet kan tilgås via

https://oldsystem.gratisdns.dk/editdomains4.phtml

opdatering 17:35

Vi har nu de fleste services online, hav venligst lidt tålmodighed med os, vi arbejder hårdt på det fra 2 kontinenter 🙂

Vi er opmærksom på fejl på

  • web4.netplads.dk (afventer diskcheck)
  • interne tools (afventer diskcheck)

opdatering 19:05

Vi har nu de fleste services online, hav venligst lidt tålmodighed med os, vi arbejder hårdt på det fra 2 kontinenter 🙂

Vi er opmærksom på fejl på

  • web3.netplads.dk (afventer diskcheck)

(Løst) Forbindelses fejl i ballerup

God morgen alle

 

Vi havde en forbindelsesfejl i ballerup i nat, pga en fejl hos en upstream leverandør i nat mellem kl 0100 og 0230 (ca).

pga fejlens tidspunkt, og fejlens natur, slog vores normale failover ikke til, vi har gjort leverandøren opmærksom på at det måske kan være en god idé med en mindre procedure ændring, selvom den tekniske fejl må betegnes som enkeltstående.

Påvirkede services (nede):

alle netplads kunder

alle mxhotel kunder

alle emotix kunder

url og mailforward og mxbackup kunder

alle larsendata websites

ns1.gratisdns.dk

 

Påvirkede services (fejl visende/nedsat ydelse)

web.gratisdns.dk

spamfilter.cc var på halv kraft, da den ene lokation er uafhængig af ballerup.

 

Ikke påvirkede:

ns2.gratisdns.dk (anycasted, og ikke i danmark)

ns3.gratisdns.dk (anycasted)

ns4.gratisdns.dk (anden leverandør)

ns5.gratisdns.dk (sverige)

status.larsendata.dk

 

Alle services var tilbage til normal ca 02:30, email services har derefter løbet op igen, så der burde ikke være nogen backlog her kl 7.

Vi og vores leverandør beklager problemerne i nat, vi håber ikke vi har ødelagt nogens nattesøvn 🙂