Navigatie overslaan.
Start

Turkish Telecom

Op mijn werk gebeuren er soms leuke dingen.
Zo ook deze morgen...

Turkije loopt een uur voor op België.
Er ligt een VPN tussen België en Trukije.
Ik beheer de VPN connectivity en een gedeelte van de netwerkinfrastructuur in Turkije.
Turkish Telecom is de grootste telecom operator, en ook bijna de enige deftige ISP.

2008/01/22 20:00h GMT

Turkish Telecom verstuurd een mail om aan te kondigen dat er "standaard maintenance" zal plaatsvinden op 2008/01/23 tussen 08:00h en 09:00h locale tijd. (06:00h en 07:00h GMT)

Gelukkig wordt een dergelijke aankondiging dit maal ruim op voorhand verstuurd.
Ik meen dat, want vaak wordt maintenance helemaal niet aangekondigd in Turkije.

Het eerste probleem is echter dat niemand die mail gezien heeft aangezien niemand op dat uur nog mail aan het lezen is. De dag erna, is het al te laat...

Het tweede probleem is dat het maintenance tijdens de kantooruren zal gebeuren, want in Turkije begint men over het algemeen te werken om 08:00h 's morgens.
Bij de ISP blijkbaar dus ook...


2008/01/23 06:25:11h GMT

De link naar Turkije gaat down.
Onze monitoring heeft dat gezien, maar dat is niet kritisch aangezien het wel vaker gebeurd dat deze link down gaat. (Turkije heeft niet echt een betrouwbare internetconnectiviteit.)

De lokale IT admin heeft gelukkig de mail van de ISP gezien.
Gelukkig, want de mailserver waarop zij werken is enkel bereikbaar via de VPN verbinding, die nu dus down is.


2008/01/23 07:00h GMT

De link is nog steeds down, alhoewel dit de eindtijd is van het maintenance.


2008/01/23 07:17h GMT

De lokale IT admin begint te panikeren en belt mij.
Ik vraag hem om rechtstreeks naar de ISP te bellen, want ik zit in de auto en ben nog onderweg naar het werk. (Het is 08:17h locale tijd in België.)


2008/01/23 07:35h GMT

De locale IT admin belt mij terug.
Blijkbaar is het maintenance reeds gedaan en zou alles moeten werken.

Maar het werkt niet...


2008/01/23 07:50h GMT

Ik ben op het werk, en de VPN is inderdaad niet werkende.
Troubleshootingtime.

Blijkbaar is er geen route meer naar het IP adres van de Turkse afdeling...
Er is geen route meer naar de volledige IP adres range...
Een ISP probleem...

Helaas spreken de mensen aan de telefoon van Turkish Telecom enkel Turks. Ik spreek dat niet.
Mijn Turkse collega spreekt wel Turks, maar kent niet zo veel van netwerken.

2008/01/23 08:25h GMT

Uiteindelijk is het ons toch gelukt om te achterhalen wat er gaande is:

Blijkbaar was het "standaard maintenance" van Turkish Telecom, een switch naar een andere IP adresrange en hadden ze even over het hoofd gezien dat niet al hun klanten met DHCP werken, maar dat er ook bedrijven zijn die een vast IP adres hebben, zoals wij. (Dat is blijkbaar een uitzondering in Turkije.)

Ons IP adres werd dus gewijzigd zonder dat wij daavan op de hoogte werden gebracht.

Het leuke was dat ze ons nog niet konden zeggen wat ons nieuw IP adres ging zijn...

2008/01/23 08:45h GMT

Mijn collega weigert de telefoon in te haken zolang we geen nieuw IP adres hebben.
Dit blijkt te helpen, want na enkele keren te worden doorverbonden en wachtmuziek krijgen we een nieuw IP adres toegewezen.

Nu is alleen nog de vraag hoe ik dat vanop afstand ga wijzigen zonder internet connectivity...

Linux en SSH to the rescue!

Mijn IT collega connecteert met het internet via een dial-up link.
Ik geeft hem instructies om via SSH in te loggen op een server in Brussel, en met portforwarding kan ik zo via zijn verbinding in Turkije inloggen op de router/firewall om het IP adres te wijzigen.

In Brussel wordt het peer adres van de VPN aangepast en korte tijd later is de basisfunctionaliteit weer in orde.

Nu nog alle DNS entries voor Turkije aanpassen...

Down again...

Gisteren, sinds 15:32h GMT, is de link weer down gegaan.

Vandaag weet Turkish Telecom nog steeds niet wat het probleem juist is...