Navigatie overslaan.
Start

3com switches

Wij hebben hier een handvol 3Com "Switch 4400" switches, elk met 48 poorten.
Goedkope brol.

Deze switches worden gebruikt als access switches, dus alle users zijn erop aangesloten.

Iemand doet een portscan?
=> Switch crashed en alle 48 links gaan down.

Een foute NIC die corrupte pakketjes verstuurd?
=> Switch crashed en alle 48 links gaan down...

Veel users die gelijktijdig hun Outlook backup aanzetten?
=> Switch crashed en alle 48 links gaan down...

Een beetje tests doen met MAC spoofing?
=> Switch crashed en alle 48 links gaan down...

Ik heb al software upgrades uitgevoerd.
Een nieuwer model van hetzelfde type getest.
Alles zonder resultaat... Die switchkes zijn volgens mij gewoon prullen.

Als zo'n switch crashed, dan is een powercycle nodig en het gebeurt ook wel eens dat dan de configuratie op mysterieuze wijze verdwenen is, met alle gevolgen vandien:
Bijvoorbeeld een netwerk loop omdat er geen STP config meer is.
Console access is dan ook steeds vereist om terug een IP adres te configureren zodat de switch terug toegankelijk wordt.

Hetgeen gisteren is voorgevallen slaat echter alles: Een probleem op 1 switch, kan blijkbaar ook de andere switches beinvloeden.

Gisteren rond 17:00h ging het netwerk down op een volledige verdieping.
De setup bestaat uit 3 verspreide switches met 48 poorten, die met STP in een driehoek geconfigureerd zijn. Ongeveer een 120 links in totaal.

Ons monitoring systeem merkt dit natuurlijk onmiddellijk en ik krijg een hoop alarm SMSjes.
Swith 2 is down, switch 1 en switch 3 zijn gereboot.
Vreemd dat die 2 switches gelijktijdig rebooten op exact hetzelfde moment dat die andere down gaat. Een power probleem?

Powercycle switch 2 en alles lijkt normaal.
Voor 2 minuten.

Toen ging 2 weer down, en 1 en 3 deden een reset.

O..K..

Ik heb toen de link tussen 2 en 3 even uitgetrokken zodat er enkel nog een link was tussen 1 en 2, en tussen 1 en 3. Er kan dus geen network loop meer voorkomen. (Just in case...)

De 2 UPSen detecteren geen abnormaliteiten op de power feed. Alle andere apparatuur opdezelfde powerfeed werkt nog normaal.
Ik doen opnieuw een powecycle van switch 2 en 5 minuten later gaat switch 2 weer down. En 1 en 3 doen een reset.
M.a.w.: Er is geen directe link tussen switch 2 en 3, maar toch zorgt een fout in 2 voor een reset van o.a. 3... (Via switch 1.)

Gelukkig zijn de distribution switches geen 3com's... ;-)

Natuurlijk geeft console access geen enkele nuttige melding, want 3Com werkt met frustrerende en inconsistente menutjes.
Console access is daardoor zo goed als nutteloos om troubleshooting te doen.

Je kan op die switches wel alarmen definiëren zodat er een mail verstuurd wordt (of een US pager), maar als de netwerklinks down gaan, krijg je dus ook geen mail. (Kip en Ei.)
Verder zijn die alarmen ook 100% onbruikbaar:


Een "Intrusion attempt detected" alarm intereseert mij daarom dus ook geen bal als dit alarm enkel de naam en het IP adres van de switch meestuurt en niet van de source zelf...
Dit zijn zo van die gevallen waarin je beter niets hebt i.p.v. iets dat slecht is...

Anyway, terug naar het probleem: Zolang swith 2 uitgeschakeld blijft is er geen probleem.
Als switch 2 crashed, doet het hele netwerk een reset.
Is dat een feature van 3Com? Zoja, hoe zet ik dat uit?
(Deze switches ondersteunen geen SNMP, dus dat is het niet.)

Omdat switch 2 de veroorzaker is van het probleem, blijft deze nu uit.
We moeten nu dus een nieuwe switch aanschaffen, en gelukkig heb ik nu weer extra munitie om 3 nieuwe switches van een deftiger merk aangeschaft te krijgen...

Gelukkig speelde dit zich af op een tamelijk hoge verdieping, en dat maakt de defenestratie alleen maar leuker...