Heren,

Bij een klant hebben we de volgende setup gebouwd:

Servers : 2 x Dell R610 1 x Dell R710 (laatste firmware)
Elke server is uitgerust met het laatste ESXi image van Dell en heeft van de 4 onboard nics er twee in het iSCSI vlan.
De Core van het netwerk waar iSCSI over heen gaat bestaat uit twee Cisco Catalyst 3750X 24p in stack met elk twee 10Gbit modules. Deze 10Gbit modules zijn verbonden met een :

HP StorageWorks P2000 G3 10Gbit (laatste firmware) model welke 4 nics heeft waarvan er twee naar elke switch gaan. (24 x 900GB SAS 10k in 2 x Raid 50 met hotspare)

Over de Core gaan ook andere vlans voor het client / server / voip verkeer.

We gebruiken momenteel geen jumbo frames of flow control.

De software iSCSI stack van vSphere is geconfigureerd volgens het bekende round-robin principe met twee vkernels welke elk een pnic gebind hebben en op switch niveau staat er per vkernel maar 1 nic actief. Dit leverd in totaal een 8 paden per lun op.

Wij hebben last van het volgende :
Device naa.xxx performance has deteriorated. I/O latency increased from average value of 1233 microseconds to 38248 microseconds.
Wanneer wij deze meldingen zien op de hosts treed er een vertraging op bij de Virtual Machines waarbij sommige tijdelijk niet reageren.

Op de core zien wij enorm veel packets verstuurd worden maar binnen vmware zien we bij performance niet veel dataverkeer.

Ik weet dat deze melding vaker voorkomt en op veel plekken op internet waaronder het vmware forum geen duidelijke oplossing bestaat. Sommige threads spreken over het negeren van deze melding welke sinds vSphere 5.1 erg aggressief is als je geen last hebt van vertragingen binnen vSphere maar dat hebben wij wel. Andere geven aan dat er bugs zitten in de iSCSI stack van vmware of dat deze niet goed samen werkt met de iscsi stack van sommige vendors.

Ik hoop eigenlijk dat hier heren zijn die dit ook mee gemaakt hebben en een punt kunnen noemen waar naar gekeken moet worden voor een mogelijke oplossing.

Is er een bepaalde regelmaat te vinden in de meldingen? We hebben hier vergelijkbare meldingen, maar daar zijn ze verklaarbaar, doordat er op de momenten dat ze zich voordoen, zware schrijfacties plaatsvinden op het SAN waar ook de vSphere omgeving gebruik van maakt.

Begrijp ik dat je een mixed environment van 1Gbit (hosts) en 10Gbit (san) hebt ? Wat zijn de droped packet rates (aangezien je geen flow control gebruikt) ?
Ik vermoed dat het aan de mixed rate ligt i.c.m. de beperkte port buffers op de 3750 (welke hoe dan ook niet echt aangeraden wordt voor iSCSI).
Mogelijk kan je nog wat tunen door het aantal QoS queue's te beperkten en de grootste queue size volledig te reserveren voor iSCSI verkeer.

Voor zover ik kan zien hebben we geen last van packet drops

3750stack#sh int tenGigabitEthernet 1/1/1
TenGigabitEthernet1/1/1 is up, line protocol is up (connected)
Hardware is Ten Gigabit Ethernet, address is f0f7.55bf.829d (bia f0f7.55bf.829d)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec,
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, loopback not set
Keepalive not set
Full-duplex, 10Gb/s, link type is auto, media type is SFP-10GBase-CX1
input flow-control is desired, output flow-control is unsupported
ARP type: ARPA, ARP Timeout 04:00:00
Last input never, output 00:00:01, output hang never
Last clearing of "show interface" counters never
Input queue: 0/75/0/0 (size/max/drops/flushes); Total output drops: 0
Queueing strategy: fifo
Output queue: 0/40 (size/max)
5 minute input rate 14576000 bits/sec, 1392 packets/sec
5 minute output rate 2457000 bits/sec, 374 packets/sec
22859180368 packets input, 29620488855583 bytes, 0 no buffer
Received 18 broadcasts (15 multicasts)
0 runts, 0 giants, 0 throttles
0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
0 watchdog, 15 multicast, 4 pause input
0 input packets with dribble condition detected
8344834931 packets output, 6643113367070 bytes, 0 underruns
0 output errors, 0 collisions, 1 interface resets
0 babbles, 0 late collision, 0 deferred
0 lost carrier, 0 no carrier, 0 PAUSE output
0 output buffer failures, 0 output buffers swapped out

Maar wordt de 3750x niet aangeraden als iSCSI switch? Wij hebben van product specialisten van Techdata juist vernomen dat een 3750x stack de beste performance zou leveren in een iscsi implementatie? We hebben meerdere klanten met zowel HP p2000 als HP p4000 series (lefthand 4300 en 4500 g2) waarbij we een 3750x stack gebruiken voor iSCSI.

In bovenstaande kan je trouwens wel zien dat ik flowcontrol op desired heb gezet om te kijken of dat wat uitmaakt. Je kunt op de p2000 trouwens nergens flowcontrol aanzetten en ik kan ook zo 123 niet vinden of deze wel flowcontrol ondersteund.

Ik ga even kijken naar mijn queue's of ik daar wat in kan optimaliseren.

Ook geen drops op je 1G host interfaces ?