Сети

Обзор коммутатора D-Link DGS-1510-28. Часть 2 - Агрегирование каналов

На сегодняшний день наиболее популярным стандартом в корпоративном сегменте является IEEE 802.3ab (в малом/среднем бизнесе), то есть гигабитное соединение Ethernet, при этом зачастую серверам не хватает данной пропускной способности. Решить данную проблему можно разными способами...

Первый способ - переход на 10-гигабитное соединение. Это позволит повысить пропускную способность на порядок, но стоимость данного перехода весьма высока - и если крупные компании могут себе позволить подобные решения, то в малом бизнесе это слишком дорого.
Второй способ - агрегирование каналов. Данный способ подразумевает объединение нескольких гигабитных каналов в единую группу и требует коммутатор и сетевые карты с поддержкой Link Aggregation или IEEE 802.3ad - и как правило, в корпоративном сетевом оборудовании эта поддержка имеется.
Сравним стоимость обоих решений:
Для перехода на 10-гигабитное соединение необходим коммутатор с 10-гигабитными портами (тип соединения может быть как оптическим, так и медным по витой паре или SFP+) и 10-гигабитный сетевой адаптер, устанавливаемый на сервер. Из возможных вариантов (оптика, витая пара, SFP+) наиболее оптимальным является SFP+, так как он не требует покупки модулей SFP+, устанавливаемых в коммутатор, для реализации оптического или медного соединения по витой паре. Таким образом, мы получаем:
- коммутатор D-Link DGS-1510-28 с двумя портами SFP+ (около 16 000 р);
- 10-гигабитный сетевой адаптер D-Link DXE-810S (около 17 000 р);
- соединительный кабель D-Link DEM-CB300S, 3 метра (около 2700 р).
При этом 10-гигабитное соединение займет один порт SFP+, стоимость которого составляет примерно 1500 р. Конечная стоимость решения: около 37 000 рублей. Стоит заметить, что альтернативным вариантом может являться более дорогой коммутатор D-Link DGS-1510-28Х с четырьмя 10-гигабитными портами SFP+.
Агрегирование каналов в свою очередь потребует приобретения коммутатора и сетевых адаптеров с поддержкой Link Aggregation. Для расчета возьмем коммутатор D-Link DGS-1510-28 и сетевые адаптеры D-Link DGE-560T. Получается:
- коммутатор D-Link DGS-1510-28 с двумя портами SFP+ (около 16 000 р);
- 2-8 сетевых адаптера D-Link DGE-560T (стоимость каждого 900 р).
- при агрегировании каналов будет занято 2-8 портов на коммутаторе, а учитывая стоимость одного UTP-порта в районе 550 рублей, получаем от 1000 до 4000 рублей;
- сетевые адаптеры используют порты PCI Express x1, количество которых на сервере ограниченно.
Таким образом, каждый из предложенных методов имеет как свои плюсы, так и минусы. Основным преимуществом Link Aggregation является более низкая стоимость, большая надежность (при обрыве одного из 2-8 каналов трафик автоматически распределится по всем остальным) и длина коммутируемого кабеля (до 100 метров). В тоже время 10-гигабитное SFP+ соединение позволяет достигать в любом сценарии пропускной способности 10 Гбит/с, в то время как Link Aggregation для полной утилизации каналов требует несколько источников трафика (алгоритм агрегирования привязан к IP или MAC адресам, следовательно, один источник не может использовать всю полосу пропускания группы агрегирования).
Сегодня мы рассмотрим метод агрегирования каналов.

Что необходимо?

Сегодня пойдет речь о варианте реализации агрегирования каналов с нуля - для этого понадобятся управляемый свитч и сетевые карты с поддержкой Link Aggregation.
В качестве сетевых карт будем использовать D-Link DGE-560T, обзор которых можно прочитать здесь. Что касается коммутатора, то мы будем использовать D-Link DGS-1510-28, тест которого можно прочитать здесь. Данный коммутатор не является самым недорогим, есть и более дешевые свитчи, например серии D-Link DGS-1100 и D-Link DGS-1210. Модель DGS-1100 с восемью гигабитными портами стоит около 3000 рублей, а сетевые карты D-Link DGE-560T~ 900 - итого получаем около 5000 рублей за 2-гигабитное соединение. Модель DGS-1210 с 10 портами (8 портов UTP + 2 SFP) стоит вдвое дороже, чем DGS-1100-8, но и предоставляет больше возможностей. Что касается серии DGS-1510, то ее стоимость еще выше, но... и функционал у нее шире. Таким образом, агрегирование каналов не такое уж и дорогое удовольствие - особенно если использовать модели DGS-1100 и DGS-1210.
Стоит заметить, что D-Link DGE-560T является самой недорогой сетевой картой с поддержкой Link Aggregation - что сказывается на конечной стоимости всего решение. Например, агрегирование каналов на картах Intel обойдется в 3 и более раз дороже - правда, и нагрузка на ЦП будет ниже (это тема для отдельного материала).

Настройка

Для начала создадим группу каналов на коммутаторе, зайдя в его настройки: L2 функции - Link Aggregation. В нашем случае группа агрегирования находится на 9 и 10 портах.

После успешного создания группы, она появится в списке, детальную информацию о которой можно получить по нажатию кнопки "Подробная информация о канале".

Изменить режим работы алгоритма агрегирования в веб-интерфейсе нельзя, но это можно сделать через консоль с помощью команды: port-channel load-balance <алгоритм>.
Всего доступно шесть алгоритмов: на основе IP-адреса источника (src-ip) и получателя (dst-ip), на основе MAC-адреса источника (src-mac) и получателя (dst-mac), комбинацией IP-адресов источника и получателя (src-dst-ip), а также комбинацией MAC-адресов источника и получателя (src-dst-mac).

После настройки коммутатора, необходимо настроить ПК. Рассмотрим на примере Windows (7/8/8.1), для настройки которой понадобится утилита Realtek Ethernet Diagnostic Utility (в серверной Windows 2012/2012R2 есть штатные средства для создания групп агрегирования).

После установки программного обеспечения откроется меню со всеми доступными сетевыми картами.

Выбираем требуемую сетевую карту, в нашем случае D-Link DGE-560T - переходим в меню Teaming, где создаем группу агрегирования.

Для создания группы агрегирования требуется выбрать адаптеры, которые войдут в нее - в нашем случае две сетевые карты DGE-560T.

Группа создана - перейдем к тестированию.

Тестирование

Для создания сетевой нагрузки будем использовать программу iperf, в которой генерируется как UDP-трафик (-b 1000M -P2 -u), так и TCP-трафик (-P2) на каждом клиенте. В свою очередь на сервере для каждого клиента запускался свой экземпляр iperf с назначенным портом прослушивания.
Для начала проверим скорость одной сетевой карты D-Link DGE-560T по вышеописанной методике (обзор которой можно прочитать здесь).

Пропускная способность сетевого интерфейса составила  около 113 МБ/с.
Теперь протестируем D-Link DGE-560T в режиме агрегирования (группа агрегирования находится на портах 9 и 10).

Скорость приема двух сетевых карт D-Link DGE-560T составила около 223 МБ/с, что максимально близко к теоретическому максимуму двух гигабитных соединений. Но важно понимать, что iperf генерирует трафик с помощью процессора, поэтому не зависит от производительности дисковой подсистемы. В то время как в реальности пропускная способность сервера зависит от используемой дисковой подсистемы - для полной утилизации 2-гигабитного сетевого соединения необходимо использовать либо RAID-массив из жестких дисков, либо скоростные SSD.

В качестве дополнительного эксперимента мы взяли старый процессор Intel Celeron E3300 для оценки ресурсоемкости сетевого трафика. Средняя загрузка процессора составила 85%, что говорит о том, что при использовании агрегирования необходим производительный процессор.

Заключение

Как показали тесты, получить удвоение пропускной способности соединения до сервера возможно, но есть ряд оговорок, например - коммутатор D-Link DGS-1510-28 имеет несколько алгоритмов работы агрегирования: по MAC-адресу или IP-адресу источника и получателя, а также по связке MAC-адресов или IP-адресов источника и получателя. То есть чтобы полностью утилизировать две сетевые карты D-Link DGE-560T необходим трафик от нескольких клиентов, что, по факту, не является проблемой, так как к серверу, как правило, и подключается большое количество пользователей.
В целом же, агрегирование каналов позволяет не только поднять ПС сервера, но и повысить надежность соединения - используя Link Aggregation, сетевая нагрузка автоматически распределяется по каналам агрегирования и при выходе того или иного канала из строя, трафик мгновенно перераспределяется по оставшимся. Что является несомненным плюсом по сравнению с SFP+.
Необходимо отметить, что можно объединять и более двух сетевых карт, например, коммутатор D-Link DGS-1510-28 позволяет создавать до 32 групп агрегирования, в каждой из которых может быть по 8 портов, то есть можно объединить и восемь гигабитных сетевых карт (или четыре 2-х портовых, или две 4-х портовых) в единую группу и получить 8 Гбит/с, максимально близко приблизившись к 10-гигабитному соединению. Правда придется "пожертвовать" восемью портами на коммутаторе и занять значительное количество разъемов PCI Express на материнской плате (8, 4, 2 соответственно).
Прочитать про объединение четырех сетевых карт в группу штатными средствами MS Windows Server 2016 можно здесь.