Juniper QFX5120 для сети ЦОД: выбор 25/100GbE портов

С чего начать: что именно вам нужно от QFX5120 в ЦОД

Перед выбором оптики и расчетом портов зафиксируйте роль коммутатора в схеме. Juniper QFX5120 в сети ЦОД может быть leaf в стойке (серверы на 25GbE, вверх 100GbE), коммутатором для storage или узлом для межстоечных соединений. От роли зависит не только количество портов, но и режимы интерфейсов, типы кабелей и требования к задержке.

На практике 25/100GbE чаще упирается не в «скорость», а в совместимость: какие SFP28/QSFP28 модули поддерживаются, можно ли использовать DAC/AOC, как работает breakout (например, 100G в 4x25G), какие нужны FEC и автосогласование. Если не учесть эти детали до закупки, типовой итог один: линк не поднимается, появляются CRC, либо задержка становится нестабильной под нагрузкой.

Перед выбором конфигурации соберите вводные. Достаточно короткого опросника: какие NIC стоят и планируются (10G/25G/100G) и какие модули они поддерживают; какие расстояния (внутри стойки, до соседней стойки, до spine) и какой тип трассы; какая схема (spine-leaf, два ToR на стойку, LACP или EVPN multihoming); какой трафик критичен (east-west, аплинки в ядро, storage, бэкапы); какие требования по отказоустойчивости и обслуживанию без простоя.

Пример: 40 серверов в стойке с 2x25G, два ToR для резервирования и по 2x100G аплинка на каждый ToR в spine. В такой схеме заранее выясните, поддерживают ли серверные адаптеры нужные SFP28 (или DAC), какие длины кабелей реально нужны и какие настройки FEC требуются на 25G и 100G.

Если закупаете «железо под ключ», полезно подключить интегратора, который проверит совместимость и подготовит план приемочных тестов. В проектах GSE.kz обычно начинают именно со сбора вводных и проверки матрицы модулей и режимов портов до поставки.

Портовая математика: как думать про 25G и 100G на QFX5120

В QFX5120 чаще всего используются два типа интерфейсов: 25GbE на SFP28 для серверов и 100GbE на QSFP28 для аплинков (вверх в spine, в соседнюю стойку, к ядру или к агрегирующим коммутаторам). Удобнее начинать не с числа портов на панели, а с ролей: сколько 25G нужно «вниз» и сколько 100G нужно «вверх», чтобы не упереться в аплинки.

Для ToR логика обычно такая: 25G идут к серверам, 100G - как аплинки. Простой ориентир: 32 сервера по 25G - это 800G потенциальной нагрузки на «юг». Значит, «север» (аплинки) надо планировать так, чтобы не получить постоянное узкое место. Переподписка допустима, но ее лучше посчитать заранее и привязать к профилю нагрузок (виртуализация, бэкапы, storage, east-west).

Отдельная тема - breakout, когда один 100G QSFP28 разветвляется в 4 порта по 25G (кабель 100G to 4x25G). Это полезно, когда нужно добавить 25G портов и не ставить второй ToR, подключить 25G устройства «к 100G стороне» или использовать один 100G порт как четыре независимых 25G линка.

Breakout не «бесплатный»: вы расходуете 100G порт, теряете потенциальный аплинк и усложняете учет оптики и кабелей. Поэтому сначала определите, сколько 100G нужно именно как аплинков, и только остаток рассматривайте под 4x25G.

Практичный прием - разложить порты по ролям на бумаге: «серверные 25G», «аплинки 100G», «резерв/рост», «межстойка». Если расширение планируется через 6 месяцев, оставьте часть портов в запасе, иначе потом придется менять схему.

И важное ограничение: детали зависят от ревизии железа и версии Junos. Перед закупкой проверьте документацию именно для вашей модели: какие скорости поддерживаются на конкретных портах, какие режимы breakout доступны и какие трансиверы/кабели разрешены. Эти «мелочи» решают, поднимется ли линк сразу или начнется серия «почему не видит модуль» уже на площадке.

Сценарии 25GbE: серверы, виртуализация, storage

25GbE обычно ставят на ToR, когда 10G начинает тормозить рост: больше виртуальных машин на хост, плотнее east-west трафик между сервисами, быстрее бэкапы и репликации, больше данных от GPU-узлов. Для таких задач 25G дает хороший запас без резкого скачка по стоимости и энергопотреблению, как при переходе на 100G на каждом сервере.

Типовой вариант для сервера - 2x25G в LACP. Это про отказоустойчивость и предсказуемую полосу: при отказе одного линка сервер остается в сети, а в норме можно получить до 50G суммарно (с оговоркой: один поток обычно не разгонится выше одного физического канала). По портам в стойке математика простая: 20 серверов x 2 порта = 40 портов 25G. При 24 серверах это уже 48 портов, и часто это граница одного ToR.

10G может оставаться достаточным, если на хосте мало VM, нет регулярных больших бэкапов, а основной трафик идет наружу и не упирается в сеть. Но при плотной виртуализации и микросервисах east-west растет незаметно, и 25G быстро окупается меньшими очередями и меньшим числом «узких мест».

Со storage важно заранее решить, что важнее: чистая скорость или предсказуемость. Для iSCSI/NFS/репликаций обычно ценнее стабильная задержка и отсутствие потерь, чем пиковые гигабиты. Поэтому планируйте буферы и QoS и не загоняйте аплинки в постоянную перегрузку.

Для оценки oversubscription начните с трех чисел: сколько серверов в стойке и сколько 25G на сервер (1 или 2), какие аплинки вверх (например, 2x100G), какой реальный профиль нагрузки (постоянная, всплески, ночные бэкапы).

Если вниз у вас 48x25G (1.2 Тбит/с), а вверх 2x100G (200 Гбит/с), формально это 6:1. Это может быть нормально для виртуализации с редкими пиками, но рискованно, если storage и бэкапы идут через те же аплинки одновременно.

Сценарии 100GbE: аплинки, spine и межстойка

100GbE на leaf чаще нужен не «для скорости ради скорости», а чтобы не упираться в аплинки. Для Juniper QFX5120 в ЦОД это обычно аплинки leaf-spine, межстоечные связи между парой leaf (например, для MLAG) и агрегация трафика от десятков 25GbE портов к ядру.

100G оправдан, когда суммарная нагрузка с серверов стабильно приближается к потолку 25G аплинков, либо когда важнее предсказуемость задержек, чем экономия на оптике. Типичный пример - стойка с 32-48 портами 25GbE под виртуализацию и storage, где пики синхронизаций и бэкапов легко «съедают» аплинк.

По количеству аплинков почти всегда стоит думать сразу про отказ. Минимальный набор, который редко разочаровывает: 2x100GbE на разные spine для отказоустойчивости; рост до 4x100GbE, если стойка плотная по серверам или есть активный east-west; отдельная пара 100G для межстойки, если строите пару leaf и хотите переживать отказ одного коммутатора.

Запас на будущее разумнее закладывать там, где замена потом дороже всего: в spine и в магистралях между рядами. А вот «на всякий случай» тянуть 100G к каждому серверу обычно не нужно, если профиль нагрузки закрывается 25GbE.

Выбор 100GbE влияет и на «физику». QSFP28 оптика, DAC или AOC имеют разные ограничения по длине и радиусу изгиба, а толстые пассивные кабели заметно нагружают лотки и организаторы. Заранее проверьте трассы, заполнение лотков и удобство обслуживания, чтобы потом не получить перегибы, натяжение и случайные выдергивания при работах в стойке. Если заказываете проект у интегратора вроде GSE.kz, попросите учесть кабельную укладку, а не только портовую емкость.

Трансиверы и кабели: SFP28, QSFP28, DAC и AOC простыми словами

Для Juniper QFX5120 в ЦОД вопрос чаще не в том, «какой модуль лучше», а в том, что подходит вашей длине трассы, плотности стойки и правилам эксплуатации. Один и тот же 25/100GbE линк можно собрать разными способами, но бюджет и риски (перегрев, ошибки, сложность замены) будут разными.

DAC, AOC или оптика: как выбрать по ситуации

DAC (Direct Attach Copper) - медный кабель с разъемами на концах. Он обычно дешевле и проще для коротких соединений, но тяжелее, толще и менее удобен в плотных стойках.

AOC (Active Optical Cable) выглядит как «готовая оптика», где электроника уже внутри кабеля. Он легче и гибче, хорошо подходит для стойки, но обычно дороже DAC, и его нельзя «разобрать на части» - меняется целиком.

Оптика с отдельными трансиверами (SFP28/QSFP28 + патчкорд) дает больше свободы по длинам и типам волокна. Это частый выбор для средних трасс и межзальных связей, но важно заранее проверить тип коннектора и бюджет на кроссы.

Ориентир для ЦОД простой: внутри стойки и до «соседней стойки» часто выбирают DAC или AOC; для ряда/зала, где важна аккуратная прокладка, чаще берут AOC или оптику; межзальные соединения обычно делают на оптике, чтобы не упираться в длину.

SFP28, QSFP28 и breakout без сюрпризов

SFP28 - типовой форм-фактор для 25GbE (серверы, ToR к серверам). QSFP28 - для 100GbE (аплинки, spine-leaf, межстойка).

Breakout (QSFP28 to 4xSFP28) помогает «размножить» один 100G порт на четыре 25G. Здесь чаще всего ошибаются в деталях: нужен правильный тип разветвления (обычно 4x25G), поддержка на стороне свитча и сервера и совпадение ожиданий по режимам (как именно порт «разбивается» в конфигурации).

Практичный шаблон для стойки выглядит так: к серверам - SFP28 DAC/AOC, вверх - 2-4 аплинка 100GbE на QSFP28. Breakout имеет смысл, когда 25G портов нужно больше, чем «физически» есть, а свободные 100G порты еще остаются.

Совместимость модулей: как избежать сюрпризов до поставки

В оптике и кабелях правило «25/100G - это просто скорость» не работает. Частая причина проблем - содержимое EEPROM (прошивка и кодировка модуля): коммутатор может видеть трансивер как «неподдерживаемый» или включать порт в нестабильном режиме. У разных производителей одинаково выглядящие SFP28/QSFP28, DAC и AOC могут вести себя по-разному: от CRC до флапов линка.

Перед закупкой для QFX5120 проверьте три вещи: список поддерживаемых модулей (Juniper qualified), тип разветвления (breakout) и требования к FEC. Breakout важен не только как «QSFP28 в 4x25G», но и как совместимость конкретного кабеля с режимом порта и распиновкой. FEC тоже влияет: на 25G часто нужен RS-FEC, а на 100G может требоваться другой режим. Если на одном конце FEC включен, а на другом нет (или выбран другой тип), линк может не подняться или будет работать с ошибками.

Самые неприятные сюрпризы всплывают «на стыке»: QFX5120 с серверной NIC и ToR с соседним коммутатором другого вендора. Например, серверная карта по умолчанию ожидает другой FEC или иначе реагирует на автосогласование, а соседний коммутатор чувствителен к конкретной кодировке QSFP28.

Короткий чек перед заказом:

• Сверьте точные парт-номера оптики/кабелей с матрицей поддержки и версией Junos.
• Зафиксируйте, где нужны SR/LR/CR, и допустимые длины для DAC/AOC.
• Пропишите, какой breakout используется и в каком режиме работает порт.
• Согласуйте FEC для каждой пары «порт-порт» (коммутатор, NIC, соседний свитч).
• Запланируйте пилотную партию и стендовые тесты до основной поставки.

Практичный подход - купить 2-3 комплекта «как в проекте» и прогнать стенд: поднятие линков, ошибки по счетчикам, перетыки, прогрев, совместимость с конкретными NIC. Как системный интегратор, GSE.kz обычно начинает именно с такой проверки, чтобы не выяснять нюансы уже в рабочем ЦОД.

Пошагово: как собрать спецификацию портов и модулей под ваш проект

Чтобы спецификация на Juniper QFX5120 для сети ЦОД не развалилась на этапе закупки, начинайте не с модулей, а с задач. Хорошая спецификация отвечает на два вопроса: сколько портов нужно сегодня и что вы будете подключать через год.

1) Зафиксируйте требования и рост

Соберите простую таблицу: сколько серверов в стойке, какая средняя и пиковая нагрузка, сколько узлов добавится за 12-36 месяцев. Если планируется кластер виртуализации или хранилище, отметьте, где нужны гарантированные 25GbE без «просадок», а где допустим запас.

2) Опишите физику трасс

Длина и тип соединения решают больше, чем кажется. Запишите для каждого линка расстояние (в метрах), через что проходит трасса (патч-панель, кросс) и что удобнее по обслуживанию - DAC, AOC или оптика. Так ниже риск, что выбранный модуль «не добьет» по оптическому бюджету или окажется неудобным в стойке.

3) Выберите портовую схему и резервирование

Сформулируйте правило: 25G вниз к серверам, 100G вверх (spine, агрегация, межстойка). Определитесь, нужен ли LACP на аплинках, сколько аплинков на ToR и как вы переживаете отказ: одного порта, одного свитча, одной линии.

4) Сделайте ведомость с точными позициями

В спецификации каждая строка должна быть однозначной: тип порта, тип модуля, тип кабеля, длина и совместимость. На практике достаточно минимального набора полей: конец A и конец B (устройство и порт), скорость (25G или 100G), тип подключения (DAC/AOC/оптика) и длина, форм-фактор (SFP28 или QSFP28), артикул и допустимые замены.

5) Согласуйте параметры порта до поставки

Для каждого линка заранее зафиксируйте: автосогласование или фиксированная скорость, FEC (включен и какой), нужен ли breakout (например, 100G в 4x25G). Реальный пример: если серверная карта требует RS-FEC на 25G, а на порту оставили другой режим, линк может подниматься нестабильно или с ошибками, и это выглядит как «плохой модуль».

Если работаете с интегратором вроде GSE.kz, попросите приложить к спецификации матрицу «порт - модуль - кабель - настройки», чтобы монтаж и пусконаладка шли по одному документу.

Пример конфигурации: стойка с 25GbE на серверах и 100GbE вверх

Типовая стойка: 32 сервера, у каждого по 2 порта 25GbE (итого 64 серверных линка). В стойке стоят два ToR-коммутатора QFX5120 (A и B), а в spine нужно дать по 2 аплинка 100GbE с каждого ToR для запаса по полосе и отказоустойчивости. Такой дизайн часто выбирают, когда важны предсказуемые апгрейды и понятная схема обслуживания.

Вариант A: серверы на SFP28, аплинки на QSFP28

Логика простая: все серверные порты - SFP28 25GbE, вверх - QSFP28 100GbE.

Раскладка:

• Каждый сервер подключается двумя 25GbE: один кабель в ToR A, второй в ToR B.
• На каждом ToR под серверы уходит по 32 порта 25GbE.
• Вверх: по 2x100GbE с каждого ToR в разные spine-коммутаторы.

Если используете LACP к паре ToR, делайте агрегированный канал так, чтобы один физический линк шел в A, второй в B, и это поддерживалось выбранной технологией многоподключения (например, MC-LAG или EVPN multihoming). Иначе легко получить ситуацию, когда отказ одного ToR роняет половину подключений.

Вариант B: breakout 100G в 4x25G, когда нужно добавить 25G порты

Breakout полезен, когда не хватает 25G портов под серверы или нужно быстро добавить 25G подключения без замены оборудования. Один порт 100GbE (QSFP28) разбивается на 4 порта 25GbE и отдается под дополнительную группу серверов или storage.

Компромисс очевиден: вы тратите потенциальный 100G аплинк. Поэтому заранее зафиксируйте минимум аплинков вверх, а уже остаток 100G портов планируйте под breakout.

Перед монтажом проверьте кабельную часть: реальные длины (особенно для DAC), удобство укладки и маркировку. Хорошее правило: кабели должны доставаться без снятия соседних, а запас по длине не должен превращаться в «клубок», мешающий обслуживанию.

План тестов линков: скорость, ошибки и стабильность

Перед нагрузочными тестами убедитесь, что база в порядке. На QFX5120 большинство проблем с 25/100GbE начинается не с настроек, а с физики: модуль, патчкорд, полярность, загрязнение коннекторов.

1) Быстрая проверка физики

Сделайте короткий прогон до нагрузки и зафиксируйте, что линк ведет себя предсказуемо:

• Линк поднят на ожидаемой скорости, нет flaps (переходов up/down).
• Для оптики проверены уровни RX/TX (если платформа и модуль это отдают), нет явного перекоса между концами.
• Согласованы FEC и автосогласование (если используется), нет постоянных renegotiation.
• Совпадают типы интерфейсов (SFP28 с SFP28, QSFP28 с QSFP28), breakout включен там, где он нужен.
• Проверены пары портов и логика LACP (если используется).

2) Ошибки и нагрузка: как тестировать правильно

Сначала снимите «ноль» по счетчикам ошибок, затем дайте нагрузку и сравните до и после. Важны CRC, symbol errors, drops, а также дискарды из-за очередей при перегрузе. Простой сценарий: 10 минут трафика на 90-95% линии, затем 1-2 часа на 60-70% и повторная проверка.

Пропускную способность тестируйте в двух режимах: один линк (например, 25GbE от сервера) и агрегированный (например, 2x100GbE аплинк). Частая ловушка: один поток не «распараллеливается» по LACP, поэтому используйте несколько потоков или разные пары адресов.

После прогона зафиксируйте эталон, чтобы потом быстро сравнивать при инцидентах:

• Скорость, FEC, MTU, включенные функции на порту.
• Тип модуля/кабеля и длина.
• Счетчики ошибок и drops до и после теста.
• Достигнутая скорость (один линк и LACP).
• Время теста и профиль нагрузки (проценты, число потоков).

План тестов задержек: как мерить и как интерпретировать

Задержка в ЦОД важна по-разному для разных задач. Для обычных корпоративных сервисов часто достаточно стабильной средней задержки. Для виртуализации, баз данных, VDI и части storage-сценариев критичнее p99 и джиттер, то есть насколько сильно задержка скачет.

Что и где измерять

Начните с понятных маршрутов и сравните их между собой. Полезно измерять не только «сервер-сервер», но и разные сетевые пути:

• Сервер A - сервер B в одной стойке (через ToR)
• Сервер A - сервер B в разных стойках (ToR - spine - ToR)
• Сервер - шлюз/маршрутизатор (если есть L3 на границе)
• Между двумя ToR (если есть прямые межстойковые связи)
• При отказе одного аплинка (проверка, что задержка не «взлетает»)

Для базовой картины подойдут ICMP (ping) и TCP-замеры. p99 и джиттер лучше смотреть на UDP или специализированных утилитах, где видны распределения задержек и потери, а не только среднее.

Как уменьшить «шум» в результатах

Сравнивайте только сопоставимые условия, иначе цифры будут случайными:

• Одинаковая MTU на серверах и портах, без смешения 1500 и jumbo
• Одинаковая нагрузка: тест без трафика и тест под фоном (например, 30-50% линка)
• Фиксированная длина пакета (например, 64B и 1500B как два отдельных сценария)
• Повторы: минимум 3-5 прогонов, фиксируйте p50, p95, p99 и потери

Проблемой обычно считают не «высокую» среднюю задержку, а скачки p99, редкие микропотери и сильную зависимость от нагрузки. Например, если при фоне 40% p99 растет в 5-10 раз, стоит проверять очереди, буферы, ECN/механизмы управления перегрузкой и профиль трафика.

Оформляйте результаты одной таблицей: сценарий, путь (через ToR или через spine), скорость фона, MTU, размер пакета, p50/p99, джиттер, потери, вывод и действие. Так проще решить, что менять: оптику, настройки QoS, схему аплинков или портовую конфигурацию.

Частые ошибки и ловушки при 25/100GbE на QFX5120

Даже если портов хватает и скорость заявлена, проблемы на 25/100GbE обычно начинаются с мелочей. QFX5120 чаще «падает» не на пропускной способности, а на совместимости и настройках линка.

Самая частая история: в проект попадают разные типы модулей и кабелей (оптика, DAC, AOC) из разных партий, а проверка начинается уже в стойке. Линк может подниматься, но потом появляются флаппинги или CRC. Пилот на 2-4 порта до массовой закупки экономит недели.

Отдельная ловушка - FEC. На 25GbE и 100GbE он часто обязателен, но режимы могут отличаться (например, RS-FEC против FC-FEC). Если на одном конце FEC включен, а на другом нет (или выбран другой режим), вы получите нестабильность, ошибки или линк не поднимется вовсе.

Breakout тоже умеет «кусаться»: не каждый QSFP28 breakout одинаковый. Важно совпадение типа (например, 100G -> 4x25G), кодировки, поддерживаемости на конкретном порту и корректной сборки (кабель и модуль). Типичный симптом: порт видит физику, но логические интерфейсы не появляются.

Не ограничивайтесь разовым speed-тестом. Ошибки часто всплывают на длительном прогоне: ночью при другом профиле трафика, при нагреве, после перетыка.

И не забывайте про длину трасс и оптический бюджет. Пример: в межстойке поставили «дешевую» оптику под короткую дистанцию, но реальная трасса ушла через кросс и стала на грани по затуханию.

Короткий чек перед запуском:

• Зафиксируйте режимы FEC на обоих концах каждого типа линка.
• Проверьте breakout: модель, схема 100G->4x25G, поддержка на порту.
• Сверьте длины и тип оптики с реальной трассой и патчкордами.
• Прогоните тест трафика 2-4 часа и снимите счетчики ошибок.
• Оставьте 1-2 порта как эталон с заведомо совместимыми модулями для сравнения.

Быстрый чеклист перед запуском и следующие шаги

Перед вводом Juniper QFX5120 в сеть ЦОД полезно пройти короткую проверку, которая ловит большинство проблем до того, как пользователи заметят деградацию.

Чеклист перед вводом в работу

Сначала проверьте «железо к железу»: что именно подключено, куда и почему это должно заработать.

• Сверьте трансиверы и кабели по артикулам: SFP28 и QSFP28, DAC или AOC, а также заявленную дальность с реальной трассой.
• Для каждого порта подтвердите скорость и режим: 25GbE, 100GbE или breakout (например, 100G в 4x25G), и что на второй стороне стоит тот же режим.
• Проверьте FEC: линк часто «поднимается», но работает с ошибками, если FEC на сторонах разный или выключен там, где нужен.
• Убедитесь, что MTU одинаковый на пути (особенно если есть storage или оверлеи) и что LACP настроен одинаково на обоих концах, если используете агрегирование.
• Проверьте схему отказоустойчивости: аплинки в разные устройства, разные блоки питания, разные трассы, а не «две линии в один свитч».

После этого переходите к проверке качества, а не только факта линка.

Минимальный план приемки

База: поднятие линков, отсутствие CRC и других ошибок, корректное автосогласование или принудительные настройки. Затем нагрузка в обе стороны на близкой к линейной скорости и длительный прогон (например, ночь), чтобы поймать редкие ошибки и перегрев. Отдельно измерьте задержку и джиттер на типичных размерах пакетов для ваших сервисов и зафиксируйте «норму» как точку отсчета.

Дальше имеет смысл оформить внутренний стандарт: какие модули и кабели вы разрешаете, какие длины держите на складе, какие настройки портов считаете эталонными (скорость, FEC, MTU, LACP, breakout). Это заметно упрощает расширения и снижает риск «несовместимых сюрпризов» при следующей закупке.

Если нужна помощь с проектированием и испытаниями сети ЦОД, можно привлечь системного интегратора, например GSE.kz, чтобы собрать спецификацию под вашу схему и заранее подготовить понятный план приемки без лишних рисков.