Охлаждение серверов: как понять, что кондиционеров не хватает

Когда кондиционеров начинает не хватать

Обычно это выглядит так: серверная еще «держится», аварий нет, но в помещении становится заметно теплее. Кондиционеры работают почти без пауз, двери стоек горячие на ощупь, а в жаркие дни или при пиковой нагрузке температура начинает «плыть».

Причина почти всегда простая: растет нагрузка, а вместе с ней растет тепловыделение. Добавили пару серверов, поставили более мощные процессоры, включили виртуализацию, расширили дисковую полку, подняли плотность в стойке - и каждый ватт потребленной энергии превращается в тепло. Кондиционер может быть исправен, но уже работать на пределе. Тогда любой небольшой фактор (засоренные фильтры, перекрытые решетки, неправильно направленный поток) дает скачок температуры.

Перегрев опасен не только тем, что «жарко». Он приводит к троттлингу (серверы снижают частоты, задачи выполняются дольше), неожиданным перезагрузкам и ошибкам, ускоренному износу вентиляторов, блоков питания и накопителей. А если проблема развивается незаметно, дело может дойти до простоя и потери данных.

Дальше - о том, как заметить момент, когда кондиционеров уже не хватает: какие признаки видны без приборов, какие метрики стоит измерять и где, как расстановка в стойке влияет на температуру и какие действия помогают улучшить воздушные потоки за один день.

Признаки перегрева, которые видно без приборов

Иногда в серверной кажется, что все нормально: в комнате не жарко, кондиционеры работают, люди не жалуются. Но внутри стойки картина может быть другой. Если у дверцы стойки ощутимо теплее, чем в проходе, или из задней части явно дует горячим воздухом, это уже повод насторожиться.

Самый частый «живой» сигнал - шум. Когда серверы раскручивают вентиляторы и долго держат высокие обороты, они буквально сообщают: воздуха не хватает или он слишком теплый. Часто параллельно появляются предупреждения в интерфейсе управления (BMC/ILO/DRAC), а иногда и в журнале событий операционной системы.

Дальше начинаются симптомы, которые легко списать на «глюки железа»: производительность проседает рывками, задачи выполняются дольше при той же нагрузке, случаются неожиданные перезагрузки или зависания, растет число ошибок дисков, контроллеров или сетевых карт.

Обратите внимание на «горячие точки». При одинаковой нагрузке одни юниты в стойке могут быть заметно горячее других. Это часто чувствуется рукой у передней панели или на выдуве сзади: например, середина стойки «кипит», а верх и низ приемлемые. Такой контраст обычно говорит не про слабый кондиционер в целом, а про неправильный воздушный поток: смешение горячего и холодного воздуха, пустые места без заглушек, кабели, которые перекрывают воздух, или оборудование, которое выдувает не туда.

Если эти признаки повторяются изо дня в день, охлаждение уже работает на грани. В таком режиме любая новая установка в стойку быстро превращает «терпимо» в аварийно.

Базовые метрики: что измерять и где

Если кондиционеры работают, но «жар» все равно появляется, начните не с догадок, а с простых цифр. Для охлаждения важнее всего температура там, где оборудование ее «чувствует», то есть на входе воздуха в сервер.

Минимальный набор метрик:

• Температура на входе (inlet) и на выходе (exhaust). Вход показывает, насколько хорошо доходит холодный воздух. Выход - насколько сильно сервер нагревает поток под нагрузкой.
• Разница температур между холодной и горячей зоной. Если холодная зона почти такая же теплая, как горячая, воздух смешивается или холода не хватает.
• Влажность. Слишком сухо повышает риск статического электричества, слишком влажно - риск конденсата и коррозии. Безопасные рамки сверяйте с требованиями вашего оборудования.
• Обороты вентиляторов и потребление. Если вентиляторы часто «воют» на высоких оборотах, а потребление заметно выросло, это косвенный признак проблем с охлаждением.

Дальше важно правильно выбрать точки измерения. Одна и та же стойка может быть прохладной снизу и перегретой сверху, и среднее значение это скроет.

Практичный минимум:

• У пола перед стойкой (в зоне забора воздуха).
• На середине стойки на уровне входа серверов.
• Вверху стойки на уровне входа серверов.
• Сзади стойки в горячей зоне (для понимания exhaust).

Небольшой пример: датчик на стене показывает «нормально», но на верхних юнитах inlet на 5-8 градусов выше, чем внизу. Это почти всегда указывает на «короткое замыкание» потоков (теплый воздух возвращается на вход) или на то, что холодный воздух не доходит вверх из-за пустых слотов, кабелей или неправильной расстановки.

Как понять, что проблема системная, а не разовая

Разовый перегрев обычно совпадает с понятным событием: открыли дверь серверной, отключился внутренний блок, кто-то перекрыл решетку или временно выросла нагрузка. Системная проблема выглядит иначе: условия вроде те же, а «горячо» становится все чаще и в одних и тех же местах.

Смотрите не на среднюю температуру по комнате, а на самые горячие точки. Кондиционеры могут держать «в среднем нормально», но при этом один верхний юнит в стойке будет регулярно уходить в троттлинг. Для проверки выберите 3-5 контрольных точек: фронтальные воздухозаборники у самых плотных серверов, верх стойки и место, где вы уже замечали сбои. Именно там системные проблемы проявляются первыми.

Привяжите перегрев ко времени. Часто всплывают повторяющиеся пики: днем, когда растет пользовательская активность, или ночью во время бэкапов и пакетных задач. Если «жарит» примерно в одно и то же окно, это сильный признак, что текущего охлаждения не хватает под реальный график нагрузок.

Тревожные тренды:

• температура в тех же точках растет неделя к неделе при похожей загрузке;
• перегрев появляется при меньшей нагрузке, чем раньше;
• после чистки фильтров или перестановки кабелей помогает на 1-2 дня, затем все возвращается;
• растет разница между холодным коридором и воздухом на входе в конкретные серверы.

Чтобы не спорить «на ощущениях», ведите простой журнал. Достаточно таблицы: дата и время замера, точки и значения, нагрузка (хотя бы «низкая/средняя/высокая»), события (бэкап, обновление, добавили сервер, закрыли заглушки) и симптомы (шум вентиляторов, ошибки, перезагрузки).

Через 7-10 дней обычно видно, это единичный сбой или повторяющаяся картина, которая требует изменений в размещении и воздушных потоках.

Откуда берется перегрев: 4 частые причины

Перегрев редко случается «просто так». Чаще всего кондиционеры работают, но холодный воздух не доходит туда, где он нужен, а горячий воздух возвращается обратно в оборудование. Поэтому проблемы с охлаждением часто связаны не с мощностью кондиционеров, а с тем, как устроен поток воздуха в комнате и стойках.

Четыре причины, которые встречаются чаще всего.

1. Короткое замыкание воздушного потока. Холодный воздух выходит из подачи и сразу попадает в возврат (или в ближайшую решетку/проем), не проходя через серверы. Так бывает при неудачном расположении подачи и возврата, больших щелях в стойках или когда вентиляторы оборудования «перетягивают» поток на себя.

2. Рециркуляция горячего воздуха. Горячий выдув серверов не уходит из горячей зоны и снова засасывается в переднюю часть. Причина - отсутствие разделения холодного и горячего коридора, открытые боковые зазоры, снятые заглушки или тесная расстановка стоек.

3. Ориентация на температуру в комнате вместо температуры на входе. В помещении может быть «нормально», но на передних панелях серверов уже 30-35 °C из-за смешивания потоков. Один градус на настенном термометре не отражает реальную картину.

4. Неправильная расстановка и препятствия. Кабельные жгуты перед воздухозабором, лишние полки, закрытые перфорации, оборудование «вразнобой» создают сопротивление. В итоге часть серверов получает меньше воздуха и перегревается первой.

Простой пример: добавили пару плотных узлов в верх стойки, а пустые места оставили открытыми. Поток пошел через «дырки» и зазоры, а не через новые сервера. Внешне все как раньше, но именно эти узлы начнут сбрасывать частоты или уходить в аварийные перезагрузки.

Размещение оборудования и стойки: простые правила

Когда по мощности кондиционеров вроде бы «достаточно», но стойки все равно греются, причина часто в том, как именно движется воздух. Правильная расстановка и несколько мелких доработок дают заметный эффект и обычно дешевле, чем добавлять новые блоки.

Сначала разделите холодную и горячую зоны. Серверы должны забирать воздух спереди из холодной стороны и выдувать сзади в горячую. Если стойки стоят как попало или часть оборудования развернута в другую сторону, потоки смешиваются и температура растет даже при нормальной работе кондиционеров.

Внутри стойки важна логика загрузки. Тяжелое и самое «горячее» оборудование (плотные серверы, мощные коммутаторы, UPS в стойке) лучше ставить ниже: так стойка устойчивее, а верх не превращается в зону перегрева. Пустые места в юнитах не оставляйте открытыми: через них воздух «обходит» серверы.

Что чаще всего дает быстрый результат:

• Поставьте заглушки в пустые U и закройте боковые щели, чтобы воздух шел через серверы, а не мимо.
• Уложите кабели так, чтобы не перекрывать фронтальные решетки и не создавать «штору» за сервером.
• Проверьте, что у всех устройств одинаковое направление потока (вперед-назад).
• Оставьте зазор за стойкой для выдува и не прижимайте ее вплотную к стене.
• Следите за верхом стойки: там чаще всего появляется «горячий карман».

Пример из практики: добавили два сервера, а в середине остались открытые 2U и «пучок» кабелей свисает на забор воздуха. Температура на верхних серверах растет на 5-8 градусов, хотя в комнате прохладно. Заглушки и аккуратная укладка кабелей часто возвращают ситуацию в норму без замены кондиционеров.

Пошаговый план улучшения воздушных потоков за 1 день

Когда кондиционеры работают на пределе, выигрыш часто дает не новая техника, а порядок в потоках. Ниже - план на один рабочий день, который помогает быстро стабилизировать охлаждение и понять, где «теряется» холод.

Перед началом подготовьте термометр с выносным датчиком или пирометр и любые простые метки (скотч, стикеры). Важно не «ощущать» температуру, а сравнить цифры до и после.

План действий

1. Сделайте быстрые замеры в 6-9 точках: спереди у заборов воздуха (низ, середина, верх стойки) и сзади на выходе. Отметьте, где вход уже теплый и где разница вход-выход самая большая.

2. Проверьте, куда реально идет холодный воздух. Тонкая полоска бумаги или легкая лента у передней двери стойки покажет, есть ли уверенный приток к серверам или воздух «обходит» стойку.

3. Уберите смешивание горячего и холодного воздуха. Закройте пустые юниты заглушками, уплотните щели вокруг вводов кабелей, проверьте, что двери и боковые панели сидят плотно.

4. Наведите порядок с кабелями и препятствиями. Освободите пространство перед заборами, уберите петли кабелей из зоны вентиляторов, зафиксируйте жгуты вдоль стоек. Даже частично перекрытый забор заметно снижает реальный поток.

5. Переразместите самые горячие узлы. Не ставьте «теплые» серверы и UPS вплотную друг к другу в одном вертикальном столбе. Дайте им «воздух» и повторите замеры.

После этих шагов сравните цифры и пометки: стало ли холоднее на входе, снизилась ли разница вход-выход, исчезли ли локальные пики. Если перегрев остается, пора проверять общую схему зала и запас по мощности охлаждения. А при модернизации (например, при переходе на более плотные конфигурации) лучше заранее оценивать тепловую нагрузку и требования к размещению.

Типичные ошибки, которые делают хуже

Самая частая проблема - смотреть на один показатель и успокаиваться. В серверной может быть 22-24 °C, но у входа в сервер (inlet) уже 30-35 °C, и именно это решает, будет ли троттлинг и аварийные выключения. Для охлаждения важна температура там, где оборудование реально забирает воздух, а не «в среднем по комнате».

Еще одна ловушка - ставить еще один кондиционер, не разобравшись с потоками. Если горячий выдув из стоек смешивается с холодным воздухом, новый блок часто усиливает вихри. В итоге холод «теряется» по пути, а самые горячие места остаются горячими.

Чаще всего встречаются такие ошибки:

• Ориентироваться на один датчик на стене и не проверять inlet нескольких устройств в разных стойках.
• Оставлять пустые юниты без заглушек: воздух идет через «дыры», а не через серверы.
• Ставить стойки и технику слишком близко к стенам или заставлять пространство коробками, перекрывая решетки и проходы.
• Перепутать направление потоков: часть оборудования выдувает в холодный коридор, и горячий воздух попадает в соседний забор.
• «Лечить симптом» кондиционером, когда причина в смешивании потоков или неплотностях в стойках.

Простой пример: поставили новый коммутатор и пару серверов, температура в комнате почти не изменилась, но один верхний сервер начал регулярно уходить в перегрев. Оказалось, что сверху были пустые места без заглушек, и горячий воздух поднимался обратно к забору этого же сервера.

Если подозреваете подобные ошибки, начните с малого: проверьте направление выдува, поставьте заглушки, освободите проходы и измерьте температуру на входе у 3-5 устройств (низ, середина, верх). Часто этого достаточно, чтобы понять, почему «кондиционеров вроде хватает», а перегрев не уходит.

Быстрый чеклист: все ли в порядке прямо сейчас

Если нужно быстро понять, держится ли охлаждение в норме, проверяйте условия не «по комнате», а там, где сервер реально дышит. Самые полезные ответы дают наблюдения в момент обычной работы и во время пиковых нагрузок.

Проверьте за 10 минут

• Температура на входе в серверы (у фронта) ровная, без резких скачков в течение дня.
• По высоте стойки нет явных горячих зон: верх не заметно жарче низа, а соседние юниты не отличаются на много градусов.
• Вентиляторы серверов не держатся постоянно на максимуме и не начинают резко «выть» без причины.
• Воздух идет через оборудование, а не в обход: нет крупных щелей, открытых пустых юнитов, незакрытых кабельных вводов.
• После изменений (перестановка, добавили сервер, закрыли пустоты) метрики остаются стабильными, включая час пик.

Если 1-2 пункта не сходятся, запас по охлаждению уже небольшой, даже если кондиционеры «еще справляются».

Быстрые подтверждения на месте

Пройдитесь рукой вдоль фронта стойки: поток воздуха должен быть заметным и похожим по силе внизу и вверху. У задней части стойки не должно быть «удушающего» горячего облака, которое держится, а не уходит.

Проверяйте не только в спокойный момент. Если проблема проявляется только на пике, дождитесь отчетного окна или запуска бэкапов и повторите замеры.

Реалистичный пример: перегрев после расширения

Компания добавила в стойку два новых сервера. Первую неделю все выглядело нормально, а потом начались тревоги: у одного сервера выросли обороты вентиляторов, у другого появились предупреждения о высокой температуре на входе. При этом кондиционеры в комнате работали как обычно, и по настенному термометру было около 22-23 °C.

Проверили простыми замерами: температура в проходе действительно была нормальной, но у верхних юнитов стойки на входе в серверы оказалось заметно теплее. Разница между низом и верхом стойки была ощутимой, а теплый воздух как будто «застревал» под верхней крышкой. Это классический случай, когда охлаждение в целом есть, но оно не доходит до нужного места.

Шаги, которые дали эффект в тот же день:

• Поставили заглушки в пустые U-места, чтобы горячий воздух не подсасывался вперед через пустоты.
• Переставили один сервер ниже и вывели его из самой горячей зоны.
• Собрали кабели так, чтобы они не перекрывали забор воздуха спереди и не мешали выдуву сзади.
• Закрыли мелкие щели: боковые зазоры, неплотности дверей и панелей.

Чтобы убедиться, что улучшение не случайность, сравнили показатели до и после и посмотрели 2-3 дня, включая часы пиковой нагрузки. Хороший знак - стабильно ниже температура на входе, меньше скачков оборотов вентиляторов и исчезновение предупреждений при закрытых дверях и штатной нагрузке. Если симптомы возвращаются именно в жаркие дни или при росте нагрузки, запас по охлаждению уже на грани, и нужны более серьезные меры.

Следующие шаги: что делать, если быстрых мер мало

Если вы закрыли пустые юниты заглушками, навели порядок с кабелями, выровняли холодный и горячий коридор, а температура все равно упирается в пределы, проблема уже не «в мелочах». Тогда охлаждение нужно рассматривать на уровне помещения и планировки, а не отдельной стойки.

Когда нужны изменения уровня помещения

Без перестройки часто не обойтись, если тепло распределяется неравномерно: одни стойки «холодные», а соседние регулярно уходят в перегрев. Еще один сигнал - кондиционеры работают почти постоянно, но эффект слабый: воздух гоняется по кругу и не попадает туда, где он нужен.

Признаки, что пора переходить к расчетам и проекту:

• Температура на входе в серверы стабильно выше целевого значения, даже ночью и в выходные.
• Появляются «горячие точки» вверху стойки или в конце ряда.
• Любое добавление 1-2 серверов вызывает резкий рост температур или оборотов вентиляторов.
• Кондиционеры часто уходят в аварии, обмерзают или «не тянут» при той же нагрузке.
• Планируется рост мощности, а запаса по охлаждению почти нет.

Что подготовить перед разговором с интегратором

Чтобы обсуждение было предметным, соберите простую, но точную картину:

• Список стоек и оборудования: что где стоит, высота в U, направление воздушного потока.
• Потребление по стойкам (факт, а не «по паспорту») и где бывают пики.
• Замеры: температура на входе в серверы (низ/середина/верх), базовые данные по влажности, где возможно.
• Схема помещения: расположение стоек, кондиционеров, решеток, дверей и перегородок.
• План роста на 6-18 месяцев: сколько новых узлов, какая ожидаемая мощность.

Пример: компания добавила пару мощных узлов в один ряд, и «внезапно» перегрелись соседние стойки. Причина оказалась в том, что выросло общее тепловыделение ряда, а подача холодного воздуха осталась прежней. Локальные меры не помогли, понадобилось перераспределение подачи и более четкое разделение потоков.

Если планируете расширение или переход на более плотные конфигурации, имеет смысл заранее обсуждать и железо, и инфраструктуру. Например, GSE.kz (gse.kz) как производитель и системный интегратор может помочь связать выбор серверов с расчетом размещения и охлаждения, чтобы рост мощности не превращался в постоянную борьбу с перегревом.