Горячие и холодные коридоры в серверной: быстрые меры

С чего начинается перегрев: смешивание воздуха в серверной

Перегрев в серверной часто начинается не со "слабого кондиционера", а со смешивания потоков. Холодный воздух должен попадать во фронт серверов, а горячий - уходить сзади и возвращаться в охлаждение. Когда между этими зонами нет понятной границы, горячий выхлоп частично всасывается обратно в оборудование. Температура на входе растет, даже если в помещении в целом кажется прохладно.

Смешивание быстро бьет по надежности и бюджету. Вентиляторы в серверах раскручиваются сильнее, растет шум, а потребление электричества увеличивается сразу в двух местах: у ИТ-нагрузки (вентиляторы) и у охлаждения (попытка догнать температуру). Дальше начинаются троттлинг, ошибки и более частые отказы, особенно в стойках с высокой плотностью.

Обычно это видно по простым признакам: появляются "горячие точки" в отдельных стойках при нормальной температуре в зале, у одних и тех же серверов скачут обороты вентиляторов, а температура на входе в соседних стойках заметно различается. Часто перегрев всплывает после небольших изменений: добавили сервер, открыли заглушку, переложили кабели. Еще один характерный сигнал - горячий воздух обтекает стойку и попадает в холодную зону через щели.

Хорошая новость в том, что ситуацию часто можно заметно улучшить без капитального ремонта. Достаточно вернуть потокам понятное направление и убрать места, где воздух "коротит путь": щели в стойках, пустые юниты без заглушек, незакрытые проходы между рядами. Эффект лучше подтверждать замерами на входе в оборудование.

Быстрая диагностика: как понять, где теряется холод

Перед любыми изменениями договоритесь, где у вас холодный проход и где горячий. Частая ошибка - стойки стоят "как получилось": холод подается в одну сторону, а серверы пытаются забирать его с другой. Для схемы горячие и холодные коридоры важнее всего, чтобы потоки не смешивались.

Начните с ориентации оборудования. Почти все серверы и большинство сетевых устройств тянут воздух спереди и выдувают назад. Если в стойке есть нестандартные устройства (например, с боковым выдувом), отметьте их отдельно: именно они часто ломают коридор.

Что проверить за 30 минут

Проход по залу лучше строить вокруг одного вопроса: где теплый воздух попадает во вход серверов. Обычно это видно даже без сложных приборов: в одном и том же ряду часть устройств горячая на входе, часть - нормальная.

Проверьте базовые вещи:

• Куда дует кондиционирование и куда возвращается воздух (подача и обратка). Если обратка "видит" холодный проход, холод теряется сразу.
• Где есть "короткие замыкания" воздуха: пустые U-места, щели вокруг кабелей, открытые боковины, незакрытые отверстия в полу.
• Что происходит сверху: горячий воздух поднимается и часто перетекает через верх в холодную зону.
• Нет ли препятствий перед стойками: коробок, катушек кабеля, временных панелей. Они создают зоны без притока холода.
• Чем отличаются соседние стойки. Если одна перегревается при похожей нагрузке, причина обычно в утечках или неверном направлении потоков.

Чтобы не лечить "наугад", зафиксируйте исходную картину. Сделайте 5-10 фото проблемных мест и заведите простую таблицу: стойка, где горячо (вход или выход), что мешает потоку, что можно сделать быстро (закрыть щель, развернуть стойку, убрать препятствие) и чем проверите результат. Даже пара переносных термодатчиков или показания iDRAC/IPMI до и после изменений уже покажут, где холод действительно теряется.

Заглушки и закрытие щелей: самый быстрый шаг

Когда в стойке есть пустые юниты или открытые щели, холодный воздух ищет самый легкий путь. Он идет не через серверы, а через отверстия. Одновременно горячий воздух из тыла проще "подсасывается" на вход. В итоге коридоры перестают работать, даже если кондиционеры исправны.

Самый быстрый шаг, который дает эффект за часы, - закрыть все "дыры" в стойках и вокруг них.

Поставьте заглушки (blanking panels) во все пустые места между оборудованием. Важно ставить их плотно, без щелей, иначе результат будет слабым. Затем пройдитесь по стойке как по коробке: если воздух может пройти мимо фронта сервера, он обязательно пройдет.

Быстрая проверка на месте:

• Пустые юниты в стойке, особенно рядом с горячими серверами.
• Щели по бокам, неплотно установленные салазки и направляющие.
• Незакрытые кабельные вводы, отверстия в полу, крышке стойки или под фальшполом.
• Снятые боковые панели и приоткрытые двери, оставленные "на минуту".
• Временные "окна" после обслуживания: вынули сервер, заглушку не вернули.

Отдельная история - открытые передние двери или снятые панели ради удобства. Это часто создает прямой короткий путь для воздуха: часть холодного потока уходит в обход, а часть горячего возвращается на вход.

Оценивать эффект лучше измерением. Сравните температуру на входе в сервер (front inlet) до и после хотя бы в трех точках по высоте стойки: низ, середина, верх. Часто после установки заглушек и закрытия щелей температура на входе становится ниже и ровнее, а скачки при нагрузке уменьшаются. Если верх стойки раньше был на 3-5 C горячее середины, после закрытия пустот разница нередко падает уже за один день.

Шторы и простая изоляция коридоров без строительства

Шторы и мягкие перегородки помогают, когда капитальный ремонт невозможен, а смешивание потоков уже приводит к перегреву. Это вариант для временной изоляции горячего коридора (чтобы выхлоп не возвращался к серверам) или холодного (чтобы холод доходил до лицевых панелей стоек). Во многих серверных безопаснее начинать с горячего коридора: вы изолируете "грязный" воздух и меньше рискуете перекрыть подачу холода.

Чтобы изоляция работала даже без стройки, критичны три места: верх, торцы и щели. Шторы должны доходить до потолка или ближайшего перекрытия, иначе горячий воздух уйдет наверх и снова смешается. Торцы коридора закрывают полосовыми шторами или экранами, но так, чтобы их можно было быстро отодвинуть при обслуживании.

Сразу продумайте доступ. Технику нужно выкатывать, двери стоек открывать на полный угол, а проходы оставлять по правилам объекта. Если есть требования по пожарной безопасности и эвакуации, шторы не должны превращать коридор в "мешок" без быстрого выхода. Материал выбирают с понятными характеристиками и без резкого запаха, крепления делают надежными, но съемными.

Короткая проверка перед запуском:

• Шторы закрывают верх и торцы, но не цепляют двери стоек и не мешают тележке.
• Приток от кондиционеров и решетки подачи воздуха не перекрыты.
• Выхлоп серверов и верхние зоны выхода горячего воздуха не перекрыты.
• Проходы безопасны, а доступ к аварийным выключателям быстрый.
• Понятно, где "проход" для работ, и есть правило не держать его открытым надолго.

Простой пример: в ряду из 6 стоек торцы были открыты, и горячий воздух закручивался в начало ряда. После изоляции горячего коридора шторами на торцах и под потолок температура на входе в стойки выровнялась, а вентиляторы стали работать тише.

Перестановка стоек: выравниваем направление потоков

Правило простое: фронт серверов должен смотреть в холодный коридор, а тыл - в горячий. Если хотя бы одна стойка развернута наоборот, она начинает подмешивать горячий выхлоп в зону забора, и рядом стоящие серверы теряют запас по температуре. Это частая причина, почему горячие и холодные коридоры в серверной формально есть, а по факту не дают эффекта.

Обычно проблема в одиночных стойках, которые когда-то поставили "как влезло": у стены, рядом с дверью, возле ИБП или кросса. Исправление часто не требует ремонта: развернуть стойку, поменять ее местами с соседней или перенести на край ряда. Если стойка тяжелая и плотно набита, заранее оцените риски по кабелям и питанию и действуйте по плану, чтобы не устроить простой.

Если в комнате есть устройства с разным направлением потока (например, часть оборудования выдувает вбок или вперед), лучше свести их в отдельную зону, а не смешивать в одном ряду. Иначе даже идеальные коридоры будут давать локальные перегревы.

Отдельно смотрите на высокоплотные стойки. Стоящая рядом пустая или почти пустая стойка часто "протекает" воздухом и ухудшает ситуацию: холод уходит в обход, а горячий возвращается к забору.

Перед перестановкой и сразу после нее помогает короткий план:

• отметить стойки, развернутые не по правилу "фронт в холодный, тыл в горячий";
• выделить 1-2 самых горячих и самых плотных стойки;
• проверить, куда уходит горячий выхлоп (не в проход ли перед стойками);
• сравнить температуры на входе в тех же точках после изменения.

Практический пример: если одна стойка в ряду развернута "лицом" в горячий коридор, рядом почти всегда растет температура на входе у соседей. Разворот часто дает заметный эффект в тот же день, особенно если затем закрыть пустые места заглушками и убрать щели вокруг кабельных вводов.

Кабели и препятствия: что мешает воздуху в реальности

Даже когда коридоры размечены правильно, воздух часто "ломается" на бытовых вещах: кабельных петлях, коробках, приоткрытых дверцах, случайных щелях. Итог один - холод не доходит до серверов, а горячий возвращается на вход.

Первая зона риска - передняя и задняя часть стойки. Если кабели свисают перед перфорацией двери или собраны в плотный пучок у забора воздуха, серверы начинают тянуть воздух сбоку, из щелей, а не из холодного коридора. Сзади то же самое: кабельные кольца и "бороды" перекрывают выдув, и горячий воздух задерживается внутри.

Если есть фальшпол, хаос под ним часто влияет сильнее, чем кажется. Когда силовые и слаботочные трассы лежат вперемешку и перекрывают решетки, давление под полом распределяется плохо: рядом с решеткой холод есть, а в соседнем пролете уже нет.

Быстрые исправления, которые обычно дают результат:

• убрать кабели из зоны забора и выдува, освободить перфорацию дверей и боковые зазоры;
• развести силовые и слаботочные трассы, не перекрывать решетки под фальшполом;
• не хранить коробки, расходники и инструмент в коридорах и у торцов стоек;
• держать двери стоек закрытыми и убрать то, что подпирает их в приоткрытом положении.

Ориентир простой: если после уборки и освобождения проходов температура на входе становится ровнее по высоте стойки (верх и низ отличаются меньше), значит, вы вернули воздуху нормальный путь. Часто достаточно убрать коробки из холодного коридора и закрепить кабели в вертикальных органайзерах, чтобы горячие точки в верхних юнитах ослабли в тот же день.

Датчики и точки контроля: измеряем, а не гадаем

Чтобы горячие и холодные коридоры в серверной действительно работали, нужны цифры, а не ощущения у двери. Достаточно нескольких датчиков и простой схемы точек, чтобы понять, где смешивается воздух и какой эффект дали изменения.

Главное правило размещения - измерять там, где "дышат" серверы. Самая полезная точка - на входе воздуха в оборудование (холодная сторона) в середине стойки. Второй обязательный уровень - внизу и вверху, чтобы увидеть перепад по высоте: верх часто перегревается даже при норме внизу.

Добавьте измерение в горячем коридоре (на выходе из стоек) и у возврата воздуха к кондиционеру. Так проще понять, не подмешивается ли горячий поток в холодный из-за щелей, отсутствующих заглушек или неправильной ориентации.

Что фиксировать при обходе:

• температуру на входе в серверы (низ, середина, верх стойки);
• температуру в горячем коридоре на уровне выдува;
• влажность (особенно зимой, когда воздух пересушен);
• разницу температур между верхом и низом стойки;
• время и режим нагрузки (пиковые часы, ночной режим).

Чтобы не запутаться, сделайте простую "карту" стоек: по 3 точки на стойку на холодной стороне и 1 точка в горячем коридоре напротив. Даже без системы мониторинга ручные замеры по одной и той же схеме показывают тренд.

Частота тоже простая: снимите базовые показатели 2-3 раза в день в течение 2 дней, затем повторите в те же часы после изменений (шторы, перестановка, заглушки). Если внедряете новые стойки или серверы (например, S200), добавьте точки рядом с ними на первую неделю, чтобы не пропустить локальный перегрев.

Пошаговый план на 1-3 дня: от простого к сложному

Работайте короткими циклами: сделали одно изменение, измерили, записали результат. Так понятно, что реально помогло, и меньше риск "сломать" то, что уже работало.

День 1 (2-4 часа): фиксируем базу и закрываем утечки

Начните с базовых измерений и фотофиксации. Снимите общий план рядов (где холодная и горячая стороны) и отдельно проблемные места: пустые U в стойках, щели вокруг кабелей, открытые боковые панели.

Затем поставьте заглушки и закройте щели. Это самый быстрый шаг, который часто сразу снижает температуру на входе в серверы.

Короткая последовательность:

• измерьте температуру на входе в 3 точках: низ, середина, верх;
• сделайте заметки и фото "до": пустые U, отверстия, незакрытые вводы;
• установите заглушки и закройте проходы для воздуха (в том числе вокруг кабельных вводов);
• повторите те же измерения через 20-30 минут стабильной работы.

День 2 (2-6 часов): простая изоляция коридоров

Если после заглушек горячий воздух все равно подсасывается в холодную зону, добавьте изоляцию: шторы, экраны, временные перегородки. Цель одна: холодный воздух должен доходить до фронта серверов, а горячий уходить назад без смешивания.

После установки снова измерьте входные температуры в тех же точках. Если верх стойки остается заметно горячее низа, ищите обходные пути: открытое пространство сверху, незакрытые боковые щели, разрывы по торцам коридора.

День 3 (4-8 часов): точечная перестановка и закрепление правил

Если быстрые меры не дали нужного эффекта, переходите к перестановке проблемных стоек и устранению препятствий. Иногда достаточно развернуть одну стойку, убрать "стену" из коробок перед перфорацией или развести кабели так, чтобы они не перекрывали выдув и забор воздуха.

Закрепите результат короткими правилами для персонала: пустые U всегда закрывать, после любых работ возвращать панели на место, не хранить предметы в коридорах, а изменения в раскладке стоек делать только с повторными измерениями. Если используете датчики температуры, назначьте конкретные точки контроля (вход стойки, горячая зона) и пороги, при которых нужно реагировать.

Частые ошибки: почему коридоры не работают

Даже если коридоры сделаны "по схеме", эффект бывает слабым или кратким. Причина чаще не в кондиционере, а в том, что воздух находит обходные пути и снова смешивается.

Самая частая мелочь с большим эффектом - пустые места в стойках. Если есть незанятые юниты без заглушек, холодный воздух уходит через них в горячую зону, а серверы начинают втягивать уже подогретый воздух. Нередко установка заглушек снижает входную температуру сильнее, чем попытки "подкрутить" кондиционеры.

Еще одна ошибка - смешать оборудование с разным направлением потока в одной стойке или ряду. Один сервер выдувает вперед, другой назад, рядом стоит коммутатор со своим потоком. Вместо понятной схемы получается локальный вихрь.

Со шторами тоже легко переборщить. Если изоляция мешает доступу или случайно перекрывает приток к забору воздуха, персонал начинает держать шторы приоткрытыми. Достаточно небольшой щели, чтобы горячий воздух снова подсасывался на вход.

И наконец, ошибаются с измерениями. Одна точка на стене не показывает картину: под потолком может быть жарко, а внизу нормально. Нужны точки на входе в стойки и в коридорах, а не только "где удобно".

Признаки, что причина именно в обходных путях:

• пустые юниты без заглушек и большие щели вокруг кабельных вводов;
• в одной стойке стоят устройства с разным направлением выдува;
• двери стоек приоткрыты или сняты, появляется рециркуляция;
• шторы мешают доступу, поэтому их держат открытыми;
• температуру снимают в одном месте и делают выводы по всей комнате.

Пример из практики: после установки штор в одной серверной стало "душно" в проходе, и дежурные фиксировали штору в открытом положении. В отчете температура почти не изменилась, потому что датчик висел у двери. После переноса датчика на вход в стойку и закрытия щели проблема стала видна сразу - и решилась без добавления охлаждения.

Короткий чеклист: быстрые проверки после изменений

После заглушек, закрытия щелей или перестановки стоек важно быстро понять, стало ли лучше, или проблема просто переехала в другое место. Проверяйте не по ощущениям, а по входной температуре и поведению вентиляторов.

Что обычно дает ясный ответ за 10-15 минут:

• температура на входе в ключевые серверы держится ровно и не прыгает при обычной работе;
• по высоте стойки нет сильного перекоса: верх не заметно горячее низа (или наоборот) при одинаковой плотности;
• вентиляторы не работают постоянно на максимуме;
• у торцов коридора и сверху нет горячих зон и "подсоса" в холодную сторону;
• все пустые места закрыты: заглушки для серверных стоек на месте, двери и панели закрыты, нет открытых окон в стойке.

Если один пункт не проходит, не спешите добавлять новые меры. Обычно достаточно найти один источник подсоса: неплотная дверь стойки, незакрытый слот, щель под вводом кабелей или открытый торец коридора. Быстрый тест - временно закрыть проблемное место (панелью или экраном) и снова посмотреть входную температуру и обороты вентиляторов.

Пример из практики: как улучшить охлаждение без ремонта

Серверная на 8 стоек: два ряда стоят лицом друг к другу, но один ряд когда-то развернули наоборот. В итоге часть стоек забирала теплый воздух, а "холодный" коридор жил своей жизнью. Жалоба была простой: днем температура у верхних юнитов растет, а кондиционер работает почти без пауз.

Сначала сделали то, что не требует стройки и остановки. Поставили заглушки в пустые U-места и закрыли щели вокруг кабельных вводов. На торцах коридора повесили шторы, чтобы меньше подсасывало теплый воздух сбоку. Затем переставили две стойки и развернули проблемный ряд так, чтобы фронты смотрели в один холодный проход, а выдув шел в горячий.

Чтобы не гадать, добавили несколько датчиков температуры: на входе воздуха в стойки (снизу и сверху) и один датчик в горячем коридоре на уровне головы. Замеры сняли до изменений и после, в два окна: утром и в самый теплый период дня.

Результат по факту:

• верх стойки на входе воздуха стал холоднее на 3-5 C;
• разница между низом и верхом стойки уменьшилась;
• температура в горячем коридоре стала стабильнее, без резких всплесков.

Максимум эффекта дали заглушки плюс правильное направление потоков. Шторы закрепили результат, а датчики стали правилом: любые изменения в компоновке проверяются измерениями.

Следующие шаги: как поддерживать результат и что делать дальше

Быстрые меры работают только тогда, когда их поддерживают каждый день. Иначе через неделю кто-то приоткроет дверь, снимет заглушки ради удобства, добавит кабели в проход, и потоки снова начнут смешиваться.

Чтобы эффект не пропал, закрепите короткий регламент, который реально соблюдают:

• двери и панели держать закрытыми, особенно на холодной стороне;
• пустые места в стойках закрывать заглушками и не снимать их без причины;
• кабели фиксировать и убирать из зоны забора воздуха спереди;
• после любых работ (добавили сервер, поменяли патч-корды) делать быструю проверку температур.

Дальше подумайте о росте. Перегрев часто возвращается не из-за ошибок, а потому что нагрузка выросла: стало больше серверов, выше плотность, добавились GPU. Запланируйте, где появятся новые стойки, как будет соблюдаться направление потоков и есть ли запас по охлаждению (или нужен резерв на случай отказа одного кондиционера).

Если вы уперлись в ограничения и не хотите гадать, помогает работа с интегратором: измерения в нескольких точках, карта горячих зон, план модернизации без лишних затрат. В таких задачах GSE.kz обычно полезен как производитель и системный интегратор: можно связать железо, размещение, охлаждение и поддержку в один понятный план, вместо того чтобы чинить перегрев точечно.