В российских ЦОДах, введенных в эксплуатацию десять и более лет назад, участились отказы инженерного оборудования. Ситуация связана с отсутствием полноценной технической поддержки после ухода вендоров в 2022 году, трудностями с поставками и складскими запасами запчастей, а также сокращением бюджетов компаний, которым уже не всегда хватает средств на регулярное обслуживание и модернизацию ЦОДов.
По мнению специалистов, с подобными проблемами сталкивается каждый пятый коммерческий дата-центр. Похоже сложности испытывают корпоративные ЦОДы и небольшие локальные серверные. В зоне риска прежде всего инженерная инфраструктура, включая системы электроснабжения и охлаждения. Их поломки могут остановить работу ЦОДа и привести к серьезным последствиям для бизнеса: нарушению логистики, остановке производства или сбоям в работе платежных сервисов.
В статье для журнала RUБЕЖ эксперты УЦСБ — директор департамента системной интеграции Дмитрий Кузнецов и руководитель отдела инженерных решений ЦОД Александр Швецов — поясняют, как оценить техническое состояние оборудования в ЦОД и как определить, стоит ли его ремонтировать или пришло время полной замены.
Что проверять прежде всего: электроснабжение и охлаждение
В первую очередь при оценке инженерной инфраструктуры ЦОДа необходимо проверять системы электроснабжения и охлаждения, потому что от их состояния напрямую зависит работоспособность ИТ-оборудования дата-центра. Серверы, системы хранения данных или сетевое оборудование перестанут работать сразу же или спустя очень непродолжительное время, после того как начнутся серьезные проблемы с электропитанием или холодоснабжением.
Приоритетную проверку электротехнических систем подтверждает статистика отказов. Согласно седьмому ежегодному отчету Uptime Institute, около половины серьезных сбоев в ЦОДах связаны с электроснабжением.
Другие элементы инженерной инфраструктуры тоже требуют контроля, хотя они обычно не создают такого же мгновенного риска для непрерывности ИТ-сервисов. Например, отказ системы мониторинга не означает автоматической остановки оборудования, а проблемы с пожаротушением могут проявиться только при реальном инциденте.
1. Возраст и сервисная история: какие документы запросить у службы эксплуатации или подрядчика
Инженерную инфраструктуру ЦОДа старше 10 лет можно рассматривать как зону повышенного риска. Однако возраст — не всегда приговор: за время эксплуатации оборудование могли регулярно обслуживать по регламенту и своевременно менять изношенные компоненты. Поэтому при проверке важно смотреть не только на дату запуска, но и на наличие сервисной истории.
У ответственного за эксплуатацию ЦОДа или подрядчика по обслуживанию инженерных систем должны быть данные о проведенных ТО, ремонтах, замененных компонентах и датах работ. При этом компании-владельцу дата-центра недостаточно просто знать, что такие документы существуют — важно проверять их полноту и актуальность.
Когда таких документов нет, то это тревожный сигнал. Чем старше объект и чем меньше данных о его обслуживании, тем выше риск скрытых проблем.
2. Подвижные компоненты: как понять, что пора менять отдельные узлы
При проверке инженерного оборудования важно тщательно оценивать состояние его подвижных элементов: вентиляторов, компрессоров, насосов или приводов. Все эти детали изнашиваются быстрее статичных электронных компонентов, например, конденсаторов или тиристоров. Во время диагностики движущихся узлов необходимо уделить внимание трем моментам:
- наличие перечня компонентов с ограниченным производителем сроком службы;
- соответствие реального срока их эксплуатации рекомендациям производителя — вентиляторы в ИБП часто предписывают менять через пять-семь лет, аналогичные узлы в кондиционерах могут работать до десяти лет;
- фактическая наработка этих компонентов — для компрессоров системы охлаждения распространенным ориентиром ресурса считается наработка более 40 000 часов.
Следуя этому подходу, решение о замене или ремонте оборудования принимается не только на основе его возраста. В результате кондиционер, который проработал 10–15 лет, не обязательно придется менять: иногда в нем достаточно обновить изношенные компоненты.
3. Аккумуляторы: опасность иллюзии стабильной работы
Деградация свинцово-кислотных аккумуляторных батарей (АКБ) проходит незаметно: емкость теряется по 3–5% в год, тесты показывают приемлемые цифры, и эксплуатация привыкает к иллюзии стабильности. Но ближе к концу службы характеристики резко ухудшаются — работоспособность теряется в один момент, часто с негативным влиянием на весь аккумуляторный массив.
Поэтому свинцово-кислотные АКБ нужно регулярно проверять один-два раза в год, особенно ближе к завершению срока службы. При этом нужно учитывать условия эксплуатации: температуру в зоне размещения батареи, число циклов, глубину разряда и соответствие напряжения буферного режима рекомендациям производителя.
Из-за непредсказуемости отказа в конце срока службы свинцово-кислотные АКБ не стоит использовать до полного исчерпания ресурса. Поскольку гарантия на такие батареи обычно короче их фактического срока эксплуатации, ориентиром для замены должны быть рекомендации производителя и результаты регулярных проверок.
Литиевые батарейные кабинеты контролировать проще, потому что они поставляются со встроенной системой мониторинга. Для свинцово-кислотных аккумуляторов такую систему можно заказать в качестве опции.
4. Цифровая блокировка: оборудование работает, но его не обслужить
Старение инженерной инфраструктуры не всегда связано с физическим износом. Оборудование может работать и проходить ТО, но быть практически необслуживаемым из-за потери доступа к программной части: сервисным меню, глубоким настройкам, исходным проектам SCADA или резервным копиям конфигураций.
Цифровой барьер приводит к сложностям при обслуживании. Например, если контроллер выйдет из строя, то будет недостаточно найти такой же — для восстановления понадобится прошивка или конфигурация отказавшего устройства. Этих данных может и не быть, потому что вендор ушел и закрыл доступ к ПО.
Отсутствие доступа не обязательно означает остановку системы, но должно настораживать, так как при поломке оборудования ремонт может превратиться в его полную замену. Моральное устаревание инженерной инфраструктуры можно определить по следующим признакам:
- прекращение поддержки производителем — запчасти сняты с производства, срок поставки критичного компонента превышает допустимое время простоя;
- несовместимость с современными нагрузками — старый ЦОД проектировался под 3–5 кВт на стойку, а новое оборудование требует 10–20 кВт и больше;
- архитектурное устаревание — фрагментированные планировки с неэффективной воздушной логистикой, отсутствие модульности и резервирования критичных элементов превращает любой апгрейд в сложную и рискованную операцию;
- устаревание компетенций — знания об объекте остаются у одного специалиста или подрядчика, и после их ухода становится сложно поддерживать работоспособность системы.
Менять или ремонтировать оборудование ЦОДа: принимаем решение в два этапа
Нет универсального технического признака, который однозначно говорит, что пришло время менять оборудование. Решение о ремонте, модернизации или замене зависит от сочетания нескольких факторов: состояния инженерных систем, доступности запчастей, окончания поддержки производителя, стоимости простоя и наличия финансирования на обновление ЦОДа. Процесс принятия решения можно разделить на два этапа.
Этап 1. Инвентаризация проблемных зон — она поможет понять, где накапливаются риски. Если по ее итогам ремонт будет нецелесообразным, то можно переходить к следующему этапу.
Этап 2. Выбор оборудования на замену — здесь необходимо сравнить технические, сервисные и репутационные параметры: мощность, габариты, массу, состав компонентов, цены, срок присутствия производителя на рынке, наличие поддержки, отзывы и позиции в рейтингах.
Выбор может осложняться большим количеством новых российских и китайских решений. По многим из них у рынка еще нет длительной истории эксплуатации, поэтому заказчику важно отделить проверенные предложения от решений, качество которых пока сложно оценить.
Ключевые пункты проверки собраны в чек-листе. Пользуйтесь им при проверке инженерной инфраструктуры.