Створення центру обробки даних: 7 інженерних рішень, що визначають доступність

Скільки годин центр обробки даних працюватиме безперервно, визначається не під час встановлення першого сервера, а в ті тижні, коли складають таблицю потужностей, обирають рівень резервування та проєктують повітряні потоки. Більшість перерв у роботі, які ми спостерігаємо на об’єктах, спричинені не відмовами обладнання, а рішеннями, які на етапі створення об’єкта не були ухвалені або були хибними. Наведені нижче сім розділів послідовно розглядають питання, які сторона, що планує проєкт, має з’ясувати заздалегідь.

1. Плануйте потужність не за кількістю шаф, а за потужністю на одну шафу

Потребу в центрі обробки даних часто описують як «зал на двадцять шаф». Проте інфраструктуру визначає не сама шафа, а потужність на одну шафу. Ті самі двадцять шаф за потужності 3 kW на шафу означають об’єкт на 60 kW, а за 15 kW — потребують зовсім іншої архітектури електропостачання та охолодження на 300 kW. Різниця між цими варіантами змінює кожну складову — від вибору електрощитів і перерізу кабелів до способу охолодження.

Під час планування потрібно окремо зазначити три показники:

• Поточне середнє навантаження: Потужність, яка фактично споживатиметься в день введення в експлуатацію.
• Розрахункове навантаження: Цільова потужність, яку інфраструктура може забезпечувати безперервно.
• Сценарій розширення: Потужність, яку очікується додати протягом трьох–п’яти років, і етап, на якому її буде введено в експлуатацію.

Якщо ці три показники не розмежувати, виникають дві типові помилки. Або інфраструктуру створюють під поточне навантаження, і вже під час першого розширення доводиться переглядати весь зал; або її надмірно завищують під віддалену ціль, що відразу збільшує капіталовкладення, а обладнання за низького навантаження працює неефективно. Правильний підхід — спроєктувати магістральну інфраструктуру під цільову потужність, а введення в експлуатацію виконувати поетапно: кабельні траси, головний розподіл електроенергії та інфраструктуру охолодження створюють з урахуванням розширення, а обладнання додають поступово.

2. Обирайте рівень резервування разом зі сценарієм технічного обслуговування

Під час обговорення резервування зазвичай запитують: «Що станеться в разі відмови?». Однак вирішальне запитання інше: чи потрібно зупиняти виробництво для проведення технічного обслуговування? Система може бути відмовостійкою, але якщо під час обслуговування вона залишається без резерву, кожне планове обслуговування перетворюється на період підвищеного ризику.

Під час вибору слід пам’ятати, що резервування має зберігатися в усьому ланцюгу. Якщо джерела безперебійного живлення встановлено за схемою 2N, але вихідний щит залишено єдиним, фактичний рівень об’єкта визначається рівнем цього єдиного щита. Тому рішення щодо резервування слід ухвалювати не для окремого обладнання, а за однолінійною схемою всього тракту — від вводу до розетки в шафі.

Справжня перевірка резервування — не момент відмови, а день технічного обслуговування. Якщо систему неможливо обслуговувати без вимкнення, це означає, що кілька разів на рік вона планово залишається без резерву.

3. Вирішуйте завдання охолодження організацією повітряних потоків, а не лише обладнанням

Значна частина проблем з охолодженням виникає не через брак потужності, а через те, що холодне повітря циркулює не там, де потрібно. Якщо за достатньої сумарної потужності установок температура на верхніх рівнях шаф зростає, проблема не в охолодженні, а в організації повітряних потоків.

Під час монтажу слід врахувати такі аспекти:

• Розділення гарячих і холодних коридорів: Шафи розміщують так, щоб їхні повітрозабірні сторони були спрямовані в один коридор. Інакше гаряче повітря, яке виходить з однієї шафи, потрапляє на вхід сусідньої.
• Закриття вільних монтажних місць: Якщо вільні U в шафі не закриті заглушками, холодне повітря проходить назад, оминаючи обладнання.
• Організація простору під підлогою: Скупчення кабелів під фальшпідлогою перешкоджає потоку повітря; розташування вентиляційних решіток потрібно планувати з урахуванням розподілу навантаження.
• Робочий діапазон: Надмірне охолодження залу збільшує енергоспоживання. Вихідною точкою проєктування мають бути допустимі для ІТ-обладнання діапазони температури та вологості.

Правильно організовані повітряні потоки також збільшують кількість днів, коли можна використовувати вільне охолодження; це безпосередньо впливає на експлуатаційні витрати. Завдання автоматизації охолодження — не просто вмикати окремі установки, а розподіляти між ними навантаження, своєчасно вводити в роботу резервну установку та, за сприятливих зовнішніх умов, керовано переходити від механічного до вільного охолодження.

4. Не відкладайте впровадження системи моніторингу

Моніторинг — складова, яку під час створення об’єкта відкладають найчастіше: «Спочатку нехай запрацює зал, а вимірювання додамо потім». Однак пізніше встановлення аналізатора електроенергії, датчиків температури й вологості та засобів зв’язку з обладнанням не лише збільшує витрати на кабельні мережі, а й призводить до втрати базових даних за перші місяці роботи об’єкта. Саме ці перші місяці становлять базову лінію для оцінювання рішень щодо потужності.

Мінімальний набір вимірювань і даних:

• Споживання електроенергії на вводі, на виході джерела безперебійного живлення та для кожного ряду шаф
• Температура на вході холодного коридору та відносна вологість у кількох точках по висоті шафи
• Робочий стан охолоджувальних установок, температура на виході та сигнали несправностей
• Дані про стан генератора, перемикача джерел живлення та акумуляторної батареї

Коли ці дані зібрано в єдиній системі моніторингу, стають можливими дві речі: відстеження ефективності об’єкта (PUE) у часі та ухвалення рішень щодо потужності на основі вимірювань. Відповідь на запитання «Чи можемо ми додати в цей ряд ще одну шафу?» дає не припущення, а виміряний графік навантаження цього ряду. Перетворення виробничих даних на основу для ухвалення рішень — саме так цей підхід реалізується в центрі обробки даних.

Керування тривогами — це не просто список тривог

Поширена помилка під час впровадження моніторингу — перетворювати кожен отриманий сигнал на тривогу. Сотні тривог з однаковим пріоритетом уже за кілька тижнів починають ігнорувати. Події слід розділяти на ті, що потребують втручання, ті, за якими достатньо спостерігати, і ті, які лише реєструються. Для кожної тривоги, що потребує втручання, має бути письмово визначено, хто і що повинен робити.

5. Відокремте мережу автоматизації від корпоративної мережі

Автоматизація будівлі та енергосистем центру обробки даних суттєво відрізняється від ІТ-систем, що працюють у ньому: пристрої мають тривалий строк служби, їхнє програмне забезпечення оновлюють рідко, а більшість обмінюється даними за протоколами без автентифікації. Коли ці пристрої підключають безпосередньо до корпоративної мережі, інцидент в офісному сегменті отримує шлях аж до системи керування охолодженням.

Заходи, які недорого реалізувати на етапі створення об’єкта, але дорого впроваджувати згодом:

• Виділення мережі автоматизації в окрему зону та організація міжмережевих з’єднань через контрольовані точки
• Надання сервісним компаніям віддаленого доступу з автентифікацією, обмеженням часу та записом сеансів
• Резервне копіювання конфігурацій контролерів і сервера моніторингу, реєстрація змін

Докладніше про ці аспекти можна дізнатися, ознайомившись із нашим рішенням з кібербезпеки OT ; автоматизація центру обробки даних потребує такої самої дисципліни безпеки, як і автоматизація виробничого майданчика.

6. Не зводьте пусконалагодження до перевірки «чи працює»

Переконатися, що компоненти працюють окремо, — ще не означає виконати пусконалагодження. Перерви в роботі зазвичай виникають під час спільної роботи систем, кожна з яких окремо працює правильно: зникає напруга в мережі, вмикається безперебійне живлення, запускається генератор, відбувається перемикання — але під час перезапуску всі охолоджувальні установки запускаються одночасно, і кидок струму ускладнює перемикання. Або генератор запускається, проте система охолодження не підключена до резервного живлення, і зал нагрівається за лічені хвилини.

Тому пусконалагодження виконують поетапно:

1. Випробування компонентів: Перевірка кожної одиниці обладнання окремо.
2. Випробування систем: Перевірка систем електропостачання та охолодження окремо як цілісних систем.
3. Комплексне випробування систем: Моделювання перерв у роботі за визначеними сценаріями під реальним навантаженням — зникнення мережевого живлення, неможливість запуску генератора, відмова однієї охолоджувальної установки.

Мета комплексного випробування — не домогтися формального проходження перевірки, а виявити слабкі місця до передавання об’єкта. Ці випробування також дають експлуатаційній команді змогу вперше побачити систему в реальних умовах; у багатьох подальших інцидентах вирішальним стає те, що команда вже стикалася з такою ситуацією.

7. Підготуйте правила експлуатації до передавання об’єкта

Там, де завершується створення об’єкта, починається експлуатація, і саме тут доступність насправді забезпечується або втрачається. Комплект документації для передавання має містити актуальні однолінійні схеми, компонування щитів, перелік маркування, відповідність тривог і дій реагування, а також періодичність технічного обслуговування. Без цього вже після першої зміни документація перестає відповідати інфраструктурі.

Питання, які потрібно з’ясувати до передавання об’єкта:

• Яке технічне обслуговування, з якою періодичністю та ким виконуватиметься?
• Чи є на складі критично важливі запасні частини та які строки їх постачання?
• Як працює ланцюг оповіщення в разі тривоги та який цільовий час реагування?
• За якою процедурою погодження та реєстрації виконуватимуться такі операції, як додавання шафи або зміна живлення?

Реєстрація змін особливо важлива: значна частина перерв у роботі виникає тоді, коли через кілька місяців після незадокументованої зміни виконують втручання, спираючись на хибні припущення. Післяпродажна інженерна підтримка та регулярний перегляд є невіддільною частиною створення об’єкта, що дає змогу зберігати початковий рівень інфраструктури.

Підсумок

Створення центру обробки даних — це не сума незалежних закупівель обладнання. Потужність, резервування, повітряні потоки, моніторинг, мережева безпека, пусконалагодження та правила експлуатації є частинами єдиної архітектури; якщо одну з них залишити поза увагою, переваги інших також будуть обмежені. Ухвалення цих рішень у межах єдиної інженерної відповідальності — найефективніший спосіб запобігти подальшим витратам.

Докладну інформацію про обсяг робіт, модель співпраці та завдання, які ми виконуємо власною командою, наведено на сторінці нашого рішення зі створення центрів обробки даних та автоматизації інфраструктури .