Логотип stormway.ru

Масштабный сбой

Вступление

Хостинг stormway.ru расположен на нескольких площадках, имена которым были даны по их первоначальному местоположению: "Инфобокс" (IBX), "Шесть" (SIX), "Новочеркасская" (NBL), "Вестербро" (CPH). Каждую площадку обслуживает как минимум один сервер, свой или арендованный. Данные на каждом сервере защищаются избыточным массивом типа RAID5. Такой тип хранилища может пережить сбой одного диска в массиве, но сбой двух дисков для него будет фатальным.

29 сентября 2015 г. один из дисков хранилища площадки "Шесть" (SIX) вышел из строя, о чём служба RAIDXpert и направила письмо. На тот момент ситуация не выглядела критической, как можно увидеть из скриншота ниже, сбойный диск (порт 4) уже заменялся - изначально все диски были одной ревизии.

В это время я был в отпуске и быстро заменить диск не мог, и вернулся в Санкт-Петербург только 11 октября. На следующий день я прибыл к серверу для замены диска, и... Ещё один диск вышел из строя. Вероятно, при выключении питания. В любом случае я оказался в ситуации, когда у меня на руках оказалось 3 диска массива RAID5, два из которых неисправны, и хранилище сервера прекратило своё существование. Увы, резервная копия данных оказалась на том же самом массиве - на скрине выше можно увидеть, что разделение на "live" и "backup" было логическим, два массива RAID5 (RAID5-1 и RAID5-2) были организованы на одном и том же наборе дисков.

Таким образом, все данные площадки "Шесть" (SIX) погибли, включая резервную копию.

Диски сейчас находятся в компании, специализирующейся на восстановлении данных - DICOM, возможно, часть данных мы восстановим. В целом процесс восстановления описан в таблице ниже. Комментарии можно получить у меня через VK лично или в нашей группе там же.

Текущая ситуация

Восстановление площадки движется по разным направлениям. Мы и диски пытаемся восстановить, и переводим часть служб на альтернативные площадки. Эта страница будет обновляться по мере появления новых данных.

Сервис Состояние Временное решение Постоянное решение
1 Почта Потеря данных Пустые почтовые ящики созданы на временном сервере на площадке "Вестербро", новая почта поступает туда. Для веб доступа к почте используйте сайт https://mailx10.stormway.ru/owa. Microsoft Outlook и ActiveSync тоже работают по этому адресу. Кроме того, см. примечание 1! Почтовый сервер вернётся на старый адрес, когда соберём новый дисковый массив. Ориентировочно - до конца года. Восстановление старой почты (то есть сообщений) зависит от того, смогут ли в компании восстановления данных прочитать хоть что-то неисправного массива RAID5 или нет. Для предотвращения сбоев в дальнейшем планируем использовать DAG (Data Availability Group) серверов Exchange, что позволит защититься от сбоя одиночного сервера.
1.1 Почта,
доступ через Web
Только к новому содержимому почтового ящика Для веб доступа к почте используйте сайт https://mailx10.stormway.ru/owa. Установка сертификата не требуется. В поле имени пользователя обязательно указание домена "MAIL", например, "MAIL\SherlockHo". Вероятно, вернётся на адрес https://mailx.stormway.ru.
1.2 Почта,
доступ с мобильных устройств
Только к новому содержимому почтового ящика Используйте адрес сервера mailx10.stormway.ru Вероятно, вернётся на адрес https://mailx.stormway.ru.
1.3 Почта,
общие папки
Потеря данных Временного решения нет, сервис недоступен. Зависит от результатов восстановления данных.
2.1 VPS (клиентские) Зависит от клиента Для клиентов C121, C130 и C202 - потеря данных, ваши виртуальные машины потеряны и в настоящий момент не работают. Это с каждым индивидуально решается. Желающие могут переехать на другую площадку при наличии технической возможности размещения VPS. Но это будет новая машина, "с нуля". Если обнаружится возможность восстановить VPS из сбойного массива, я напишу.
2.2 Базы данных MySQL: сервера 10.208.16.52 и 10.208.16.53 Потеря данных, есть резервная копия сервера 10.208.16.52 для некоторых баз Попробуйте сменить адрес сервера на 10.208.8.52. Если там нет Вашей базы данных, обратитесь ко мне - вероятно, можно до восстановления основного сервера создать пустую базу на MySQL сервере другой площадки. Пока сложно сказать, вероятно, сервер на площадке "Шесть" будет один. С резервным копированием пока не решил.
2.3 Базы данных Microsoft SQL Server Express: сервера 10.208.16.58, SQL2008XPR Потеря данных Временного решения нет, сервис недоступен.
(
На других площадках нет серверов Microsoft SQL Server)
Находится в процессе выбора.
3 Хранение данных на SSD Недоступно Временного решения нет, сервис недоступен.
(
На других площадках нет SSD)
Находится в процессе выбора.
4.1 Web hosting,
статические сайты и сайты FrontPage Extension.
Есть возможность "поднять" сайт на другой площадке Так как статический контент сайтов реплицируется между площадками, сайт можно "поднять" на другой площадке. Владельцам сайтов следует обратиться ко мне по почте на стандартный адрес hosting@stormway.ru или через VK. Сайты будут возвращены на площадку "Шесть" по завершению восстановления сервера.
4.2 Web hosting,
динамические сайты
Зависит от клиента В связи с пунктами 2.2 и 2.3 бОльшая часть динамических сайтов на Joomla, WordPress и других CMS, хранящих данные в СУБД, недоступна. В любом случае временное решение будет зависить от места установки базы данных. Сайты будут возвращены на площадку "Шесть" по завершению восстановления сервера.
4.3 Web hosting,
FTP
доступ к содержимому
FTP доступ возможен через площадку "Инфобокс" (для части клиентов). Так как статический контент сайтов реплицируется между площадками, доступ к файлам веб сервера может быть организован через другую площадку. Часть клиентов может получить доступ, используя FTP сервер ibx.stormway.ru с собственныими пользователем и паролем. 2 ноября появился ещё один FTP: nbl.stormway.ru. Свяжитесь со мной получения подробных сведений. Сайты будут возвращены на площадку "Шесть" по завершению восстановления сервера.
4.4 Web Hosting,
отправка почты с сайта
Есть relay на другой площадке, обратитесь ко мне для получения адреса 22 октября создан новый relay сервер, через который сайты могут отправлять почту. Свяжитесь со мной для получения адреса сервера. см. примечание 2! После восстановления сервера relay 10.208.16.30 будет снова работать. И второй relay тоже останется в строю.
4.5 Web hosting,
своя версия PHP и акселераторы PHP
Сервис недоступен Пока Вы не можете выбрать свою собственную версию PHP. На временной площадке используйте общедоступную версию. Такая возможность появится, когда вернём сайты на восстановленный сервер.
4.6 Web hosting,
компоненты HeliconTech (аналог mod_rewrite для IIS)
Сервис доступен при размещении временного сайта на площадке "Инфобокс" Свяжитесь со мной для получения деталей и переноса сайта на временную площадку. Сайты будут возвращены на площадку "Шесть" по завершению восстановления сервера.
5 DNS сервера Восстановлены 15 октября Используются сервера ns1.stormway.ru и ns2.stormway.ru Вернёмся к прежней схеме после восстановления площадки.

Примечания:

  •  1. Если Вы используете Microsoft Outlook, сохраните данные из OST файла в "Личные папки" (файл формата PST). После подключения к пустому новому ящику скопируйте данные обратно. Правила обработки почты потребуется создать заново.
  •  2. Обратите внимание, если отправляется почта от имени Вашего домена, может потребоваться изменение SPF записи в Вашей DNS зоне. За деталями - ко мне.

Дополнительно

В FAQ'е есть раздел по хостингу.


последнее изменение: 03.11.2015

Generated: 16.01.2017 at 22:11:38 by stormway.ru (0 hits).