В прошлый четверг произошло супермаловероятное событие – полетел рейд5 из 4-х винтов. Перестал переходить в состояние optimal. В онлайн и в "force online" также не переходил.
Вдобавок осложнилась ситуация тем, что на диске, куда записывались резервные копии, закончилось место и скрипт автоматом удалил бакапы, чтобы расчистить место.
Вероятность такого события 0.0001% в день. То есть примерно 1 раз в 10 лет. Ну чтож бывает.
Но такой геморрой! Такая ЖОПА!
Короче говоря, пришлось за пару дней спать 3 часа. После первого дня я понял, что я попал серьёзно.
Под конец дня осознав серьёзность проблемы и того, что своими силами в серверной её никак не решишь я позвонил в спец. фирму по восстановлению данных. Мне сказали – 4 тысячи за один диск рейда. Цена меня устроила. Работает фирма допоздна. Поехал.
Богатый офис. Сказали, что с ReiserFS мне ничего не восстановят. Стали диагностировать рейд. Пока я ждал результатов экстренной диагностики (2500 р.) мне предложили полистать журнальчики.
Предельно вежливый персонал, ображение по имени отчеству, переговорная, грамоты от благодарных клиентов…
Я уговорил дать мне поработать в интернете. Читать журнальчики несколько часов – это тупизна. Смотреть на диагностику нельзя. Большой секрет. Типа частично самописная программа. Но это меня насторожило. Если самописная, то я же её не украду? Что-то нечисто…
В сети нашёл неплохой рецепт восстановления удалённых файлов с ReiserFS.
reiserfsck –rebuild-tree -S -l /root/recovery.log имя_девайса
Мне показалось, что сработает. Но меня удивило, что ведущий специалист этой серьёзной фирмы о нём не знает. Так-так-так…
После диагностики мне специалист Александр сказал, что восстановление возможно. Но насколько возможно – он точно скажет утром. Я взял диск с бакапами и поехал домой.
Дома получилось восстановить более половины томов бакапа с ReiserFS (спал 3 часа за ночь). Хорошо. Файлы потеряли свои имена и оказались в папке lost+found. Если бы я на этот диск сдуру бы не записал 3,6гб данных, то восстановил бы 90% томов.
Но всё равно много файлов было утеряно. Клиентам это не понравится. Я решил не запускать на следующий день (пятница) сервак на гнилых данных, а восстановить всё любой ценой. И лучше самому. Охреневшие от жадности чуваки из datarc.ru заломили 116 т.р. за полное восстановление данных. Увидели, что файлов у меня 1,7 миллиона и что много домашних папок пользователей. Цена ОЧЕНЬ зависит от того насколько эти данные нужны клиенту.
Хер вам. После большого торга согласились (Кирилл) на 16 тысяч за частичное восстановление (первоначальная цена, которая звучала по телефону), но тут вмешалось руководство и оно было согласно только на 32 т.р.за неполное восстановление, за образ!
Я решил попробовать сделать эту супероперацию самому. Блин, я же крутой! Не зря ИУ6 в Бауманке заканчивал.
Попросив совета у добрых людей и для их мотивации предложив премию в 500 рублей я получил бесценные идеи. А именно наводку на программу Raid Reconstructor, которая стоит всего 99 баксов.
Купил 2TB диск (с возможностью moneyback, которой я потом воспользовался) для образа рейда (на рейде был всего один логический диск на 1,5 Тб) я запустил Raid Reconstructor на запись образа. За 16 часов был записан образ. Меня распирало от любопыства насколько он будет хорош.
Ё! Образ оказался идеальным!
Эта суперпрограммка сделала то, за что вконец потерявшие совесть жлобяры из datarc.ru просили 116 т.р.
Полностью восстановила мои данные!
P.S. Вот ещё программки, которые мне приглянулись, но я ими не успел воспользоваться:
UFS Explorer Professional Recovery