Как скачать архив дневника с HTTrack Website Copier

[kxena]

Друзья!
В связи с последними событиями на diary.ru, думаю, что многие задались вопросом, как спасти всё, что нажито непосильным трудом. Многие провели на этом ресурсе годы. Моей собственной днявочке 8 лет! А это более тысячи постов и контент, который я больше нигде не публиковала. В том числе довольно редкий, ценный или ностальгически приятный. Само собой, как и многие уже, я заказала у администрации архив своего дневника и цитатника. Но, думаю, что особо рассчитывать на него не стоит. Во-первых, насколько оперативно реагирует администрация на запросы мы в курсе, а во-вторых, если таких желающих окажется даже пара тысяч... ну, вы понимаете. Потому, спасение утопающих - дело рук самих утопающих. Я скачала копию дневника целиком с помощью HTTrack Website Copier. Эта программа удобная, русскоязычная и главное - бесплатная. Как её установить и настроить ниже приведена инструкция с картинками. + И ссыль на PDF. Отдельно спасибо essilt за помощь в тестировании всего этого процесса ))



Сначала несколько хитростей:

1. Вовремя нескольких проб и подбора разных параметров программы, я пробовала качать архив с мобильной версии, потому что она не нагружена дизайном. Мне дизайна не жаль, он ценности не представляет, главное посты и картинки.
2. Еще один лайвхак, который может помочь - скачивание не с главной страницы дневничка, а со списка ваших тем (тегов). У меня это kxena.diary.ru/?tags Это поможет разбить все ваши сообщения по темам и в каждой будет не over9000 постов, а гораздо меньше, что позволит скачать быстрее.
3. Сообщество может скачать тот у кого есть от него пароль.
4. Качаться будет долго, в зависимости от глубины сканирования и количества информации. Мой забирался около 4 часов.
5. Если закачку понадобится прервать и затем продолжить - это возможно. Просто вы останавливаете скачивание. Потом, когда нужно, открываете сохранённый проект скачивания .whtt и продолжаете с теми же параметрами.
6. Я не пробовала, но думаю, что с помощью сохраненного проекта скачивания .whtt можно будет обновлять архив дневника. Указывать только режим обновления закачки.

ВНИМАНИЕ! Как показал последний тест, чтобы скачать закрытые записи программе нужны специальные настройки. Инструкция и актуальные фильтры здесь

Ну, а теперь пошаговая инструкция:

1. Скачать саму программу с www.httrack.com/page/2/en/index.html.

2. Узнать, какую именно версию программы вам нужно скачивать 32-х или 64-х разрядную, можно так:
- Войти в "Панель управления"
- В ней перейти "Панель управления\Система и безопасность\Система". В открывшемся окошке в пункте "Тип системы" будет написано, например: 64-разрядная.

3. Далее нужно запустить программу и установить HTTrack Website Copier по этапам:

картинки этапов

4. Когда программа запустится, нужно выбрать язык – русский.



5. Потом задать имя проекта, категорию (можно не задавать), каталог, куда сохранять ваш дайр. Нажать «Далее». ВНИМАНИЕ: Во избежание проблем лучше называйте проект и каталог на английском, без кавычек и апострофов!.



6. На следующей вкладке указать параметры скачивания. Выберите режим "Загрузить сайты" - если скачиваете впервые. Так же есть режимы для продолжения и обновления ранее созданного проекта. Задайте веб-адреса через кнопку «Добавить URL» ). Можно задать несколько адресов. Например, если вы хотите скачать не весь дневник, а контент по конкретным тегам. Далее нажимайте на кнопку «Задать параметры...».


7. По кнопке «Задать параметры...» появится окно, где надо задать параметры на вкладках.
ВНИМАНИЕ! Чтобы скачать и закрытые записи, требуются специальные настройки. Рекомендации с сайта программы.

Прокси. Снять галочку "Использовать прокси для ftp-закачки"


Качалка. Поставить последнюю галочку "Использовать старый протокол HTTP"


Структура


Ограничения скачивания. Максимальную глубину внешних ссылок указываем 0. Максимальная глубина для вашего дневника может потребоваться большей или меньшей, скорость скачивания тоже изменится:


Фильтры скачивания, чтобы забрать только дневник, а не весь интернет


Готовые фильтры для дневника здесь.

ВНИМАНИЕ! Можно скопировать фильтры к себе, но заменив login в строчках +*login.diary.ru/* и -diary.ru/sms/?shorthelp&shortname=login&com=0, на нужный.
Приведенные исключения я попыталась настроить так, чтобы скачать страницу с темами, библиотеку изображений, профиль, цитатник, сообщения и комментарии к ним.
Теги MORE должны открываться.
Изображения, включенные в сообщения, отображаться.
Я исключила так же скачивание: с youtube, с давно отвалившегося prostopleer, рекламу яндекса, ролики с кино-сайта, mail.ru.

8. Когда все настроено, останется запустить скачивание



9. Скачивание будет идти долго. Перед скачиванием с мобильной версии убедитесь, что она отображает подзамочные записи, если вы залогинены!

10. После скачивания рекомендую пройтись по страницам архива и убедиться, что все нужное удалось забрать. Особенно закрытые записи. В крайнем случае, если что-то не попадет в закачку, то уже намного проще сохранить это вручную.

Искренне надеюсь, что это кому-то поможет, и что все дружно мы не положим любимые дайри Всем добра, удачного спасенного контента, а дайрям долгих лет и воскрешения



 

@темы: Полезные ссылки, Мысли вслух, ПЧ

Comments

[kxena]

_Танцующая_В_Темноте_, нет

[Дарницкий Шпион]

kxena,
очень жаль, но спасибо за ответ)

[киса в свитере]

kxena, пошаговая инструкция уже для скачивания закрыток годится?

[kxena]

киса в свитере, нет еще, если все будет норм, то завтра-послезавтра появится

[киса в свитере]

жду, спасибо! Свистнешь тут, что это ОНО?

[kxena]

киса в свитере, да я здесь отпишусь со ссылкой на новую инструкцию

[AniSkywalker]

Вы чудо. Подписалась на запись, чтобы поймать инструкцию по скачиванию закрытых записей. По ссылке почитала все, сделала, но у меня комп отказался прокси их воспринимать. Если, конечно, я правильно все там поняла. Хочу вытащить 12 лет жизни дайрка.

[Julianna]

Спасибо за инструкцию, очень жду подробностей про скачивание закрытых записей.

И вопрос: при скачивании записи из блокнота тоже скачаются?

[kxena]

AniSkywalker,
Julianna, нет, блокнот тут запрещен, а он нужен?

[Julianna]

kxena,
Очень нужен!
Как его разрешить?

[kxena]

Julianna, я обновлю фильтры в новой инструкции и опишу тогда как его добавить

[Julianna]

kxena,
Спасибо огромное!

И, если можно, напишите, пожалуйста, как включить в архив все подзамочные записи.
А то читаю то, что по ссылке, и не понимаю.

Есть ли разница между частично закрытыми записями (под список) и совсем закрытыми?
Их можно включить в архив?

[kxena]

Julianna,

если можно, напишите, пожалуйста, как включить в архив все подзамочные записи.

да, новая инструкция как раз будет для закрыток пошагово

Есть ли разница между частично закрытыми записями (под список) и совсем закрытыми?
Их можно включить в архив?

Я как раз это тетсирую, должны все забраться

[Команданте Роха]

kxena, и если можно, для черновиков тоже, у меня вот фильтр +*?draft* не сработал
Вы молодец, хорошее дело делаете, от админов фиг чего дождешься, а у меня не хватило терпения тестировать все фичи софтины)

[kxena]

Команданте Роха, ок, черновики посмотрю тоже

[kxena]

А кто знает, как включить блокнот? А то на "подопытном кролике" он почему-то не отображается в меню...

[Julianna]

kxena,
А вот этот вариант не включает?
+*diary.ru/?notepad*

[kxena]

Julianna, не-не, я про интерфейс дайри, у меня его вообще нет в списке меню, то есть качалка в принципе туда не попадет

[Команданте Роха]

kxena, Блокнот вроде бы платная функция... если вы его не подключали, то его у вас и нет.

[Julianna]

kxena, Команданте Роха,
Да, блокнот платный.

[Julianna]

kxena,
Давайте я вам переведу епонов, а вы его себе подключите, чтобы убедиться, что он включается в архив?

[kxena]

Julianna, я нашла, что его можно включить бесплатно на пробный период Включила. Что-то он не появился... пока жду.

[Albertia Inodorum]

Закрытый дневник нельзя качать, да?

[kxena]

Albertia Inodorum, по этой инструкции нет, по новой - да. Я смогла уже скачать свою библиотеку изображений за 46 минут около 800 изображений

[Julianna]

kxena,
А новая инструкция появится здесь или в новом посте?

[kxena]

Julianna, в новом, чтобы было удобнее, а тут я дам ссылку на неё

[Albertia Inodorum]

kxena, спасибо вам )

[Julianna]

kxena,
Спасибо большое!

[Memfis.]

kxena, спасибо за такую крутую штуку и инструкции! Попыталась настроить закачку закрытых записей по инструкции - что-то настройки прокси возвращаются в исходные - и в хроме, и в IE, даже через реестр задать прокси и порт не выходит - после входа в аккаунт ссылка не подцепляется программой( Буду ждать инструкций для закрыток.
Я правильно понимаю, что "закрытые записи" - это все, где стоит галочка "закрыть для..." и дальше либо для белого списка, либо для всех, либо от каких-то определённых людей и т.д.? Если дневник сам по себе доступен только зарегистрированным пользователям, он считается закрытым или нет?

[kxena]

Memfis.,

Если дневник сам по себе доступен только зарегистрированным пользователям, он считается закрытым или нет?

да, после того как пройдет авторизация, качалка сможет утащить все записи и из закрытого дневника.
Настроить хром у меня тоже не получилось, только FireFox