Как скачать архив дневника с HTTrack Website Copier

[kxena]

Друзья!
В связи с последними событиями на diary.ru, думаю, что многие задались вопросом, как спасти всё, что нажито непосильным трудом. Многие провели на этом ресурсе годы. Моей собственной днявочке 8 лет! А это более тысячи постов и контент, который я больше нигде не публиковала. В том числе довольно редкий, ценный или ностальгически приятный. Само собой, как и многие уже, я заказала у администрации архив своего дневника и цитатника. Но, думаю, что особо рассчитывать на него не стоит. Во-первых, насколько оперативно реагирует администрация на запросы мы в курсе, а во-вторых, если таких желающих окажется даже пара тысяч... ну, вы понимаете. Потому, спасение утопающих - дело рук самих утопающих. Я скачала копию дневника целиком с помощью HTTrack Website Copier. Эта программа удобная, русскоязычная и главное - бесплатная. Как её установить и настроить ниже приведена инструкция с картинками. + И ссыль на PDF. Отдельно спасибо essilt за помощь в тестировании всего этого процесса ))



Сначала несколько хитростей:

1. Вовремя нескольких проб и подбора разных параметров программы, я пробовала качать архив с мобильной версии, потому что она не нагружена дизайном. Мне дизайна не жаль, он ценности не представляет, главное посты и картинки.
2. Еще один лайвхак, который может помочь - скачивание не с главной страницы дневничка, а со списка ваших тем (тегов). У меня это kxena.diary.ru/?tags Это поможет разбить все ваши сообщения по темам и в каждой будет не over9000 постов, а гораздо меньше, что позволит скачать быстрее.
3. Сообщество может скачать тот у кого есть от него пароль.
4. Качаться будет долго, в зависимости от глубины сканирования и количества информации. Мой забирался около 4 часов.
5. Если закачку понадобится прервать и затем продолжить - это возможно. Просто вы останавливаете скачивание. Потом, когда нужно, открываете сохранённый проект скачивания .whtt и продолжаете с теми же параметрами.
6. Я не пробовала, но думаю, что с помощью сохраненного проекта скачивания .whtt можно будет обновлять архив дневника. Указывать только режим обновления закачки.

ВНИМАНИЕ! Как показал последний тест, чтобы скачать закрытые записи программе нужны специальные настройки. Инструкция и актуальные фильтры здесь

Ну, а теперь пошаговая инструкция:

1. Скачать саму программу с www.httrack.com/page/2/en/index.html.

2. Узнать, какую именно версию программы вам нужно скачивать 32-х или 64-х разрядную, можно так:
- Войти в "Панель управления"
- В ней перейти "Панель управления\Система и безопасность\Система". В открывшемся окошке в пункте "Тип системы" будет написано, например: 64-разрядная.

3. Далее нужно запустить программу и установить HTTrack Website Copier по этапам:

картинки этапов

4. Когда программа запустится, нужно выбрать язык – русский.



5. Потом задать имя проекта, категорию (можно не задавать), каталог, куда сохранять ваш дайр. Нажать «Далее». ВНИМАНИЕ: Во избежание проблем лучше называйте проект и каталог на английском, без кавычек и апострофов!.



6. На следующей вкладке указать параметры скачивания. Выберите режим "Загрузить сайты" - если скачиваете впервые. Так же есть режимы для продолжения и обновления ранее созданного проекта. Задайте веб-адреса через кнопку «Добавить URL» ). Можно задать несколько адресов. Например, если вы хотите скачать не весь дневник, а контент по конкретным тегам. Далее нажимайте на кнопку «Задать параметры...».


7. По кнопке «Задать параметры...» появится окно, где надо задать параметры на вкладках.
ВНИМАНИЕ! Чтобы скачать и закрытые записи, требуются специальные настройки. Рекомендации с сайта программы.

Прокси. Снять галочку "Использовать прокси для ftp-закачки"


Качалка. Поставить последнюю галочку "Использовать старый протокол HTTP"


Структура


Ограничения скачивания. Максимальную глубину внешних ссылок указываем 0. Максимальная глубина для вашего дневника может потребоваться большей или меньшей, скорость скачивания тоже изменится:


Фильтры скачивания, чтобы забрать только дневник, а не весь интернет


Готовые фильтры для дневника здесь.

ВНИМАНИЕ! Можно скопировать фильтры к себе, но заменив login в строчках +*login.diary.ru/* и -diary.ru/sms/?shorthelp&shortname=login&com=0, на нужный.
Приведенные исключения я попыталась настроить так, чтобы скачать страницу с темами, библиотеку изображений, профиль, цитатник, сообщения и комментарии к ним.
Теги MORE должны открываться.
Изображения, включенные в сообщения, отображаться.
Я исключила так же скачивание: с youtube, с давно отвалившегося prostopleer, рекламу яндекса, ролики с кино-сайта, mail.ru.

8. Когда все настроено, останется запустить скачивание



9. Скачивание будет идти долго. Перед скачиванием с мобильной версии убедитесь, что она отображает подзамочные записи, если вы залогинены!

10. После скачивания рекомендую пройтись по страницам архива и убедиться, что все нужное удалось забрать. Особенно закрытые записи. В крайнем случае, если что-то не попадет в закачку, то уже намного проще сохранить это вручную.

Искренне надеюсь, что это кому-то поможет, и что все дружно мы не положим любимые дайри Всем добра, удачного спасенного контента, а дайрям долгих лет и воскрешения



 

@темы: Полезные ссылки, Мысли вслух, ПЧ

Comments

[kxena]

Memfis., и лучше подождите новые фильтры, потому что те, что есть сейчас не учитываю кнопки - обновить пост (тот случай, когда у меня стали обновляться посты) и кнопку удалить тоже! У меня до этого не дошло, но кто знает!

[Memfis.]

kxena, в общем без специальных настроек закрытый только для зарегистрированных дневник видимо посчитался закрытым - закачка очень быстро завершилась с ошибками. Открыла в настройках дайри доступ всем - сейчас вроде дольше идёт, ошибок пока нет)
Настроить прокси в хроме просто, но почему у меня эти настройки не сохраняются, никак понять не могу =/ Но всё-таки дневник без закрыток лучше, чем вообще никакого дневника) А после окончания закачки как это всё будет выглядеть, как большая куча сохранённых веб-страниц?

[kxena]

Memfis.,

в общем без специальных настроек закрытый только для зарегистрированных дневник видимо посчитался закрытым

Да, так и есть.

А после окончания закачки как это всё будет выглядеть, как большая куча сохранённых веб-страниц?

По окончании скачивания оно показывает кнопку "Показать зеркало", если вы нажмете на неё, то попадете на статическую копию вашего сайта, сохраненную на диске, где локально будет сохранено все то, что не было запрещено фильтрами.

[Memfis.]

kxena, спасибо большое за ответы) Ну пока пробую скачать как есть, раз уж процесс запущен, а потом с новыми инструкциями буду пробовать обновить закачку)

[*Anwen*]

kxena, эта программа скачивает только собственные записи или записи других пользователей, добавленные в цитатник, тоже?

[kxena]

*Anwen*, цитатник разрешен для скачивания

[*Anwen*]

Цитатник будет скачан автоматически вместе с дневником или нужны какие то настройки?

[kxena]

*Anwen*,

Цитатник будет скачан автоматически вместе с дневником или нужны какие то настройки?

Хороший вопрос... сейчас скачивается список, который виден в самом дневнике, а посты чужих дневников, добавленные в цитатник - нет.

[*Anwen*]

kxena, спасибо. Это печально. Получается только вручную можно скачать?

[kxena]

*Anwen*, да, ну или принудительно добавить ссылки на эти посты в фильтрах... что почти тоже самое. Можно попробовать их все репостить к себе через "Поделиться", а чтобы ваша лента не офигела от репостов в настройках каждого поста в Дополнительные параметры поставить - Не рассылать запись подписанным на дневник пользователям

[*Anwen*]

kxena, спасибо, лучше бы дайри выжили.

[AniSkywalker]

Скачалось, но с рекламой спасения дайров

[kxena]

*Anwen*, да, кстати, я проверила на всякий случай как работает "Поделиться" "Не рассылать запись подписанным на дневник пользователям", в избранном у ПЧ она все равно появляется, так что не вариант цитатник репостить (
Мда... зачем вообще тогда нужна эта опция

[Julianna]

kxena,
А переписка u-mail (входящие и исходящие) при архивировании сможет быть включена в архив?

[kxena]

Julianna, да, хочу её тоже наладить в фильтрах.
новые фильтры должны качать только с дневника.

[Julianna]

kxena,
Спасибо, это было бы очень здорово.
А как скоро ждать новый оптимизированный вариант фильтров?

[AniSkywalker]

kxena, а вариант скачки закрыток уже есть?

[киса в свитере]

Тоже его жду

[AniSkywalker]

По непонятной причине качает только первую страницу. Не понимаю, в чем дело вчера еще все нормально было

[Kit]

kxena, здравствуйте. А у меня ХР 32. Мне какую качать из списка?
Их там аж 6 штук разных....

[~Ива~]

Kit, качайте самую первую, которая "We recommend:
Windows (from Windows 2000 to Windows 10 and above) installer version
WinHTTrack (also included: command line version)"

kxena, у меня тоже настройки прокси мозилла не подхватила Буду разбираться, в чём дело, и ждать обновлённой инструкции от вас. Большое вам спасибо за существующую, рекомендации по доп.настройкам очень пригодились!

[Лисюций]

MirrinMinttu, прошу прощения, что влезаю, но может поделюсь чем полезным. Было то же, когда пыталась перейти по ссылке через хром. Опера без прошлем перешла на сайт. Так что в данном случае может спасти просто смена браузера. А может и нет. Мне помогла

[kxena]

Друзья спасибо всем за комментарии и ожидание! На данный момент: благополучна скачивается библиотека изображений и закрытый дневник-виртуал. В фильтрах я исключила все ненужные раздела, скачивание чужих дневников, и нажимание кнопок - таких как поднять запись, удаление и т.д. Только посты и картинки на них, а так же навигация по страницам.

В скачивание дневника-виртуала были включены: календарь (с постами), теги (с постами), умыл входящие и отправленные, черновики, блокнот, ссылки, профиль пользователя.
В скачивании дневника-виртуала я исключила: библиотеку изображений (качается отдельно) и цитатник (очень долго качать его с постами и его к сожалению не разбить по тегам, чтоб уменьшить глубину скачивания). Цитатник на данном этапе проще забирать вручную. Или же я попробую сделать для него отдельные настройки, как для библиотеки изображений.

Могу делаю инструкцию с настройками и шагами для скачивания библиоткеи и дневника, а под цитатник потом могу написать отдельную.

[Kit]

~Ива~, спасибо!

[Лисюций]

kxena, Вы чудо) спасибо Вам

[AniSkywalker]

Могу делаю инструкцию с настройками и шагами для скачивания библиоткеи и дневника,

закрытые записи при этом тоже скачиваются? И второй вопрос: где смотреть инструкцию: тут или отдельный пост?

[AniSkywalker]

О, и еще вопрос всплыл: если уже скачал дневник, то можно ли закрытки скачать через обновление закачки или надо по новой все скачивать будет? А то у меня уже 10 часов качается и еще не все, только 95 ошибок из-за закрыток

[kxena]

AniSkywalker,

закрытые записи при этом тоже скачиваются? И второй вопрос: где смотреть инструкцию: тут или отдельный пост?

Закрытые записи скачиваются. Посту будет отдельный, а здесь в комментах ссылка на него

то можно ли закрытки скачать через обновление закачки или надо по новой все скачивать будет? А то у меня уже 10 часов качается и еще не все, только 95 ошибок из-за закрыток

Я свой скачиваю отдельно. Обновлять с новыми параметрами не пробовала, честно не знаю как сработает: станет ли он при обновлении скачивать только закрытки или пойдет обновлять все страницы, хотя обновление само по себе как процесс, думаю запустится.

[Julianna]

kxena,
инструкцию с настройками и шагами для скачивания библиоткеи и дневника, а под цитатник потом могу написать отдельную
Это было бы просто замечательно, спасибо!

А посты скачиваются вместе с комментариями к ним?

[kxena]

Julianna,

А посты скачиваются вместе с комментариями к ним?

Да с комментариями и с картинками как из БИ так и со сторонних ресурсов