Как скачать архив дневника с HTTrack Website Copier

[kxena]

Друзья!
В связи с последними событиями на diary.ru, думаю, что многие задались вопросом, как спасти всё, что нажито непосильным трудом. Многие провели на этом ресурсе годы. Моей собственной днявочке 8 лет! А это более тысячи постов и контент, который я больше нигде не публиковала. В том числе довольно редкий, ценный или ностальгически приятный. Само собой, как и многие уже, я заказала у администрации архив своего дневника и цитатника. Но, думаю, что особо рассчитывать на него не стоит. Во-первых, насколько оперативно реагирует администрация на запросы мы в курсе, а во-вторых, если таких желающих окажется даже пара тысяч... ну, вы понимаете. Потому, спасение утопающих - дело рук самих утопающих. Я скачала копию дневника целиком с помощью HTTrack Website Copier. Эта программа удобная, русскоязычная и главное - бесплатная. Как её установить и настроить ниже приведена инструкция с картинками. + И ссыль на PDF. Отдельно спасибо essilt за помощь в тестировании всего этого процесса ))



Сначала несколько хитростей:

1. Вовремя нескольких проб и подбора разных параметров программы, я пробовала качать архив с мобильной версии, потому что она не нагружена дизайном. Мне дизайна не жаль, он ценности не представляет, главное посты и картинки.
2. Еще один лайвхак, который может помочь - скачивание не с главной страницы дневничка, а со списка ваших тем (тегов). У меня это kxena.diary.ru/?tags Это поможет разбить все ваши сообщения по темам и в каждой будет не over9000 постов, а гораздо меньше, что позволит скачать быстрее.
3. Сообщество может скачать тот у кого есть от него пароль.
4. Качаться будет долго, в зависимости от глубины сканирования и количества информации. Мой забирался около 4 часов.
5. Если закачку понадобится прервать и затем продолжить - это возможно. Просто вы останавливаете скачивание. Потом, когда нужно, открываете сохранённый проект скачивания .whtt и продолжаете с теми же параметрами.
6. Я не пробовала, но думаю, что с помощью сохраненного проекта скачивания .whtt можно будет обновлять архив дневника. Указывать только режим обновления закачки.

ВНИМАНИЕ! Как показал последний тест, чтобы скачать закрытые записи программе нужны специальные настройки. Инструкция и актуальные фильтры здесь

Ну, а теперь пошаговая инструкция:

1. Скачать саму программу с www.httrack.com/page/2/en/index.html.

2. Узнать, какую именно версию программы вам нужно скачивать 32-х или 64-х разрядную, можно так:
- Войти в "Панель управления"
- В ней перейти "Панель управления\Система и безопасность\Система". В открывшемся окошке в пункте "Тип системы" будет написано, например: 64-разрядная.

3. Далее нужно запустить программу и установить HTTrack Website Copier по этапам:

картинки этапов

4. Когда программа запустится, нужно выбрать язык – русский.



5. Потом задать имя проекта, категорию (можно не задавать), каталог, куда сохранять ваш дайр. Нажать «Далее». ВНИМАНИЕ: Во избежание проблем лучше называйте проект и каталог на английском, без кавычек и апострофов!.



6. На следующей вкладке указать параметры скачивания. Выберите режим "Загрузить сайты" - если скачиваете впервые. Так же есть режимы для продолжения и обновления ранее созданного проекта. Задайте веб-адреса через кнопку «Добавить URL» ). Можно задать несколько адресов. Например, если вы хотите скачать не весь дневник, а контент по конкретным тегам. Далее нажимайте на кнопку «Задать параметры...».


7. По кнопке «Задать параметры...» появится окно, где надо задать параметры на вкладках.
ВНИМАНИЕ! Чтобы скачать и закрытые записи, требуются специальные настройки. Рекомендации с сайта программы.

Прокси. Снять галочку "Использовать прокси для ftp-закачки"


Качалка. Поставить последнюю галочку "Использовать старый протокол HTTP"


Структура


Ограничения скачивания. Максимальную глубину внешних ссылок указываем 0. Максимальная глубина для вашего дневника может потребоваться большей или меньшей, скорость скачивания тоже изменится:


Фильтры скачивания, чтобы забрать только дневник, а не весь интернет


Готовые фильтры для дневника здесь.

ВНИМАНИЕ! Можно скопировать фильтры к себе, но заменив login в строчках +*login.diary.ru/* и -diary.ru/sms/?shorthelp&shortname=login&com=0, на нужный.
Приведенные исключения я попыталась настроить так, чтобы скачать страницу с темами, библиотеку изображений, профиль, цитатник, сообщения и комментарии к ним.
Теги MORE должны открываться.
Изображения, включенные в сообщения, отображаться.
Я исключила так же скачивание: с youtube, с давно отвалившегося prostopleer, рекламу яндекса, ролики с кино-сайта, mail.ru.

8. Когда все настроено, останется запустить скачивание



9. Скачивание будет идти долго. Перед скачиванием с мобильной версии убедитесь, что она отображает подзамочные записи, если вы залогинены!

10. После скачивания рекомендую пройтись по страницам архива и убедиться, что все нужное удалось забрать. Особенно закрытые записи. В крайнем случае, если что-то не попадет в закачку, то уже намного проще сохранить это вручную.

Искренне надеюсь, что это кому-то поможет, и что все дружно мы не положим любимые дайри Всем добра, удачного спасенного контента, а дайрям долгих лет и воскрешения



 

@темы: Полезные ссылки, Мысли вслух, ПЧ

Comments

[Julianna]

kxena,
Идеально!
С нетерпением буду ждать вашу новую инструкцию.

[*lane*]

Качало 6 часов 2гб, но при открытии копии там ни фига нет дальше первых 20ти страниц в последовательности. Календарь не сохраняет, открыть страницы дальше 400 записей никак. Но 400 записей всеж лучше чем совсем ничего.

[Мели]

Согласна с *Lane*, календарь действительно не действует. Закачалось у меня, правда, побольше, до 92 страницы, это примерно 1800 записей. Тоже лучше, чем ничего, спасибо большое за это! Буду пробовать обновить закаченное, может втянет еще что-то.

[kxena]

*Lane*, Мели, а старых фильтрах календарь отключен, а новых он будет.

[Мели]

kxena, очень жду обновленных инструкций с учетом всех особенностей дайрей. И спасибо еще раз просто за саму возможность сохранить свое ценное и дорогое и за то, что так с нами возитесь.

[AniSkywalker]

Качает уже больше суток. 12 лет дайра

[AniSkywalker]

Так. Докачал. С рекламой поперек экрана, увы. И часть постов вполне открытых тоже выдал ошибкой.

[kxena]

Привет, всем! Инструкция почти готова, я исправляю её с учетом всех выловленных косяков в работе программы.
Пока несколько наблюдений, которые могут помочь:
1. В глубине скачивания нужно учитывать страницу приветствия, она является первым уровнем глубины.
Глубину скачивания я считала так:
- для страницы тегов/и главной тоже: количество раз, которые нужно кликнуть по "..." в пейджинге (цифры) внизу станицы у самого популярного тега, +1(страница приветствия) +1(вход в пост) + 1(Море) + 1(Море в комментариях) + 1 (на всякий случай)
- для страницы календаря: приветствие + страница года + страница месяца + страница дня + пост + море + море в комментарии = 7
2. Совсем не факт, что программа работает с новыми версиями Internet Explorer. И с какими-то другими браузерами, кроме Fire Fox и Internet Explorer.
3. Тем, кто пробовал качать с закрытками, по инструкции разработчиков. Сайт может не скачиваться, если окно "Засечь URL" не правильно засекло адрес.
Что адрес неправильный можно понять:
- В окошко "Вставить URL" автоматически подставился адрес скачивания ДО того как вы ввели логин и пароль.
- Автоматически пойманный адрес начинается не с логина вашего дневника.
Так происходит если:
- до того как залогиниться, вы нажали на любую другую кнопку на страничке дневника.
- вы обновили страничку дневника
- на страничке дневника перегрузился рекламный баннер.
5. Когда дневники тормозят и периодически выдают белую страницу 504, есть опасность, что вместо каких-то постов скачается именно она.
6. Посты скачиваются с всплывающим окошком "внезапная ошибка #51". Она просто висит посреди экрана, но контент вполне цел и читабелен.

[kxena]

Спасибо всем, кто ждал. Ссылка на инструкцию здесь

[Julianna]

kxena,
Спасибо большое за новую инструкцию!

Попробовала скачать, но скачивание прекращается после пары минут.
Ссылка на дневник поймана, вроде, правильно.
В чем может быть причина остановки скачивания?

[kxena]

Julianna, а вы поменяли в фильтрах мой логин на свой?

[Julianna]

kxena,
Разумеется.

[kxena]

А скиньте ваши фильры, можно в юмыл

[quirischa]

И сюда тоже продублирую:

Мы (администрация) против использования программ по выкачиванию сайта целиком, потому что это создаёт неоправданную, непредсказуемую и бестолковую нагрузку на сервера (наш скрипт, который делает архив, собирает только нужную информацию, программа тащит решительно всё - и нужное, и ненужное).

[Skjelle]

quirischa, а как долго будут собираться ваши архивы?

[quirischa]

Skjelle, я, к сожалению, не знаю: пробовал на выходных примерно оценить время создания, но у меня не получилось.

[Эйнэри]

quirischa, а нам архивы нужны сейчас, извините. Без программ придется выкачивать руками, это еще большая нагрузка.

[essilt]

Эйнэри, плюсую. Я честный платный пользователь со дня появления платных услуг (я смотрю, это модно выставлять в аргУменты, вот я и выставляю). И я хочу получить все, за публикацию чего я честно платила много лет. Без вот этих вот «мы не можем оценить». Плату за пользование дайри я вносила регулярно и мгновенно. Так что и архив свой я хочу получить без проволочек. Это бизнес, ничего личного.

[Julianna]

quirischa,
Абсолютно согласна с essilt.
Я честно и исправно платила за дневник кучу лет, а сейчас мне крайне нужен архив дневника,
заказанный мною две с половиной недели назад и до сих пор не полученный.

[quirischa]

Эйнэри, я предлагаю дождаться штатного архива. Да, это небыстро, но рано или поздно они будут сделаны.

essilt, Julianna, создание архива дневника не является платной опцией, поэтому они создаются одинаково и для тех, кто пользуется платными сервисами, и для бесплатников.

[kxena]

quirischa,

я предлагаю дождаться штатного архива. Да, это небыстро, но рано или поздно они будут сделаны.

Вот, я просто как специалист IT, рекомендую. Простите за дерзость. Если хоть какой-то процесс по раздаче архивов идет, то напишите, пожалуйста, в спирите тему что-то в духе: "в день отдаем приблизительно столько-то архивов, очередь насчитывает столько ожидающих, обрабатываются заявки отправленые за такое-то число, кто получил своё добро, без флуда мякните в этой теме". Людей успокоит только наличие прогресса по вопросу, пока прогресса никакого не видно. И не удивительно, что в первую очередь закрадывается подозрение, что прогресса по архивам вообще нет.

[Julianna]

quirischa,
Кстати, а отчего бы не сделать еще одну платную услугу – «приоритетный заказ архива»?
Я бы точно ею воспользовалась.

[kxena]

Julianna, это сюда надо нести diary-development.diary.ru/

[quirischa]

kxena,

Если хоть какой-то процесс по раздаче архивов идет, то напишите, пожалуйста, в спирите тему что-то в духе

Я периодически пишу в спирите, что прогресс идёт, но оценить его невозможно. Конечно, мы напишем какие-то цифры, но сейчас у нас их нет, правда.

Сейчас иногда бывает даже так, что в начале дня очередь одной длины, а в конце дня - больше, то есть скорость создания архивов отрицательная, чего, конечно же, не может быть в принципе )

Julianna,

а отчего бы не сделать еще одну платную услугу – «приоритетный заказ архива»?

Отличная и здравая мысль! Занесите в сообщество, в самом деле.

[Эйнэри]

quirischa, вопрос срочности у всех разный. Кто-то уже решил переезжать и хочет перенести свои записи на другие сервисы, у кого-то в дневнике (в цитатнике, в умылах, в блокноте) важные рабочие данные и контакты, которые очень нужно иметь под рукой в любой момент, а дайри сейчас достаточно часто не функционируют как надо, у кого-то фандомные сообщества, архивы которых хотят получить другие пользователи и быстро. Без хотя бы примерных данных о том, когда можно ожидать архив, а также гарантии его функциональности (на которую жалуются уже получившие архивы в ноябре) слушать уговоры, к сожалению, никто не будет. Уровень доверия к сайту сильно упал, что вполне обоснованно.

[Julianna]

kxena, quirischa,
Написала, спасибо за совет – ссылка.

[kxena]

Julianna, и я тоже написала )))

[Julianna]

kxena,
Мысль-то и правда весьма здравая, всем от введения этой услуги хорошо будет:
нам – архив, сайту – дополнительный доход.

[*lane*]

kxena, я когда качала вообще браузер закрыла он должен быть открыт? Вроде абсолютно не связан с программой как и версии браузеров

[kxena]

*Lane*, и у вас скачалось?