14:18 

Как скачать архив дневника с HTTrack Website Copier

kxena
Сказочница и исследователь
Друзья!
В связи с последними событиями на diary.ru, думаю, что многие задались вопросом, как спасти всё, что нажито непосильным трудом. Многие провели на этом ресурсе годы. Моей собственной днявочке 8 лет! А это более тысячи постов и контент, который я больше нигде не публиковала. В том числе довольно редкий, ценный или ностальгически приятный. Само собой, как и многие уже, я заказала у администрации архив своего дневника и цитатника. Но, думаю, что особо рассчитывать на него не стоит. Во-первых, насколько оперативно реагирует администрация на запросы мы в курсе, а во-вторых, если таких желающих окажется даже пара тысяч... ну, вы понимаете. Потому, спасение утопающих - дело рук самих утопающих. Я скачала копию дневника целиком с помощью HTTrack Website Copier. Эта программа удобная, русскоязычная и главное - бесплатная. Как её установить и настроить ниже приведена инструкция с картинками. + И ссыль на PDF. Отдельно спасибо essilt за помощь в тестировании всего этого процесса ))



Сначала несколько хитростей:

1. Вовремя нескольких проб и подбора разных параметров программы, я пробовала качать архив с мобильной версии, потому что она не нагружена дизайном. Мне дизайна не жаль, он ценности не представляет, главное посты и картинки.
2. Еще один лайвхак, который может помочь - скачивание не с главной страницы дневничка, а со списка ваших тем (тегов). У меня это kxena.diary.ru/?tags Это поможет разбить все ваши сообщения по темам и в каждой будет не over9000 постов, а гораздо меньше, что позволит скачать быстрее.
3. Сообщество может скачать тот у кого есть от него пароль.
4. Качаться будет долго, в зависимости от глубины сканирования и количества информации. Мой забирался около 4 часов.
5. Если закачку понадобится прервать и затем продолжить - это возможно. Просто вы останавливаете скачивание. Потом, когда нужно, открываете сохранённый проект скачивания .whtt и продолжаете с теми же параметрами.
6. Я не пробовала, но думаю, что с помощью сохраненного проекта скачивания .whtt можно будет обновлять архив дневника. Указывать только режим обновления закачки.

ВНИМАНИЕ! Как показал последний тест, чтобы скачать закрытые записи программе нужны специальные настройки. Инструкция и актуальные фильтры здесь

Ну, а теперь пошаговая инструкция: читать дальше

Искренне надеюсь, что это кому-то поможет, и что все дружно мы не положим любимые дайри :D Всем добра, удачного спасенного контента, а дайрям долгих лет и воскрешения :)


 

@темы: Мысли вслух, ПЧ, Полезные ссылки

URL
Комментарии
2017-11-06 в 00:51 

Julianna
kxena,
Идеально!
С нетерпением буду ждать вашу новую инструкцию.

2017-11-06 в 09:31 

*Lane*
'I don't regret anything, and I think the action of regretting is meaningless. I mean, you can't change yesterday, you can't change tomorrow, the only time you can change is now.'
Качало 6 часов 2гб, но при открытии копии там ни фига нет дальше первых 20ти страниц в последовательности. Календарь не сохраняет, открыть страницы дальше 400 записей никак. Но 400 записей всеж лучше чем совсем ничего.

2017-11-06 в 13:30 

Мели
Don't look at the rain. Look at the scattering of colorful umbrellas.
Согласна с *Lane*, календарь действительно не действует. Закачалось у меня, правда, побольше, до 92 страницы, это примерно 1800 записей. Тоже лучше, чем ничего, спасибо большое за это! Буду пробовать обновить закаченное, может втянет еще что-то.

2017-11-06 в 14:22 

kxena
Сказочница и исследователь
*Lane*, Мели, а старых фильтрах календарь отключен, а новых он будет.

URL
2017-11-06 в 14:35 

Мели
Don't look at the rain. Look at the scattering of colorful umbrellas.
kxena, очень жду обновленных инструкций с учетом всех особенностей дайрей. И спасибо еще раз просто за саму возможность сохранить свое ценное и дорогое и за то, что так с нами возитесь.

2017-11-06 в 16:09 

AniSkywalker
Времени в обрез, вечность впереди. (с)
Качает уже больше суток. 12 лет дайра

2017-11-06 в 17:53 

AniSkywalker
Времени в обрез, вечность впереди. (с)
Так. Докачал. С рекламой поперек экрана, увы. И часть постов вполне открытых тоже выдал ошибкой.

2017-11-07 в 12:50 

kxena
Сказочница и исследователь
Привет, всем! Инструкция почти готова, я исправляю её с учетом всех выловленных косяков в работе программы.
Пока несколько наблюдений, которые могут помочь:
1. В глубине скачивания нужно учитывать страницу приветствия, она является первым уровнем глубины.
Глубину скачивания я считала так:
- для страницы тегов/и главной тоже: количество раз, которые нужно кликнуть по "..." в пейджинге (цифры) внизу станицы у самого популярного тега, +1(страница приветствия) +1(вход в пост) + 1(Море) + 1(Море в комментариях) + 1 (на всякий случай)
- для страницы календаря: приветствие + страница года + страница месяца + страница дня + пост + море + море в комментарии = 7
2. Совсем не факт, что программа работает с новыми версиями Internet Explorer. И с какими-то другими браузерами, кроме Fire Fox и Internet Explorer.
3. Тем, кто пробовал качать с закрытками, по инструкции разработчиков. Сайт может не скачиваться, если окно "Засечь URL" не правильно засекло адрес.
Что адрес неправильный можно понять:
- В окошко "Вставить URL" автоматически подставился адрес скачивания ДО того как вы ввели логин и пароль.
- Автоматически пойманный адрес начинается не с логина вашего дневника.
Так происходит если:
- до того как залогиниться, вы нажали на любую другую кнопку на страничке дневника.
- вы обновили страничку дневника
- на страничке дневника перегрузился рекламный баннер.
5. Когда дневники тормозят и периодически выдают белую страницу 504, есть опасность, что вместо каких-то постов скачается именно она.
6. Посты скачиваются с всплывающим окошком "внезапная ошибка #51". Она просто висит посреди экрана, но контент вполне цел и читабелен.

URL
2017-11-07 в 22:57 

kxena
Сказочница и исследователь
Спасибо всем, кто ждал. Ссылка на инструкцию здесь

URL
2017-11-08 в 00:36 

Julianna
kxena,
Спасибо большое за новую инструкцию! :red:

Попробовала скачать, но скачивание прекращается после пары минут.
Ссылка на дневник поймана, вроде, правильно.
В чем может быть причина остановки скачивания?

2017-11-08 в 00:45 

kxena
Сказочница и исследователь
Julianna, а вы поменяли в фильтрах мой логин на свой? :)

URL
2017-11-08 в 00:49 

Julianna
kxena,
Разумеется.

2017-11-08 в 01:00 

kxena
Сказочница и исследователь
А скиньте ваши фильры, можно в юмыл

URL
2017-11-08 в 08:45 

quirischa
администратор
(с капибарой на аватарке)
И сюда тоже продублирую:

Мы (администрация) против использования программ по выкачиванию сайта целиком, потому что это создаёт неоправданную, непредсказуемую и бестолковую нагрузку на сервера (наш скрипт, который делает архив, собирает только нужную информацию, программа тащит решительно всё - и нужное, и ненужное).

2017-11-08 в 08:49 

Skjelle
железобетонный слэшер
quirischa, а как долго будут собираться ваши архивы?

2017-11-08 в 08:51 

quirischa
администратор
(с капибарой на аватарке)
Skjelle, я, к сожалению, не знаю: пробовал на выходных примерно оценить время создания, но у меня не получилось.

2017-11-08 в 09:07 

Эйнэри
Секта свидетелей Накахары Чуи
quirischa, а нам архивы нужны сейчас, извините. Без программ придется выкачивать руками, это еще большая нагрузка.

2017-11-08 в 09:17 

essilt
В детстве я нажралась отравы для тараканов - и теперь у меня в голове их нет! // Померанский шпиц. Блондинка духа. Инженер в теле женщины.
Эйнэри, плюсую. Я честный платный пользователь со дня появления платных услуг (я смотрю, это модно выставлять в аргУменты, вот я и выставляю). И я хочу получить все, за публикацию чего я честно платила много лет. Без вот этих вот «мы не можем оценить». Плату за пользование дайри я вносила регулярно и мгновенно. Так что и архив свой я хочу получить без проволочек. Это бизнес, ничего личного.

2017-11-08 в 10:46 

Julianna
quirischa,
Абсолютно согласна с essilt.
Я честно и исправно платила за дневник кучу лет, а сейчас мне крайне нужен архив дневника,
заказанный мною две с половиной недели назад и до сих пор не полученный.

2017-11-08 в 11:31 

quirischa
администратор
(с капибарой на аватарке)
Эйнэри, я предлагаю дождаться штатного архива. Да, это небыстро, но рано или поздно они будут сделаны.

essilt, Julianna, создание архива дневника не является платной опцией, поэтому они создаются одинаково и для тех, кто пользуется платными сервисами, и для бесплатников.

2017-11-08 в 11:44 

kxena
Сказочница и исследователь
quirischa, я предлагаю дождаться штатного архива. Да, это небыстро, но рано или поздно они будут сделаны.
Вот, я просто как специалист IT, рекомендую. Простите за дерзость. Если хоть какой-то процесс по раздаче архивов идет, то напишите, пожалуйста, в спирите тему что-то в духе: "в день отдаем приблизительно столько-то архивов, очередь насчитывает столько ожидающих, обрабатываются заявки отправленые за такое-то число, кто получил своё добро, без флуда мякните в этой теме". Людей успокоит только наличие прогресса по вопросу, пока прогресса никакого не видно. И не удивительно, что в первую очередь закрадывается подозрение, что прогресса по архивам вообще нет.

URL
2017-11-08 в 11:45 

Julianna
quirischa,
Кстати, а отчего бы не сделать еще одну платную услугу – «приоритетный заказ архива»?
Я бы точно ею воспользовалась.

2017-11-08 в 11:47 

kxena
Сказочница и исследователь
Julianna, это сюда надо нести diary-development.diary.ru/

URL
2017-11-08 в 12:17 

quirischa
администратор
(с капибарой на аватарке)
kxena, Если хоть какой-то процесс по раздаче архивов идет, то напишите, пожалуйста, в спирите тему что-то в духе

Я периодически пишу в спирите, что прогресс идёт, но оценить его невозможно. Конечно, мы напишем какие-то цифры, но сейчас у нас их нет, правда.

Сейчас иногда бывает даже так, что в начале дня очередь одной длины, а в конце дня - больше, то есть скорость создания архивов отрицательная, чего, конечно же, не может быть в принципе )

Julianna, а отчего бы не сделать еще одну платную услугу – «приоритетный заказ архива»?

Отличная и здравая мысль! Занесите в сообщество, в самом деле.

2017-11-08 в 12:27 

Эйнэри
Секта свидетелей Накахары Чуи
quirischa, вопрос срочности у всех разный. Кто-то уже решил переезжать и хочет перенести свои записи на другие сервисы, у кого-то в дневнике (в цитатнике, в умылах, в блокноте) важные рабочие данные и контакты, которые очень нужно иметь под рукой в любой момент, а дайри сейчас достаточно часто не функционируют как надо, у кого-то фандомные сообщества, архивы которых хотят получить другие пользователи и быстро. Без хотя бы примерных данных о том, когда можно ожидать архив, а также гарантии его функциональности (на которую жалуются уже получившие архивы в ноябре) слушать уговоры, к сожалению, никто не будет. Уровень доверия к сайту сильно упал, что вполне обоснованно.

2017-11-08 в 12:43 

Julianna
kxena, quirischa,
Написала, спасибо за совет – ссылка.

2017-11-08 в 12:48 

kxena
Сказочница и исследователь
Julianna, и я тоже написала )))

URL
2017-11-08 в 12:51 

Julianna
kxena,
Мысль-то и правда весьма здравая, всем от введения этой услуги хорошо будет:
нам – архив, сайту – дополнительный доход.

2017-11-08 в 14:57 

*Lane*
'I don't regret anything, and I think the action of regretting is meaningless. I mean, you can't change yesterday, you can't change tomorrow, the only time you can change is now.'
kxena, я когда качала вообще браузер закрыла он должен быть открыт? Вроде абсолютно не связан с программой как и версии браузеров

2017-11-08 в 15:08 

kxena
Сказочница и исследователь
*Lane*, и у вас скачалось?

URL
Комментирование для вас недоступно.
Для того, чтобы получить возможность комментировать, авторизуйтесь:
 
РегистрацияЗабыли пароль?

Легендарий

главная