Как создать зеркало

Последнее время многие спрашивают, как создать зеркало и что для этого нужно.
Моя позиция - зеркала это хорошо, но я сам их делать не буду. Максимум помогу добрым советом. Такой сайт не получается поднять и забыть, за ним надо присматривать постоянно. У меня на это времени нет. Так что рассчитывайте на свои силы.
1. Хостинг.
LAMP (Linux Apache2 MySQL5 PHP5), 500 гиг места.
Для начала - любой, хоть бесплатный. Серьёзной нагрузки не выдержит, но для попробовать-поиграться хватит. Желающим что-то улучшить в Либрусеке крайне желательно начинать с запуска зеркала, чтоб было на чём проверять свои патчи.
Имейте в виду, для публичного зеркала хостинг должен быть абузоустойчивый, иначе жить ему не больше месяца. Можно разбить - абузоустойчивый дешёвый впс с nginx, и любой бекенд, хоть шаред, про который кроме фронта никто не знает.
2. Друпал 6. Берётся на http://drupal.org, руссификация на http://drupal.ru.
Если реализовать 1. и 2. не получилось, то дальше можно не читать. Это такой минимальный порог вхождения.

3. Модуль librusec. Подробности установки - http://github.com/larin/librusec/blob/master/README.
Можно взять с github.com, можно с http://lib.rus.ec/sql.librusec.zip. Требует определённого изучения глазами и правки руками.
В основном librusec.module, stat.inc, начало librusec.inc, libBookDownload в book.inc и mass.inc.
4. Если планируется хоть какая-то нагрузка, хотя бы и от ботов поисковиков, то крайне желательно:
4.1 http://drupal.org/project/boost
4.2 APC, включить кэш в мускуле, memcached, nginx. Всё это требует выделенного сервера или VPS.
4.3 Можно разнести apache, nginx, memcached, mysql на разные сервера. В пределе каждый из них на несколько.

Задавайте вопросы, буду стараться довести этот текст до полной ясности.

Комментарии

Опубликовано сб, 17/10/2009 - 10:30 пользователем 0per

Цитата:
LAMP (Linux Apache2 MySQL5 PHP5), 500 гиг места.

не многовато места надо? поставил лайти. без акселератора, только кэш. тестирую. ip 217.30.248.157

Опубликовано пн, 19/10/2009 - 23:50 пользователем larin

Когда на Либрусеке был один диск на 500, чистить его приходилось регулярно.
Сейчас полтора тера, занято заметно больше половины.

Опубликовано сб, 17/10/2009 - 10:49 пользователем 0per

эээ вижу запросы... надо host передавать... проще всего в файл WINDOWS\system32\drivers\etc\hosts
добавить (естественно на время теста)
217.30.248.157 lib.rus.ec
217.30.248.157 lib2.rus.ec

и обращаться по имени lib.rus.ec . на lib2.rus.ec насколько я понял хранятся сами книги

Опубликовано сб, 17/10/2009 - 10:50 пользователем kozlenok

Ну и что? На первой странице голая "пустая" страница, на остальных (предположим, что они есть, а их...) - 404...

Опубликовано сб, 17/10/2009 - 10:53 пользователем 0per

сервер проверяет Host: читайте выше что делать.

Опубликовано сб, 17/10/2009 - 10:56 пользователем kozlenok

Ах, он оба имени использует, а я думал любое из... Сейчас протестим...

Опубликовано сб, 17/10/2009 - 11:00 пользователем 0per

опс.. мой сервер похоже блочит настоящий lib.rus.ec ;) первую страницу отдает на остальное 404

Опубликовано сб, 17/10/2009 - 11:03 пользователем dzver

вот именно ;)

Опубликовано сб, 17/10/2009 - 11:07 пользователем kozlenok

А может быть изменишь имя хоста, на какое отзывается? Пусть будет, например, libnew.rus.ec или libnew2.rus.ec, их и прописываем в хост... Меньше проблем будет...

Опубликовано сб, 17/10/2009 - 11:12 пользователем 0per

без хозяина несмогу... хост передается напрямую. к стати нашел ошибку (опечатку) в конфиге теперь 404 не выдает.

Опубликовано сб, 17/10/2009 - 11:41 пользователем kozlenok

Теперь подмененный lib.rus.ec у тебя вовсе не отзывается, а подмененный lib2.rus.ec дает начальную страницу со ссылкой на lib.rus.ec.

Опубликовано сб, 17/10/2009 - 12:13 пользователем 0per

всетаки походу блочит изза количиства соединений... уже 3 ip меняю на исходящие соединения.

Опубликовано сб, 17/10/2009 - 12:07 пользователем Gunner.ua

Посоветуйте бесплатный хостинг чтобы попробовать на вкус ето дело

Опубликовано сб, 17/10/2009 - 12:37 пользователем Lord KiRon

Таких не бывает, но есть такие у которых 30 дней money back guarantee - вот их и ищите. Обычно смотрите на простенькие VPS с линуксом.

Опубликовано вс, 18/10/2009 - 23:08 пользователем larin

Цитата:
Обычно смотрите на простенькие VPS с линуксом.

впс с 500Г места - это очень дорого.
Или шаред, или дедик.

Опубликовано пн, 19/10/2009 - 11:20 пользователем pkn

В порядке бреда: а может ли сработать такая конструкция:
Frontend с MySQL и базаданой на относительно быстром, но маленьком VPS, а backend с собственно книжками - на недорогом, медленном но большом shared?

Опубликовано пн, 19/10/2009 - 12:01 пользователем kemko

Не уверен. Много можете вспомнить хостингов, которые дают ~150gb (неплохо бы сейчас), которые в будущем можно еще расширить (либрусек-то растет). Ну и хорошо: процессор вы шареду сильно грузить не будете, но при должной популярности начнете привышать разумные планки по памяти и трафику. Шаред обычно вещь куда менее рентабельная, чем впс, так что вероятность того что вас попрут больше.

Опубликовано пн, 19/10/2009 - 12:11 пользователем pkn

>Много можете вспомнить хостингов, которые дают ~150gb

На шаредах место, как правило, не проблема:
http://www.powweb.com/powweb/hosting.bml
Disk Space (Raid Storage) UNLIMITED
Data Transfer / Bandwidth UNLIMITED
$4.88 / month

Мой микросайтик на них уж много лет живёт. Сервис, конечно, дерьмовенький, и абюзостойкость нулевая, но... а если файлы не напрямую с шареда, а через франтенд отдавать - абюзостойкость шаред бекенда повысится... правда, траффик франтенда тоже повысится...

Опубликовано вт, 20/10/2009 - 01:51 пользователем kemko

Ну и скрипты, кстати, слегка переписать придется. Ибо книги у вас будут где-то там, а запросы "сделайте мне html/txt" видимо будут валиться на основной сервер. Впрочем, тут большой простор для фантазии и все вполне реализуемо.

Опубликовано вт, 20/10/2009 - 11:22 пользователем larin

Ничего переписывать не надо. На фронте nginx, можно кэшируюший. Все скрипты и книги на основном сервере, но про него никто не знает.

Опубликовано сб, 24/10/2009 - 17:44 пользователем aeninform

А при этом не запалятся прямые ссылки на бэкэнд при скачке книг? И поможет ли здесь спрятать основной сервер скачка не "публичным", а "приватным" способом (из настр. друпала)?
Как я понимаю - если на фронте nginx будет только управлять скачкой файла с шареда, то увидеть, откуда тянется файл - нетрудно. На ум призодит единственный способ - если фронт одновременно будет использоваться и как "прокси", сначала он книжку скачивает, зате отдает юзеру (упрощенно) - вы это имеете ввиду?

Опубликовано сб, 24/10/2009 - 20:41 пользователем larin

да.

Опубликовано пн, 19/10/2009 - 21:10 пользователем larin

Может.

Опубликовано сб, 17/10/2009 - 14:45 пользователем elizza

Может кто знает, то ткните пальцем, а где взять содержимое "i" и "img"?

Опубликовано сб, 17/10/2009 - 15:03 пользователем larin

Цитата:
Может кто знает, то ткните пальцем, а где взять содержимое "i" и "img"?

i/ генерится автоматически при парсинге книги.
img/ проще всего стянуть прям с Либрусека:
for i in s1.gif s2.gif zamok.gif znak1.gif znak5.gif znak.gif; do wget lib.rus.ec/img/$i;done

Опубликовано вс, 18/10/2009 - 22:57 пользователем БелыйВетер

Илья, открой пожалуйста для скачивания/синхронизации sql.zip с биографиями авторов. Я обсуждал этот вопрос с Buriy, но его уже несколько дней в Сети нету...
Как-то пусто и неуютно зеркало без них смотрится, а ведь люди должны знать своих героев )

P.S. Первый раз пишу в комментах, так что пользуясь случаем - спасибо за библиотеку )

Опубликовано вс, 18/10/2009 - 23:07 пользователем larin

Беда в том, что такой таблицы не существует.
А отдавать всю node_revisions я пока морально не готов.
Надо придумать какой хитрый экспорт, или вообще всё переделать.

Опубликовано пн, 19/10/2009 - 01:18 пользователем БелыйВетер

Нет проблем, можешь дать мне кусочек файла с примерной структурой, чтобы я мог написать конвертер для этих данных? Вот и будет хитрый экспорт )

адрес: al420(гав-кусь-ням)tut.by

Опубликовано пн, 19/10/2009 - 01:28 пользователем larin

Какого файла, ты о чём? Всё в базе.
http://github.com/larin/librusec/blob/master/librusec.sql

Опубликовано пн, 19/10/2009 - 08:16 пользователем Pilat66

В случае удаления файла на lib.rus.ec будет ли удалён автоматически файл на зеркале?

Опубликовано пн, 19/10/2009 - 11:15 пользователем larin

Цитата:
В случае удаления файла на lib.rus.ec будет ли удалён автоматически файл на зеркале?

Да.
Если быть точным, файлы не удаляются никогда, они помечаются как удалённые в базе, но в любой момент могут быть востановлены любым пользователем.

Опубликовано вт, 20/10/2009 - 10:47 пользователем eglyph

Извините, я слегка не в теме, но не подойти ли к вопросу глобально: cloud + хранилище типа s3? Вопросы типа DDoS это решает. Остается легальный вопрос. К интерфейсу на cloud (appengine? м\б что-то еще?) претензий формально нет, т.к. данные на нем не хранятся, а вот хранилище надо подобрать с умом.

Как считаете?

Опубликовано вт, 20/10/2009 - 10:57 пользователем Stiver

Беда в ценах. Я смотрел cloud storage, но цены у них запредельные.

Опубликовано вт, 20/10/2009 - 11:04 пользователем eglyph

Насколько это дороже теперешних расходов на "обычный" хостинг? Я бы согласился на рекламу в обмен на стабильную работу библиотеки.

И мне кажется, что вопросе с деньгами можно было бы решить, но сначала неплохо бы узнать решение легальных вопросов - s3, по-моему, абузонеустойчив.

Опубликовано вт, 20/10/2009 - 14:22 пользователем Директор катка

Добрый день,

Есть несколько пожеланий по поводу "зеркал":
1. Можно ли выложить таблицу libpolka, ведь как раз в ней лежат комментарии к книгам? Хотя самый лучший вариант - разделить каменты юзеров и полку (sql view?)
2. В идеале, было бы сделать синхру по rsync (если такое возможно), а то каждый раз качать все таблицы целиком - это неэффектинво.

Если возникнут какие-то вопросы - можно обсудить их в личке (мы этот код можем сделать и протестировать сами, главное его потом выложить :) ).

--
"Директор катка" (lib.ololo.cc)

Опубликовано вт, 20/10/2009 - 14:46 пользователем Stiver

У нас с Вами очень похожие запросы :) Написал в личку.

Опубликовано чт, 22/10/2009 - 13:14 пользователем notacodemonkey

Нужен только машиночитаемый текст (без djvu,pdf). Реально нужно пару гиг текста для машинного анализа. Худ. лит. какая не будь подошла бы.

Опубликовано чт, 22/10/2009 - 14:18 пользователем pkn

http://lib.rus.ec/allbooks

Опубликовано чт, 22/10/2009 - 14:22 пользователем locksmith

http://torrent.rus.ec/viewforum.php?f=52

Опубликовано чт, 22/10/2009 - 14:59 пользователем 0per

... я с вами больше не дружу... мне по крайней мере отвечают когда я спрашиваю... это касается вашего "шефа"... я не "ддосю" я просто не разговариваю... я не покину ваш ресурс - буду качать книжки когда это возможно... и еще я не "опер" ... , но этот акк можно удалить чтобы не засорял базу... адью... (о себе - 40 лет , CSO по профессии)

Опубликовано вс, 25/10/2009 - 15:44 пользователем kolebas

а если дома сделать по такому рецепту , чтоб не прикопались https://www.torproject.org/docs/tor-hidden-service.html.ru , подойдет такой вариант?

Опубликовано сб, 07/11/2009 - 14:53 пользователем bananos

Есть ли планы отдавать на публику дампы таблиц libpolka / libpolkarate ---- насколько я понял по структуре базы, именно в них находятся отзывы и рейтинги пользователей о книгах?

Опубликовано вт, 23/03/2010 - 14:48 пользователем arthin

А когда это поменялось bookid -> bid и т.п.? Я инфу пропустил или ее не было?
Благо, что я скрипт обновления баз написал под параноидное настроение...
X