Сообщения в Разделение Хабра

Разделение Хабра

Совсем недавно тематические медиа сделали новый ресурс - GeekTimes http://habrahabr.ru/company/tm/blog/240135/ http://geektimes.ru
, куда переносятся все нетехнические и "оффтоповые" хабы и статьи. Как я понял, вся новостная лента IT, всё про Роскомнадзор, копирайты, космонавтику и прочее переносится туда.

Так как ленты хабра у нас пока нет, прошу принять во внимание, что теперь придётся фетчить 2 ресурса.
vit01 to All (2014-10-14 06:53:43) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
Давайте уже хоть что-нибудь попробуем зафетчить =)
Difrex to vit01 (2014-10-14 07:47:00) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
>Давайте уже хоть что-нибудь попробуем зафетчить =)
Аккаунт на Хабре у Андрея, поэтому все вопросы к нему =)
vit01 to Difrex (2014-10-14 08:24:42) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
Так а зачем там акк нужен? Можно тащить хаб linux, например.
Difrex to vit01 (2014-10-14 09:07:04) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
>Так а зачем там акк нужен? Можно тащить хаб linux, например.
Чтобы сделать полный список подписок из кучи хабов и тащить их все вместе, а не каждый по-отдельности
vit01 to Difrex (2014-10-14 09:21:57) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
>Аккаунт на Хабре у Андрея, поэтому все вопросы к нему =)
Блин, ребят. Извините =)

Сегодня запущу тестовую эху с подписками на хабре какие есть. Информацию по разделению хабра учту чуть позже.
spline to vit01 (2014-10-14 10:09:16) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
>Чтобы сделать полный список подписок из кучи хабов и тащить их все вместе, а не каждый по-отдельности
Хм, мне было бы интересней по-отдельности. Например, мне не очень хочется читать про очередную перестановку кнопочек у убунточке. По-этому на какую-нибудь эху habra.ubuntarium.999 я бы не подписывался :)
Difrex to vit01 (2014-10-14 10:41:29) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
>Хм, мне было бы интересней по-отдельности.
Не слишком ли много эх будет?
> Например, мне не очень хочется читать про очередную перестановку кнопочек у убунточке.
> По-этому на какую-нибудь эху habra.ubuntarium.999 я бы не подписывался :)
А как же нескучные обои? =)

Вообще, и правда неплохо бы было разделение.
Хотя с другой стороны, удобнее получать все статьи сразу в одной эхе. Тут уж как Андрей решит, так и будем читать.
vit01 to Difrex (2014-10-14 10:54:24) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
>Хм, мне было бы интересней по-отдельности. Например, мне не очень хочется читать про очередную перестановку кнопочек у убунточке. По-этому на какую-нибудь эху habra.ubuntarium.999 я бы не подписывался :)
С одной стороны, да. С другой стороны, очень уж не хочется плодить кучу эх, так как это ложится на плечи сисопа и придётся много перекатываться.
spline to Difrex (2014-10-14 10:59:24) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
>Тут уж как Андрей решит, так и будем читать.
Тестовую эху запущу в кучу, а дальше как пойдёт.
spline to vit01 (2014-10-14 11:07:04) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
Тестовая эха отменяется в ближайшее время. Мне не хватает кое чего на сервере -- придётся упростить парсер.
spline to spline (2014-10-14 13:48:50) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
Чем парсишь, кстати?
Difrex to spline (2014-10-14 14:00:09) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
>Чем парсишь, кстати?
feedparser + lxml

Первым выдираю ленту, вторым выдираю целые статьи. Но в силу того, что lxml так просто на сервере мне нынче не поставить, есть вероятность что если у нас и будет хабр, то не с моей ноды =(
spline to Difrex (2014-10-14 14:16:23) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
>есть вероятность что если у нас и будет хабр, то не с моей ноды =(
Давай код. Могу развернуть у себя =)
Difrex to spline (2014-10-14 14:36:43) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
>Но в силу того, что lxml так просто на сервере мне нынче не поставить
А скомпилить нельзя?
>есть вероятность что если у нас и будет хабр, то не с моей ноды =(
Могу на своём домашнем сервере запустить гейт. Только вот по ночам мне его держать включённым нельзя, и очень жаль.
vit01 to spline (2014-10-14 14:43:32) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
Точнее я тебе могу дать шелл у себя.
Скажешь только какие тебе пакеты поставить.
Difrex to Difrex (2014-10-14 14:56:33) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
>>есть вероятность что если у нас и будет хабр, то не с моей ноды =(
>Могу на своём домашнем сервере запустить гейт. Только вот по ночам мне его держать включённым нельзя, и очень жаль.
Айда ко мне на сервак :D
Difrex to vit01 (2014-10-14 15:12:47) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
>Айда ко мне на сервак :D
Какая там ОС? :D
vit01 to Difrex (2014-10-14 22:39:19) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
>Какая там ОС? :D
Убунту 12.04
Difrex to vit01 (2014-10-15 07:01:36) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
>>Какая там ОС? :D
>Убунту 12.04
Но я тебе могу твой любимы дистрибутив развернуть, если что =)
Difrex to Difrex (2014-10-15 07:04:29) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
>>Убунту 12.04
Чужой сервер, от которого мне отец дал доступ - тоже на Ubuntu 12.04. Но там как-то рисково запускать всякие штуки: админ придёт и всё удалит, а то ещё и пароль сменит :)
>Но я тебе могу твой любимы дистрибутив развернуть, если что =)
Спасибо, не надо мне ещё серверов :)
А вообще, у меня на домашнем сервере стоит Арч.
vit01 to Difrex (2014-10-15 08:12:37) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
>Но я тебе могу твой любимы дистрибутив развернуть, если что =)
Это ни к чему. Может, развернём там ноду для хабра? =)
spline to Difrex (2014-10-24 03:23:02) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
>Может, развернём там ноду для хабра?
Ага, я так и хотел сделать =)
Уже почти свой фетчер хабры написал :D
Difrex to spline (2014-10-24 07:11:15) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
>Уже почти свой фетчер хабры написал :D
Блин. Я забыл Т__Т

https://github.com/spline1986/habr2ii вот мой вариант =)
spline to Difrex (2014-10-24 07:32:11) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
Так, а как он должен работать, фетчер?
Difrex to spline (2014-10-24 08:29:53) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
>Так, а как он должен работать, фетчер?
Кладём в директорию tools/client-toss вот такой скрипт и создаём поддиректорию msgs/RSS-bot. В неё скриптом habr2ii.py буду ссыпаться сообщения для тоссинга.
#!/bin/bash

#cd /srv/www/spline.rooker.ru/data/ii/tools/client-toss/
HISTORY=1 # Если установлено в 0, сообщения удаляются. Иначе переносятся в директорию histo

IIURL=http://127.0.0.1:62220/u/point
POINTS='../points.txt' # Путь к списку поинтов относительно данного скрипта
MKTOSS='../../mktoss.py' # Путь к тоссеру относительно директории поинта

ROOT_PWD=$(pwd)

for DIR in $(find ./msgs/ -maxdepth 1 -type d); do
    POINT=$(echo $DIR | sed 's/.\/msgs\///')
    if [[ $POINT != '' ]]; then
	PAUTH=$(cat $POINTS | grep $POINT | sed 's/:.*//')
	cd $DIR
	for MSG in $(find ./ -maxdepth 1 -type f -name "*.txt"); do
	    python2.7 $MKTOSS $MSG
	    wget -q --header="Host: spline.rooker.ru" $IIURL -O - --post-data "pauth=$PAUTH&tmsg=$(cat $MSG.toss)"
	    if [[ $HISTORY == 0 ]]; then
		rm $MSG
	    else
		if ! [ -d ./histo ]; then
		    mkdir ./histo
		fi
		mv $MSG ./histo
	    fi
	    rm $MSG.toss
	done
    fi
    cd $ROOT_PWD
done
Добавляем поинта в points.txt. Потом в habr2ii.py указываем путь для сыпания сообщений, линк на feed и название эхи.

$ python habr2ii.py && autotosspost.sh всё.

Немного путано, но это создавалось для моей ноды, а там такая система сложилась исторически и сейчас нет ни времени ни особого желания её переделывать.
spline to Difrex (2014-10-24 08:49:16) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
python habr2ii.py
Traceback (most recent call last):
  File "habr2ii.py", line 40, in 
    f.write (get_content (rss.entries[i].link).encode ("UTF-8"))
  File "habr2ii.py", line 18, in get_content
    text = h.handle (html.tostring (page.find_class ("content html_format")[0]))
IndexError: list index out of range
Difrex to spline (2014-10-24 09:18:54) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
Ему нужны две дополнительные либы: feedparser и html2text. Причём второе требует соответствующий пакет в системе (это и послужило препятствием внедрению у меня на ноде).
spline to Difrex (2014-10-24 09:25:16) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
У меня стоят эти пакеты =)
Difrex to spline (2014-10-24 09:30:02) [ссылка]

Re: Разделение Хабра

Ответ на сообщение
>У меня стоят эти пакеты =)
Тогда надо смотреть что
html.tostring (page.find_class ("content html_format")
Выдаёт там. Я никаких воркэраундов не лепил просто и у себя на системе только тестировал.
spline to Difrex (2014-10-24 09:47:39) [ссылка]