Ну вот когда пересяду на мускульную реализацию - страхи должны исчезнуть :)

Пока вот подсчитал аналитику за 30 сентября 2024 года (количество дёрганий апи поинта в час подсчитано в среднем по информации за сутки):

[1] 62.109.31.x point=144 web=0 49958KB <--- tavern 6/hr
[2] 62.140.249.x point=5 web=3 7342KB <--- ?
[3] 92.63.98.x point=72 web=0 4784KB <--- tgi 3/hr
[4] 95.165.9.x point=211 web=0 2519KB <--- ping 8/hr
[5] 66.249.79.x point=111 web=340 2218KB <--- Googlebot 4/hr
[6] 24.6.124.x point=1 web=57 387KB <--- Me testing
[7] 92.246.138.x point=0 web=1 311KB
[8] 122.161.50.x point=0 web=1 143KB
[9] 172.59.160.x point=0 web=14 124KB
[10] 5.255.231.x point=0 web=17 106KB

Как можно видеть ping действительно меньше всех берёт, а вот tavern получается самая злобнокачающая нода :)

И кстати кто это 62.140.249.x из Москвы?

Для сравнения тоже самое за вчера (29 сентября 2024 года):

[1] 62.109.31.x point=144 web=0 51721KB <--- tavern 6/hr
[2] 92.63.98.x point=72 web=0 4757KB <--- tgi 3/hr
[3] 66.249.79.x point=206 web=340 3465KB <--- Googlebot 8/hr
[4] 64.176.188.x point=0 web=1 1147KB
[5] 37.114.63.x point=0 web=1 1124KB
[6] 95.165.9.x point=284 web=0 984KB <--- ping 11/hr
[7] 24.6.124.x point=18 web=42 409KB <--- Me testing
[8] 75.119.144.x point=0 web=2 31KB
[9] 95.108.213.x point=1 web=10 27KB <--- ?
[10] 172.56.42.x point=1 web=0 19KB <--- ?

И позавчера (28 сентября 2024 года):

[1] 62.109.31.x point=144 web=0 51972KB <--- tavern 6/hr
[2] 66.249.79.x point=168 web=569 5170KB <--- Googlebot 7/hr
[3] 92.63.98.x point=72 web=0 4758KB <--- tgi 3/hr
[4] 185.80.221.x point=0 web=3 4430KB
[5] 51.195.94.x point=0 web=2 2248KB
[6] 176.126.240.x point=11 web=7 1404KB <--- ?
[7] 64.176.181.x point=0 web=1 1147KB
[8] 95.165.9.x point=218 web=0 759KB <--- ping 9/hr
[9] 24.6.124.x point=13 web=80 594KB <--- Me testing
[10] 62.140.249.x point=1 web=2 537KB <--- ?

Интересно откуда гуглобот знает апи поинта? Подсмотрел в чьём-то ведроидовском клиенте IDEC?...

Добавил распознавание синапса (бот от Matrix.org) и яндексбота (а также переместил название ботов в колонку адреса т.к. боты частенько лезут с совершенно разных подсеток):

30 сентября 2024:

[1] 62.109.31.x point=144 web=0 49958KB <--- tavern ~6/hr
[2] 62.140.249.x point=5 web=3 7342KB <--- ?
[3] 92.63.98.x point=72 web=0 4784KB <--- tgi ~3/hr
[4] 95.165.9.x point=211 web=0 2519KB <--- ping ~8/hr
[5] Google point=111 web=340 2218KB
[6] 24.6.124.x point=1 web=57 387KB <--- shaos
[7] 92.246.138.x point=0 web=1 311KB
[8] YandexBot point=1 web=37 305KB
[9] 122.161.50.x point=0 web=1 143KB
[10] 172.59.160.x point=0 web=14 124KB

29 сентября 2024:

1] 62.109.31.x point=144 web=0 51721KB <--- tavern ~6/hr
[2] 92.63.98.x point=72 web=0 4757KB <--- tgi ~3/hr
[3] Google point=206 web=340 3465KB
[4] 64.176.188.x point=0 web=1 1147KB
[5] 37.114.63.x point=0 web=1 1124KB
[6] 95.165.9.x point=284 web=0 984KB <--- ping ~11/hr
[7] 24.6.124.x point=18 web=42 409KB <--- shaos
[8] YandexBot point=2 web=19 59KB
[9] 75.119.144.x point=0 web=2 31KB
[10] 172.56.42.x point=1 web=0 19KB <--- ?

28 сентября 2024:

[1] 62.109.31.x point=144 web=0 51972KB <--- tavern ~6/hr
[2] Google point=168 web=569 5176KB
[3] 92.63.98.x point=72 web=0 4758KB <--- tgi ~3/hr
[4] 185.80.221.x point=0 web=3 4430KB
[5] 51.195.94.x point=0 web=2 2248KB
[6] Synapse point=14 web=9 1691KB
[7] 64.176.181.x point=0 web=1 1147KB
[8] 95.165.9.x point=218 web=0 759KB <--- ping ~9/hr
[9] 24.6.124.x point=13 web=80 594KB <--- shaos
[10] 62.140.249.x point=1 web=2 537KB <--- ?

27 сентября 2024:

[1] 62.109.31.x point=144 web=0 51802KB <--- tavern ~6/hr
[2] DataForSeoBot point=0 web=29 8572KB
[3] 92.63.98.x point=72 web=0 4719KB <--- tgi ~3/hr
[4] Google point=81 web=204 1543KB
[5] Synapse point=2 web=5 838KB
[6] 95.165.9.x point=235 web=0 828KB <--- ping ~9/hr
[7] 62.140.249.x point=1 web=5 558KB <--- ?
[8] 89.82.213.x point=0 web=1 458KB
[9] 46.148.50.x point=0 web=3 277KB
[10] 188.40.204.x point=1 web=3 271KB <--- ?

26 сентября 2024:

[1] 62.109.31.x point=139 web=0 49453KB <--- tavern ~5/hr
[2] Google point=371 web=727 13667KB
[3] 92.63.98.x point=69 web=0 4499KB <--- tgi ~2/hr
[4] 95.165.9.x point=283 web=0 979KB <--- ping ~11/hr
[5] 24.6.124.x point=3 web=97 795KB <--- shaos
[6] 172.56.42.x point=0 web=15 145KB
[7] 172.56.43.x point=0 web=11 40KB
[8] YandexBot point=2 web=18 39KB
[9] 188.18.8.x point=0 web=1 11KB
[10] 114.119.139.x point=3 web=0 3KB <--- ?

Также теперь под Google понимается 2 агента - Googlebot и GoogleOther (оба лезут из главного гуголового оффиса в Mountain View, CA)

shaos> Ну вот когда пересяду на мускульную реализацию - страхи должны исчезнуть :)
shaos> Пока вот подсчитал аналитику за 30 сентября 2024 года (количество дёрганий апи поинта в час подсчитано в среднем по информации за сутки):
shaos> [1] 62.109.31.x point=144 web=0 49958KB <--- tavern 6/hr
shaos> [2] 62.140.249.x point=5 web=3 7342KB <--- ?
shaos> [3] 92.63.98.x point=72 web=0 4784KB <--- tgi 3/hr
shaos> [4] 95.165.9.x point=211 web=0 2519KB <--- ping 8/hr
shaos> [5] 66.249.79.x point=111 web=340 2218KB <--- Googlebot 4/hr
shaos> [6] 24.6.124.x point=1 web=57 387KB <--- Me testing
shaos> [7] 92.246.138.x point=0 web=1 311KB
shaos> [8] 122.161.50.x point=0 web=1 143KB
shaos> [9] 172.59.160.x point=0 web=14 124KB
shaos> [10] 5.255.231.x point=0 web=17 106KB
shaos> Как можно видеть ping действительно меньше всех берёт, а вот tavern получается самая злобнокачающая нода :)
shaos> И кстати кто это 62.140.249.x из Москвы?

Это я случайно выкачал всю ноду ибо забыл в ii-tool fetch добавить -
тестил формат базы ii-go. По крайней мере подсеть моя
Вот только сегодня я ничего не фетчил, только вчера

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

shaos> Как можно видеть ping действительно меньше всех берёт, а вот tavern получается самая злобнокачающая нода :)

Потому что она на древнем -- мы тогда индексы целиком гоняли. Если напрягает, могу погасить фетчер пока не перепишу узел.

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

> Это я случайно выкачал всю ноду ибо забыл в ii-tool fetch добавить -
> тестил формат базы ii-go. По крайней мере подсеть моя

тото я смотрю юзер-агент "Go-http-client/1.1" :)

> Вот только сегодня я ничего не фетчил, только вчера

дык я живу во вчера (Калифорния) - у меня 1 октября только пару часов назад наступило ;)

Ну совсем гасить ненадо - пусть будет, но можно пореже чуток сделать - скажем каждые 20 минут (3 раза в час вместо 6), а вот узел ping показал, что легко может каждые 5 минут приходить ;)

P.S. Моя нода тоже все индексы берёт похоже - надо поразбираться как настроить, чтобы работало более оптимально (я не чаще 2 раз в час к каждому стучусь)...

shaos> Ну совсем гасить ненадо - пусть будет, но можно пореже чуток сделать - скажем каждые 20 минут (3 раза в час вместо 6), а вот узел ping показал, что легко может каждые 5 минут приходить ;)
shaos> P.S. Моя нода тоже все индексы берёт похоже - надо поразбираться как настроить, чтобы работало более оптимально (я не чаще 2 раз в час к каждому стучусь)...

Интересно, а что с tgi? Вообще я бы не отказался от её поддержки ибо скоро получу диплом по Django. Кроме tgi на глазу разве что Fdroid Repo Maker который в 2020 забросили

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

tgi работает себе и работает

shaos> tgi работает себе и работает

Я про то как она фетчит индексы и как часто

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

Ну в той же таблице было - 3 раза в час

tgi забираёт у меня полные списки, но по ограниченному числу эх - пример:

92.63.98.71 - - [30/Sep/2024:23:00:03 -0700] "GET /ii-point.php?q=/list.txt HTTP/1.1" 200 1244 "-" "python-requests/2.26.0"
92.63.98.71 - - [30/Sep/2024:23:00:03 -0700] "GET /ii-point.php?q=/u/e/idec.talks HTTP/1.1" 200 19867 "-" "python-requests/2.26.0"
92.63.98.71 - - [30/Sep/2024:23:00:04 -0700] "GET /ii-point.php?q=/u/e/bot.habr.rss HTTP/1.1" 200 45542 "-" "python-requests/2.26.0"
92.63.98.71 - - [30/Sep/2024:23:00:06 -0700] "GET /ii-point.php?q=/u/e/plan.9 HTTP/1.1" 200 591 "-" "python-requests/2.26.0"
92.63.98.71 - - [30/Sep/2024:23:00:06 -0700] "GET /ii-point.php?q=/u/e/zx.spectrum HTTP/1.1" 200 748 "-" "python-requests/2.26.0"

наверное bot.habr.rss можно и не забирать назад, если не подразумевается, что люди будут комментировать сообщения бота...

Кстати в данный момент при попытке зайти в эху bot.habr.rss через веб-интерфейс tgistation.ru оно какое-то время висит и затем показывается ошибка таймаута:

504 Gateway Time-out
nginx/1.18.0 (Ubuntu)

у меня в данный момент скрытых эх нет - кстати надо попробовать создать и если ii-php допускает их создание, то в своей реинкарнации iii-php я это дело буду запрещать - тут всё должно быть открыто и прозрачно как мне кажется...

shaos> у меня в данный момент скрытых эх нет - кстати надо попробовать создать и если ii-php допускает их создание, то в своей реинкарнации iii-php я это дело буду запрещать - тут всё должно быть открыто и прозрачно как мне кажется...

Даже личная почта? https://github.com/idec-net/ii-db-utils/blob/master/emailtoii.py

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

Личная почта не входит в «стандарт» IDEC - я знаю некоторые экспериментировали и кое-где оно как-то есть, но никак не совместимо друг с другом как я понимаю…

И кстати наверное emailtoii не есть личная почта - наверное это просто конвертор из приходящей почты в ii - просто способ публикации статей в ii /IDEC т.е. всё что попадает в ii так или иначе становится бубличным (ну разве лишь если имя эхи не содержит какой-то никому не известный ключ типа личный passauth - но опять же сисоп это увидит в любом случае)…

shaos> И кстати наверное emailtoii не есть личная почта - наверное это просто конвертор из приходящей почты в ii - просто способ публикации статей в ii /IDEC т.е. всё что попадает в ii так или иначе становится бубличным (ну разве лишь если имя эхи не содержит какой-то никому не известный ключ типа личный passauth - но опять же сисоп это увидит в любом случае)…

Держать на своей ноде в скрытой эхе
Если бы цезий умел в пометку эхи как локальной, то по идее даже нода не нужна
Но все таки хотелось бы fetchmail+procmail держать на сервере, а с клиента забирать готовые сообщения

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

Домашний интернет сегодня чото прилёг (а с ним и моя нода) - вечером только удалось восстановить перегрузив роутер...

doesnm> Держать на своей ноде в скрытой эхе
doesnm> Если бы цезий умел в пометку эхи как локальной, то по идее даже нода не нужна

Цезий умеет в пометку эхи как архивной, что не запрещает тебе локально в неё писать что угодно.

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

Статистика за 1 октября:

[1] 62.109.31.x point=122 web=0 42666KB <--- ~5/hr
[2] 92.63.98.x point=64 web=0 4221KB <--- ~2/hr
[3] 95.165.9.x point=125 web=1 3260KB <--- ~5/hr
[4] 52.207.47.x point=0 web=1 1232KB
[5] Google point=42 web=166 818KB
[6] 24.6.124.x point=0 web=66 396KB
[7] 35.171.141.x point=0 web=1 230KB
[8] Facebook point=3 web=8 127KB
[9] 3.232.102.x point=0 web=1 123KB
[10] 18.205.213.x point=0 web=1 101KB

Сегодня добавился Facebook...

shaos> Статистика за 1 октября:
shaos> [1] 62.109.31.x point=122 web=0 42666KB <--- ~5/hr
shaos> [2] 92.63.98.x point=64 web=0 4221KB <--- ~2/hr
shaos> [3] 95.165.9.x point=125 web=1 3260KB <--- ~5/hr
shaos> [4] 52.207.47.x point=0 web=1 1232KB
shaos> [5] Google point=42 web=166 818KB
shaos> [6] 24.6.124.x point=0 web=66 396KB
shaos> [7] 35.171.141.x point=0 web=1 230KB
shaos> [8] Facebook point=3 web=8 127KB
shaos> [9] 3.232.102.x point=0 web=1 123KB
shaos> [10] 18.205.213.x point=0 web=1 101KB
shaos> Сегодня добавился Facebook...

Сегодня переключил забор на два раза в час. Пока новая реализация ноды не будет готова, будет так.

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

doesnm>> Держать на своей ноде в скрытой эхе
doesnm>> Если бы цезий умел в пометку эхи как локальной, то по идее даже нода не нужна
AL> Цезий умеет в пометку эхи как архивной, что не запрещает тебе локально в неё писать что угодно.

Архивная эха не будет синкатся с нодой?
Ок, тогда осталось переделать скрипты на ait

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

doesnm>>> Держать на своей ноде в скрытой эхе
doesnm>>> Если бы цезий умел в пометку эхи как локальной, то по идее даже нода не нужна
AL>> Цезий умеет в пометку эхи как архивной, что не запрещает тебе локально в неё писать что угодно.
doesnm> Архивная эха не будет синкатся с нодой?

Да. Она просто лежит в локальной базе и её можно читать. Сам цезий просто её не обновляет.

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

doesnm>>>> Держать на своей ноде в скрытой эхе
doesnm>>>> Если бы цезий умел в пометку эхи как локальной, то по идее даже нода не нужна
AL>>> Цезий умеет в пометку эхи как архивной, что не запрещает тебе локально в неё писать что угодно.
doesnm>> Архивная эха не будет синкатся с нодой?
AL> Да. Она просто лежит в локальной базе и её можно читать. Сам цезий просто её не обновляет.

Я нашел опцию лучше - stat

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

doesnm>>>>> Держать на своей ноде в скрытой эхе
doesnm>>>>> Если бы цезий умел в пометку эхи как локальной, то по идее даже нода не нужна
AL>>>> Цезий умеет в пометку эхи как архивной, что не запрещает тебе локально в неё писать что угодно.
doesnm>>> Архивная эха не будет синкатся с нодой?
AL>> Да. Она просто лежит в локальной базе и её можно читать. Сам цезий просто её не обновляет.
doesnm> Я нашел опцию лучше - stat

Про эту опцию уже даже я забыл :)

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

Да - результат на лицо :)

[1] Google point=108 web=899 26.6MB <--- Google (4/hr)
[2] 62.109.31.x point=48 web=0 16.4MB <--- tavern (2/hr)
[3] DataForSeoBot point=0 web=26 8.3MB
[4] 92.63.98.x point=72 web=0 4.7MB <--- tgi (3/hr)
[5] 95.165.9.x point=144 web=0 3.7MB <--- ping (6/hr)
[6] 95.217.57.x point=0 web=1 1.1MB
[7] 24.6.124.x point=3 web=46 0.4MB
[8] 92.246.138.x point=0 web=1 0.1MB
[9] YandexBot point=0 web=17 0.1MB
[10] 172.56.46.x point=0 web=4 0.0MB

А вот гугл чего-то аж на первое место вышел 8)

shaos> Да - результат на лицо :)
shaos> [1] Google point=108 web=899 26.6MB <--- Google (4/hr)
shaos> [2] 62.109.31.x point=48 web=0 16.4MB <--- tavern (2/hr)
shaos> [3] DataForSeoBot point=0 web=26 8.3MB
shaos> [4] 92.63.98.x point=72 web=0 4.7MB <--- tgi (3/hr)
shaos> [5] 95.165.9.x point=144 web=0 3.7MB <--- ping (6/hr)
shaos> [6] 95.217.57.x point=0 web=1 1.1MB
shaos> [7] 24.6.124.x point=3 web=46 0.4MB
shaos> [8] 92.246.138.x point=0 web=1 0.1MB
shaos> [9] YandexBot point=0 web=17 0.1MB
shaos> [10] 172.56.46.x point=0 web=4 0.0MB
shaos> А вот гугл чего-то аж на первое место вышел 8)

не хватает Manuel - Gas Gas Gas на фоне и анимации как гугл вырывается в топ

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

> Ещё стянул себе эху oldpc.51t.ru c club.hugeping.ru

Нашёл тут продолжение в ввиде эхи old.pc жившей недолго на ii-ноде p2.51t.ru в мае 2022 года и доступной теперь только через веб-архив:

https://web.archive.org/web/20220524025232/http://p2.51t.ru/ii/old.pc

Ни у кого не сохранилось в виде msg-файлов?...

Так то наверное можно докидать эти сообщения вручную в эху oldpc.51t.ru - как разные сервера-клиенты отнесутся к тому, что в сообщениях эхи oldpc.51t.ru будет стоять имя несуществующей эхи old.pc? Ну или при ручном копировании заменить эху c old.pc на oldpc.51t.ru в каждом сообщении...

> не хватает Manuel - Gas Gas Gas на фоне и анимации как гугл вырывается в топ

А сегодня внезапно вперёд вырвался Фейсбук :)

Правда хлопал он по вебу, а не по интерфейсу поинта:

TOP10 VISITORS:

[1] Facebook point=0 web=72 up=39.9MB (38%)
[2] Google point=214 web=1193 up=38.3MB (36%) <--- Google (9/hr)
[3] 62.109.31.x point=48 web=0 up=16.4MB (15%) <--- tavern (2/hr)
[4] 92.63.98.x point=72 web=0 up=4.8MB (4%) <--- tgi (3/hr)
[5] 95.165.9.x point=146 web=0 up=3.8MB (3%) <--- ping (6/hr)
[6] 24.6.124.x point=0 web=12 up=0.1MB (<1%)
[7] 172.59.161.x point=0 web=9 up=49KB
[8] 172.59.160.x point=0 web=5 up=48KB
[9] 51.75.35.x point=0 web=2 up=36KB
[10] 191.107.164.x point=0 web=2 up=27KB

TOTAL TRAFFIC: 103MB