Re: Мея видо?
Подумал. Да, это ведь действительно потенциальная проблема роста сети.
У нас у всех свои реализации нод. Для меня - куча бессмысленных мелких сообщений - это проблема, так как она нарушает подход "форума". Мусорит и мешает браузить действительно нужный контент.
Если же это ленты как в современных соцсетях - то вроде проблем нет. Идёт поток флуда и всё...
То же касается и сообщений. Дико раздражают сообщения однострочники. Но, у всех своя политика и свои правила. И это всё в целом должно как-то работать....
Решения, похоже, никакого не может быть. Ибо диктатура противоречит духу федеративности, а усложнять правила фильтрации конкретных нод (как я сейчас подумал) -- сегрегация и ещё больший хаос..
Так что даже не знаю. Попрошу только, всё-таки, принять общее решение и не заниматься кросспостом, хотя бы из тестовой эхи.
hugeping to hugeping (2024-10-25 11:23:49)
[
ссылка]
Re: А что с эхой lor.opennet?
shaos> Чото тормозит она страшно последнее время - чем дальше, тем страшнее...
Да. Скоро будет переезд на новую кодовую базу. Если не случится ничего страшного, то буквально на выходных. Будет реактивная, с адаптивным фетчером и вот это вот всё.
+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.
Andrew Lobanov to shaos (2024-10-25 11:20:54)
[
ссылка]
Re: Полуневдимые эхи
ahamai>> Сегментирование запросов было введено специально.
revoltech> Чтобы создать новым поинтам затруднения с первым выкачиванием эх (а-ля блокчейн монеро)?
Новый поинт нажал кнопку "скачать" и скачал. Какие у него могут быть проблемы с первым выкачиванием эх? Или это у старлинка платное открытие нового соединения?
+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.
Andrew Lobanov to revoltech (2024-10-25 11:20:53)
[
ссылка]
Re: Полуневдимые эхи
shaos>> Кстати вопрос про POST в /u/m периодически поднимался, например вот тут ii://w6o5S9CleUqqm4Lgc8O9 (декабрь 2021) что так ни к чему и не привело - вот полное обсуждение
revoltech> И там AL написал, что POST /u/m не решает ни одной проблемы. Как же не решает, если решает? Вот вам проблема: куча лишних соединений и метаданных, т.к. владельцы станций ограничивают длину GET-запросов, либо сознательно, либо оставляя дефолт на веб-сервере. С POST запрос будет всегда одним в идеале.
Это ты уже писал. Не писал только почему это вдруг проблема.
+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.
Andrew Lobanov to revoltech (2024-10-25 11:20:46)
[
ссылка]
Re: Полуневдимые эхи
hugeping>> А слайсы решают проблему больших индексов.
revoltech> Слайсы на сервере позволяют пропустить сообщения, только если действительно не гонять их каждые пять минут. А это действительно увеличит трафик и без того.
Только если узел, внезапно, пишет в середину индекса, а не только в конец.
revoltech> Мой юзкейс — зашёл утром, запустил tiifetch.tcl или нажал на кнопочку Fetch all echos в tiix, клиент докачает изменения всех эх за ночь и в течение дня дофетчиваю только новое содержимое конкретно интересующих эх, вручную жмякая на Fetch this echo при необходимости. За это время в них может собраться куда больше 100 сообщений, и в случае слайсинга ещё на серверной части до клиента они уже не дойдут никогда.
Удивительно. 9 лет у всех всё доходит, а у тебя нет. Может, надо что-то в фетчере поменять?
revoltech> Поэтому придерживаться базового протокола мне пока кажется более разумным, только вот с выгребанием по /u/m надо что-то решать. 12 айдишников на запрос — слишком мало, а многопоточность всё равно не решает проблему с кучей TCP-соединений и HTTP-метаданных.
У тебя соединения платные или что?
+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.
Andrew Lobanov to revoltech (2024-10-25 11:20:45)
[
ссылка]
Re: Полуневдимые эхи
shaos> Кстати вопрос про POST в /u/m периодически поднимался, например вот тут ii://w6o5S9CleUqqm4Lgc8O9 (декабрь 2021) что так ни к чему и не привело - вот полное обсуждение:
Потому что это не решает никаких реальных проблем на самом деле. Можно, и было бы даже красиво, отказаться от HTTP, гонять всё через сокеты прямо и вот это вот всё. Отказаться от мелких пакетов и гонять сразу многомегабайтные бандлы. Добавить аватарки, карму, модераторство и бэкдоры для товарища майора. Только зачем?
+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.
Andrew Lobanov to shaos (2024-10-25 11:20:45)
[
ссылка]
Re: Полуневдимые эхи
>> если IDEC уже имеет все средства как часть стандарта, то зачем для него городить кастомные гейты?..
ahamai> Без гейта ты нормально не отобразишь ничего ни на zx spectrum ни на msdos, ни на atari st. Сначала научи их utf8 :)
Тоже мне бином Ньютона, utf8 оттранслировать.
ahamai> Хочется хоть одно реальное применение слайсов, кроме "забрать последние сообщения"
Например, пагинация индекса в условиях малого объёма оперативной памяти.
+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.
Andrew Lobanov to ahamai (2024-10-25 11:20:45)
[
ссылка]
Re: Мея видо?
я тоже не фетчу idec.test и не собираюсь, поэтому диалог перетащил сюда
ahamai to hugeping (2024-10-25 11:20:22)
[
ссылка]
Re: Мея видо?
hugeping> Слушай, ну зачем этот хаос. Я вот осознанно не фетчу idec.test. Без предупреждения.
hugeping> Снимаю пока фетч и занимаюсь зачисткой.
Фух. Зачистил. Оставил только один топик Re: Мея видно? так как он хотя бы с нормальными repto: выстраивается в одну тему.
Вообще, я начал думать что нужны фильтры того, что от кого брать...
hugeping to hugeping (2024-10-25 11:18:40)
[
ссылка]
Re: Мея видо?
потому что это техническая переписка. ей не место в test, test это для тестов, а тут целая дискуссия, которую кто-то просмотрел. и её и надо было вести в talks а не в test. test для архивов бессмысленны и там непонятно, что где найдёшь. я эту дискуссию вообще просмотрел и попал на неё случайно. я вырезал 33 сообщения из test, чтобы их сохранить в общей эхе, чтобы не потерялись. вообще такие разговоры изначально должны были вестись в talks, зачем их чистить???
ahamai to hugeping (2024-10-25 11:17:46)
[
ссылка]
Re: Полуневдимые эхи
я не понимаю, зачем. если что-то где-то сглючит, качать придётся всё заново. поэтому и сделали разбивку на мелкие секции, скачал/записал, скачал/записал. но попробуй, я понятия не имею.
ahamai to revoltech (2024-10-25 11:12:55)
[
ссылка]
Re: Мея видо?
ahamai> видо, видо. влил архив с idec.test, так как не у всех она есть. для истории.
Слушай, ну зачем этот хаос. Я вот осознанно не фетчу idec.test. Без предупреждения.
Снимаю пока фетч и занимаюсь зачисткой.
hugeping to ahamai (2024-10-25 11:09:30)
[
ссылка]
Re: Ответ на всё сразу
shaos> Фуф, а я уж думал выяснится, что Лобанов - квадробер :)
Я сам думал уже кто же я. Квадробер, зацепер, видеоблоггер или, извиняюсь, рэпер. Но пронесло :)
+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.
Andrew Lobanov to shaos (2024-10-25 10:59:39)
[
ссылка]
Re: Полуневдимые эхи
iiii> Я не понимаю, как это работает, я не знаю как запросить последние n сообщений и я не понимаю, зачем мне запрашивать кусок эхи не до конца, а посредине. Количество сообщений я считаю ненадёжным источником, можно удалить 1 и жобавить 1 и эха вроде не изменится. , в отличие от хэша. Я вообще при делании срезов не понимаю, что входит а что не входит. Поэтому у меня на станции нет постраничного вывода :)
/u/e/idec.talks/-100:100
заберёт последние 100 сообщений.
iiii> А lim совместим со всем, хоть с ii txt 0.1, меняется только строка в конфиге.
При этом будет работать и /lim/200/u/m и /lim/200/u/point?
+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.
Andrew Lobanov to iiii (2024-10-25 10:59:39)
[
ссылка]
Re: Полуневдимые эхи
shaos>> Это да :)
revoltech> Так всё-таки есть стандартный и поддерживаемый вариант, чтобы полный перефетч эхи делался не кучей мелких запросов по 12 айдишников из-за ограничений хттпшного гета на сервере, а чем-то более вменяемым? Или нет? В доках ничего, кроме GET /u/m, по этому поводу не нарыл.
Потому что только GET и есть.
+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.
Andrew Lobanov to revoltech (2024-10-25 10:59:33)
[
ссылка]
Re: Полуневдимые эхи
shaos> Ну это издевательство над здравым смыслом когда одной рукой вы разрешаете декларировать поддерживаемые фичи через features, а другой запрещаете эти фичи расширять…
Я ничего никому не запрещаю и не разрешаю. Просто считаю отламывание фундаментальных фич вредительством.
+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.
Andrew Lobanov to shaos (2024-10-25 10:59:26)
[
ссылка]
Re: Ответ на всё сразу
shaos> А может не будем про политику?…
Ну раз уж начали, то давайте. Чего уж там?
+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.
Andrew Lobanov to shaos (2024-10-25 10:59:19)
[
ссылка]
Re: Полуневдимые эхи
shaos> При наличии групп эх наверное можно таки дать возможность пользователям (с высокой кармой?) создавать новые публичные эхи в группе unsorted - эдакий crowd sourcing получится, но по умолчанию такие эхи должны будут быть скрыты от веба (хоть и будут перечислены в list.txt)..,
Божечки! Уже и карма. Куда катецо федо!
+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.
Andrew Lobanov to shaos (2024-10-25 10:59:15)
[
ссылка]
Re: Полуневдимые эхи
shaos>> Объясню - по мне так должна быть возможность программно вытянуть весь контент узла любому кто не есть админ узла (причём через веб можно возможности и поурезать т.к. вебом не только люди пользуются), а со скрытыми эхами такой возможности нет.
revoltech> Так, может, лучше тогда автоматизировать их добавление в list.txt, то есть сделать их НЕ скрытыми, вместо урезания полезной фичи?
Вот. Товарищ дело говорит!
+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.
Andrew Lobanov to revoltech (2024-10-25 10:59:09)
[
ссылка]
Re: Полуневдимые эхи
shaos> Ну это можно решить путём объединения эх в тематические группы (которые будут иметь смысл только на уровне узла и не будут задевать сам протокол) - например для временных или мелких эх может существовать тематическая группа unsorted…
Опять какие-то костыли :)
+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.
Andrew Lobanov to shaos (2024-10-25 10:59:02)
[
ссылка]
Re: Полуневдимые эхи
shaos> Надо будет фичу выпилить ;)
shaos> Объясню - по мне так должна быть возможность программно вытянуть весь контент узла любому кто не есть админ узла (причём через веб можно возможности и поурезать т.к. вебом не только люди пользуются), а со скрытыми эхами такой возможности нет.
Никуда не девается эта возможность. Скрытые эхи работают точно так же, как и те, что в list.txt.
shaos> Ну и чисто административный момент - даже если сисоп временно потерял физический доступ к узлу (уехал в отпуск) у него должна оставаться возможность видеть что там происходит пользуясь открытыми апи (напрямую либо через ботов)…
Навернуть расширение для себя было бы лучше, чем ломать удобные фичи.
+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.
Andrew Lobanov to shaos (2024-10-25 10:58:55)
[
ссылка]
Re: Ответ на всё сразу
>> Точно был способ в документации. Посмотрите подробней.
revoltech> Да уже всё перерыл, никак не нахожу, как именно клиентом выкачать все сообщения из указанных в /u/e за один HTTP-запрос.
revoltech> Так-то у меня и так выкачиваются только те сообщения, ID которых ещё нет в базе. Но проблемы с ограничением длины GET-строки на сервере это не решает.
revoltech> Самым очевидным решением было бы, наверное, разрешить ещё и HTTP POST /u/m с тем же синтаксисом.
У тебя трафик платный и тарифицируется по количеству HTTP-запросов?
+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.
Andrew Lobanov to revoltech (2024-10-25 10:58:48)
[
ссылка]
Re: Полуневдимые эхи
>> Для того, чтобы её не было, нужно писать дополнительный код, который по идее вообще вредный, так как удобную фишку убирает….
shaos> Ну например можно выкинуть «вообще вредный» код файлэх, который сейчас чуть ли не половину всего кода ii-php занимает :)
Можно. Но вред файлэх в чём? Вред твоей идеи понятен -- ты хочешь ограничивать своих пользователей в фичах и свободе общения.
+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.
Andrew Lobanov to shaos (2024-10-25 10:58:36)
[
ссылка]
Re: Мея видо?
видо, видо. влил архив с idec.test, так как не у всех она есть. для истории.
ahamai to revoltech (2024-10-25 10:53:08)
[
ссылка]
Re: Полуневдимые эхи
ahamai> увеличил буферы в nginx. скормил url на 89 кбайт - сожрало
Так и оставил? Я могу быть уверенным, что выгребу 4238 сообщений за один запрос?
revoltech to ahamai (2024-10-25 10:51:32)
[
ссылка]
Re: Полуневдимые эхи
ahamai> Ну и есть всякие плюшки типа минимальной гарантии доставки
А TCP для чего вообще создавался, если не для минимальной гарантии доставки? Зачем дублировать то же самое на уровень выше, но с обязательными метаданными?
ahamai> Для меня простота - это возможность в несколько строк написать фетчер хоть на python, хоть на busybox, поэтому я буду поддерживать реализацию только через http. Но всегда интересно посмотреть на сторонние проекты.
Мысль понял, никого не заставляю, но nc и awk имеются и в busybox (как, впрочем, и декодер base64).
revoltech to ahamai (2024-10-25 10:49:04)
[
ссылка]
idec.test
shaos, почему с тебя idec.test не фетчится?
ps. Ценность маленьких запросов понимаешь, когда фетчишь с spline :)
ahamai to All (2024-10-25 10:37:24)
[
ссылка]
Re: Полуневдимые эхи
увеличил буферы в nginx. скормил url на 89 кбайт - сожрало
ahamai to hugeping (2024-10-25 10:26:40)
[
ссылка]
Re: Полуневдимые эхи
Это понятно, но меня http полностью устраивает по ресурсоёмкости, распространённости везде и для всего, веб-фреймворков для него.
Ну и есть всякие плюшки типа минимальной гарантии доставки (content-len, или если что-то пошло не так, брякнулись с ошибкой и клиент понял что ошибка). Плюс опциональное gzip сжатие, существующее с лохматых годов. Правда, сейчас py3 фетчер не поддерживает gzip сжатие, py2 и ii-txt на py2 поддерживают. Сейчас глянул, у меня на сервере не включён gzip для text/plain, включил.
Это хорошо и замечательно, если будут другие транспорты. Но подразумевается, что протокол настолько простой то эти транспорты пишет тот, кто этим интересуется. Для меня простота - это возможность в несколько строк написать фетчер хоть на python, хоть на busybox, поэтому я буду поддерживать реализацию только через http. Но всегда интересно посмотреть на сторонние проекты.
ahamai to revoltech (2024-10-25 10:18:26)
[
ссылка]
Re: Полуневдимые эхи
revoltech> P.S. Да, ещё раз пардон, перепроверил — то у tgi только 12 сообщений за раз можно выгрести. У остальных 389, у тебя вообще лимит 10000 вроде хавает без проблем. Правда, spline-online не тестил, он и так еле живой сейчас.
Кстати, это соответствует "рекомендованному" буферу в 8к. Как раз ~380 id-шников. 12 сообщений это, конечно, маловато даже по меркам "обычного" веба.
hugeping to revoltech (2024-10-25 10:10:28)
[
ссылка]