Я просто решил переписать свой убогий и тормозной фетчер с перла. А реализацию протокола тут по-любому делать надо =)

Кстати, немного статисти из эластика:

Документы

      "docs" : {
        "count" : 79614,
        "deleted" : 0
      },
      "store" : {
        "size_in_bytes" : 147104264,
        "throttle_time_in_millis" : 0
      },

Самое старое сообщение в индексе:

 curl http://127.0.0.1:9200/idec/_search?pretty -XPOST -d '{"fields" : ["_id", "author", "to", "echo", "subg", "message", "date"],"sort": [ { "date":   { "order": "acs" }}, { "_score": { "order": "asc" }}],"size":1}'
{
  "took" : 11,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 79614,
    "max_score" : null,
    "hits" : [ {
      "_index" : "idec",
      "_type" : "post",
      "_id" : "HuE2FzPk5A6ANa4vHtlA",
      "_score" : 1.0,
      "fields" : {
        "message" : [ "\n(я тоже ненастоящий сварщик)\n\nДа, спасибо, я про zfill думал, а как-то про подобное не догадался, исправлено.\n\nЧто касается хранилилища:\n\nу меня до сих пор основная цель - это африканские дети с компьютерами 1-2 гб hdd, с openbsd или haiku, где дорог каждый килобайт и каждый inode.\n\nПоэтому для клиентов планируется просто сделать один большой файл, в который просто дописывать сжатое содержимое сообщения. И отдельно - индекс, где указаны начальное и конечное смещение в файле.\n\nА для больших и крупных клиентов - всякие разные крутейшие распределённые базы данных. А сейчас мне хочется как можно более простую реализацию сделать." ],
        "to" : [ "All" ],
        "author" : [ "51t" ],
        "subg" : [ "про хэш и реализацию" ],
        "date" : [ "1394282165" ],
        "echo" : [ "to.lor.2014" ]
      },
      "sort" : [ "1394282165", 1.0 ]
    } ]
  }

Самое новое сообщение в индексе

curl http://127.0.0.1:9200/idec/_search?pretty -XPOST -d '{"fields" : ["_id", "author", "to", "echo", "subg", "message", "date"],"sort": [ { "date":   { "order": "desc" }}, { "_score": { "order": "desc" }}],"size":1}'
{
  "took" : 11,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 79614,
    "max_score" : null,
    "hits" : [ {
      "_index" : "idec",
      "_type" : "post",
      "_id" : "e3w8k49i3BcDvNS0MsLw",
      "_score" : 1.0,
      "fields" : {
        "message" : [ "\n Американская актриса Джуди Гарленд, сыгравшая Дороти в фильме «Волшебник страны Оз» 1939 года, подвергалась сексуальным домогательствам со стороны актеров-карликов во время съемок ленты. Об этом говорится в книге бывшего мужа артистки Сида Луфта «Джуди и я: моя жизнь с Джуди Гарленд». \nСсылка: https://lenta.ru/news/2017/02/10/wonderland/" ],
        "to" : [ "All" ],
        "author" : [ "Новостной_робот" ],
        "subg" : [ "СМИ узнали о домогательствах карликов-жевунов к звезде «Волшебника страны Оз»" ],
        "date" : [ "1486710015" ],
        "echo" : [ "lenta.rss" ]
      },
      "sort" : [ "1486710015", 1.0 ]
    } ]
  }
}