Сообщения в pipe.2032

Re: Фильтрация шумов и предпраздничная безысходность

Ответ на сообщение
vmg> Ты крут (физика и прочие завихрения), но совсем не бережёшь себя.
Да не, не крут. Так, развлекаюсь по мере возможностей.

Немножко отдохнул и теперь снова началась беготня с квантами и с защитой проекта в ИСЗФ. После 10 числа будет большой пост с кучей картинок (и даже парой эпичных видео), и здесь поотвечаю, на что не успел.
vmg> Когда планируешь восстанавливать нервы и планируешь ли?
Знал бы, как их восстановить. Пока что 100% действуют только несколько средств

1. Таблетосы
2. Обнимашки с людьми (положительный эффект наблюдается 1-2 дня, и трудно достать людей)
3. Найти интересное дело и погрузиться в него с головой (работает только если в конце всё завершится успешно)
4. Ненапряжное общение с людьми на интересные темы
5. Чтение чего-то увлекательного
+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM
vit01 to vmg (2020-01-08 11:34:30) [ссылка]

Re: bugs

Ответ на сообщение
> какой-то баг похоже затесался в ui, или же в db -- не отображает корректно время в подписях к коммитам
Да, я знаю про этот баг, но непонятно, как его исправить. Я создавал таск на гитхабе, мне там не помогли. Баг почему-то только на этом моем хосте вспроизводится. Причем я перешел со своих сборок на официальный докер-образ - не помогло. Непонятно куда копать. Думаю, что когда я утащу gitea в своё облако(уже развернуто, динамик уже в нем, например), то проблема уйдет.
Difrex to jmaks (2020-01-08 08:41:32) [ссылка]

bugs

@Difrex

изучая твои наработки, наткнулся на gitea;

какой-то баг похоже затесался в ui, или же в db -- не отображает корректно время в подписях к коммитам
закинул скрин в фэху test у таверны

http://idec.spline-online.tk/s/download/test/2020-01-08-123707_685x443_scrot.png
jmaks to All (2020-01-08 07:17:31) [ссылка]

Re: Фильтрация шумов и предпраздничная безысходность

Ответ на сообщение
Ты крут (физика и прочие завихрения), но совсем не бережёшь себя.
Когда планируешь восстанавливать нервы и планируешь ли?
vmg to vit01 (2020-01-07 20:16:01) [ссылка]

Фильтрация шумов и предпраздничная безысходность

Вот и закончилась зачётная неделя, получено 10 зачётов (учусь на кафедре космофизиков, но при этом хожу также на занятия теоретиков и должен получать их зачёты тоже), испорчен сон и нервы, но никто не отменяет работу по Солнцу, поэтому начнём с неё.

## Уровень шумов на корреляционных кривых

В [предыдущем посте]( /posts/ocherednaia-begotnia.html ) я рассказывал с картинками про то, что для фильтрации событий на гирорезонансные источники требуется находить сигналы на корреляционных кривых, которые ниже определённого порога. Данный порог определяется по-хорошему на основе уровня шумов, немножко его превышая. И если сигнал **выше** шумового порога, то мы его отсекаем, и он нас не интересует.

Раньше я подсчитывал стандартное отклонение по всей корреляционной кривой и уровень фильтрации ставил на 6 стандартных отклонений.

Но так делать плохо. Ведь если в течение дня были какие-то сильные вспышки, то стандартное отклонение также сильно увеличивалось. И порог шума стал слишком высокий, захватывая даже те события, которые нам не очень нужны.

Понадобилось проанализировать распределения всех точек на корреляционной кривой.

#### Дни с выбросами

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/n125l8jAjGZXTyRNhtRo

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/aWcNtGsyOFvEVukCjW1P

Видно, что распределение не очень симметричное, но большая часть точек попадает в квантиль 90%, который отмечен **чёрным** цветом. Можно заметить, что эта точка отлично отфильтровывает шумы для этого случая. Дальше это нам это ещё понадобится. Зелёным цветом отмечена отметка фильтра по 1 стандартному отклонению, и видно, что это слишком высоко

#### Дни, когда нет выбросов, чистый шум

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/5rOmQ5d8glJ2yYpWHnQK

И тут - чисто нормальное распределение! Однако, это и минус, потому что фильтрация по квантилю 90% уже не работает и стоит прямо там, где стоит 1 стандартное отклонение.

#### Нужен какой-то более хитрый алгоритм

И такой алгоритм нашёлся. Оказывается, если отсортировать все точки по возрастанию и взять ровно первую половину, а потом подсчитать от них стандартное отклонение, то мы получим такие дни, которые точно являются шумовыми. И теперь, домножив полученное стандартное отклонение на какое-то разумное число, мы сразу получаем неплохой порог фильтрации.

#### Какая красота!

Новый фильтр - красная горизонтальная линия. Посмотрим, что можно с этим сделать дальше.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/1C2edzOekroRgaIYsONa

Также я набросал слайды на Reveal.js с демонстрацией распределений и про косяки предыдущих фильтраций, материалы можно посмотреть тут:

https://blog.alicorn.tk/search-visualize.slides.html

PDF, про который говорится в конце слайдов: https://blog.alicorn.tk/other/29events.pdf

## За пределами Солнца

К концу зачётной недели я очень плохо спал, пытаясь разобраться с задачами по квантовой механике, которые так до конца не дорешал и которые придётся доносить на консультацию на экзаменах полностью прорешанные.

Также постоянно испытывал чувство одиночества и покинутости, потому что у людей, которые мне важны, слишком мало для меня времени, и уже отменилось несколько разных запланированных встреч.

Хотя одиночество, конечно же, идёт от неудовлетворённости собой и от постоянных страхов получить ещё больше неприятных эмоций от общения с людьми, которые могут обидеть. И ещё от недостатка общих интересов с людьми.

Говорят, что нужно найти такое дело, в которое можно погрузиться с головой и постоянно о нём думать. Причём оно должно быть настолько интересное, что мысли о нём должны заглушить желание общения с людьми. Кто-то смотрит аниме и сериалы, кто-то читает книги, кто-то занят музыкой и полностью этим доволен.

Как только закончилась зачётная неделя, я начал отсыпаться и прибираться в квартире. Уборка затянулась. Но сегодня я с ней закончил, опять спал и начал доделывать свои расчёты по Солнцу. Делать расчёты - это хорошая убивалка времени. Дальше в моих планах - читать книги по своим экзаменам и дорешивать нерешённые задачи, которых вполне достаточно для того чтобы заполнить всё свободное время.

[https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/iBwTeL2SMUCC2ozhsz2A]( https://www.deviantart.com/kp-shadowsquirrel/art/Paperwork-313816626 )

## Экзамены и остальные планы

Мои экзамены, которые начинаются с 10 числа

* Квантовая механика (сложно)
* Методы мат. физики (очень сложно)
* Атомная физика (относительно несложно)

По квантмеху и по ММФ надо будет ещё порешать задачки, чем и планирую заняться в ближайшие дни.

Сдачу презентации по практикуму в ИСЗФ перенесли на 2 недели, поэтому с ней тоже придётся повозиться, на этот раз вместе с другими одногруппниками.

## Используем читы

Один хороший человек посоветовал мне принимать курсом антидепрессант афобазол, чтобы снизить количество приступов тревожности и полной непродуктивности из-за того чувства покинутости, которое я очень часто испытываю. Мгновенный эффект наблюдается, если сразу закинуться 2 таблетками. Мне пришлось применить этот хак вчера, когда из-за неудачного общения чуть не оказался весь в слезах и не мог ясно думать, будучи в обиде.

Но всё-таки постараюсь соблюдать дозировку и принимать, как написано в инструкции. Надеюсь, что это позволит хоть немного облегчить страдания.

Этот пост в блоге: https://blog.alicorn.tk/posts/shumy.html
vit01 to All (2019-12-30 17:08:19) [ссылка]

6 сигм, предзачётная неделя и беготня

## По Солнцу

Скачивание дополнительных данных (радиоизображений с Нобеямской обсерватории), чтобы улучшить начальную фильтрацию и не пропускать события, прошло более-менее успешно. На каждый день приходится по 10-12 картинок, и для обнаружения всех кандидатов в гирорезонанс этого должно быть достаточно.

Итого: 653 GB c 1999 по 2017 годы, из них **около 200 гигов** - сами картинки, остальное - сырые промежуточные данные. Картинок **58021**.

После новой фильтрации число событий за все годы увеличилось **с 31 до 427**. Вручную так много фиг отсмотришь, да и большая часть событий всё равно вспышечные и не являются слишком интересными.

В среду на совещании коллаборации мы решили, что я сделаю красивую визуализацию, чтобы показать работу фильтра на картинках, с числами (для целевого события и для мусорного). Догадка состоит в том, что критерий отбора по 6 стандартным отклонениям слишком грубый, и это нужно увидеть глазами. Дальше уже решим, что делать: во-первых, как подкорректировать пороги, во-вторых, как применять (или не применять) другие методы обработки данных.

#### Недоработка фильтра

И здесь поясню

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/wRNg0y2JLC6RyAwcbaNA

По корреляционной кривой выше видно, что в районе часа ночи по UTC произошла очень сильная вспышка. И так как стандартное отклонение подсчитывается за весь день целиком, то граница в 6 сигм (отмечена на графике горизонтальной линией) лежит слишком высоко над графиком. Значит мы получим ложноположительное срабатывание, ведь фильтр отбирает дни, где сигнал ниже горизонтальной линии, а туда укладывается ещё штук 10 картинок.

## Всё бы успеть...

Всю эту неделю сплошная беготня за зачётами, контрольные и сдача домашки. Не знаю, что делать в понедельник, ведь надо сдавать задачи по квантовой механике, и толком почти ничего не сделано. Да и у товарищей тоже маловато на меня времени, а это вгоняет в одиночество.

Кроме того, простуда, насморк и озноб. К счастью, именно в субботу они вроде как прошли, но всё равно ведь неприятно. От усталости хочется постоянно спать.

Осталось получить ещё несколько зачётов, для двух из которых (в четверг и субботу) обязательно нарешать задачек. А потом идти и усиленно готовиться к экзаменам, которые начинаются с 10 января.

30 декабря будет следующее совещание по Солнцу, но к нему успею насчитать интересненького на выходных до этого.

## По практикуму в четверг

Групповую защиту, к счастью, перенесли на первую половину января, поэтому для всех приборов мы успеем получить хорошие данные и подготовить крутую презентации.

Но к четвергу пришлось "повеселиться", потому что я отдувался за всю группу и писал программы для фильтрации дней с магнитными бурями в одиночку, потому что только один шарю в программировании и умею обращаться с Питоном.

Сначала пришлось распараллелить скрипт для вычленения данных с картинок для оптической обсерватории в Торах.

Вот простейший пример параллельной обработки на Питоне, советую пробовать и применять у себя, очень ускоряет работу.
#!/usr/bin/env python3

from multiprocessing import Pool, cpu_count

def count_function(num):
	return num, num**2, num**3

pool = Pool(cpu_count())
results = pool.map(count_function, range(10))
pool.close()
pool.join()

print(results)
Дальше надо было сходить на сайт к японцам в Киото и получить оттуда данные по индексу геомагнитной активности Dst, который характеризует магнитные поля на экваторе: http://wdc.kugi.kyoto-u.ac.jp/dst_final/index.html

Если вы туда зайдёте, то увидите, что сайт дерьмовенький, да и скачивание данных толком не работает, просто потому что сайт уже протух и нормально не поддерживается. Пришлось скачивать HTML-страницы через wget и с помощью парсинга вытащить циферки.

Дальше провёл фильтрацию по высокому модулю индекса Dst, чтобы вычленить все дни, когда были магнитные бури. Из выбранных годов там было около 90 событий.

Потом я нашёл на stackoverflow кусок кода, использующий библиотеку pyephem, чтобы вычленить дни, в которые фазы Луны были новолуние и мелкий кусок месяца. Ведь для удачных оптических наблюдений и для обнаружения среднеширотных сияний необходимо, чтобы не было засветки от Луны.

#### Пример хорошего дня с красным сиянием и без засветки от Луны

Эту картинку я привожу просто потому что тут красивое ночное небо.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/3YuV0WuqCw9OnbOELpz5

#### Найденный день с магнитной бурей

Мы можем увидеть, что максимум интенсивности красного цвета приходится на минимум Dst (чёрная кривая и правая ось). Это как раз одна из особенностей среднеширотного сияния. Обратите внимание, что между 16 и 17 часами виден небольшой пик RGB-каналов на изображении. Этот бугорок образовался из-за того, что в области усреднения временно оказалась яркая звезда, которая повысила общую яркость.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/m7m8Ql4inBZrm35IGFKv

Этот пост в блоге: https://blog.alicorn.tk/posts/ocherednaia-begotnia.html
vit01 to All (2019-12-21 14:01:41) [ссылка]

Re: Сертифицированный пользователь ОС РОСА "Кобальт"

Ответ на сообщение
>> Нафига меня на эти курсы направили не представляю.
Difrex> Чтобы бумажка была, что ты сертифицированный пользователь =)
Так оно, конечно. Сейчас прямо сижу и смотрю трансляцию как лектор не может справиться с mount. Уже не знаю то ли плакать то ли смеяться :)
Andrew Lobanov to Difrex (2019-12-20 10:16:40) [ссылка]

Re: Сертифицированный пользователь ОС РОСА "Кобальт"

Ответ на сообщение
> Нафига меня на эти курсы направили не представляю.
Чтобы бумажка была, что ты сертифицированный пользователь =)
Difrex to Andrew Lobanov (2019-12-20 05:39:09) [ссылка]

Re: Сертифицированный пользователь ОС РОСА "Кобальт"

Ответ на сообщение
В общем, ничего нового нет. Большая часть курса воет от командной строки. Обучают самым азам. Нафига меня на эти курсы направили не представляю.

Вчера народ завис на лекции о правах доступа и команде chmod. Когда лектор попросил перевести 400 из команды chmod 400 ./file.txt, большинство показало, что калькулятор у них есть. А вот то, что 400 в восьмеричной системе и что лектор об этом несколько раз сказал прямым текстом, они прослушали.

С одной стороны я понимаю, что это для пользователя это слишком. С другой стороны большая часть курса это админы. Короче говоря, байтораздирающее зрелище. Уровень подготовки IT-специалистов нынче хромает на обе ноги.
Andrew Lobanov to All (2019-12-20 04:29:41) [ссылка]

Re: Сертифицированный пользователь ОС РОСА "Кобальт"

Ответ на сообщение
AL>> Попал я тут за счёт работодателя на сабжевый курс. Первый час занятия уже идёт и до сих пор очень интересно чему же нас будут обучать :)
btimofeev> Ну так чего-нибудь нового узнал?
Первый день вводный был. Правовые аспекты разбирались да история *NIX не очень точно воспроизведённая была. Ну и так по мелочи. Сравнивали монолитное ядро с гибридным и микроядром. Так как из 169 человек на курсе с никсами хоть как-то сталкивались (включая админов никсовых) человек 30, то приличный кусок был потрачен на демонстрацию пользовательского окружения и развенчание мифов о "страшной чёрной консоли вместо юай" :)
Andrew Lobanov to btimofeev (2019-12-18 05:48:19) [ссылка]

Re: Сертифицированный пользователь ОС РОСА "Кобальт"

Ответ на сообщение
AL> Попал я тут за счёт работодателя на сабжевый курс. Первый час занятия уже идёт и до сих пор очень интересно чему же нас будут обучать :)
Ну так чего-нибудь нового узнал?
btimofeev to Andrew Lobanov (2019-12-17 17:38:34) [ссылка]

Сертифицированный пользователь ОС РОСА "Кобальт"

Попал я тут за счёт работодателя на сабжевый курс. Первый час занятия уже идёт и до сих пор очень интересно чему же нас будут обучать :)
Andrew Lobanov to All (2019-12-17 07:36:07) [ссылка]

Re: Перекличка

Ответ на сообщение
>> где как угорелый прыгал под группу "Дайте Танк (!)"
Difrex> А в каком жанре играют? Поделись ссылкой, чтобы послушать можно было альбомом, если есть :)
Сами они свой жанр называют "робкий панк". Но если слушать альбомы, то на панк это наверное не особо похоже, больше на инди-рок. Т.к у них есть полностью электронные альбомы (последний например целиком сыгран на детском игрушечном синтезаторе, который изображён на обложке). Но на концертах у них другие аранжировки для этих песен.

Послушать можно например на Яндекс музыке https://music.yandex.ru/artist/5054100. Если откроешь здесь вкладку треки, то большая часть из первых 50 песен мне нравится. Или же на Ютубе https://youtube.com/user/daitetank. Тут у них даже клипы есть.

На самом деле группа на любителя, она довольно необычна, изначально мне понравилась песня "Друг" и клип на неё, остальное как то странным казалось, но потом постепенно я вкатился в большую часть остального их творчества.
btimofeev to Difrex (2019-12-16 16:42:12) [ссылка]

Re: Стол

Ответ на сообщение
> Может, устроим в pictures флешмоб по обмену фотками домашних рабочих мест? :)
Мне нечего фоткать - сижу на диване с ноутом на коленях :)
Difrex to Andrew Lobanov (2019-12-16 14:58:50) [ссылка]

Стол

Как оказывается важно иметь удобный стол. Уже не первый год дома сидел с ноутом на диване за журнальным столиком. От этого начала болеть спина.

Меняли мебель на кухне и пока я был на работе жена ездила выбирала новые стулья. Доставка на следующий день и я опять на работе. Приехал, а дома сюрприз от любимой - маленький столик нормальной высоты для меня. На него очень классно входят смартфон, нетбук, трекбол и чашка с чаем. И сидеть за ним с прямой спиной очень удобно. Выходные я провёл за ним и спина теперь совсем не болит. Приятно, когда близкий человек проявляет заботу.

Может, устроим в pictures флешмоб по обмену фотками домашних рабочих мест? :)
Andrew Lobanov to All (2019-12-16 12:14:21) [ссылка]

Re: Перекличка

Ответ на сообщение
btimofeev> Я постоянно читаю, но написать как-то руки не доходят. В октябре ездили с женой в отпуск в Чехию, очень понравилось. Обошли пешком весь центр Праги (а там есть где походить и что посмотреть), попили много вкусного пива. Были также в Карловых Варах на фестивале кнедликов и в средневековом замке Карлштейн. Других замков, к сожалению, посмотреть не удалось, а я планировал побольше увидеть. Но, возможно, мы туда ещё вернёмся.
Ого! В следующем году планирую с женой хотя бы в Турцию мотнуться на отпуск. А то последние два года мне не удавалось нормально съездить куда-либо и жену отправлял одну. В этом году хоть в Питер сгонял. Понравилось :)
btimofeev> В начале ноября ездил на первый в своей жизни рок-концерт в Воронеж (250 км от меня), где как угорелый прыгал под группу "Дайте Танк (!)" (очень она мне нравится последние несколько лет). Так же видел там памятник котенку с улицы Лизюкова.
"Дайте Танк (!)" весьма неплохи, кстати. Но на фон я нынче ставлю в основном сейчас Радио Алиса (жмакс в music.14 анонсировал, вроде). Не то чтобы прям я такое слушал обычно, но на фон отлично заходит. А так в последнее время предпочитаю GoGo Penguin. Отличные ребята :)
Andrew Lobanov to btimofeev (2019-12-16 12:02:07) [ссылка]

Re: Перекличка

Ответ на сообщение
vit01> Кто остался живой?
Куда ж мы денемся то? :)
vit01>Кто всё ещё читает секточку и может поделиться новостями из своей жизни?
Да вот ничего принципиально интересного не происходит у меня. По крайней мере из того, что я имею право разглашать. А о том, о чём не имею права, рассказать не могу по соответствующим причинам.

Вот в рамках импортозамещения наше предприятие начинает миграцию с OS Windows на OS ROSA. И, честно говоря, это печально. Пакетная база устаревшая даже если сравнивать с Slackware 14.2, тестирование ниже плинтуса (вплоть до сегфолтов при попытке ввести машину в AD). Правда меня тут работодатель отправляет на курсы повышения квалификации. Буду сертифицированный пользователь OS ROSA "Кобальт" (курс прямо так и называется да).

Работа же всё больше из технической перетекает в бумажную сферу и это крайне печально. Предновогодний аврал в полный рост. Нет времени ни Лутца дочитать ни что-либо ещё полезное. Если же время есть, то не остаётся уже никаких сил. Так что вечерами или кубики переставляю на minestead или сериальчик с женой смотрю.
vit01> Ping!
Pong!
vit01> Тем временем, у моего странного бложика таки набрался свой недодесяток читателей. Только от "сектантов" так и не было никакого фидбека по содержанию постов. Может быть, есть что ответить/спросить или есть чего своего рассказать?
Я просто читаю его с удовольствием, но я настолько далёк и от физики и от астрофизики, что остаётся только разевать рот и радоваться, что люди занимаются чем-то интересным, а не бумажки с отчётиками о перебоях в работе какой-то хреновины перекладывают :)
Andrew Lobanov to vit01 (2019-12-16 12:02:06) [ссылка]

Re: Перекличка

Ответ на сообщение
> где как угорелый прыгал под группу "Дайте Танк (!)"
А в каком жанре играют? Поделись ссылкой, чтобы послушать можно было альбомом, если есть :)
Difrex to btimofeev (2019-12-16 06:48:02) [ссылка]

Re: Перекличка

Ответ на сообщение
Я живой. Читаю всегда, но писать не получается.

Сейчас вот решил перетащить все свои сервисы в nomad. Понял, что будет неправильным тащить с работы написанный ansible, по-этому пишу с нуля - потом открою. А ещё пишу статейку в блог про это все, там будет и wireguard и прочие штуки.

Могу вообще по прогрессу писать в idec небольшие посты. Только вот в какую эху, ii://linux.14 ?
Difrex to vit01 (2019-12-16 06:44:49) [ссылка]

Re: Перекличка

Ответ на сообщение
vit01> Hey All
vit01> Кто остался живой? Кто всё ещё читает секточку и может поделиться новостями из своей жизни?
vit01> Ping!
Я постоянно читаю, но написать как-то руки не доходят. В октябре ездили с женой в отпуск в Чехию, очень понравилось. Обошли пешком весь центр Праги (а там есть где походить и что посмотреть), попили много вкусного пива. Были также в Карловых Варах на фестивале кнедликов и в средневековом замке Карлштейн. Других замков, к сожалению, посмотреть не удалось, а я планировал побольше увидеть. Но, возможно, мы туда ещё вернёмся.

Так же на три дня останавливались в Москве у друзей, были на ВДНХ (очень классно всё сделано, есть где погулять), залезли на Останкинскую башню, видели тысячу китайцев на красной площади (откуда их столько?), посмотрели храм Христа Спасителя и наконец под чужими именами прошли на какую-то закрытую презентацию одного китайского смартфона где-то на фабрике Красный Октябрь.

В начале ноября ездил на первый в своей жизни рок-концерт в Воронеж (250 км от меня), где как угорелый прыгал под группу "Дайте Танк (!)" (очень она мне нравится последние несколько лет). Так же видел там памятник котенку с улицы Лизюкова.
vit01> Тем временем, у моего странного бложика таки набрался свой недодесяток читателей. Только от "сектантов" так и не было никакого фидбека по содержанию постов.
Я читаю, но моих знаний не достаточно, что бы понять о чем ты пишешь. Очень умная для меня наука.
btimofeev to vit01 (2019-12-15 17:41:21) [ссылка]

Re: Перекличка

Ответ на сообщение
vit01> Hey All hi
vit01> Кто остался живой? Кто всё ещё читает секточку и может поделиться новостями из своей жизни?
vit01> Ping!
Чем больше живёшь, тем быстрее идёт время. Идек и фидо почитываю, но вдумчиво что-то написать -- на это не остаётся душевных сил.

Да и ещё напасть -- залип на нашем сервере в майнтест. Это такой клон майнкрафта, но с развитыми технологиями, которые для программиста как красная тряпка. Например, не так давно, написал программу для телепортатора, который стоит на моем летающем доме. В общем -- болото.

Фоном думаю о сюжете игры. Творчество, все-таки необходимая вещь. Кстати, а пример http://rgb.yandex доказывает, что и ретро живо!

Твои заметки читаю, но в основном именно в режиме пассивного чтения. Сугубо для успокоения нервной системы.
Peter to vit01 (2019-12-15 14:32:32) [ссылка]

Перекличка

Hey All

Кто остался живой? Кто всё ещё читает секточку и может поделиться новостями из своей жизни?
Ping!

Тем временем, у моего странного бложика таки набрался свой недодесяток читателей. Только от "сектантов" так и не было никакого фидбека по содержанию постов. Может быть, есть что ответить/спросить или есть чего своего рассказать?
+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM
vit01 to All (2019-12-15 08:04:37) [ссылка]

За жизнь: на дно и снова ввысь

За эту и предыдущую неделю в моей жизни произошли некоторые изменения, которые вдобавок к обычному каждодневному стрессу вконец подорвали эмоциональное здоровье. Но всё плохое рано или поздно заканчивается.

## Что случилось

Не могу в точности сказать, что случилось, это личная информация. Могу сказать, что не заладилось общение с кое-какими людьми, которых считал для себя важными. Просто столкнулся с безразличием, нежеланием разговаривать и непониманием. И это оказалось последней каплей, что довело до срыва.

Сейчас уже не печалюсь особо, но пересмотрел свои приоритеты в общении.

## Спасибо всем

Всё-таки есть люди, которые проявили отзывчивость и поддержку и сделали всё возможное, чтобы поставить меня на ноги и быть рядом. Спасибо, что вы есть.

// warning: понятина
[https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/2uh3HiAxWOqLC6GjORcr]( https://www.deviantart.com/light262/art/Twilight-Sparkle-tenderness-by-Light-760191446 )

Хотя, наверное, чтобы эффективно бороться со своими приступами тревоги и одиночества, имеет смысл обратиться к специалистам. Как только поднакоплю деньги, имеет смысл что-то начать делать в этом направлении.

## Что было сложного

В ночь перед средой толком не спал, так как надо было делать домашку по теории вероятностей. Но оказалось, что совсем не то, что надо, и надо будет досдавать. Однако, для понимания это всё равно было полезно.

В четверг был очередной напряжный день с беготнёй в ИСЗФ.

В ночь с четверга-пятницу тоже плохо спал, потому что надо было делать домашку по атомной физике. Так её тоже и не сделал, только половину решил, буду ко вторнику досдавать.

Сегодня планирую лечь пораньше спать, чтобы восстановить режим

## По Солнцу

Решил приступить к составлению широкой выборки данных с Нобеямы за 20 лет наблюдений, уже по картинке через каждые 40 минут. Это чтобы увеличить точность поиска и подцепить больше кандидатов на гирорезонанс.

Сначала скачивание шло ужасно медленно. Но потом мы помозговали с Сергеем, и выяснилось, что если скачивать параллельно все 12 месяцев разом, то загрузка идёт гораздо шустрее.

Ещё в этот раз все файлы раскидываются аккуратно по каталогам. И требуется переработать достаточно кода, чтобы подцеплять корреляционные кривые и делать фильтрацию именно по нескольким картинкам, а не по одной. Но ничего страшного, думаю, к среде успею что-то наваять и даже скачать большую часть данных. Годовая выборка скачивается примерно за несколько часов.

Ещё думаю переработать код для построения видео, но это уже позднее. Предстоит большая работа по рефакторингу, выносу кода в отдельные модули и по чистке костылей.

Параллелизм - это магия, нужно больше распараллеливания. Жаль, что мне пока нечего толком показать, но скоро будет.

## Лекция Игоря Иванова

В среду и в четверг к нам приезжал из Португалии физик Игорь Иванов, который делал лекцию для теоретиков про многохиггсовские дублетные модели (там было всё хард, и на этой лекции я не был, так как по времени не получалось) и лекцию для всех желающих про текущее состояние физики элементарных частиц на 2019 год.

Думаю, некоторым будет интересно почитать блог Игоря на Элементах: https://elementy.ru/novosti_nauki/t/261885/Igor_Ivanov

А вот тут слайды к лекциям. Некоторым я скидывал уже их, но не всем (так что пусть будет):

Загружаю в Nextcloud, так как в файлоэху не вышло: https://alicorn.tk/dashie/s/M8SHg4GYioS7DZ9

#### Красивый скрин из LaTeX презентации в качестве превьюшки

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/hB2X7AeqhoVqhwbLimzq

Рассказывая кратко:

* Физика, конечно же, развивается, хотя ничего прорывного пока не открыли
* Уточнили радиус протона, продолжают эксперименты по выяснению масс нейтрино
* Есть предпосылки к выявлению расхождений со Стандартной Моделью (вроде слома симметрий), но пока набирают данные и всё пилят
* CERN распланировал задачи для коллайдера до 2038 года, планы для ещё не построенного коллайдера продумывают аж до 2090 года.
* В физике элементарных частиц нужны специалисты по физике конденсированного состояния (в том числе по сверхпроводимости), чтобы создавать мощные магниты.
* сейчас в CERN большой спрос на твёрдотельщиков для строительства нового оборудования, а не на тех людей, которые будут проводить сами эксперименты.
* в ускорителях частиц пробуют применять плазменный механизм ускорения, который позволит разгонять электроны до невиданных ранее скоростей
* Японцы так и не хотят строить свой ускоритель частиц. Но ожидается что-то интересное от Китая, который, ни с кем не кооперируясь, чё-то вот-вот построит

Этот пост в блоге: https://blog.alicorn.tk/posts/za-zhizn-1.html
vit01 to All (2019-12-13 14:09:11) [ссылка]

Re: Халява, сэр!

Ответ на сообщение
btimofeev>> На gog.com бесплатно раздают Wasteland 2
AL> Уже взял, но ещё не смотрел. Я правильно понимаю, что русской локализации в этой версии нет? :)
На странице с игрой написано, что есть. Сам я тоже не играл.
btimofeev to Andrew Lobanov (2019-12-13 13:43:20) [ссылка]

Re: Халява, сэр!

Ответ на сообщение
btimofeev> На gog.com бесплатно раздают Wasteland 2
Уже взял, но ещё не смотрел. Я правильно понимаю, что русской локализации в этой версии нет? :)
Andrew Lobanov to btimofeev (2019-12-13 08:54:31) [ссылка]

Re: Халява, сэр!

Ответ на сообщение
На gog.com бесплатно раздают Wasteland 2
btimofeev to all (2019-12-11 17:42:42) [ссылка]

Солнце: после анализа магнитных полей

Для тех, кто не в теме, см. [предыдущий пост]( https://blog.alicorn.tk/posts/the-beginning-sun.html )

Или ii://IzGmvDeL4y4Nz3R5We5F

## Список Окамото

Те события, которые я нашёл в рамках фильтрации, могли пересекаться со списком из работы японца Окамото, который делал обзор на самые сильные магнитные поля у Солнца. В списке 30 событий, для которых я также построил видео, выбрал интересные (кандидаты в гирорезонанс) и нашёл парочку пересечений по датам с теми событиями, которые сам искал.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/HTaI3WWSeY01ngvxTlpw

Источник: http://www.ioffe.ru/LEA/SF_AR/files/Sunspot_Webinar.pdf

После анализа магнитных полей со списка Окамото и с моего списка выяснилось, что бывает 2 характерных типа графиков магнитных полей для кандидатов в гирорезонанс.

#### Первый: дёргающееся магнитное поле

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/cGgY1asqAYK6Dn0A1HeM

#### Второй: стабильно держится, потом идёт вверх

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/zB9oWcYENCvUODtwILsh

С чем всё это связано, ещё предстоит выяснить.

## Трудности с магнитограммами

Казалось бы, взять данные, получить их и начать сразу же обрабатывать - это достаточно несложно, однако, и тут есть свои палки в колёсах.

#### Скачивание

Косяки со скачиванием данных как таковых начались ещё с картинок с Нобеямы. И главная проблема состояла в низкой скорости, которая была в районе нескольких десятков килобайт в секунду. И если мы хотим скачать сырые данные, то нужно ещё тщательно разбираться с именами файлов, чтобы скачать нужное и не скачать ненужное. Качаем через ftp по wget.

#### API и веб-интерфейс

Магнитограммы SDO можно скачивать через питоновское API библиотеку sunpy, либо через их крайне неудобный веб-интерфейс на сайте. Только вот если в выбранном временном интервале встречались битые файлы, то через API было невозможно ничего скачать. И приходилось смотреть на сайте, где косяк, затем качать с сайта.

Магнитограммы Hinode можно было качать исключительно с их сайта, причём даже не архивами по дням, а отдельно по одной картинке. Крайне монотонное и утомительное дело. Я мог бы написать скрипт, но там работает особая система авторизации с установкой сессионных кук, поэтому до скрипта не дошли руки.

#### Чебурнет наступает

В процессе скачивания магнитограмм (тоже с низкими скоростями) надоело долго ждать, и Сергей обратился к админам, которые заведуют сетью ИСЗФ. Выяснилось, что замедление доступа к японским и американским серверам происходит из-за корявого оборудования DPI, которым заведует Роскомпозор. **FUCK RKN!**

И самое забавное, что в некоторые моменты оборудование для анализа пакетов (DPI) глючило и выходило из строя, из-за чего скорость скачивания резко подскакивала больше чем в 10 раз.

#### Артефакты и испорченные данные

На всех магнитограммах присутствуют порченные пиксели. Из-за чего пришлось усомниться даже в некоторых результатах, который представил Окамото, потому что области с высоким полем слишком маленькие.

Чётко видны яркие хреновины, но они либо окружены глюками, либо маленькие и размерами всего несколько пикселей. Примеры ниже с магнитограмм Hinode.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/sbnzInXYKw84WOREP5NL

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/NCuFw6kN381IvW8kl8MS

В моей работе мы избавляемся от косячных пикселей с помощью [медианного фильтра]( https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D0%B4%D0%B8%D0%B0%D0%BD%D0%BD%D1%8B%D0%B9_%D1%84%D0%B8%D0%BB%D1%8C%D1%82%D1%80 ) с ядром 3х3.

#### Различия между Hinode и SDO

Магнитограммы SDO доступны каждые 12 минут. Однако, у картинок достаточно низкое угловое разрешение и на больших магнитных полях показания часто зашкаливают.

Магнитограммы Hinode более качественные, однако они доступны гораздо реже, всего десяток изображений в день. В некоторые дни их вообще нет.

SDO снимает весь диск Солнца, Hinode - только некоторые активные области.

## Нужны ещё данные

В моём способе начальной фильтрации для кандидатов в гирорезонанс есть проблема, из-за которой можно пропустить интересные события. Так как отсев делается только на основе единственной картинки за весь день наблюдения, то есть большая вероятность, что именно на это конкретное время придётся солнечная вспышка, и событие "пролетает" мимо.

По-хорошему, надо было бы делать штук 10 изображений для каждого дня и смотреть уже сразу по нескольким. Таким образом больше шансов захватить какие-то хорошие дни.

Скачиванием остальных картинок с Нобеямского радиотелескопа для 17 и 34 ГГц я и буду заниматься в ближайшее время.

### Снижаем порог поиска?

Кроме этого можно подкорректировать порог поиска по яркостной температуре, т.к. сейчас он стоит на 150 000 К, хотя можно было бы поставить 50 000 или 100 000. Отработка другого порога фильтрации тоже стоит в моём плане.

Этот пост в блоге: https://blog.alicorn.tk/posts/posle-analiza-magnitnykh-polei.html
vit01 to All (2019-12-06 18:44:08) [ссылка]

Re: Спецкурс по ионосфере

Ответ на сообщение
Дополнение по радару некогерентного рассеяния (был вопрос от читателя):

Почему же военное оборудование отдали учёным? Нам рассказывали, что из-за находящихся рядом Саянских гор на радар поступает много помех, поэтому соотношение сигнал/шум очень маленькое. По мере развития технологий этот факт мог сделать установку непригодной для военных целей, но учёные всё ещё могут доставать полезную инфу, проделав больше измерений и подкопив статистику (это мои личные догадки).
vit01 to vit01 (2019-12-06 09:11:39) [ссылка]

Re: Блоггинг, за жизнь и форматы данных

Ответ на сообщение
>> В общем, за пределами текстового видеорежима 80х25 или 80х50 оно выглядит неудобно.
Difrex> Но ты же код не пишешь в 200 символов на строку.
Код имеет совсем другие критерии в сравнении с обычным текстом. В стихах тоже есть принудительные переносы внутри строфы, но это не значит, что и в обычном тексте их нужно делать.
>> На широких окнах будет узкая колонка текста.
Difrex> Если зайти, например, на idec.spline-online.tk, то там мы увидем ограничение ширины для удобства чтения постов, как раз узкая колонка текста :).
Difrex> Проблема в том, что вот этот вот подход с не расстановкой переносов работает для печати или для известной ширины.
Всё так.
Difrex> Когда у тебя нет ограничения по ширине оно выглядит не особо удобным. Цезий на fullhd https://images.lessmore.pw/media/images/2019-12-05_314-18-33.png.
Difrex> Неудобно читать такие длинные строки.
Это недостаток цезия, КМК, а не текста. В новом цезии, который я тут в свободное время пописываю, я собираюсь предусмотреть возможность изменения ширины текста, а не шпарить его всегда на всю ширину терминала.
>> Добавь просто в хук на читалку включение автопереноса и всего делов :)
Difrex> Добавил.
В общем, моя позиция в этом вопросе такова: представлением текста должна заниматься программа, которая этот текст отображает, а не автор текста или программа, с помощью которого автор этот текст пишет. Принудительные переносы так же, как и их отсутствие, могут плохо выглядеть, если заранее неизвестна ширина области отображения текста.

Конечно, каждый волен писать текст так, как он хочет. Стандартизировать это не имеет смысла. Просто в случае отсутствия принудительных переносов строки проблему неудобоваримого отображения можно решить на клиентской стороне, а в случае их присутствия проблема заметно усложняется и становится нерешаемая без анализатора, который бы эти лишние переносы удалял перед рендером.
Andrew Lobanov to Difrex (2019-12-06 06:23:32) [ссылка]

Спецкурс по ионосфере

Каждый четверг (а ранее - понедельник) у меня достаточно тяжёлый день, потому что занятия в университете длятся с 11-50 до 15-20, и сразу же к 15-45 нужно бежать на остановку и приезжать на другой берег Ангары в Институт солнечно-земной физики на ионосферный практикум, где сидеть часов до шести.

Эти занятия есть у всей подгруппы космофизиков, к которым я отношусь, и на них нам обзорно рассказывают про средства изучения земной ионосферы, в том числе дают поработать с данными. Для каждого прибора приходит рассказывать свой человек (не все, правда, хорошо объясняют), проводит теоретическую и практическую части.

Цель отслеживания ионосферы - это, во-первых, определение последствий и этапов прохождения магнитных бурь, которые влияют на земную электронику и не только. Во-вторых, ионосфера важна для дальней радиосвязи, поэтому имеет смысл постоянно её мониторить. А ещё, что достаточно удивительно, конфигурация ионосферы меняется за некоторое время до и после начала землетрясений.

А теперь расскажу о том, что мы уже прошли

### GNSS

Средство пассивного наблюдения за ионосферой, относительно дешёвое. Представляют собой высокочувствительные GPS-приёмники, которые отслеживают прохождение спутников над ионосферой и, зная реальное расстояние от себя до спутника, измеряют временные задержки передачи GPS-сигнала.

Позволяют определять полную электронную концентрацию и разные виды ионосферных возмущений.

В Иркутске стоит несколько GNSS-приёмников, один прямо на крыше ИСЗФ.

#### Расположение GNSS-приёмников в разных полушариях

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/4ozJu5IXOVakC4FJUZG1

#### Колебания полной электронной концентрации в течение года

Разные кривые отвечают за разные периоды усреднения, насколько помню. По иксу - часы, начиная от января. По игреку - какие-то попугаи.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/2pBhZhHOZnfhlL4uz7f4

### Ионозонды

Антенны (передающая + принимающая), стоящие на земле, отсылающие сигнал вверх в ионосферу (сканируя диапазоны в десятки мегагерц) и принимающие свои сигналы обратно.

Дают возможность определять полную электронную концентрацию на разных высотах благодаря тому, что разные слои ионосферы отражают сигнал на разных частотах. Также даёт определить расположение слоёв ионосферы относительно друг друга и узнать их зависимость от высоты.

Главный минус вектикального зондирования в том, что можно определить только то, что происходит в нижней части ионосферы. Плюс ещё неустойчивость помех, поэтому ионограммы приходится часто обрабатывать вручную.

#### Пример ионограммы с отмеченными вручную слоями ионосферы и высчитанным профилем электронной концентрации

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/9WoG3xgcqcuzgrj6UrbH

Красная - это обыкновенная, зелёный - необыкновенная волны. Появление необыкновенной волны связано с тем, что в ионосфере присутствует двойное лучепреломление. В этом плане ионосфера ведёт себя немного как кристалл.

А дублирование сигнала сверху - последствие его многократного отражения.

### Радары некогерентного рассеяния

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/Io3qOuNbfb6So5T8GaAl

[Недалеко от Иркутска]( http://ru.iszf.irk.ru/%D0%98%D1%80%D0%BA%D1%83%D1%82%D1%81%D0%BA%D0%B8%D0%B9_%D1%80%D0%B0%D0%B4%D0%B0%D1%80_%D0%BD%D0%B5%D0%BA%D0%BE%D0%B3%D0%B5%D1%80%D0%B5%D0%BD%D1%82%D0%BD%D0%BE%D0%B3%D0%BE_%D1%80%D0%B0%D1%81%D1%81%D0%B5%D1%8F%D0%BD%D0%B8%D1%8F ) есть свой радар некогерентного рассеяния, который был переоборудован с военного радара для научных целей.

Данный прибор позволяет сканировать всю ионосферу целиком, а также определять параметры вроде температуры плазмы, которые фиг узнаешь от других приборов. Ещё имеет достаточно большое покрытие по площади. Однако, радар - это штука, потребляющая очень-очень много энергии, и крайне дорогая. Работает на более высоких частотах, нежели ионозонд (уже сотни мегагерц).

Профиль мощности сигнала для радара представляет собой колеблющуюся кривую (напоминающую интерференционную картину) из-за [эффекта Фарадея]( https://ru.wikipedia.org/wiki/%D0%AD%D1%84%D1%84%D0%B5%D0%BA%D1%82_%D0%A4%D0%B0%D1%80%D0%B0%D0%B4%D0%B5%D1%8F ), поскольку установка принимает только сигнал в одной конкретной поляризации.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/lYVf71yMd94HszBbzTAl

Мы на практике не делали ничего особенного, только методом сеток пробовали подгонять теоретическую кривую под экспериментальную.

### Оптические наблюдения атмосферы

Оказывается, наблюдение полярных сияний и сияний в средних широтах (которые имеют красноватый оттенок и представляют собой свечение кислорода) тоже могут рассказать интересные вещи о том, что происходит там, наверху, на нескольких сотнях километров и выше.

На астрофизической обсерватории Торы https://atmos.iszf.irk.ru/ru/observatory имеются особые камеры, которые позволяют фиксировать слабое свечение неба в периоды геомагнитных бурь и не только.

#### RGB-распределение яркостей по небу

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/HJprNuLRSn3wDhL2bvJF

## Что потом

В самом конце практикума нас разделят по командам, и мы, используя данные со всех приборов выше, должны будем проанализировать определённую магнитную бурю в какой-то день, сделать расчёты и выводы по теме.

Этот пост в блоге: https://blog.alicorn.tk/posts/pro-ionosferu.html
vit01 to All (2019-12-05 17:25:28) [ссылка]
← →