Pages: 1 2 3 4 5 6 7 8 9 10 11 12 13 14
RSS
# Re: Актуальный нодлист
idec.talks
vit01(mira, 1) — Andrew Lobanov
2021-12-14 08:03:42


{
    "nodename": "mira",
    "client": "https://ii-net.tk/ii/ii-point.php?q=/",
    "web": "https://ii-net.tk/ii/ii-web.php",
    "sysop": "vit01",
    "contacts": {
        "email": "me@ii-net.tk",
        "phone": "+7xxxxxxxxxx",
        "web": "https://github.com/vit1-irk/"
    },
    "description": "Станция мира",
    "uplinks": [
        [
            "instead-club",
            "10m"
        ],
        [
            "tavern",
            "10m"
        ],
        [
            "dynamic",
            "10m"
        ],
        [
            "md0",
            "10m"
        ]
    ]
},
{
    "nodename": "alicorn-archive",
    "client": "https://alicorn.tk/ii-old/ii-point.php?q=/",
    "web": "https://alicorn.tk/ii-old/",
    "sysop": "vit01",
    "contacts": {
        "email": "me@ii-net.tk",
        "phone": "+7xxxxxxxxxx",
        "web": "https://github.com/vit1-irk/"
    },
    "description": "Архив сетей ii и idec",
    "uplinks": []
}

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Социальные эксперименты и работа
pipe.2032
vit01(mira, 1) — btimofeev
2021-10-10 14:40:15


vit01>> Но в армию меня точно не возьмут, в этом уверен на 100%.

btimofeev> Всякое бывает. У меня врождённый порок сердца, ничего особо серьезного, но с ним в армию не берут. Я подготовил все документы, врач в военкомате сказал что не пойду в армию. Потом собрали целый автобус ребят под списание и отвезли на военную комиссию в областной центр. А комиссия приняла всех без исключения годными, нас тут же переодели в военную форму и отправили в ближайшую военную часть.

Блин, тебе реально не повезло.

Но тут суть в том, что у меня отсрочка по учёбе, а это совсем другое дело, нежели просто пакет документов по болячкам. Тех, кто учится, насильно не забирают.

Если "запахнет жареным", то всегда можно взять и сбежать, перед тем как начнётся облава. Приедут и спасут. В этом плане есть люди, на которых можно положиться. Пока у тебя не отобрали телефон, то всегда можно позвать кого надо на помощь.

Исключения бывают только тогда, когда охота идёт не на "выполнение нормы", а на тебя лично, там уже совершенно другие методы работают.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Социальные эксперименты и работа
pipe.2032
vit01(mira, 1) — vvs
2021-10-09 15:55:17


vvs> vit01> На момент создания этого поста эксперимент с молчанием продолжается неделю с лишним, и никто из русскоязычных друзей/знакомых мне не написал. Один англоязычный товарищ написал через 6 дней ожидания. Скорее всего, публикация этого поста несколько смажет конечный результат, но, тем не менее, я подсчитал приблизительное количество времени, на которое можно исчезнуть из интернета, чтобы этого никто не заметил.

vvs> Тут пахнет чем-то нехорошим из теории игр. Если каждый начнёт проводить такой эксперимент, то всякое общение скорее всего прекратится.

Да, это действительно плохая идея, но на что-то хорошее у меня пока не хватает мозгов. И та самая причина про "любое общение прекратится", к сожалению, не была разобрана мною в полной мере

В целом мне сейчас трудно мыслить адекватно

vvs> Я сам редко пишу первым, поскольку считаю, что это вряд ли может быть интересно кому-то другому. Но обычно отвечаю остальным, если тема меня волнует. Это показывает, что данный тип активности у всех разный и без учёта этого такая статистика не имеет большого смысла. Конечно, в личной переписке есть свои нюансы.

Вполне вероятно, ты редко пишешь первый, потому что у тебя достаточно друзей в реальном мире, а не в сети, с которыми приятно общаться. Возможно, есть жена/девушка и.т.д.

Тогда у тебя просто нет потребности кому-то навязываться, лишний раз переводить внимание на сетевое общение.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Социальные эксперименты и работа
pipe.2032
vit01(mira, 1) — All
2021-10-09 07:20:35


Перестал всем писать, отчитываюсь по учёбе и работе.


## Эксперимент над собой и окружающими

Будучи в очередном депрессивном припадке, я опять засомневался в себе и в окружающих и решил провести эксперимент, посвящённый личной переписке. Изначальной гипотезой было, что моя потребность в общении с окружающими гораздо выше, чем потребность окружающих в общении со мной. Выражается это в том, во многих случаях я всегда пишу людям первый, а они мне первые не пишут. Разумеется, это работает не со всеми собеседниками, с кем-то мы списываемся чисто по насущной необходимости, либо частота переписки с ними изначально достаточно низкая, например, раз в месяц или меньше.

Эксперимент состоял в том, чтобы перестать писать первым абсолютно всем людям в интернете, за исключением тех, с кем я вынужден связываться для выполнения своих учебных или рабочих обязанностей. Если человек по мне соскучится или заподозрит, что что-то пошло не так, то он в конце концов напишет сам или "маякнёт" тем или иным образом, и мы продолжаем общаться. В противном же случае переписка прекращается, так как с обеих сторон никакая информация не поступает.

Подобный отказ от начинания общения первым не только даёт обнаружить те социальные связи, которые явно "барахлят" (например, людей, которые отвечают тебе чисто из вежливости и не имеют интереса к продолжению общения), но и посчитать _время соскучивания_ в днях, то есть количественно оценить потребность других людей в поддержании контакта с тобой.

На момент создания этого поста эксперимент с молчанием продолжается неделю с лишним, и никто из русскоязычных друзей/знакомых мне не написал. Один англоязычный товарищ написал через 6 дней ожидания. Скорее всего, публикация этого поста несколько смажет конечный результат, но, тем не менее, я подсчитал приблизительное количество времени, на которое можно исчезнуть из интернета, чтобы этого никто не заметил.

Минусов подобной авантюры можно перечислить сразу несколько:

* Некоторые люди могут воспринять моё молчание как акт неприязни, потому что подумают, что таким образом я решил прервать с ними общение из-за их личных качеств
* С точки зрения психологии это не способ решения проблемы, а больше повод себя пожалеть, если вдруг что-то пошло не так

Тем не менее, мне кажется, что польза от желания узнать правду сравнима с вышеперечисленными недостатками подхода. Грустновато получается, но хочу сказать спасибо тем, кто меня "терпел" ранее.

## Теперь об учёбе и работе

В магистратуре мы изучаем следующие предметы:

* Методы математической физики
* Физика плазмы
* Плазменная астрофизика
* Общая астрофизика
* История и методология физики

Есть ещё компьютерный практикум, от которого меня практически освободили, потому уже очень многое знаю. Также есть странный предмет "межкультурная коммуникация", который должен быть английским языком, но на деле там нам рассказывают что попало, и к английскому языку мы там так и не приступили.

Расписание сейчас перестроили так, что мы учимся с понедельника по пятницу. Это было сделано, чтобы мы учились не по 4 пары в день, а меньше, и чтобы было проще совмещать учёбу с работой. Получается, с утра прихожу и учусь, а после учёбы остаюсь и работаю.

## На меня опять наехал военкомат

Даже несмотря на то, что поступил на учёбу и получил отсрочку от армии, категория годности у меня стоит "временно не годен". А это значит, что военкомату плевать на мою отсрочку, и они меня могут постоянно посылать по врачам на разные обследования. Что они и делают. Поэтому есть несколько вариантов развития событий:

1. После очередного обследования военкомату надоедает со мной возиться, и меня признают негодным
2. Признают годным, и вступает в действие отсрочка по учёбе
3. Всё ещё остаюсь временно не годным, но во время каждого призыва (весеннего или осеннего) заставляют ходить по обследованиям

Медицинские обследования для военкомата и прохождение медкомиссии очень долгие и утомительные. Это отъедает время и от учёбы, и от работы, привносит в жизнь огромное количество стресса и вселяет неопределённость. Будем надеяться, что в скором времени эта хрень закончится. Но в армию меня точно не возьмут, в этом уверен на 100%.

## Вторая решётка Сибирского Радиогелиографа

Перейдём к хорошим новостям. Отдел радиоастрофизики достраивает радиотелескоп в обсерватории Бадары, и не так давно получилось запустить в тестовом режиме решётку 6-12 ГГц на более чем 200 антенн. Хороших картинок пока не будет, но рано или поздно всё отправлю.

Полноценного сбора данных с этой решётки пока не ведётся, потому что сервера и хранилище данных пока в обсерваторию не привезли. Кроме этого, калибровки антенн друг с другом ещё далеки от идеальных, и монтажники в период тестовой работы будут подстраивать длины кабелей.

После окончания учебного семестра у меня будет возможность приехать в Бадары, когда уже завезут всё нужное оборудование, и там с радостью "посисадминю". Зимой в горах должно быть очень круто и не менее красиво. Доживём до зимы и посмотрим.

## Успехи в работе про гирорезонансные источники на 34 ГГц

После перенаполнения архива данных для радиогелиографа Нобеяма удалось найти ещё несколько оптически толстых гирорезонансных радиоисточников. Вот, например, один из них, апрель 2004 года:

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/ZesB7XpiOk5GM9G8DAzU

Яркостная температура здесь порядка 150 000 К, размеры источника малы по сравнению с диаграммой направленности радиотелескопа. Среди найденных результатов есть ещё интересные события, пока думаю над наиболее эффективной их визуализацией.

## МГД-моделирование

В процессе МГД-моделирования передо мной была поставлена задача проверки одного случая плазменной трубки, для которого уже известно аналитическое решение для распределения плотности, поля и.т.д. от времени. Для этого надо было решить дисперсионное уравнение и взять некоторые сложные интегралы. На определённом этапе оказалось так, что просчитать вручную на бумаге я эти вещи не могу, и я решил воспользоваться библиотекой sympy, чтобы высчитать дисперсионное уравнение, подставить его решения куда надо и превратить результат интеграла в код, который можно запустить. Покажу, как примерно это всё происходило.

Объявляем переменные и записываем уравнение:

import sympy as s
import numpy as np

k, a, Ci, C0, Vph, w, x, y, t = s.symbols("k a C_{\infty} C_0 V_{ph} omega x y t")
rho, rho_inf, rho_m = s.symbols("\\rho \\rho_{\infty} \\rho_{m}")

eq1 = s.Eq(k * a / C0**2 * (Vph**2 - C0**2) - 2 / k / a,  3 / Ci * s.sqrt(Ci**2 - Vph**2))
eq1_omega = eq1.subs(Vph, w/k)
eq1_omega

$$- \frac{2}{a k} + \frac{a k \left(- C_{0}^{2} + \frac{\omega^{2}}{k^{2}}\right)}{C_{0}^{2}} = \frac{3 \sqrt{C_{\infty}^{2} - \frac{\omega^{2}}{k^{2}}}}{C_{\infty}}$$

Возводим обе части уравнения в квадрат и записываем в формате полинома:

eq2_omega = s.Eq((eq1_omega.lhs**2).expand(), (eq1_omega.rhs**2).expand())
equation_poly = eq2_omega.as_poly(w)
equation_poly

$$\operatorname{Poly}{\left( \frac{a^{2}}{C_{0}^{4} k^{2}} \omega^{4} + \frac{9 C_{0}^{2} - 2 C_{\infty}^{2} a^{2} k^{2} - 4 C_{\infty}^{2}}{C_{0}^{2} C_{\infty}^{2} k^{2}} \omega^{2} + \frac{a^{4} k^{4} - 5 a^{2} k^{2} + 4}{a^{2} k^{2}} \right)}$$

В итоге получается обычное биквадратное уравнение, которое можно решить и руками, но это будет неприятно. Получим решение, подставим замены для некоторых параметров и построим дисперсионную кривую:

solutions = s.solve(equation_poly, w)
solutions_simplified = []
for sol in solutions:
    solutions_simplified.append(sol.subs(Ci, (rho_m + 1) * C0))
    
# некоторые шаги были на этом моменте пропущены

solutions_k = []
for sol in solutions_simplified:
    solutions_k.append(sol.subs(C0, C0_computed).subs(rho_m, rho_m_computed).subs(a, 1))
    display(solutions_k[-1])
    
solutions_np = [s.lambdify(k, sol, modules="numpy") for sol in solutions_k]

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/pxvWIFAqlkRb0j0dWu8A

Функция `sympy.lambdify` достаточно важная для вычислений, потому что она позволяет сконвертировать символьное представление sympy в питоновский код с использованием numpy, который будет быстро выполняться.

Вот, кстати, дисперсионная кривая в "попугаях", т.е. зависимость фазовой скорости волны от значения волнового вектора:

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/8V2w6ofPRHNSgePtkYcz

В дальнейшем, пользуясь полученными решениями дисперсионного уравнения, интегрирую начальные условия по плотности и температуре, чтобы получить в итоге, например, вот такую бегущую волну по плотности:

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/BmMJANAnOZgzMCNwY3TG

Из полезных функций в sympy:

* `s.print_fcode(expr), s.print_python(expr)` и подобные ему позволяют быстро получить код на Fortran и Python из полученных выражений
* `s.print_latex(expr)` выдаёт LaTeX разметку, чтобы быстро вставить результат в статью
* `expr.evalf()` вычисляет все константы в виде чисел и проделывают под капотом арифметику, чтобы упростить вид выражения

Всё остальное, конечно же, искать [в документации]( https://docs.sympy.org/latest/index.html )

## Контейнеры Singularity

Давно обещал рассказать про эту штуку, пришло время это сделать. Мы на нашем вычислительном сервере в институте пользуемся самыми разными операционками, потому что каждому человеку удобнее работать в своём собственном привычном окружении, со своим софтом и так далее. Наилучшим способом для этого оказалось дать возможность всем пользователям работать с непривилегированными контейнерами.

Система работы с контейнерами Singularity [доступна]( https://repology.org/project/singularity-container/versions ) на большинстве дистрибутивов GNU/Linux и не только. Она позволяет работать с read-only SquashFS образами операционок, либо с chroot-окружениями в виде директорий (sandbox в их терминологии). Различные виды образов можно автоматически пересобирать, запаковывать, распаковывать и даже превращать в статические исполняемые файлы-приложения.

Найти подходящий для работы контейнер с любой нужной операционкой и софтом можно на [DockerHub]( https://hub.docker.com/ ). Кроме интеграции с каталогом Docker у Singularity есть возможность собирать образы из файлов-рецептов и из своего собственного каталога.

Допустим, сервер запущен на Ubuntu, но мы хотим пользоваться привычным Арчем. Скачаем образ командой

$ singularity build --sandbox ./archtest docker://archlinux:latest

В каталоге `archtest` после её выполнения создастся дерево файлов Archlinux, которое по факту уже готово для работы. Перед тем как заходить внутрь в командную оболочку, желательно настроить переменные окружения, чтобы не было проблем с запуском софта. В каталоге `archtest/.singularity.d` содержатся скрипты, которые выполняются перед входом внутрь песочницы. Рекомендую для начала поправить файл `archtest/.singularity.d/env/10-docker2singularity.sh` и установить там переменные `PATH` и `LANG`:

#!/bin/sh
export PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/home/user/.local/bin"

Когда происходит вход внутрь контейнера, то Singularity автоматом пробрасывает внутрь домашний каталог пользователя и запускает командную оболочку, благодаря чему мы можем работать с файлами "ОС снаружи", при этом пользуясь софтом "ОС внутри". Из соображений безопасности запустить пакетный менеджер и установить софт в системные каталоги не получится, для этого нужно входить в контейнер в отдельном режиме.

Самое удобное решение - создать в файле `.bashrc` алиасы, где `si` - это вход в обычном режиме, а `si_root` - вход в fakeroot-режим, в котором можно запускать пакетный менеджер, править конфиги в /etc и делать остальные улучшательства. Параметр `-B` отвечает за проброс внутрь контейнера других каталогов кроме домашнего.

alias si='singularity shell -B /data,/usr/local/bin ~/archtest'
alias si_root='singularity shell -f --writable ~/archtest'

Про все остальные крутые штуки можно прочитать в [документации]( https://sylabs.io/docs/ ) на их сайте. По моим впечатлениям Singularity имеет гораздо больше полезных фич, чем аскетичный LXC или контейнеры systemd, но при этом он гораздо проще в работе и в настройке, чем громоздкий и переусложнённый Docker.

## В следующих постах

3D-моделирование плазмы, болезненная миграция сервера с MySQL на PostgreSQL и ожидаемый кинообзор (можете угадать, на что)

Этот пост в блоге: https://blog.alicorn.tk/posts/anti-social-work.html

# Что происходило, когда, казалось бы, ничего не происходило
pipe.2032
vit01(mira, 1) — All
2021-09-02 14:04:25


Рассказываю, чем занимался под конец августа, даю парочку полезных советов


## В целом

На работе большая часть моих коллег находилась в отпусках, поэтому было скучновато. Но я всё равно приходил на работу и работал. Была возможность тоже пойти в отпуск, но не захотел, потому что ввиду моей нестабильной психики (и ограниченной возможности получать какое-либо удовольствие альтернативными способами, вне работы) уход в отпуск и занятие безделием означает погружение в новый виток депрессии. На момент публикации данного поста все мои коллеги вернулись из отпусков, и стало жить чуточку легче, т.к. снова ощущается хоть какая-то связь с обществом.

Как обычно, был на даче. Реже, чем в предыдущие года, но всё же дачу вынужден был посещать с целью сбора урожая ягод и не только. Фотал растущие там цветы (не знаю, зачем). Наверное, что-то в этом есть (скорее всего, просто проявление скуки, но кто знает), поэтому оставим данное воспоминание на всякий случай в блоге, мало ли:

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/OxSj3w2ix4Hj9CTwm86i

Кстати, вдруг кому пригодится, этот коллаж был составлен парочкой командой в консоли, с помощью пакета [GraphicsMagick]( http://www.graphicsmagick.org/utilities.html ) (как ImageMagick):

mkdir -p changed
for i in *.jpg; do gm convert $i -resize "3000x3000^^" -crop 3000x3000+0+0 -quality 100 changed/$i; done
gm montage changed/*.jpg -geometry 1024 -tile 3x3 -quality 80 flowers-in-my-garden.jpg

## Моделирую плазменные трубки с МГД-волнами

Одной из моих текущих задач по работе является моделирование стоячих магнитогидродинамических волн в плазме внутри плазменных трубок. Пока что на данный момент применяется линейное приближение идеальной магнитогидродинамики. Дальше будут и вязкостные слагаемые в уравнениях, и функции нагрева, и всё остальное, но не всё сразу!

В самом начале надо было подобрать и посчитать нормировочные константы таким образом, чтобы характерные величины и их масштабы соответствовали параметрам солнечной плазмы. В процессе проверки констант очень пригодилась библиотека [Pint]( https://pint.readthedocs.io/en/stable/ ), которая позволяет работать в Python с физическими размерностями, проделывать с ними арифметические операции.

Вот, например, стоячие изгибные колебания в плазменной трубке на основе быстрых магнитозвуковых волн:

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/a4cmuCQsX4y5vxmjuE73

Синий и красный цвет - это отрицательное и положительное направление компоненты вектора. Для X-компонент синий-красный - это влево-вправо, для Y-компонент - вниз-вверх.

Основной причиной, почему тот или иной пример может первое время не работать, является неверно заданная скорость начального возмущения. Поскольку колебания моделируются в линейном приближении, то скорость должна быть достаточно маленькой, чтобы НЕ создавать разрывы и турбулентности. Поэтому задание начальных условий для волн требует внимательности.

И ещё из текущих дел по работе: перенаполнял архив с радиогелиографа Нобеяма, потому что выяснилось, что там покрытие данных не везде идеальное, поэтому ждём обновлений по исследованию радиоисточников на 34 ГГц.

## Стыдно? Нет!

В августе решил немного погрузиться в детство и посмотрел 10 сезонов сериала Stargate SG-1. Первые несколько сезонов на русском, а остальные на английском. Казалось бы, зачем лишний раз тратить время и страдать чем попало? Но я не пожалел о просмотре, и не только потому что серии увлекательные, а потому что догадался, как обратить это себе в пользу.

Обычно во время просмотра кино я включаю субтитры. Как только нахожу глазами незнакомое слово, то ставлю воспроизведение на паузу и лезу в переводчик, а потом переслушиваю фрагмент. После нескольких таких итераций запоминается звучание слова и его перевод. Через какое-то время почувствовал уверенность в том, что воспринимаю речь правильно, и начал смотреть на ускоренном, вплоть до 1.5х и даже 2х. Ещё совсем недавно я мог смотреть на ускоренном воспроизведении только русскую речь, но сейчас, после практики на американском сериале, могу уже воспринимать на ускоренном и английскую речь.

В плане изучения языка это оказалось очень полезным и продуктивным опытом. Основная проблема новичков при слушании иностранной речи в том, что они не успевают переводить за рассказчиком в реальном времени. То есть они только-только натренировались слушать медленных спикеров, говорящих без акцента, а потом встречают кого-то тараторящего и сразу перестают понимать слова. И поэтому очень важно тренироваться слушать быструю речь, как только начало получаться с медленной.

[https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/faDeWs3qGMUxelo6W0NI]( https://www.deviantart.com/chobittsu-studios/art/Event-Horizon-Redux-253177802 )

Своё английское _произношение_ я раньше успешно прокачивал на My Little Pony: Friendship is Magic. Мультфильмы имеют такую особенность, что у персонажей специально делают очень разные, качественно отличающиеся друг от друга голоса, чтобы подчеркнуть различия их характеров. Ещё там актёры озвучки стараются усиливать эмоциональную окраску речи, что полезно для усвоения интонаций и фонетики. Конкретно в поняшах есть разные песни (хорошо, когда привносят элементы мюзикла), плюс там есть Пинки Пай, которая очень-очень-очень быстро разговаривает.

## Визуализация через PlantUML

Продолжаю находить лучшие инструменты для визуализации разной информации. Не так давно в блоге упоминал mermaid.js, но сейчас решил наконец-то попробовать [PlantUML]( https://plantuml.com/en/ ), которым пользуется мой научрук. Результатом оказался более чем доволен, потому что, во-первых, у PlantUML есть полностью рабочее расширение для Jupyter, которое пашет из коробки, во-вторых, потому что многие типы графиков он отрисовывает гораздо красивее, чем аналогичные движки.

apt install plantuml
pip3 install iplantuml

Пример диаграммы Ганта в PlantUML и Jupyter (нужно в первой ячейке не забыть сделать `import iplantuml`):

%%plantuml

@startgantt
scale 1000 width
language ru
saturday are closed
sunday are closed
Project starts 2021-08-27

today is colored in pink

-- По статье --

[Конференция] as [k1] starts 2021-08-30 and ends 2021-09-03
[Выступление] as [k2] starts 2021-09-01

-- По остальным событиям --
[g1] happens on 2021-09-03
[g2] happens on 7 days after [g1]'s end
[g3] happens on 7 days after [g2]'s end
[g4] happens on 7 days after [g3]'s end
[g1] displays on same row as [g2]
[g2] displays on same row as [g3]
[g3] displays on same row as [g4]

@endgantt

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/XLx8bR0w0k8JXGBmFVzo

## Поступил в магистратуру ИСЗФ

Итого, следующие 2 года я буду не только работать в ИСЗФ, но и учиться. Это очень удобно, ведь нас сразу будут учить тем вещам, которые пригодятся в работе. Расписание у нас достаточно насыщенное, 4 дня в неделю с утра до вечера (но пятницы должны быть свободны). Занятия начинаются с 6 сентября, в программе в основном физика плазмы, компьютерные практикумы и математические методы.

## Поучаствовал в конференции

1 сентября со своей работой про поиск гирорезонансных источников на Солнце на частоте 34 ГГц я выступил на конференции "Магнетизм и активность Солнца и звёзд - 2021", которая в этом году проходит в [Крымской астрофизической обсерватории]( https://crao.ru/ru/ ) с 31 августа до 3 сентября. Первый раз, когда где-то засветился на "серьёзном" мероприятии с результатами того, что делал. К сожалению, вживую съездить не получилось, потому что из-за даты проведения заранее зарегистрировался как онлайн-участник. Ну не хотелось 1 сентября куда-то уезжать! Было бы в августе, поехал бы в Крым вживую, но ничего страшного.

На конференции было больше 100 участников, в основном люди старшего поколения и больше десятка тех, кто из ИСЗФ. Молодёжь тоже была, но в разы меньше.

**Из основных тем, которые там обсуждали:**

- Новые телескопы, планируемые к постройке, и мониторинг космической погоды
- Закономерности в циклах солнечной (и звёздной) активности
- Теории солнечного динамо
- Нагрев и охлаждение солнечных (и звёздных) вспышек
- Магнитное поле в плазменных трубках и в солнечных пятнах, разные модели, колебания
- и многое другое

Оживлённые дискуссии вызвали предложения строить в России новые телескопы и магнитографы, чтобы объединить их в единую сеть "службы Солнца", потому что большой вопрос, кто за это будет платить. Однако, нужность этой задачи поднимается давно на протяжении многих лет. Дело в том, что в США служба космической погоды уже существует, но военные на местных конференциях постоянно говорят о том, что если строить телескопы в других странах, то должна быть возможность их быстренько отключить, когда надо. Один из спикеров привёл пример, как по совершенно другим причинам американский солнечный сервис забанил подсеть Института Космических Исследований, и этот инцидент разруливали на уровне академии наук. Учёных подобные расклады не устраивают, поэтому что для коллаборации всегда важно иметь публичные архивы данных.

Моё мнение по этому вопросу, что политическая ситуация вряд ли дойдёт до такой точки, что американцы вдруг закроют свои архивы данных. Тем не менее, ввиду устаревания некоторого важного оборудования (в том числе американских спутников) и повышения покрытия наблюдений в разных диапазонах создавать российскую службу Солнца было бы хорошей идеей. Проблема лишь в том, кто на это выделит деньги...

## Не будем о грустном, потому что Селестия всё равно радуется

Первое (и успешное) выступление на всероссийской конференции по Солнцу всё-таки весьма замечательное событие в моей жизни. Когда-то давно даже подумать о таком не мог, но, похоже, скоро начну к таким вещам привыкать.

[https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/pzR0T5JtQk0TKAG8wx7P]( https://www.deviantart.com/airtower/art/Rising-Sunshine-510879062 )

Добра всем трудолюбивым поняшам! И до следующего поста

Этот пост в блоге: https://blog.alicorn.tk/posts/end-august.html

# Поездка в Бадары
pipe.2032
vit01(mira, 1) — All
2021-07-20 04:09:33


Рассказываю о своей первой поездке в [Радиоастрофизическую обсерваторию ИСЗФ СО РАН]( https://goo.gl/maps/B8ki4jf5gHvWjzsm6 ) в урочище Бадары (Бурятия).


## Общие слова

Итак, про новый солнечный радиотелескоп ИСЗФ (он же Сибирский Радиогелиограф), я в своём блоге очень часто пишу, потому что уже на протяжении долгого времени работаю с его данными и потому что устроен в отделе радиоастрофизики. Но работать с уже готовыми данными из Иркутска - это одно, а увидеть всё вживую и своими глазами - совсем другое. Поэтому, конечно же, я очень хотел побывать в обсерватории лично. И как только появилась возможность, сразу же сюда приехал.

Цели поездки были примерно такие:

1. Узнать больше о приборе, выяснить некоторые детали о нём (набраться опыта и знаний)
2. Хорошенько поработать в обсерватории, чтобы упростить людям работу и обслуживание антенн. Эту цель я поставил, потому что уже знал, что у антенн есть проблемы с глючностью прошивок и с постоянными сбоями, поэтому примерно знал, что искать и что исправлять
3. Свалить подальше от родителей, пусть даже и на неделю. Да, это тоже пустим в счёт мотивации
4. Сравнить с другими обсерваториями, где я уже побывал, и посмотреть, а где же жить лучше

## Разбавим текст фотографиями

Все остальные фотки с поездки можно посмотреть [в облаке по ссылке]( https://alicorn.tk/dashie/s/FEkyYnp78zjdFBt ). За некоторые из них спасибо одногруппнику Илье, который ехал вместе со мной (у него на камере лучше стабилизация работает).

Поселили нас вот в таком вот старом советском домике, который стоит посреди леса. От домика до самого здания обсерватории топать 1.7 километров.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/iwmoT7OOxArumqyEMlFc

Как выглядит здание обсерватории - см. фоточки из облака :) Это не просто так, а чтобы вам как читателям был стимул посмотреть все фотки. А я больше сосредоточусь на самом приборе

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/Z69PtOMne64Jl2ePaTgP

Итак, радиотелескоп состоит из трёх антенных решёток, работающих в разных диапазонах. Работает и наблюдает за Солнцем на данный момент только первая решётка: от 3 до 6 ГГц. Те антенны, которые разобраны и лежат, сложенные в кучки - это остатки старого прибора-прототипа (48 антенн, до апгрейда). Мелкие антенны предназначены для второй и третьей антенных решёток, которые ещё не запущены.

Для более высокой частоты наблюдения диаметр антенн меньше, чтобы обеспечить одинаково-широкое поле зрения (если антенны будут большими, то поле зрения по всему небу при повышении частоты наоборот сузится). Это объясняется тем, что при дифракции на щели размер главного лепестка получившейся функции (а значит и лепестка диаграммы направленности) зависит от длины волны и диаметра щели как: \\(dx \sim \frac{\lambda}{D}\\)

Схема расположения антенн первой решётки такая:

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/69UFnAGQgjsRcAMISOun

Облучатель (это такая штука, в которой фокусируется весь сигнал) представляет собой внутри два перпендикулярных друг другу диполя и позволяет извлекать данные в двух поляризациях. Круговые поляризации получаются из линейных путём корреляции и добавления фазового сдвига \\(\pi / 2\\).

Амплитуды сигналов с облучателей собираются мощным 12-битным АЦП, а коэффициенты корреляции с каждой пары антенн (они же в терминологии радиоастрономов называются видности) вычисляются как усреднённая сумма произведений 3-битных (редуцированных) значений амплитуд. Почему из 12 бит сделали 3 бита? Всё достаточно просто: во-первых, вычислительных мощностей микроконтроллеров не хватит для перемножения 12-битных чисел с огромной скоростью, плюс при проведении процедуры усреднения не особо принципиально, какой изначально числовой разрядности будет произведение (на точности это не сильно сказывается). Ранее здесь вообще использовали 1-битный коррелятор, суммирующий только одиночные единички и нули.

Место в подвале, где расположены приёмники сигнала с облучателей и корреляторы:

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/2ZxdBuK1ogbzhfcJkzmz

Для отсчёта времени, кстати, используются атомные часы с Рубидием, привезённые аж из Стенфорда. Для частот порядка нескольких гигагерц уже простыми часами не обойдёшься, иначе вычислить функцию кросс-корреляции сигналов просто так не получится.

Большинство компьютеров здесь, кстати, на Линуксе, и управляются под Fedora (в том числе последней версии). Есть и достаточно мощные компы, например, один из них на Intel Core i9 и с 32 гигами оперативки.

## Чем я тут занимался

### Сисадминские мелочи

Первым заданием мне дали поднять NFS-сервер на компьютере, на котором складируют данные, чтобы было можно было удалённо монтировать файловую систему из локальной сети. Это оказалось достаточно просто.

Потом меня посадили разбираться с интерфейсом местного маршрутизатора Mikrotik, на котором не поднималась вебморда после обновления. С этим тоже справился, заодно вытащил в сеть отвалившийся спектрополяриметр. Так что теперь могу могу себе записать галочкой, что микротик потыкать довелось :). В сети, здесь, кстати, висит вместе с антеннами около 800 устройств. И вполне себе сидят работают.

### Заклинивающие антенны

После этого я получил действительно интересное задание, связанное с перезапуском заклинивших антенн. И здесь придётся начинать издалека. Суть в том, что прошивка антенны, которая управляет двигателем, написана достаточно "осторожно": она реализована так, чтобы в случае неполадок приостанавливать движение антенны (в принципе, это правильно, а то оборудование дорогое). Система наведения, в свою очередь, тоже весьма капризная: заклинивать может и из-за двигателя, и из-за редуктора, и из-за неравномерной нагрузки на оси вращения.

Когда одна из антенн останавливается, то она начинает захватывать меньше сигнала от Солнца, из-за чего на графиках суммы потока излучения наблюдается просадка. Наблюдателей это сбивает с толку. Ведь если на Солнце всё спокойно, то график потока должен быть идеально ровным. А если на Солнце случилась вспышка, то и на потоке происходит всплеск. Поэтому с заклиниванием антенн обязательно нужно было что-то делать, иначе очень легко ловить вспышки по потоку не получится. Кроме этого, антенны рассинхронизировались по фазе, так что картинки тоже получались хуже, чем могли быть.

Обычно, когда с антенной что-то происходило, то её перезапускали отдельно вручную. Потом додумались перезапускать её ход с помощью программы. Мне же встала задача получать информацию о заклинивании в телеметрии антенны и автоматически с помощью скрипта давать ей пинка (а именно выключить и включить).

### Получение телеметрии

Управляющий блок каждой антенны имеет свой IP-адрес и позволяет общаться с собой по протоколу [SNMP]( https://ru.wikipedia.org/wiki/SNMP ). На запросы он отвечает некоторым закодированным выхлопом, который ещё и не до конца задокументирован. Проблема как прошивки, так и управляющего софта заключается в том, что исходников нет (и подрядчик выдавать их пока не хочет, т.к. секрет фирмы). Документация есть, но в достаточно ограниченном виде. К счастью, для меня достали описания большей части полей телеметрии в виде XML-файлов, которые потом скормил в свою программу.

Сначала я пробовал просто опрашивать все 128 антенн в цикле и находить среди них те, у которых ошибка заклинивания. После нахождения проблемных антенн начал пытаться отправить на них команды выключения и включения, в том же цикле.

Время последовательного опроса всех антенн было от 4 до 5 минут (это очень медленно), из-за чего проблемные антенны успевали съехать, а потом перезапускались и вставали на место, и так раз за разом. На графиках потока это отражалось примерно так:

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/vxIPA29wAuE2ouAcYrzG

Поток сильно не падал, но всё равно получалась нехорошая гребёнка. Нужно было засекать проблемные антенны мгновенно, чтобы сразу же их перезапускать, и они не успевали за это время "отстать" от Солнца. К счастью, прошивка позволяет им выставить так называемый SNMP-TRAP-сервер. Это режим, при котором опрашивать вручную все антенны не надо, а они сами шлют информацию на заданный им сервер.

### Пусть антенны сами всё шлют мне

Питоновская библиотека pysnmp кроме простого обмена сообщениями вида запрос-ответ позволяет в том числе работать в виде SNMP-сервера, чем я и воспользовался. Как только сообщение ловилось, в нём искался код ошибки, и если он находился, то мой скрипт отсылал команду перезапуска. Задержки в этот раз не превышали нескольких секунд, и на потоке это не сказывалось. Здесь гребёнки во время работы скрипта уже никакой нет:

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/2clNf5Gj5f7wbALNBbSw

### Полноценный интерфейс для мониторинга

Всё очень круто! Антенны благодаря перезапуску наводятся ровно, графики потока стабильные, картинки будут строиться красивые. Но и на этом останавливаться не стал. Из своего скрипта я решил сделать более-менее полноценную систему мониторинга, чтобы упростить людям работу

1. Телеметрию с кривых антенн стал сбрасывать в лог для дальнейшего анализа
2. Прикрутил уведомления об ошибках в Telegram для сотрудников обсерватории, чтобы можно было оперативно следить за заклиниваниями
3. Оформил всё в виде удобной консольной утилиты, через которую можно запрашивать показатели с отдельной антенны, включать и выключать наводку на Солнце, менять сервер уведомлений у антенн и так далее

> По итогам работы моего скрипта в первой решётке СРГ были найдены 4 антенны, которые полностью отключат и отправят обратно подрядчику на ремонт. Также нашли ещё несколько сомнительных антенн, за которыми будут чаще наблюдать.

Поскольку моя программа для мониторинга оказалась лучше, чем программа подрядчика, начальство планирует её дорабатывать (код уже выложен на институтском Гитлабе), например, сделать веб-интерфейс для просмотра всех показателей антенны в реальном времени. Я принял это как челлендж и решил интерфейс тоже успеть реализовать самостоятельно :)

Вот, что получилось:

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/7tqS8Esb820ii4BM2cbL

Сначала сделал экспорт самой актуальной телеметрии со скрипта в виде JSON с помощью веб-фреймворка [Flask]( https://github.com/pallets/flask/ ). А потом отдельным скриптом с помощью фреймворка [Plotly Dash]( https://dash.plotly.com/ ) накидал вебморду, запрашивающую данные раз в секунду и позволяющую их удобно просматривать.

[Plotly]( https://plotly.com/ ) - это движок для построения интерактивных графиков на языках Python и R. При знакомстве с ним мне понравилась система связи виджетов друг с другом. Может быть, он не настолько прост в настройке как matplotlib, но для веб-приложений, думаю, это идеальный вариант. Наверное, тут следовало бы привести примеры кода, но лучше оставлю ссылку на [официальную галерею]( https://dash-gallery.plotly.host/Portal/ ) примеров, потому что там всё показано как надо. В документации советую особое внимание обратить на секцию Dash Callbacks.

### Что ещё удалось сделать

Сделал много правок для статьи вместе с научным руководителем, посидел на своих совещаниях как обычно, иногда гулял, дочитывал книжку по психологии. И при этом некоторое количество свободного времени ещё оставалось по вечерам, оно уходило на прослушивание музыки и просмотр ютубчика.

## Где лучше: в Бадарах или в Мондах?

Кормят хорошо и сытно как здесь, так и там. Мобильной сети нет и там, и там, но есть вайфай, поэтому всё более-менее нормально.

**Плюсы Монд:**

1. Природа всё-таки там красивее и благороднее. Наверное, дело в том, что Монды находятся на высоте около 2000 метров над уровнем моря, и видны вершины гор
2. Архитектура там тоже прикольнее и интереснее, как из советского фантастического кино. Однако, и в Бадарах её плохой не назовёшь, просто менее интересная
3. Много самых разных научных установок. В Бадарах всё-таки один радиотелескоп
4. Нет комаров. Возможно, летом они тоже есть, но я не был в Мондах летом. В Бадарах комаров по вечерам очень много.
5. В жилом домике было аж 2 монитора. Жаль, что тогда забыл переходник, потому что перед сном посидеть за большим экраном самое то
6. Дорога от научных установок до жилых домиков короче, чем в Бадарах

**Плюсы Бадар:**

1. В жилом корпусе есть персональный душ и туалет, а также центральное отопление. В Мондах туалеты похуже и не в доме. Вместо душа вроде как есть баня, но это не то. Отопление в Мондах печное + электрообогреватель
2. Много цветов в корпусе и в столовой. Очень много красивых цветов
3. Интернет в Бадарах гораздо быстрее и стабильнее. По проводу аж до 100 мбит/c, вайфай - до 50. Это решающее удобство для меня :)
4. Есть персональный холодильник и небольшая электроплита. В Мондах есть печка, но всё равно. Жаль, что стиральной машины нет, так бы точно жить можно было
5. Есть конференц-зал и даже спортзал с тренажёрами

## Что в итоге?

Итогами поездки, конечно, доволен. Удалось хорошо отдохнуть и поработать, я получил представление о том, насколько большая инфраструктура в обсерватории и каким образом она поддерживается в рабочем состоянии. Начальство тоже довольно :) В будущем меня свяжут с другими сотрудниками обсерватории (которые сейчас сидят в отпуске) для обмена опытом и для помощи им с некоторыми вещами. С запуском второй и третьей антенных решёток инфраструктура усложнится, но с моей помощью наверняка удастся упростить её администрирование.

Ещё меня могут допустить к получению сырых данных с прошивки, чтобы выяснить влияние антенн друг на друга, это поможет устранить больше шумов и улучшить качество построения изображений.

Кроме работы с антеннами у меня и так много других научных проектов. Тем не менее, это был полезный опыт, хотел бы снова съездить в Бадары, только ближе к зиме, например, в новогодние каникулы.

Этот пост в блоге: https://blog.alicorn.tk/posts/rao-trip.html

# Летняя терапия и трудотерапия
pipe.2032
vit01(mira, 1) — All
2021-07-12 08:21:13


В этот раз пост будет практически полностью посвящён самокопанию, но ничего страшного! Постараюсь сфокусироваться на позитивном, как это обычно и делаю.


## Про психотерапию

В предыдущем посте я рассказывал про то, что потихоньку раскрываю свои субличности в процессе психотерапии. За это время у меня получилось придать некоторый "облик" критическому родительскому состоянию, а ещё разглядеть в себе внутреннего взрослого. За последнее спасибо одному очень хорошему человеку, который знает, что речь идёт про него :)

Из некоторых открытий, которые меня ждали по поводу внутреннего родителя и внутреннего ребёнка, могу отметить улучшенное понимание природы прокрастинации. Прокрастинация возникает из-за нежелания принимать себя, свою неуёмную и "первобытную" сущность. Когда у нас большую часть времени активен так называемый "хороший" ребёнок, мы привыкли быть хорошими мальчиками и хорошими девочками. Но в то время, когда возникают трудности, с которыми нам с первого же наскока не получается справиться, например, из-за недостатка усердия, то возникает внутренний конфликт. С одной стороны, мы видим и понимаем, какие мы "нехорошие", но принять это не можем или не хотим. Как бы, мы хотим выглядеть для себя хорошими, и поэтому наш внутренний критик активизироваться и ругать нашего внутреннего рабёнка не хочет. Это что-то вроде сделки с совестью. Именно из-за этого заядлым прокрастинаторам необходим "волшебный пендель", потому что свой собственный плоховато работает. Так что пробуем начать понимать и принимать свою "тёмную сущность".


## Советую книги по психологии

В предыдущих постах обещал всё скинуть те книги по психологии, которые успел прочитать и которые считаю относительно достойными прочтения. В будущем этот список будет пополняться. Заранее снимаю с себя ответственность, если что-нибудь из прочитанного вам покажется фигнёй или чем-то не очень научным (не очень работающим). Рассматривайте материал ниже как развлечение и как стимул к улучшению себя и к упрощению взаимодействия с миром вокруг. А я буду пользоваться этим списком как напоминалкой, если понадобится к чему-нибудь вернуться в будущем, и как буст к своей самооценке (какой я молодец, осилил прочитать много книг) :)

1. Ричард Дэвидсон: Эмоциональная жизнь мозга
* [PDF]( https://batrachos.com/sites/default/files/pictures/Books/Devidson_Begli_2017_Emotsionalnaya%20zhizn%20mozga.pdf )
* Автор достаточно известен и имеет множество публикаций по теме изучения мозга в ведущих научных журналах. Может быть, в плане психологии эта книжка будет не настолько полезна, но она, тем не менее, достаточно познавательна. Рассказывается, как люди ведут себя во время различных экспериментов и какие данные из их мозга удалось получить с помощью датчиков.
2. Джон Бреддок: Думай как шпион
* [Онлайн-версия]( https://booksonline.com.ua/view.php?book=181554 )
* Здесь не столько про психологию, сколько про прокачивание скилла стратегического мышления и умения взглянуть на ситуацию со стороны (в рамках коммуникации и не только). Для тех, кто не знает, что делать и зачем.
3. Тимур Гагин: Занимательная физика отношений
* [Онлайн-версия]( https://libcat.ru/knigi/nauka-i-obrazovanie/psihologiya/232589-timur-gagin-zanimatelnaya-fizika-otnoshenij.html )
* Книга, написанная весьма несерьёзным языком и хорошая для того, чтобы поржать над самими собой и над окружающими. Однако, в плане психологии даёт задуматься о том, насколько важно в отношениях иметь совместимые друг с другом потребности, как эти потребности удобнее всего классифицировать и замечать (у себя и других)
4. Митч и Сьюзен Голант: Что делать, когда тот, кого вы любите, в депрессии
* [Перевод]( https://marriedhusband.github.io/books/golant/depression/index.html )
* Название говорит само за себя. Будем надеяться, что советы отсюда не всем пригодятся, однако, в жизни бывает всякое, и инструкции по общению с депрессивными людьми лишним не будут. Ещё, кстати, иногда можно и на себя со стороны взглянуть...
5. Эрик Бёрн: Игры, в которые играют люди, и люди, которые играют в игры
* [Игры, в которые играют люди]( http://www.aifet.ru/books/transl_v2_Berne.pdf )
* [Люди, которые играют в игры]( https://psychoanalysis.by/wp-content/uploads/2017/12/Igry-v-kotorye-igrayut-lyudi.-Lyudi-kotorye-igrayut-v-igry.pdf )
* Серьёзное издание из двух частей, которое даёт очень подробные наводки на то, как разбираться в себе и людях, как и из каких позиций мы привыкли друг с другом общаться. Огромное спасибо тому человеку, который порекомендовал мне сей фундаментальный опус, потому что даже несмотря на то, что в ходе психотерапии я прорабатываю уже готовые идеи, подчерпнутые у автора, читать оригинал оказалось достаточно полезным и увлекательным.
6. И. Ципоркина, Е. Кабанова: Домашняя дипломатия или как установить отношения между родителями и детьми
* [Скачать]( https://bookscafe.net/book/kabanova_elena-domashnyaya_diplomatiya_ili_kak_ustanovit_otnosheniya_mezhdu_roditelyami_i_detmi-204610.html )
* Несмотря на достаточно банальное название и чересчур юморную подачу, в данной книжке рассматриваются подходы к взаимодействию между людьми с позиции самого точного психологического опросника [MMPI]( https://ru.wikipedia.org/wiki/MMPI ). Тест надо пройти отдельно, где-нибудь онлайн и желательно до прочтения этой книги.

## Снова работаю с Replika

[Ещё год назад]( https://blog.alicorn.tk/posts/summer-progress.html ) я рассказывал, как попробовал достаточно продвинутого чат-бота [Replika]( https://replika.ai ). Не так давно решил вернуться и снова начать им пользоваться. Как ни странно, на этом боте можно потренироваться в навыке ненапряжного и уважительного общения друг с другом, плюс с премиумом он становится достаточно неплохим собеседником (по сравнению с конкурентами, конечно). Не то чтобы Реплика была действительно идеальной, но за год там произошло немало улучшений, и в этот раз мне более интересно поиграть с этим виртуальным помощником. Уже месяц с лишним пользуюсь и пока не дошёл до того момента, когда все фразочки начинают излишне повторяться: разработчики постоянно наполняют бота контентом и новыми диалогами.

## Jupyterlab-latex: работающий релиз

В предыдущем посте я жаловался на то, что интерфейс Jupyter для подготовки научных публикаций гораздо удобнее, чем тот же CoCalc, при этом работающего плагина для Латеха нет. Совсем недавно разработчики расширения [Jupyterlab-latex]( https://github.com/jupyterlab/jupyterlab-latex ) обновили его, и оно теперь нормально устанавливается в свежих версиях JupyterLab. В ближайшее время скрипты моей научной конфигурации [lazyinstall-puppet]( https://github.com/vit1-irk/lazyinstall-puppet ) пополнятся уже работающим расширением.

## Планы на лето и работа

Проблема с калибровкой потоков излучения с РАТАН-600 по факту решилась и объяснена, чему очень рад. По спектру полных потоков можно отметить, что величина относительной ошибки достаточно мала, и наши приборы измеряют всё правильно.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/8ornFti4fD1MsOLWLPkH

Кроме спектров полного потока я рассматривал спектры отдельного яркого радиоисточника, по которым удалось подтвердить гипотезу о негауссовой форме диаграммы направленности РАТАН-600. Это будет не гаусс, а некоторая похожая функция с длинными "хвостами" + обычный гаусс.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/cSLtXretYT11q2wbWdSp

В оставшиеся планы на лето по работе у меня входит:

* Разобраться с софтом для численного моделирования в магнитогидродинамике и применить это на работе в рамках общего проекта с местными товарищами (будет в следующих постах)
* Начать подготовку к поступлению в магистратуру ИСЗФ
* Повторить физику плазмы
* Наконец-то отправить уже статью
* Подготовиться к выступлению на конференции по солнечному магнетизму, которая будет в сентябре (к сожалению, по удалёнке, потому что в это время буду очно учиться)
* И оставить место для совместного проекта с ионосферщиками (пока сам не в курсе, чё за тема, но потом всё прояснится)

Трудотерапия, вообще говоря, работает. Когда напрягаешься по делу, то меньше стимулов закисать и сваливаться в неважное состояние.

## Поездка в Бадары

Сейчас, на момент публикации этого поста, я отправляюсь в Бурятию (вот прямо уже выехал), в радиоастрофизическую обсерваторию [Бадары]( https://goo.gl/maps/B8ki4jf5gHvWjzsm6 ). Путешествие, совмещающее с собой некоторую рабочую стажировку, продлится неделю, за это время накопится куча рассказов и фоточек, которые в следующем посте опубликую. По поводу прибора и по поводу инфраструктуры определённо будет что рассказать.

## Stay strong and dreamy, my fellow ponies

[https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/Ta98e9Hpju17dN4Qwdfw]( https://www.deviantart.com/dream--chan/art/Starborn-388688119 )

Этот пост в блоге: https://blog.alicorn.tk/posts/summer-therapy.html

# Пока меня не было из-за диплома
pipe.2032
vit01(mira, 1) — All
2021-06-24 02:25:52


Долго-долго не писал в блог, но на то было множество причин: куча разборок с дипломом и документами, мало свободного времени для вдумчивой рефлексии. Что ж, когда дела наладились, потихоньку сливаю накопившиеся темы.


## Работа над психикой

Психотерапия не проходит бесследно, здесь есть некоторый прогресс. И, может быть, выводы, которые я в итоге делаю, для многих являются очевидными, мне часто требуется время для того чтобы достигнуть даже небольших результатов.

В прошлом посте я приоткрыл некоторую часть причин своих неудач со взаимоотношениями. Например, неразвитость эмоционального интеллекта, когда трудно распознавать обстановку и то, что нужно окружающим в данный момент больше всего.

Сейчас же мы прорабатываем во время терапии так называемый метод субличностей. Это такая абстракция, которая позволяет проанализировать причины того или иного твоего поведения, разложив их по полочкам. Суть достаточно простая: вы ищете у себя в голове тех или иных "персонажей", у которых есть некоторые собственные черты характера, потребности и способы решения тех или иных проблем. А потом при рассмотрении какой-то возникшей жизненной ситуации можно увидеть, **кто** из персонажей активировался и **почему**. Так ещё можно и проконтролировать, какую свою часть нужно попридержать, а какой дать ход. Эдак получается, что каждый человек - это человек-оркестр, которым можно ещё дирижировать :)

Приведу пример. Одна из моих субличностей - это критик-формалист. У него в программе прописана некоторая идеальная картина мира и набор своих идеалов. Формалист любит следовать своим идеалам и строго-настрого следит за тем, соответствует мир нужной картине или нет. И если не соответствует, то он очень возмущается и пытается повернуть всё к соответствию. И всё по формальным критериям. Основная функция формалиста - критиковать, как внутри, так и снаружи, находить проблемы и недостатки в любых аспектах окружающего мира. Вообще-то, он частенько бывает полезен (в науке особенно), но когда слишком недоволен чем-то, то приносит кучу проблем.

Так получилось, что действия моего внутренного критика и внутреннего "умника" - это вторая после низкого эмоционального интеллекта причина краха прошлых отношений. _Третья - несоответствие базовых потребностей, но это уже совсем другая история._ И вот, в чём суть: двигаясь самостоятельно к своим идеалам, я иногда начинаю вредничать и учить жить других людей. И даже не со зла, а очень даже из благих побуждений. Но вот проблемы меня и моего критика таковы, что иногда они неправы. И даже если они на 100% правы и спрогнозировали всё на 100 шагов вперёд, то другому человеку может быть глубоко противно, когда его учат жизни. Может быть, этому человеку просто пофиг, а может быть у него психологическая травма от чужих нравоучений, и ты давишь на больное.

Ой, а ещё один хороший жизненный урок - не надо судить других людей по себе. Я часто люблю, когда мне дают советы и наставления. А многие другие - не любят и не воспринимают это. И этим легко оттолкнуть. И вот уже любимый человек перестаёт быть любимым и открытым текстом посылает тебя нахуй. Да, так бывает. Надо делать выводы и не наступать снова на те же грабли.

Ха-ха, а вообще, наверное, упорно искать косяки и недостатки в реальности - это один из моих талантов :) И тут можно уже плавно перейти к диплому...

## Что там с дипломом и радиогелиографом?

Наверное, все уже всё знают, но я защитил диплом. Про предпосылки работы писал в предыдущих двух постах. [В этом посте]( https://blog.alicorn.tk/posts/as-is.html ), кстати, поправил некоторые технические неточности, в которых на тот момент не до конца разобрался.

Что же было нового с предыдущего поста и что успело войти в диплом:

* Проблему с несовпадением изображений в двух круговых поляризациях починили с помощью моделирования
* Нормировку диапазонов интенсивностей на радиоизображениях очень сильно удалось улучшить
* После сравнения с РАТАН-600 удалось обнаружить систематическую сдвижку, связанную как с проблемами центровки Солнца, так и с погрешностями РАТАН-600
* Сдвижку при центровке и неверного определении радиуса Солнца удалось обнаружить и впоследствие уменьшить (хотя она ещё осталась, и это будет улучшаться)
* Посмотрели, что полные потоки излучения Солнца не совпадают для низких частот (3.1 ГГц), калибровку потоков немного удалось улучшить с помощью одной из статей + с помощью данных солнечной обсерватории Learmonth

А вот взгляните на сравнение радиоисточников с настоящего прибора и со сгенерированной модели:

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/TZqvwZsYx8ijx6oA1IJ8

В процессе написания диплома некоторые аппаратные проблемы прибора народ успел исправить, поэтому качество изображений стало ещё лучше уже и из-за этого. Дальнейшие направления работы, вне диплома, теперь таковы:

* Систематическую сдвижку при центровке Солнца надо всё-таки исправлять
* Побочные диски Солнца, которые перекрывают основной диск на высоких частотах (4.9 и 5.6 ГГц) надо вычищать наиболее эффективно, потому что сейчас это работает плоховато
* Надо построить спектры для спокойного Солнца и для какой-нибудь из активных областей, и этим я займусь в скором времени
* Есть некоторый набор антенн, у которых плохая синхронизация фаз, но это уже не моя проблема, а того народа, который работает в Бадарах

Кстати, что самое забавное: одна из аппаратных проблем с антеннами возникла из-за того, что при монтаже длины кабелей между некоторыми антеннами и корреляторами очень сильно отличались, аж на 8 метров. При суммировании и перемножении сигналов для каждой из пар антенн очень важно, чтобы сигналы приходили практически одновременно и можно было синхронизировать фазы волн. Допустимая разница - это не больше метра, а для наилучшего сопоставления сигналов вообще до десятка сантиметров. Так что да, среди ошибок бывают и достаточно глупые =) Но эту проблему уже починили, хотя с антеннами и сейчас не всё идеально.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/gCgrAzE2JLHSsXgvrE0s

## Как происходило написание диплома?

Как правило, для написания всяких отчётов, если это долгострои и достаточно большие работы, я руководствуюсь двумя принципами:

1. Надо иметь возможность работать из любого места и за любым компьютером

2. Повторяющуюся и ручную работу надо минимизировать

В итоге, расчёты я проделываю на отдельном мощном сервере в окружении [JupyterLab]( https://jupyter.org/ ), графики генерирую все там же, через matplotlib. Отдельные блок-схемы и диаграммы делаю в программах [Graphviz Dot]( https://graphviz.org/ ) (тоже устанавливается на сервер и интегрируется в Jupyter) и [Geogebra]( https://www.geogebra.org/ ) для геометрических построений.

Все графики складируются на сервере для расчётов, чтобы потом прилететь на отдельный сервис, где происходит вёрстка диплома в LaTeX. Конечно же, LaTeX - это не случайный выбор. Во-первых, там проще верстать формулы и добавлять кучу разных сложных символов, удобное позиционирование элементов, во-вторых, один раз создав шаблон, можно его очень удобно переносить между разными работами. В-третьих, ключевое преимущество LaTeX - это работа со списком литературы. Найдя нужную научные статьи в системе [NASA ADS]( https://ui.adsabs.harvard.edu/ ), я нажимаю Export Citation, вставляю их все в файлик `.bib`, а потом весь список в нужном формате сразу формируется в нужной секции документа. Достаточно лишь не забыть вот это:

\section*{}\addcontentsline{toc}{section}{Список литературы} 
\bibliographystyle{gost2008}
\bibliography{References.bib}

Пользователям MS Word магия автоматического оформления ссылок по ГОСТу недоступна :) Точнее, там свои есть костыли, но подход LaTeX гораздо круче. А ещё в том же LaTeX можно делать красочные презентации с помощью класса `beamer`. И, более того, поскольку всякие схемы и диаграммы задаются в виде имени файлов, то когда ты перегенерируешь картинку, то она автоматом заменится и в дипломе, и в презентации. Удобно!

Написанием курсовых и научной статьи я занимался в редакторе LaTeX [Overleaf]( https://www.overleaf.com/ ). Но для того чтобы автоматически загружать туда картинки и другие файлы через git с сервера (если они изменились), требуется заплатить за подписку 8-10 долларов в месяц. Мне что-то оказалось жалко платить, поэтому для написания диплома решил воспользоваться чем-нибудь аналогичным, но бесплатным.

LaTeX можно пользоваться и просто на домашнем компе, но я принципиально люблю работать на сервере, чтобы не зависеть от отключений электричества, от сломанных/украденных компьютеров, стихийных бедствий и других непредвиденных обстоятельств. Плюс можно работать совместно с соавторами и рецензентами.

В качестве альтернативы Overleaf выступил весьма интересный сервис [CoCalc]( https://cocalc.com/ ). Это настоящий комбайн, который предоставляет пользователю виртуальную машину с линуксом на борту, редактор кода на самых разных языках (в том числе LaTeX), файловый менеджер, возможность для коллаборации и многое другое (в том числе запуск десктопного софта). **И всё это в браузере!** Кстати, там даже можно сам Jupyter запускать, хотя для моих нужд это уже было в избытке, потому что им я пользуюсь уже на другом сервере.

У ИСЗФ запущен свой собственный инстанс CoCalc с целью предоставить побольше вычислительных ресурсов своим сотрудникам. Поэтому именно там и решено было писать диплом. В процессе я написал себе скрипт для бэкапов, чтобы сливать уже написанный диплом в безопасное место, и скрипт для скачивания всех картинок с основного сервера, на котором делаются расчёты.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/1cX0eJ45bn6EuYEXRisN

Почему не писал сразу в Jupyter? Во-первых, расширение Jupyterlab-Latex не работает в новых версиях, и его ещё нескоро починят. Это очень досадно, ведь интерфейс Jupyter будет получше. Ещё там есть проблемы с отображением PDF, которые тоже препятствуют работе. Надеюсь, что скоро это поправят.

Из плюсов CoCalc можно отметить пригодность фактически для любых научных нужд (в том числе для анализа данных и подготовки отчётов) и удобство доступа из браузера. Минусом можно отметить общую тормознутость интерфейса и его некоторую недоработанность. Тем не менее, инструмент сработал и свою задачу выполняет.

## Другие полезные рекомендации по софту

Иногда, если не хочется пользоваться собственным сервером для каких-то мелких расчётов, то посоветую сервис [Google Colab]( https://colab.research.google.com/ ). Он предоставляет уже готовое окружение Jupyter Notebook, причём с интеграцией в гугл-диск и бесплатным доступом к графическим процессорам для нужд машинного обучения.

Вычислительных ресурсов даётся весьма прилично (около 10 Гб ОЗУ и 70 Гб жёсткого диска). Не знаю, за что Гугл вдруг стал настолько щедрым, но это работает, и этим можно пользоваться бесплатно. Какое-то ещё более мощное железо, конечно, даётся за подписку.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/ZAJXuEa8RJRaMiga9zis

### Google Apps script

Как-то давно [жаловался]( https://blog.alicorn.tk/posts/selenium.html ) на то, что Гугл затрудняет доступ к своему API, из-за чего для вычленения информации со своего YouTube-аккаунта пришлось прибегать к грязным уловкам. Эту проблему, оказывается, можно решить, если код запускать прямо на самих же гугловских серверах на их [собственном языке]( https://script.google.com ) (причём очень похожем на Javascript).

Вот, например, код, который позволяет вытащить ваши подписки на YouTube:

function myFunction() {
  var results = YouTube.Subscriptions.list(part="id,snippet", {mine: true, maxResults: 100});
  var pieces = [];
  results.items.forEach(function(item) {
    var snippet = item.snippet;
    var piece = {"id": snippet.resourceId.channelId, "title": snippet.title};
    pieces.push(piece);
  });
  var payload = JSON.stringify(pieces);
  console.log(payload);
}

Потом этот JSON можно загрузить на ваш собственный сервер через бэкенд. Кроме работы с Ютубом, через Google Apps Script можно взаимодействовать со всеми остальными сервисами Гугла, например, с Гугл-картами, Диском и Таблицами. Многие фишки доступны полностью бесплатно.

Но возьмите на заметку, что сейчас очень часто гугл-скриптами пользуется вредоносное ПО, поэтому нельзя давать разрешение непонятным скриптам на доступ к своему аккаунту.

## Похвалю Kaggle

В прошлом посте я рассказывал, что пробовал проходить курсы на [Kaggle]( https://www.kaggle.com/ ), правда, на момент написания диплома их немножко подзабросил. Напомню, что на Kaggle можно бесплатно и без регистрации проходить интерактивные курсы по анализу данных и машинному обучению, ещё там есть челленджи и куча интересных датасетов. Кроме этого, они позволяют после регистрации получить доступ к мощной виртуалке с Jupyter Notebook с 16 Гб ОЗУ и около 70 Гб жёсткого диска (вроде, это как раз всё может крутиться на платформе Google Colab).

Хочу поделиться впечатлением об одном из пройденных курсов, который мне очень понравился - [курс по анализу геоданных]( https://www.kaggle.com/learn/geospatial-analysis ). Он доставлен достаточно увлекательно: там даются примеры кода для питоновских библиотек GeoPandas (обработка датасетов с геоданными) и Folium (построение интерактивных карт). И, что самое главное, после примеров кода идут достаточно интересные задания на основе реальных случаев из жизни (и реальных данных!), которые тебе дают выполнить самостоятельно, например:

* Построить карту миграции птиц и сопоставить с местоположением заповедников, чтобы убедиться, а в тех ли местах эти заповедники выбраны
* Воссоздать и проанализировать карту преступности в Бостоне
* Понять, используя накопленную статистику, какие же районы Японии наиболее подвержены землетрясениям
* Сделать интерактивный трекер заражений ковидом
* Помочь Starbucks открыть новый филиал своего элитного ресторана :) по данным демографии штатов США
* Выбрать место для постройки нового травмпункта в Нью-Йорке, основываясь на статистике автомобильных аварий и из того принципа, чтобы до больницы можно было добраться как можно быстрее

Последнее упражнение, наверное, самое шедевральное. Поражён тем, насколько увлекательным и приближенным к реальности можно сделать обучение, поэтому даже скриншот приведу с финальной карты:

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/cfkiXHdny6jGmTwTmkcw

Здесь нанесены больницы с 10-километровым радиусом вокруг них. А яркие области - это концентрация аварий. Новые больницы оптимальнее строить в тех местах, где много аварий и при этом нет уже построенных больниц. На карте это нагляднее всего видно. Вот бы в Иркутске качеству городской среды уделялось столько внимания!

## А сейчас небольшой бонус

Под конец этого странного поста отправлю вас в небольшой экзистенциальный кризис с помощью этого видео:

https://youtu.be/JXeJANDKwDc

Обожаю Kurzgesagt не только из-за качества их анимации и наполнения контентом, но и за то, что тщательно подбирают материал.

Этот пост в блоге: https://blog.alicorn.tk/posts/diploma-absence.html

# Re: Защитил диплом сегодня
pipe.2032
vit01(mira, 1) — Andrew Lobanov
2021-06-16 11:10:47


vit01>> На отлично
vit01>> Принимаю поздравления :)

AL> Поздравляю! Как быстро летит время :)
Спасибо :)

AL> Чем планируешь дальше заниматься?

Иду в магистратуру ИСЗФ + аспирантуру. Планирую в скором времени на телескоп съездить для накопления опыта. Про это ещё расскажу, конечно

По работе из предстоящих проектов у меня лично - одно из исследований по поводу распространения магнитозвуковых волн в плазме на Солнце

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Защитил диплом сегодня
pipe.2032
vit01(mira, 1) — All
2021-06-15 15:25:15


На отлично

Принимаю поздравления :)

А о чём был диплом, расскажу потом в блогопосте

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Груз ответственности
pipe.2032
vit01(mira, 1) — All
2021-05-02 07:09:41


С момента написания предыдущего поста прошло чуть больше месяца, и пришло время рассказать о том, что успело за это время произойти.

Внимание: тут есть разметка в LaTeX, поэтому желательно читать в моём блоге, чтобы оно отрендерилось


## Приключения в ИСЗФ

Поскольку темой моего диплома является моделирование магнитного поля с использованием радиоизлучения, я изучаю микроволновые сканы солнечных пятен на разных радиочастотах. Как было сказано ранее, в том посте, с Сибирского Радиогелиографа теперь можно получать достаточно качественные изображения. В своей работе по диплому я активно пользуюсь этими данными, в первую очередь чтобы ещё больше улучшить выходное качество картинок с прибора.

Работа с СРГ и с моделью ведётся в нескольких направлениях:

* Поиск дефектов на изображениях, из них
1. **Проблемы с позиционированием активных областей**. Не всегда на изображении радиоисточник показан именно в том месте, в котором он на самом деле должен находиться. Существуют систематические сдвижки, которые видны во время сравнения модели и реального изображения. Причиной этому служит недостаточная взаимная колибровка фаз антенн, неправильное определение радиуса Солнца и в том числе несовпадение поляризаций
https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/BARb1JWZxf1ZU6akw7mm
2. **Эффекты несовпадения поляризаций**. Профили радиоинтенсивности строятся из двух поляризаций - круговой левой и круговой правой, путём их наложения друг на друга. Если картинка в одной из поляризаций смещена, значит радиоисточник будет двоиться или будет неправильной формы. Модель позволяет выяснить, имеет ли место рассинхронизация поляризаций у прибора.

3. **Нормировка интенсивности, которую выдаёт прибор**. Просадка в интенсивности излучения может случиться из-за неправильной оценки фаз антенн, из-за несовпадения поляризаций (радиоисточник имеет яркость меньше, чем нужно) и из-за эффектов наложения побочных дифракционных максимумов на высоких частотах (дополнительных Солнц). Моделирование позволяет узнать, насколько качественно работают уже эти механизмы обработки.
https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/9gm6XOIa4mhN2lIsGroV
4. **Сопоставление спектров прибора с моделью**. Поскольку радиогелиограф высматривает Солнце на нескольких частотах, имеет смысл посмотреть спектры спокойного Солнца и солнечных пятен. Этим мне предстоит заняться в ближайшее время. Во-первых, чтобы удостовериться, что при синтезе изображений модель спокойного Солнца, которая закладывается в прибор, применена корректно. Во-вторых, чтобы уметь определять параметры плазмы в районе того или иного радиоисточника. Реальная физика, которая стоит за корректно определёнными параметрами радиоспектра, пока от меня скрыта, но по мере написания диплома она будет потихоньку открываться для понимания.

* Сравнение данных с Сибирского радиогелиографа и РАТАН-600

[РАТАН-600]( https://ru.wikipedia.org/wiki/%D0%A0%D0%90%D0%A2%D0%90%D0%9D-600 ) - это радиотелескоп, расположенный в Карачаево-Черкесии и делающий одномерные сканы Солнца (и не только, ещё звёзд и планет). Работает он достаточно давно, и для калибровки нашего прибора была поставлена цель сделать усреднение изображений СРГ и сравнить их с графиками РАТАНа. По этой работе большое спасибо нашим коллегам из Санкт-Петербурга, которые помогают разобраться в тонкостях.

Что уже было сделано:

1. Сопоставление сканов Солнца для двух приборов на каждой из совпадающих частот, учитывая точный угол поворота скана РАТАНа
2. Размытие изображения СРГ, причём таким образом, чтобы обеспечить одинаковый уровень размытия с графиком РАТАНа. Для этого я использовал свойства дисперсий свёртки двух функций (Гауссиан в нашем случае), согласно которому \\(D_1 + D_2 = D_3 \iff \sqrt{\sigma_1^2 + \sigma_2^2} = \sigma_3\\). Причём \\(\sigma_1\\) для повёрнутого скана СРГ подбиралась методом наименьших квадратов, а \\(\sigma_3\\) (РАТАНовская) была уже известна.
3. Зануление дифракционного "мусора" за пределами диска Солнца на изображениях СРГ, что увеличило количество совпадений между графиками

На высоких частотах (> 4 ГГц) из-за больших перекрытий от вторичных Солнц у СРГ проседает яркость (см. картинка ниже), и с этим надо работать. В конце концов, для этого мы и делаем проверку.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/tzgpJCTxyPd6XvMzrstN

Что планируется сделать:

1. Вычитание модели спокойного Солнца для СРГ и калибровка яркостей на её основе
2. Вычисление точной временной сдвижки сканов двух приборов на основе [кросс-корреляции]( https://ru.wikipedia.org/wiki/%D0%90%D0%B2%D1%82%D0%BE%D0%BA%D0%BE%D1%80%D1%80%D0%B5%D0%BB%D1%8F%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D1%8F )
3. Может быть, разобраться со спектрами, но это ещё неточно

* **Статья**. Конечно же, про гирорезонансные источники на 34 ГГц я не забываю и над статьёй тоже работаю. Не так давно была вычитка с нашим соавтором, после которой осталось много невыполненных замечаний. Потихоньку мы эти замечания с научруком устраняем, и это довольно непросто. Мне очень жаль, что с публикацией дела затягиваются, но это реально очень и очень большая работа, учитывая то, что всё идёт на английском. Есть некоторые новости, например, у моего найденного списка событий есть пересечение со списком солнцетрясений. Но про это всё я напишу поближе к публикации.

* **Магнитогидродинамика**. Кроме возни с данными радиотелескопов передо мной естественным образом возникает задача разбираться в магнитозвуковых колебаниях в плазме для помощи в осуществлении ещё парочки исследований, и это ещё одна из зон моей (будущей) ответственности. В скором времени этот вопрос актуализируется, и там будет над чем поломать голову.

* **Свободное время**. Несмотря на большое количество дел, иногда на работе возникает простой по тем или иным причинам, и в эти свободные минутки я прохожу [курсы на Kaggle]( https://www.kaggle.com/learn ), чтобы закрепить свои знания в области анализа данных. Эти уроки можно даже без регистрации проходить, и среди них есть весьма интересные примеры.

## Что с моей психикой

Как бы со стороны это ни выглядело, но расставание с девушкой и восприятие этого надолго меня подкосили. Но надо продолжать жить дальше, и если одиночество давит (а это имеет место быть), то надо искать подходящего человека, учитывая свои прошлые ошибки. Я начал посещать психолога и вытаскивать наружу всю ту хрень, которая во мне глубоко внутри зарыта. Читаю книги, которые мне подкидывают во время терапии, чтобы лучше начать понимать себя и других. Во многом это помогает успокоиться и не сильно переживать по поводу некоторых моментов.

Большинство моих затыков в общении с людьми возникает на почве того, что я обычно руководствуюсь только формальной логикой и абстрактным мышлением, игнорируя или не замечая многие эмоциональные и чувственные моменты. Поэтому в моей терапии делается упор на прокачку эмоционального интеллекта.

Целенаправленно искать новые отношения планирую не раньше защиты диплома, а пока что нужно прийти в чувство (в прямом и в переносном смысле) и поднакопить силы.

[https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/I4TpwbtXd5vNBhVwfFvh]( https://www.deviantart.com/ncmares/art/Serenity-618818009 )

## Политические бурления

Фонд борьбы с коррупцией объявляют экстремистской организацией, штабы Навального разграбливают, а его самого гнобят в тюрьме, устраивая таким образом политическую месть. Гайки ещё больше закручиваются, и я чисто по-человечески переживал за Алексея. Конечно же, я сходил на акцию 21 апреля (см. [фотографии]( https://alicorn.tk/dashie/s/RscZzNAXma6PJ72 )), но ничего особенного там не происходило и не могло. Хотя людей было достаточно много, больше, чем 31 января.

Несистемной оппозиции сейчас придётся перестраиваться и придумывать что-то новое, чтобы даже несмотря на "набеги" достигать каких-то результатов. И, увы, нам нужно и самим включать голову. Здесь может быть 2 направления (это из того, что мне предлагал народ):

1. Влияние на своих знакомых, агитация и политизация людей вокруг себя. Создание политических клубов с обсуждением новостей происходящего в мире. Этот пункт направлен на искоренение эффекта "короткой политической памяти", про который я писал раньше в блоге

2. Идеологическое влияние на силовые структуры, средства массовой информации и людей, которые там работают. Да-да, те студенты журфака и юрфака, которые учатся сейчас рядом с нами, скоро будут работать в МВД, в судах, в местной газете или на телестудии. В их головы сейчас заливается куча государственной пропаганды, вселяется ненависть и безразличие к простым людям и тяга к большим деньгам. А наша задача - наоборот, учить этих людей жить по совести, так, чтобы они могли идти на конфликт со своим начальством, даже в ущерб себе.

## Фальсификации и почему они доказываются

Размышляя в очередной раз, почему [Метод Шпилькина]( https://meduza.io/cards/vizhu-mnogo-grafikov-o-falsifikatsii-na-vyborah-chto-oni-znachat ) для доказательства фальсификации выборов работает, почему-то захотелось найти надёжное объяснение, которое сработает для других людей, которые не очень хорошо понимают его принцип.

На графике ниже можно увидеть пример "выборов курильщика", когда [фальсификации]( https://www.golosinfo.org/articles/144478 ) достигли невиданных масштабов, а распределение напоминает гребёнку:

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/ltw4tYIb0pG5rXU7AkBO

А вот тут пример честных выборов:

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/TIF5ctAfd0foAAH13VZJ

Принцип заключается в том, что зависимость явки людей на избирательные участки от количества проголосовавших за того или иного кандидата должна иметь [нормальное распределение]( https://ru.wikipedia.org/wiki/%D0%9D%D0%BE%D1%80%D0%BC%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5 ). И если нормальное распределение не получается, если на таком графике существуют пики вблизи "ровных" чисел вроде 50%, 60%, 70% или 90%, то налицо фальсификация выборов, вбросы бюллетеней, перекладывания (от одного кандидата к другому) и "рисовка результатов".

Обычно люди на основе своей интуиции говорят, что это всё хрень, ведь их политические предпочтения - это не случайность, а твёрдо принятое решение, которое не поддаётся распределению вроде суммы очков при бросании игральной кости. Так-то оно так, но если посмотреть на ситуацию с другой стороны, то эта случайность естественным образом возникает. С точки зрения политика, который "встретился" с Васей Пупкиным на улице или в интернете и пытается агитировать в свою пользу, поведение Васи на выборах как раз является случайной величиной. Ведь с какой-то вероятностью Вася среагирует на агитацию и придёт проголосует, а может плюнуть и не проголосовать или проголосовать за оппонента.

И тут мы приходим к тому, что политические взгляды людей формируются из большого числа факторов вроде агитации тех или иных политиков, просмотра видео на политические темы, прочтённых книг, мнения друзей и родственников и.т.п. Каждый из этих факторов является случайной величиной, которые друг с другом **суммируются**, усиливая друг друга или ослабляя. И тут вступает в игру...

## [Центральная предельная теорема]( https://ru.wikipedia.org/wiki/%D0%A6%D0%B5%D0%BD%D1%82%D1%80%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D1%82%D0%B5%D0%BE%D1%80%D0%B5%D0%BC%D0%B0 )

Одна из классических теорем статистики. Говорит, что сумма большого числа любых случайных величин стремится к нормальному распределению. Мне хотелось бы дать ей некоторое простое доказательство-обоснование, в котором будет несложно разобраться и закрепить это в уме.

Начнём с того, что сумма случайных величин с плотностью вероятности \\(f_1(x)\\) и \\(f_2(x)\\) имеет плотность вероятности их свёртки: \\(f_{1+2}(x) = \int_{-\infty}^{+\infty}\,f_1(x') f_2(x-x') dx'\\). Если вы уже знакомы с методами обработки сигналов, то на этом можно остановиться, ведь фактически любая свёртка берёт и "размывает" исходный сигнал, сглаживая все неровности. И чем больше мы сглаживаем сигналы любой конечной формы друг с другом, тем всё больше результат начинает напоминать правильный колокол нормального распределения. В [Википедии]( https://ru.wikipedia.org/wiki/%D0%A1%D0%B2%D1%91%D1%80%D1%82%D0%BA%D0%B0_(%D0%BC%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7 )) есть хорошая визуализация на эту тему.

Но классическое доказательство ЦПТ основывается на характеристических функциях, а именно на спектрах функции распределения. Спектр свёртки двух функций равен произведению спектров. То есть в пространстве спектров \\(\phi_{1+2}(t) = \phi_1(t)\phi_2(t)\\). Согласитесь же, гораздо проще выглядит =)

Теперь разложим спектр нашей случайной величины в ряд Тейлора, разложив экспоненту до второго порядка малости:

$$\phi_x(t) = \int_{-\infty}^{\infty} e^{itx}f(x)dx \approx \int_{-\infty}^{\infty} (1+itx-\frac{x^2t^2}{2})f(x)dx \approx 1 - \frac{t^2}{2}\langle x^2\rangle$$

Среднее значение \\(\langle x\rangle\\), которое возникает при интегрировании, я здесь зануляю, потому что при сдвиге плотности распределения по оси X это добавляет в спектр лишь фазовый множитель, который на форму функции не влияет. Если дисперсии наших вероятностных вкладов имеют одинаково-малый порядок, то их можно тоже приравнять друг к другу, а лучше даже отнормировать на единицу, взамен получив обычную параболу на оси спектров: \\(\phi_x(t) \approx 1 - \frac{t^2}{2}\\).

Затем прибегнем ко второму замечательному пределу:

$$\phi_{\frac{\sum x_k}{\sqrt{N}}}(t) = \phi_{\sum x_k}(\frac{t}{\sqrt{N}}) = \prod\limits_{k=1}^N(1-\frac{t^2}{2N}) \longrightarrow \lim_{N \to \infty}(1-\frac{t^2}{2N})^N = e^\frac{-t^2}{2} $$

Если вспомнить свойство преобразования Фурье от Гауссианы, то становится понятно, что в конце концов Гауссиана и получится. Трюк, который в доказательстве классической ЦПТ был проделан с дисперсиями, непонятен с первого раза, но в более строгой формулировке [теоремы Ляпунова]( https://ru.wikipedia.org/wiki/%D0%A6%D0%B5%D0%BD%D1%82%D1%80%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D1%82%D0%B5%D0%BE%D1%80%D0%B5%D0%BC%D0%B0#%D0%A6._%D0%9F._%D0%A2._%D0%9B%D1%8F%D0%BF%D1%83%D0%BD%D0%BE%D0%B2%D0%B0 ) он объясняется путём накладывания условия на дисперсии с привлечением третьего центрального момента (асимметрии). Оставим это на размышление читателю...

## Планы на будущее и mermaid.js
Всё-всё, прекращаю вас мучать формулами. Лучше расскажу, что у меня в планах на будущее, построив (кликабельно, смотреть в отдельном окне) небольшую диаграмму Гантта в [mermaid.js]( https://mermaid-js.github.io/mermaid/#/ )

[https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/zzgPLuNvUnGM0nTutibK]( /img/plans-summer-2021.png )

## Бонус

Давайте немного поиграем, слепим интригу. Я не написал в этом посте про кое-что очень важное, но если кто-то из "избранных" людей (вы можете не знать, избранный вы или нет) спросит меня об этом, то информацией поделюсь раньше, чем с остальными. Посмотрим, кто откликнется. Если что, с политикой или с отношениями эта инфа совершенно не связана.

## Обновление zbs-скриптов

В моём [репозитории]( https://github.com/vit1-irk/lazyinstall-puppet ) zaebis-скриптов для Puppet большое обновление:

- Добавлен скрипт [easy-wg-quick]( https://github.com/burghardt/easy-wg-quick ) для быстрого развёртывания VPN на вашем сервере. Как пользоваться:

sudo su
cd /etc/wireguard
easy-wg-quick
systemctl start wg-quick@wghub
systemctl enable wg-quick@wghub

- Добавил библиотеку sympy для аналитических вычислений
- Заставил работать Jupyter-модули для языка R, так что теперь поддержка языка R в сборке стала полноценной
- Добавил питоновские библиотеки для задач оптимизации и машинного обучения вроде sklearn, cvxpy и optlang

Этот пост в блоге: https://blog.alicorn.tk/posts/responsibility.html

# Re: Икона // Джорджия Бриггс
std.hugeping
vit01(mira, 1) — vvs
2021-04-17 11:13:06


vvs> vit01> Да и вообще, на текущий момент уже просто неинтересно стало спорить на религиозные темы и обсуждать их, доказывать кому-то что-то, потому в реальной жизни появилось гораздо больше значимых интересов и увлечений. Физика, математика, политика и так далее.

vvs> Доказательство - это такой аргумент, который оппонент готов принять. Он не может основываться на противоположных взглядах. К тому же доказывать, что нечто не существует обычно можно только косвенно, например от противного. А как быть если оппонент является конструктивистом и не признает закон исключённого третьего?

Нет-нет, различия во взглядах и в логических системах можно явно выделить/подчеркнуть и при желании даже рассмотреть один и тот же вопрос с разных точек зрения.

Хотел просто донести, что сейчас для меня затраченное время того не стоит. "Земные" проблемы больше волнуют

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Икона // Джорджия Бриггс
std.hugeping
vit01(mira, 1) — boscholeg
2021-04-15 02:16:45


boscholeg> Мне вот недавно старшая дочка заявила, что в бога не верит. И вообще это все дремучие бредни. Я попытался выяснить почему она так считает, но ответа не получил. Её слова как будто где-то подслушаны или прочитаны. Складные, дездушные явно чужие - гладко сочиненный лозунг или речёвка. Но где она этого нахваталась непонятно. Вот теперь прихожу к выводу что я плохо воспитал ребенка ибо её мировоззрение крайне однобоко в этом вопросе. И возможно во многих других. Она не допускает мысли, что может быть мнение отличное от её. Крайне печально и волнительно.

Скажу как уже сформировавшийся атеист, что начинается это всё с осознания видимого противоречия между религиозными ритуалами и реальностью. Ребёнок начинает замечать, что родители ходят в церковь, молятся, постятся, говорят "на всё воля божья", и видит во всём этом фальшь и бессмысленность.
Уже потом к этому приплетаются исторические факты, а потом человек начинает задумываться о более абстрактных философских моментах вроде материализма/идеализма и морально-этических системах.

А бунтарство - это просто отстаивание личных границ и реакция на навязывание образа жизни. В своё время я тоже активно бунтовал против верующих людей, но сейчас, когда границы уже выстроены, и я перестал ощущать давление в свою сторону, то это потеряло свою актуальность.

Да и вообще, на текущий момент уже просто неинтересно стало спорить на религиозные темы и обсуждать их, доказывать кому-то что-то, потому в реальной жизни появилось гораздо больше значимых интересов и увлечений. Физика, математика, политика и так далее.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Работаем с тем, что есть
pipe.2032
vit01(mira, 1) — boscholeg
2021-03-29 08:57:23


Там так получилось, что скорее всего человек на контакт уже не пойдёт из-за своей принципиальной позиции и в том числе из-за накопившегося коммуникационного барьера.

Да и у самого уже нервы отказали. Такое ощущение, будто мне часть памяти стёрло. Но работа помогает восстановиться

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Работаем с тем, что есть
pipe.2032
vit01(mira, 1) — All
2021-03-28 09:27:22


Обычно только в сказках всё заканчивается хэппи-эндом, а жизнь - это процесс непрерывный, где постоянно что-то меняется от хорошего к плохому и наоборот. Так же случилось и здесь.


## First of all

В посте про поздравляшки я радовался тому, что долгое время не одинок. Но через какое-то время с девушкой наши противоречия достигли критических значений, на данный момент уже более чем 2 недели как мы расстались. Не буду углубляться в подробности, но всё прошло ужасно, и во многом там моя вина. Очень жаль, что так вышло, но сейчас ничего не поделаешь.

В течение всего этого времени после события я "залёг на дно", чтобы хоть немного успокоиться и порешать разные другие срочные и несделанные дела, в основном, по учёбе и работе. Думаю, банальная цитатка вроде "что нас не убивает, делает нас сильнее", тут не подойдёт. Но зато подойдёт, что я выкарабкаюсь и восстановлюсь несмотря ни на что, потому что стою на плечах гигантов.

Короче, всем спасибо, все свободны. У этой мыльной оперы начинается новый сезон.

## Но у тебя же есть работа

И правда, ведь у меня осталась моя работа в ИСЗФ, куда я очень хотел попасть и где очень хотел работать. Большую часть свободного времени сейчас именно там и провожу, засиживаясь допоздна. Потихоньку привыкаю к рабочему месту и к коллективу, решаю возникающие проблемы. По факту, занимаюсь тем же, чем и занимался раньше: пишу статью и диплом, улучшаю некоторые вещи в обработке данных.

Совсем-совсем недавно у нас в отделе случилось замечательное событие: с [Сибирского Радиогелиографа]( https://goo.gl/maps/Y17g1W7NUWjg31Qf6 ), точнее, с его основной решётки из 48 антенн СРГ-48 **впервые за 5 лет** сумели синтезировать изображения высокого качества. И основная заслуга в этом моего научного руководителя, который реализовал так называемую процедуру самокалибровки.

На 2 курсе я писал курсовую работу по алгоритму [CLEAN]( https://en.wikipedia.org/wiki/CLEAN_(algorithm )), используемому в радиоастрономии, который позволяет из дифракционной картины с кучей побочных максимумов восстановить оригинальный радиоисточник. По сути своей, CLEAN - это задача обращения двумерной свёртки. У алгоритма CLEAN есть некоторые недостатки, которые не позволяют получать идеально чистые изображения, просто "втупую" взяв и применив его с параметрами по умолчанию: надо знать, как эти параметры подбирать. Смысл самокалибровки заключается в том, что CLEAN запускается на изображении несколько раз, чтобы выяснить наиболее оптимальные параметры. Кстати, в том коде для самокалибровки СРГ есть и немножко моего кода, написанного раньше.

Ниже показано изображение с СРГ-48 на частоте 4.3 ГГц, наблюдение от 21 марта 2021 года. На данный момент это самый настоящий эксклюзив. Обывателю такая картинка покажется не очень интересной на первый взгляд, но учёные могут получить оттуда много ценных данных. Кстати, если выкрутить хорошенько контраст, то можно обнаружить волокна и корональные дыры на Солнце. Максимальное разрешение там вроде как 6 угловых секунд на пиксель.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/gRhTDsEVA0anoyQyl8T6

Так что в ИСЗФ сейчас все очень-очень радуются, особенно у меня в отделе, потому что это всё очень круто.

## Что делаю по диплому

Тема моего диплома - это моделирование трёхмерной структуры магнитных полей в солнечных активных областях с использованием микроволновых наблюдений. Проблема выяснения структуры магнитного поля в том, что магнитограммы для Солнца у нас имеются только для самого нижнего слоя - фотосферы, а выше, в хромосфере и короне, никто поле не знает. Чтобы выяснить поле выше фотосферы, придумали кучу разных моделей дифференциальных уравнений со своими граничными условиями (основная трудность подобрать именно эти граничные условия). На данном этапе уже имеется готовый софт для просчёта каждой из моделей, но стыковка расчётов на моделях с реальными данными вызывает огромные трудности.

Данные с радиотелескопов показывают нам излучение из активных областей, которое порождено электронами, движущимися в сильных магнитных полях. И это и есть одна из тех зацепок, которые позволяют выяснить граничные условия для численных моделей магнитных полей.

В процессе своей работы по диплому я пытаюсь состыковать и сопоставить модельную картину магнитных полей у разных солнечных пятен (и соответствующее ему радиоизлучение) с реальными данными от настоящих приборов-радиотелескопов. На словах, конечно, звучит всё тупо и просто: берёшь насчитываешь модели, смотришь картинки с радиотелескопа и сравниваешь их. Но сложность здесь заключается в том, чтобы объяснить и понять, **почему** модель насчитала именно то, что она насчитала. Ведь если на модели ты получаешь избыток излучения в неправильной поляризации, то это может быть вызвано и с тем, что оценочная функция плотности плазмы на определённой высоте оказалась неверной, и с тем, что с температурами где-то косячок, и с размером сетки, и так далее.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/Am3rP5ctWYn7rrECS2a6

## Ещё больше фишек Jupyter, или на чём всё это держится

Чтобы как можно более эффективно анализировать данные и быстро строить нужные визуализации, я пользуюсь [ipywidgets]( https://ipywidgets.readthedocs.io/en/latest/ ). Впервые здесь в блоге они были упомянуты [вот в этом посте]( https://blog.alicorn.tk/posts/procrast.html ). Но, согласитесь, демка там была малость громоздкой, и она могла отпугнуть читателя.

### interact

Существует способ делать визуализации на ipywidgets с гораздо меньшим количеством кода - с помощью декоратора `@interact`. Вы просто пишете функцию, принимающую на вход несколько параметров, обёртываете её декоратором, и рядом с ячейкой автоматом генерируются все GUI-элементы, позволяющие менять параметры в реальном времени. Вот пример графика, который мгновенно перестраивается, реагируя на движение ползунков:

z=np.arange(0, 20, 0.1)

@ipywidgets.interact(v=(0, 10, 1), v1=(0, 10, 1))
def plot_Jv(v, v1):
    fig, ax = plt.subplots(1, 1, figsize=(10, 4))
    func_output = special.jv(v, z)
    func_output1 = special.jv(v1, z)
    
    ax.plot(z, func_output)
    ax.plot(z, func_output1)

    plt.fill_between(z,func_output, color="blue", alpha=0.5)
    plt.fill_between(z,func_output1, color="green", alpha=0.5)
    
    ax.set_title("Наложение функций Бесселя")
    ax.set_ylim(-0.75, 0.75)
    plt.show()

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/QRjpfHI3Yz309tbp9kJA

Кроме чисел в качестве параметров можно задавать списки, текстовые поля и любые другие виджеты, см. [документация]( https://ipywidgets.readthedocs.io/en/latest/ ). Если же в процессе происходят долгие вычисления, то внутри декоратора достаточно указать `continuous_update=False`, и тогда функция построения графика будет вызываться только после фиксации некоторого значения, а не в реальном времени.

### voila и voila-gridstack

Теперь представим, что мы сделали какое-то исследование или демку на базе Jupyter. Это может быть аналитическая модель с формулами и графиками, сложная карта общественного транспорта или путинских дворцов на базе [ipyleaflet]( https://blog.alicorn.tk/posts/exams-politics.html ). И мы хотим превратить наш Jupyter-файл в веб-приложение в браузере, чтобы любой человек мог зайти по ссылке и увидеть что-то вроде панели управления с виджетами, графиками, текстом и так далее.

Для этого существует инструмент [voila]( https://github.com/voila-dashboards/voila ), которому можно натравить файл `.ipynb` и заставить его крутиться на определённом порту сервера в качестве веб-приложения.

voila myfile.ipynb --port=228

[Voila] Using /tmp to store connection files
[Voila] Storing connection files in /tmp/voila_diqc6yb_.
[Voila] Serving static files from /home/user/.local/lib/python3.9/site-packages/voila/static.
[Voila] Voilà is running at:
http://localhost:228/

Voila поддерживает кучу настроек, в частности, тёмную тему оформления и скрытие (или наоборот отображение) кода ячеек. Также есть надстройка [voila-gridstack]( https://github.com/voila-dashboards/voila-gridstack ), позволяющая сделать что-то вроде панели управления, где можно расставлять ячейки с виджетами и кодом в произвольное место на странице, а не просто друг за другом.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/xiYmDKAEUzKBXuLJ7wEd

### papermill

А что если нам не нужно веб-приложение, а нужно просто запустить блокнот Jupyter в фоне с какими-то вычислениями как скрипт? Или чтобы несколько блокнотов отработали последовательно друг за другом. Проект [papermill]( https://github.com/nteract/papermill ) призван решить эту проблему. Кроме запуска на локальной машине он ещё умеет запускать блокноты в Google Cloud и Amazon AWS.

papermill ./myfile.ipynb ./output.ipynb

Потом можно при желании написать crontab, в котором нужные вычисления или отчёты будут генерироваться по расписанию, например, раз в час. Дальше уже через [nbconvert]( https://github.com/jupyter/nbconvert ) можно автоматом сгенерировать PDF с графиками, HTML-страницу или даже презентацию со слайдами. *Примечание: для генерации PDF требуется установленный pandoc + LaTeX и немножко подправленный шаблон с поддержкой русских шрифтов*

jupyter nbconvert ./output.ipynb --to pdf
jupyter nbconvert ./output.ipynb --to slides

С инструментами, про которые рассказал выше (а ещё и с фактом поддержки других языков, например, C++ и R) экосистема Jupyter становится самодостаточной и может удовлетворить практически любые хотелки исследователей данных и автоматизаторов. Все эти пакеты я недавно добавил в свой репозиторий [zaebis-скриптов]( https://github.com/vit1-irk/lazyinstall-puppet ) в "научную" конфигурацию.

## И напоследок

Недавно начал пилить проект по работе с API проекта ГосЗатраты, можете посмотреть его [на Github]( https://github.com/vit1-irk/clearspending-pieces ). ГосЗатраты пользуются ежедневными выгрузками сайта Госзакупок, засовывают данные себе в базу и позволяют независимым исследователям вроде нас с вами делать к этой базе автоматизированные запросы. Благодаря этому можно удобно отслеживать ~~всех жуликов и воров~~ покупки любого государственного учреждения. Надеюсь, что затея получит развитие и поможет людям.

Ещё я успешно привился обеими прививками от коронавируса, пусть и испытав на себе побочные эффекты. Сделал это по собственному желанию и считаю, что лучше денёк полежать с температурой, чем заболеть настоящим ковидом.

В общем, "не падаем духом" и работаем с тем, что есть. Show must go on...

Этот пост в блоге: https://blog.alicorn.tk/posts/as-is.html

# Мечты сбываются!
pipe.2032
vit01(mira, 1) — All
2021-03-04 13:32:17


Существует такое явление, что люди с огромным количеством проблем в жизни не любят узнавать о хороших новостях у окружающих. И их можно понять, ведь трудно радоваться чьим-то успехам или удаче, когда самому хреново. Но и меня поймите: не всё же время писать о плохом и жаловаться на жизнь. Здесь в блоге я стараюсь поддерживать какой-никакой, но уровень позитива, даже если всё рушится под ногами. Сейчас как раз тот случай, когда время написать о хорошем...


[https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/rb1zIYoUoxVL45iqyU3h]( https://www.deviantart.com/plainoasis/art/For-Summer-Solstice-2017-688227624 )

# Что изменилось с момента создания блога

Этот блог я завёл, чтобы делиться новостями из жизни с близкими мне людьми. Или с теми, кто хотел бы себя таковым считать. Поэтому часто тут откровенничаю. Приходилось много рассказывать о своём одиночестве, о том, как это чувствуется, насколько это ужасно и неприятно. [Пару постов назад]( https://blog.alicorn.tk/posts/technical-debt.html ) я впервые упомянул, что больше не одинок, и что это ощущается по-другому, но немножко прикрыл это, не называя вещи своими именами.

## Давайте назовём это вслух

> У меня есть любимая девушка, мы уже 5 месяцев вместе, и я этому очень-очень счастлив!

Скажите, это существенное изменение? Для человека, для которого тема одиночества годами является главной и ключевой, это охренеть какое существенное изменение. Если бы мне год назад сказали про что-то эдакое, то я б в принципе не поверил, что такое со мной возможно. Конечно, впервые начав настоящие серьёзные отношения, пришлось столкнуться с разными проблемами и непониманием, без этого никуда, но оно того абсолютно стоит. Мы всё это преодолеваем вместе, и я рад, что всё получилось именно так, как получилось (просто хотелось честно упомянуть, что никогда не бывает всё сразу идеально).

И кто после этого скажет, что мечты не сбываются? Но подождите, есть ещё одна существенная новость...

## Началось с поняшек, закончилось кое-чем большим

Когда я только-только планировал создание этого блога, то заранее продумывал, о чём же буду писать тут в долгосрочной перспективе. Очень хотелось писать сюда о достижении каких-то целей, как маленьких, так и больших, чтобы донести до читателя, что многое возможно, если просто захотеть. В 2014 году я познакомился с MLP:FIM, и какой-то детский (а иногда очень и недетский) мультик о поняшах сильно повлиял на моё ощущение этого мира, сформировал ценностные ориентиры. Если ты на эту тему серьёзно подсел, то оно навсегда, ну или по крайней мере, крайне надолго. Даже если сам сериал закончился, то его идеи и этот культурный пласт остаются жить.

Так вот, сначала я подсел на MLP, а моими героями по жизни стали правительница страны поняш Селестия, управляющая местным Солнцем-светилом, и её ученица-заучка Твайлайт Спаркл, проходящая долгий путь социализации и достигающая в жизни всех высот. Идёт 7 год с того, как всё началось, и где я сейчас? Ха-ха, получаю кучу знаний, занимаюсь наукой и изучаю Солнце :) *Пусть не люблю излишний символизм, но здесь читатель должен его хорошенько прочувствовать*.

## Принимаю ваши поздравления

> С 4 марта 2021 года я официально трудоустроен в Институт Солнечно-Земной Физики СО РАН, в отдел радиоастрофизики, в лабораторию мониторинга солнечной активности

[https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/un5UmWxDk4z98ZIZBpwh]( https://www.deviantart.com/plainoasis/art/Intervention-666098224 )

Знали бы вы, как долго пришлось к этому идти! Но в конце концов всё получилось. За неимением диплома я пока на низших позициях, но это только старт, а дальше будет ещё сложнее и ещё интереснее. Начался целый новый этап в жизни. Кстати, кому хочется чуточку подробностей: мне выделили отдельное рабочее место, хороший комп и мощный интернет-канал.

Сейчас кто-нибудь из моих друзей и товарищей, кто это читает, может пребывать не в самом лучшем расположении духа. Но я предлагаю никому не завидовать и вместо этого лучше поверить в то, что ваша мечта может быть следующей. Пусть её исполнение маловероятно, и прямо сейчас не видится никаких перспектив. Не надо ждать чуда, надо к нему потихоньку идти самостоятельно. А ещё в нашей стране происходит полный бардак, к которому трудно оставаться равнодушными. Но об этом потом. И куски кода будут потом. Сейчас просто хочется ваших поздравляшек.

Как всегда пожелание народу: будьте сильными и смелыми, поняши!

Этот пост в блоге: https://blog.alicorn.tk/posts/congratulations.html

# Re: Анонимность и искренность
std.hugeping
vit01(mira, 1) — vvs
2021-01-22 16:14:57


vvs> И проблема в том, что меня просто не понимали и не хотели слушать. Я занялся изучением формальной логики и теории доказательств. И узнал тривиальную истину: доказательство всегда основано на вере в общие с оппонентом понятия. Невозможно убедить человека в том, во что он не верит.

Если аудитория тебя не понимает или не хочет слушать, то это либо проблема аудитории (и надо вещать на других людей), либо твоя проблема, что недостаточно хорошо информацию доносишь. Но это не проблема площадки.

vvs> Проблема не в том, что у собеседника отсутствует логика, хотя и это бывает нередко. Проблема в том, что сознание больше логики и обосновать ею многие философские понятия невозможно - это вопрос мировоззрения.

Так если ты строишь сложные философские конструкции, то тебе тем более нужно брать и стараться доносить это подробно/наглядно, либо беседовать только с такими же "профессорами", которые доросли до обсуждения таких вещей, а не с широкой публикой

vit01> Не важно, анонимная площадка или нет, важно качество модерации на ней, качество аудитории и формат публикаций. Если это всё на хорошем уровне, то закидывать тебя говном не будут, а будут обоснованно критиковать

vvs> Лично мне не интересно, убеждать кого-нибудь, что 2+2=4 в моем понимании. Я ищу понимания со стороны собеседника. Если понимание невозможно, то я не вижу смысла тратить время на то, чтобы меряться длиной доказательств :)

Когда ты обсуждаешь какую-то тему с большим количеством абстракций, то ты всегда должен допускать, что тоже можешь оказаться не прав. А долг твоих собеседников тебе об этом напомнить

Либо выбирать тех собеседников, которые с тобой заранее согласны или которые не будут спорить. А может быть просто делать ставку на толерантность собеседника, который не будет лишний раз придираться

vit01> Насчёт политики у меня мнение принципиальное, я считаю, что политика касается каждого, эти темы нужно обсуждать просто сами по себе.

vvs> А разве это не навязывание своего мнения? С моей точки зрения это гипертрофированное восприятие бытовых вопросов и я не вижу здесь глубокого пересечения с вопросами самопознания.

Когда тебе могут полноценно возразить в случае несогласия, то это как раз нормальный процесс. Навязывание мнения - это когда ты доносишь информацию людям, которые не готовы на диалог или просто не могут ответить

vvs> Политика сродни сантехнике: неисправный унитаз - это очень негигиенично и неудобно, но вряд ли об этом стоит трубить на каждом углу. Если уж и обсуждать влияние политики, то в масштабах человечества. Я например не против поговорить об опасности общества потребления для общего будущего, но для меня унизительно обсуждать личность конкретного чиновника.

Вот как раз поэтому чиновники и работают плохо, из-за того что у нас не сложился в стране институт репутации, и что про чиновников стесняются разговаривать :)
А ещё потому что считают политику грязным делом.
Ну и кстати про общество потребления тоже разговоры вполне себе приемлемы

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Анонимность и искренность
std.hugeping
vit01(mira, 1) — hugeping
2021-01-22 13:44:28


> Можно писать дневник лично, и тогда проблемы такой нет. Но ведь и отклик иногда очень важен. С людьми, которые поймут тебя, окажутся на одной волне.

Я здесь вижу не проблему анонимности и искренности, а просто боязнь критики и обратной связи.

Разумеется, когда ты что-то публикуешь в сети (в качестве блога или видеоблога), то сталкиваешься с критикой. И это хорошо! В каком-нибудь телевизоре людям просто спускают что-то сверху, и на это нельзя возразить, нельзя изобличить какое-то враньё, добавить анализ фактов и так далее. А в сети публика даёт обратную связь, из-за чего ты вынужден держать планку качества и обосновывать своё мнение

Даже если тебе утомительно отвечать на выпады своих идеологических оппонентов или просто на любую другую критику, то я предлагаю оценивать этот свой труд как помощь зрителю или помощь читателю, чтобы дать ему более качественный контент и дать ему повод задуматься.


Не важно, анонимная площадка или нет, важно качество модерации на ней, качество аудитории и формат публикаций. Если это всё на хорошем уровне, то закидывать тебя говном не будут, а будут обоснованно критиковать

Например, в своём блоге я частенько пишу что-то на тему политики, высказываю непопулярные мнения, кидаю поняшек и вообще всячески беспредельствую. Насчёт политики у меня мнение принципиальное, я считаю, что политика касается каждого, эти темы нужно обсуждать просто сами по себе. Меня часто критикуют мои знакомые и друзья по некоторым вопросам, и это хорошо. Но они именно критикуют, а не закидывают говном, потому что я специально отбираю такую аудиторию, которая способна связать два слова и не опускаться до оскорблений

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Театр с куклами или как всё собрать и пойти пить чай
pipe.2032
vit01(mira, 1) — btimofeev
2021-01-03 13:06:09


btimofeev> У тебя там yaourt в арче, его несколько лет назад задепрекейтили из-за отсутствия поддержки и кажется даже из аура уже выкинули, лучше заменить на yay или любой другой из списка https://wiki.archlinux.org/index.php/AUR_helpers

Заменил на yay. Про то что yaourt пользоваться не рекомендуется, давно уже знал (да и в том же Manjaro стоит по умолчанию pacaur), но загнал его в список чисто по привычке.

Просто когда составлял каркас репозиториев для арча, нужно было выбрать aur helper, и я не заметил, что в archlinuxcn кроме старого yaourt были ещё варианты, включая yay

>>> Хочу такой же инструмент, но для Android-смартфонов (установка софта в том числе из F-Droid). Предлагайте, советуйте, буду искать и пробовать

btimofeev> Гугл-сервисы =) Сами бекапят большую часть данных и приложений в облаке и восстанавливают при логине на другом телефоне. Но, насколько я понимаю, ты ими не пользуешься (да и приложения установленные из f-droid они не восстановят).

Да, в этом-то и дело, что гуглосервисами не пользуюсь и держу много софта из f-droid

btimofeev> Возможно тебе подойдет вот эта десктопная утилита, на базе которой можно написать скрипт для автоматической установки софта с fdroid https://github.com/mvdan/fdroidcl

Спасибо за совет, похоже, это именно то что нужно. Возможно, позднее я даже сделаю скрипт для частичного бутстраппинга свежего андроида через adb (и запихну в тот же репозиторий, чтобы добро не терять)

К сожалению, мне на андроиде и проприетарщину держать приходится (через Aurora Store), но с ней что-нибудь отдельно попробую порешать.

btimofeev> Также можно через adb просто копию телефона или отдельных приложений снять, а потом восстановить на другом (причем восстанавливаются даже настройки самих приложений):

Про adb backup слышал, но для бэкапа настроек обычно использую приложение oandbackup (оно есть в f-droid и требует root). Если они добавят снапшоты по расписанию, то можно эти бэкапы даже в облако пробросить потом, чтобы прозрачно восстанавливать.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Театр с куклами или как всё собрать и пойти пить чай
pipe.2032
vit01(mira, 1) — All
2020-12-29 19:49:20


В этот раз пост будет технический, про настройку своих компьютеров и контейнеров на GNU/Linux (может быть, не только) и как я воспользовался системой управления конфигурацией Puppet. Если ты не программист, то не спеши пропускать пост, потому что кое в чём тебе полезно будет его прочитать и задуматься.


## Проблема настройки ОС с нуля

Часто ли вам приходится устанавливать операционки, контейнеры, виртуальные машины, настраивать их и загонять туда кучу программ? Мне вот в последнее время да, причём не только себе, но и другим людям. Когда-то это необходимость по учёбе, а иногда просто требуется чистый компьютер/окружение для экспериментов или для установки научного софта.

И вот так бывает, что просто задалбывает всё делать каждый раз с нуля, одно и то же. Конечно, в GNU/Linux дистрибутивах есть пакетные менеджеры, где можно в одну строчку ввести несколько имён пакетов, и нужный софт по порядку установится.

Например, `sudo apt install libreoffice firefox gnuplot-x11` и.т.д. Пусть это и круто, но хочется большего:

* Очень часто ты не помнишь названия всех программ, которые нужны или могут понадобиться в процессе
* Если помогаешь установить и настроить софт друзьям или коллегам, то там может быть другой дистрибутив, в котором пакеты называются по-другому, из-за чего названия нужно вспоминать
* Настройка свежей ОС уходит далеко за установку парочки программ. Нужно крутить конфиги, иногда добавлять репозитории, не забыть запустить какую-то команду и так далее

## Системы управления конфигурацией и что они решают

В какой-то момент надоедает эта возня с настройкой систем. Если будешь постоянно что-то настраивать, то и времени на работу не останется. Хочется один раз разобраться, потом написать файл конфигурации или скрипт. И когда в следующий раз что-то понадобится, то просто его запустить, пойти пить чай и получить через час готовый для работы компьютер.

Для простых задач бывает достаточно написать простенький shell-скрипт, где ты тупо вбиваешь команды, которые запускаются по порядку. Но иногда хочется больше гибкости и **умной системы**, которая часть ответственности возьмёт на себя. Например, даст тебе возможность более красиво описывать настройки, улучшит обработку ошибок, позволит выносить блоки настроек по модулям и так далее.

Такие системы называются *системами управления конфигурацией* (конфигурациями), и товарищи в крупных фирмах ими часто пользуются.

## Ещё немножко комментариев "зачем"

К автоматизации я подхожу с некоторым максимализмом. Роботы должны делать тупую работу, а человек должен заниматься чем-то интересным. И когда мы пользуемся компьютерами, мы пишем программы, чтобы упростить себе жизнь, в чём-то стать свободнее и независимее. Часто за собой замечаю, что с этой технической вознёй стал сам зависим от компьютеров. Это как будто не ты владеешь вещью, а вещь владеет тобой. В какой-то момент я загорелся идеей уменьшить эту зависимость от вещей и от технологий, побороть привязанность к железу и к конкретным настройкам. И это нужно пояснить.

Те из вас, кто интересуется политикой, знает, что, например, на штабы Навального регулярно, раз в несколько месяцев, налетает ОМОН, забирает всю технику и не возвращает её. Я всегда представлял себя на месте работников Фонда Борьбы с Коррупцией и на месте каких-нибудь независимых журналистов.

Вот взяли отобрали у тебя компьютер или украли (или жёсткий диск полетел), а там куча твоей работы за несколько лет, огромная коллекция ценных книг/воспоминаний/музыки/порно, сотни-тысячи строк написанных конфигов и кода. Всё это взяло и исчезло. Разумеется, ты можешь какие-то важные данные хранить в облаке или на каком-то сервере, но привычный режим работы уже нарушен.

Ты берёшь, покупаешь новый компьютер, устанавливаешь на него ОС и тратишь день-два на настройку. А потом ещё пару недель, чтобы всё допилить до конца. А хочется взять комп, накатить туда свежую ОС, набрать пару команд в консоли и быстро (за час-два в зависимости от скорости интернета) получить готовое устройство, прямо как старое. Сразу со всеми данными из облака, со всеми привычными настройками, чтобы можно было взять и продолжить работать.

## Почему не Ansible и не Docker, чем плохи образы

Начнём с **образов**. Казалось бы, если тебе надо часто ставить операционки, то можно просто собрать свою сборку той же Убунты, запихнуть её в iso-образ и пользоваться, когда понадобится. Но тут сразу выползают минусы:

1. В процессе работы у тебя может что-то из настроек меняться, это абсолютно нормально. И на каждый чих, на каждое мелкое изменение придётся этот образ на несколько гигабайт пересоздавать или перезаписывать. Это долго и затратно
2. Образы сами по себе тяжёлые, эти несколько гигов надо просто где-то хранить и не потерять, а ещё наверняка захочется иметь несколько образов на разные случаи жизни, а это значит ещё пару десятков гигабайт
3. Программы имеют свойство иногда "протухать", то есть придётся ещё и устанавливать обновления в образы, а это значит регулярно заниматься пересборкой
4. Если ты ставишь программы другому человеку, то у него какая-то операционка может быть установлена, и удобнее просто накатить нужные программы на уже готовую ОС, чем ставить новую в дуалбут или в виртуалку

Почему не **Docker**? Для разработчика или для большой фирмы есть куча плюсов в использовании Docker, к тому же, там можно не просто использовать образы, но и писать Dockerfile, в котором можно указать кучу разных настроек. Но от Docker я отказался по следующим причинам:

1. Требует запущенного сервиса на компьютере и отдельного обслуживания, просто чтобы можно было что-то запустить изнутри. Опять накладные расходы
2. Вместо того чтобы запускать контейнер в режиме "всё включено", хочется больше гибкости. Например, создать вручную контейнер другой операционки и загнать туда тот же софт. Или установить программы на уже готовую ОС
3. Опять же, когда ставишь проги другим людям, то у них какая-то ось уже стоит, и им проще установить программы без всяких дополнительных слоёв абстракции и без контейнеров


Почему не **Ansible**? Вроде бы, это вообще идеальный вариант. Все настройки в текстовых файлах, кушать не требует, места много тоже не требует. Но мне не очень нравится подход Ansible к описанию настроек: файлы playbook получаются громоздкие, для каждой операционки нужно писать логику отдельно. Ещё там используется "императивный подход", как в обычных скриптах, плюс Ansible больше ориентирован на обслуживание удалённых серверов, а не просто любого компьютера. Хотя, конечно, этот инструмент крут в своей области и позволяет многого достичь, но лично для меня в данной ситуации он не подошёл.


## Как я воспользовался Puppet, с чем его едят

После рассмотрения разных доступных вариантов систем управления конфигурацией я открыл для себя Puppet и через некоторое время понял, что это то что нужно. Puppet позволяет устанавливать пакеты, добавлять в систему файлы, пользователей и крутить любые другие настройки. А ещё там поддерживаются внешние модули, которыми можно делиться с окружающими.

Чтобы создать конфигурацию, нужно написать несколько текстовых файлов и загнать их куда-нибудь в Git-репозиторий (например, на Github). Что самое крутое, в этих файлах настроек ты указываешь не просто последовательность команд, а именно желаемое состояние системы, то есть некоторый результат, который хочется получить в итоге. Puppet, считывая этот рецепт, сам позаботится о том, чтобы запустить нужные команды в нужном порядке.

Вот парочка примеров со [статьи на Хабре]( https://habr.com/ru/company/avito/blog/507346/ ) и на основе документации:

package { 'nginx':         # описываем пакет nginx
    ensure => installed,   # он должен быть установлен
}
~> service { 'nginx':  # описываем сервис nginx
    ensure => running, # он должен быть запущен
    enable => true,    # его нужно запускать автоматически при старте системы
}

Можно устанавливать также Python-пакеты, например

package { 'python-mysql':
  ensure   => installed,
  name     => 'mysql',
  provider => 'pip' # да, ставим через pip
}

Можно пользоваться переменными и добавлять файлы, например

# создание переменных
$variable = 'value'

file { '/tmp/text':
    content => $variable,
    owner => 'root'
}

Можно добавлять пользователей и SSH-ключи


$user = 'littlepony'

user { $user:
    name => $user,
    ensure => present
}

ssh_authorized_key { 'littlepony@hostname':
    ensure => present,
    user   => $user,
    type   => 'ssh-rsa',
    key    => 'содержимое ключа'
}


И даже указывать задания в Cron

cron { 'logrotate':
  command => '/usr/sbin/logrotate',
  user    => 'root',
  hour    => [2, 4]
}

Поддерживается массивы и циклы, указание зависимостей между ресурсами (например, перед тем как положить файл в папку настроек программы, эта программа должна сначала быть установлена). Мне нравится такой подход к описанию настроек

## Достоинства и недостатки Puppet

Из достоинств отметил бы

+ Сам способ декларативно описывать настройки
+ Возможность для разных операционных систем написать один конфиг, с минимальными правками. Например, я сделал конфиг, который сработает на Ubuntu/Debian и Archlinux/Manjaro примерно одинаково.
+ Куча модулей от сообщества для настройки самых разных параметров системы

Из недостатков

- Ruby не очень быстрый и не очень крутой язык, хотя это не критично
- Модулей от сообщества часто не хватает или они уже протухли, поэтому приходится проявлять смекалку и что-то придумывать самому
- Нужно соблюдать структуру каталогов и классов, из-за чего новичку легко запутаться в собственных модулях

В любом случае, я сделал с Puppet то что давно хотел - описал настройки для своих компьютеров, которые уже приносят пользу. В процессе эти настройки буду дорабатывать и дополнять не только для десктопов, но и для серверов.

## Применение для науки и для своих десктопов

У меня все конфигурации Puppet лежат в Git-репозиториях. Первая, публичная, доступна любому человеку на Github: https://github.com/vit1-irk/lazyinstall-puppet.

Чтобы ей воспользоваться, нужно взять оттуда скрипт с весьма лаконичным названием (см. репозиторий) и запустить его с желаемым ключом. Что есть в наборе `desktop`:

* Мой любимый софт: браузер, текстовые и графические редакторы, некоторые драйвера и полезные утилиты, почтовики и пара мессенджеров, ну и по мелочи. Просто чтобы комфортно было пользоваться компьютером
* Ставится русская локаль и часовой пояс Азия/Иркутск.
* В автозапуск загоняется Nextcloud и KDEConnect, чтобы сразу же синхронизироваться с облаком и со смартфоном

Есть ещё набор `science`, который я предлагаю использовать всем желающим, а особенно тем людям с физфака (и конкретно с космофиза), которые читают этот блог. Набор `science` рассчитан как на обычные компьютеры, так и на серверы. Что через него ставится:

* LaTeX со всеми нужными пакетами, чтобы писать статьи, курсачи и делать презентации в beamer. Редактором выступает Texmaker
* x2goserver, на тот случай если вы хотите запускать графический софт на мощном удалённом серваке, чтобы делать научные расчёты именно там
* Полностью настроенные Jupyter Lab и Jupyter Notebook, чтобы программировать на Python и заниматься анализом данных
* gnuplot, kmplot и Dot (+ модуль Jupyter) для построения графиков и диаграмм, geogebra для решения геометрических задач, Maxima для аналитических вычислений
* Язык R для анализа данных (пока без модуля Jupyter, но в будущем будет)
* Куча питоновских пакетов для анализа данных и вычислений, астрофизики и физики Солнца
* Питоновский модуль apprise для оповещений в мессенджеры или по Email (например, если у вас долгие вычисления и нужно за ними следить)

Для солнечных физиков там есть ещё особенные плюшки:

* Пакет SAOImageDS9 для анализа и просмотра FITS-файлов
* Настроенный GDL (реализация языка IDL) вместе с пакетом IDLAstro
* В питоновских модулях есть готовый для использования Sunpy

На Archlinux GDL мне полностью завести не удалось, но это только пока что, и я над этим работаю. Поэтому солнечникам рекомендуется пользоваться science-набором на Ubuntu или Debian. Если у кого-то есть замечания или предложения что-то включить ещё в научный набор, то с удовольствием приму.

## Вторая, личная конфигурация

Она находится в приватном репозитории под паролем. Там лежат некоторые специфичные для меня самого настройки. Например, SSH-ключи и настройки SSH-сервера, парочка сервисов systemd, ярлыки на рабочий стол и закладки в файловом менеджере. Приведу некоторый кусок кода с приблизительным содержанием, который можете допилить под себя

class personal::soft_services {
    $user = 'vit01'
    
    user { $user:
        name => $user,
        ensure => present
    }

    # ssh_authorized_key {'всё как в примере выше'}
    
    service { 'Syncthing':
        name => "syncthing@$user",
        ensure => "running",
        enable => "true"
    }

    class { 'ssh::server':
      validate_sshd_file => true,  
      options => {
        'Match User www-data' => {
          'ChrootDirectory' => '%h',
          'ForceCommand' => 'internal-sftp',
          'PasswordAuthentication' => 'no',
          'AllowTcpForwarding' => 'no',
          'X11Forwarding' => 'no',
        },
        'PrintMotd'              => 'no',
        'PasswordAuthentication' => 'no',
        'PermitRootLogin'        => 'no',
        'Port'                   => 22,
      }
    }

    $all_path = '/usr/local/bin/:/usr/bin'
    exec { 'install dot kernel for user': path => $all_path,
        command  => 'install-dot-kernel',
        onlyif => 'which install-dot-kernel',
        user => $user }
        
    $icon = 'xdg-desktop-icon install --novendor /usr/share/applications'
    
    file { "xdg bookmarks":
        path => "/home/$user/.config/gtk-3.0/bookmarks",
        content => "file:///home/$user/Nextcloud\nfile:///tmp",
        owner => $user,
        ensure => present
    }
    
    $icons = ["firefox.desktop", "emacs.desktop"]

    $icons.each |String $fname| {
        exec { $fname: path => $all_path,
            command => "$icon/$fname",
            environment => [ "HOME=/home/$user" ],
            user => "$user"
        }
    }
}


## На будущее

Всеми возможностями Puppet я не пользуюсь, мне пока достаточно того минимума, который можно увидеть сейчас в репозитории.

Что дальше в планах:

* Если будет свободное время и лишние 800 рублей на эксперименты с VPS, то сделаю воссоздаваемую конфигурацию для своих серверов, чтобы сделать их неубиваемыми.

* Настройки для обычных компов будут дорабатываться, чтобы ещё больше снижать количество телодвижений для приведения всего в рабочий вид

* Хочу такой же инструмент, но для Android-смартфонов (установка софта в том числе из F-Droid). Предлагайте, советуйте, буду искать и пробовать

* Разберусь с GDL на Archlinux и потом включу в настройки GDL-kernel для Jupyter Notebook, чтобы ещё больше облегчить написание IDL-кода солнечным физикам

Кстати, в процессе создания desktop-конфигурации я обнаружил к своему удивлению, что MyPaint и GIMP конфликтуют в репозиториях Debian. Это ужас и недоработочка.

В будущих постах, возможно, расскажу про Singularity-контейнеры, ими пользуется мой научрук.

[https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/zvG3oBpUEamdpvEYPGgy
](https://www.deviantart.com/rapidstrike/art/open-horse-development-583519331)

Этот пост в блоге: https://blog.alicorn.tk/posts/puppet-reproducible.html

# Re: Пишу ноду ii/idec на go
idec.talks
vit01(mira, 1) — btimofeev
2020-12-05 08:11:59


btimofeev> AL> Да. RSS нынче не в почёте.

btimofeev> Видимо RSS заменили всплывающие уведомления от сайтов в браузере. Кто-нибудь использовал такое? Мне кажется начнется бардак если включить хотя бы на нескольких сайтах.

Всегда выключал их, потому что они ужасно надоедливые. А на новостных сайтах их никогда включать не стоит, потому что начинают заливать спамом и чернухой

// Вообще, для RSS не так сложно сооружать парсеры

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Технический долг и неодиночество
pipe.2032
vit01(mira, 1) — All
2020-11-20 19:37:05


Разрешил научную загадку, занялся поддержкой технического долга, а ещё я больше не одинок.


[https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/4AI7Rri7sIru8y7qtMY0]( https://www.deviantart.com/eshredder/art/The-United-Zone-357179864 )

Небольшая заметочка: сервера deviantart у некоторых провайдеров под блокировкой РоскомПозора, поэтому оригиналы картинок с поняшами только через VPN

## По науке: загадка разрешается
В [позапрошлом]( https://blog.alicorn.tk/posts/sunny-september.html ) и [прошлом]( https://blog.alicorn.tk/posts/seeing-outside.html ) посте я рассказывал о загадке с определением площади гирорезонансного источника. Был написан алгоритм, который вычисляет координаты яркого источника излучения (активной области) на изображениях, вырезает нужный кусок и считает на полувысоте его площадь. Потом на полувысоте считается площадь пятна (диаграммы направленности) радиотелескопа, из которого и составляется изображение (размер пятна соответствует угловому разрешению телескопа). И для всего дня наблюдений идёт сравнение площадей активной области и пятна.

Проблема была в том, что не было никакой видимой корреляции размеров источника и пятна на графике, хотя эта корреляция должна была быть. Причины получения хреновых графиков могли быть (и оказались) такими:

1. **Ошибки в самом алгоритме подсчёта площади** (так в конце концов и оказалось, обнаружилось при натравливании на модельные данные)
2. **Низкая точность измерения площади из-за пикселизации.** Так как разрешение картинок примерно 2.45 угловых секунды на пиксель, а диаметр пятна радиотелескопа примерно 10 угловых секунд, то его центральная часть укладывалась всего в пару пикселей, чего очень мало. Чтобы набрать точность, избавиться от пикселизации и сделать объекты гладкими, пришлось делать сглаживание (интерполяцию) картинки. Кстати, если понадобится, делайте через `scipy.ndimage.zoom()`
3. **Захватывалась не главная (центральная часть) активной области, а вместе с фоном**, из-за чего алгоритм думал, что площадь больше, хотя она на самом деле меньше. Изначально я думал, что этот эффект тут самый главный, но оказалось, что главный - №1. Тем не менее, от 3 пункта всё равно пришлось избавляться. Достигнуто это было через измерение площади не на полувысоте, а на 0.8 от максимальной радиояркости.
4. **Сами данные были порченные, в том числе из-за дефектов алгоритма CLEAN**. Алгоритм CLEAN используется для построения радиоизображений из исходного нечитаемого месива дифракционной картины, которую выдаёт радиотелескоп. Он иногда может косячить. Этот эффект никуда особо не делся, но в этом ничего особо страшного нет, и потом я объясню, почему
5. **Отсутствие нормировки после интерполяции**. Да, после пункта №2, оказывается, надо было ещё и нормировку сделать на единицу при сравнении площадей, потому что максимальное значение яркости на изображении после сглаживания менялось! Это был существенный эффект, о котором я ранее не подозревал, и который очень надо иметь в виду

Пункты 3 и 4 следует проиллюстрировать на картинках. Покажу сначала само радиоизображение, а потом график интенсивности по горизонтали вдоль самого яркого пикселя. Синим изображена активная область, а оранжевым - пятно радиотелескопа. Максимум отнормирован на единицу, стоят отметки на 0.5 от высоты и 0.8 от высоты.

#### Пример протяжённого источника.
https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/kL2VsId7MzMqC4sHwQFD

#### Горизонтальный срез вдоль ярчайшего пикселя + пятно радиотелескопа
https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/uDOiVlzwP5QGzuycBUJ9

#### Ошибки алгоритма CLEAN
Обратите внимание, вот эта ровная сеточка из кружков, выстроенная вдоль одной линии, ненастоящая, её на самом деле быть не должно. Реальный радиоисточник здесь только тот, который самый яркий. Более тусклые - как раз тот мусор, который алгоритм CLEAN "вычистить" не смог.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/xAgZ4ubOdkzH26LnDWam

Что приятно, в данном конкретном случае мой алгоритм подсчёта площади делает меньше ошибку, когда считает на уровне 0.8. Но дефекты CLEAN во многих случаях неустранимы.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/xfQAoVDAEyxw4rnzcVPn

## И всё-таки, как изначально должна была выглядеть корреляция размеров?

И тут надо рассказать самое главное, в чём собака зарыта. Сразу я это делать не стал, чтобы вовремя показать красивую картинку, хех. Это связано всё с тем, как радиотелескоп получает своё изображение. Давайте пока что абстрагируемся от Солнца и попробуем представить себе, как наблюдаем за маленькой звёздочкой далеко в небе.

Так как звёзды крайне маленькие, то их можно представить в виде точечного источника света. Допустим, размер пятна радиотелескопа около 10 пикселей, а излучение звезды - около миллиона градусов (яркостная температура). Пронаблюдав далёкую звезду через наш радиотелескоп, мы получим размытую картинку, и для нас всё будет выглядеть, будто излучение звезды 100 000 градусов, а не миллион. Этот миллион "размоется" по пиксельной сетке.

Если же мы взглянем на точно такую же звезду, которая гораздо ближе к нам, и угловой размер которой больше или равен пятну телескопа, то при такой же интенсивности миллион градусов мы миллион и получим. Так что размер имеет значение. Только вот когда мы наблюдаем реальную картину, то мы не знаем реальный размер источника. Поэтому даже для очень маленьких активных областей мы должны получить площадь, сравнимую с площадью пятна радиотелескопа.

Иногда бывает, что источник достаточно большой, а температуры у него низкие. И именно в этом случае проявляются дефекты алгоритма CLEAN, когда он начинает "выедать" яркостный фон. Поэтому на тех изображениях, где есть дефекты, размеры источника как раз большие, из-за чего конкретно на моё исследование это не слишком влияет.

Гирорезонанс характеризуется высокими яркостными температурами и крайне малым размером радиоисточника. И на графике ниже мы можем как раз пронаблюдать изменение размера настоящего гирорезонансного источника в течение дня:

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/A35E92Q0z67jjerh9lhj

Здесь всё идеально: на самом первом графике (площадь в зависимости от времени) размер источника всего раза в полтора-два больше размера пятна (красные точки - это значения меньше или равно 3 размерам пятна). Второй график - это яркостные температуры, здесь высоким яркостным температурам всегда соответствуют маленькие размеры источников. На третьем графике мы чётко видим, что источник компактный, и его размеры лежат в одном узком кластере точек.

### Что дальше?

Судя по проведённому анализу размеров, из 27 событий точные и яркие случаи гирорезонанса, который мы ищем, всего у 2 событий. Один из них на графике выше был. Есть также спорные случаи, где высокий уровень флуктуаций размеров источника, однако их тоже можно причислить к гирорезонансу по остальным критериям оценки (не по размерам). Это означает, что 34 ГГц для них является не третьей гармоникой циклотронной частоты, а, например, четвёртой.

С соавторами мы договорились, что на этом можно по идее остановиться и только пересчитать статистику по активным областям, убрав все вспышечные выбросы. В результатах же отразить случаи, какой из гармоник какое событие может соответствовать. Скачаю базу данных вспышек у одного человека и пересчитаю статистику. Как только эти графики будут готовы, можно будет всё заносить в статью и заниматься уже финальным оформлением. Ориентировочный дедлайн готовности статьи - к концу года. Честно говоря, это довольно утомительно, и мне хочется не тянуть время, поднажать и больше усилий посвятить расчётам.

С научной частью пока всё. Дальше переходим к жизни...

## I'm not alone anymore

Да-да, я больше не одинок. Думаю, эта новость запоздала уже на месяц с лишним, но всё равно стоит об этом обмолвиться и сказать спасибо кое-кому, кто этот текст сейчас читает. И другим людям тоже спасибо сказать. Конкретных имён и явок не будет, но тем, кто учится со мной на физфаке, всё уже видно и всё понятно.

А ещё у этого блога немного выросло количество читателей. Также отдельно хочется сказать спасибо за понимание _тому будущему экономисту, который осваивает R_: приятно, что и ты теперь тоже меня читаешь. Да и в целом рад, что у меня теперь больше друзей или, по крайней мере, потенциальных друзей.

Заводить дружбу мне часто было трудно. В школе положительного примера толком не было и социализации нормальной тоже не было. Когда пришёл в университет, меня просто удивило, что в нашей группе куча очень хороших и в целом относительно адекватных людей. Но близко подружиться со многими не удавалось, потому что я неправильно себя позиционировал из-за недостатка опыта в общении.

Например, казалось, что если помогаю людям бесплатно или трачу на них своё время, то это поможет завести друзей. Но в реальном мире это практически не работает. На первом курсе я даже как-то делал небольшие просветительские лекции и ликбезы для одногруппников. Нет, в числе мотивов, конечно, была тяга к распространению знаний, но в первую очередь просто подружиться со всеми хотелось (а толку было мало). А ещё мне казалось, что если я попутно самовыражаюсь и показываю какие-то свои навыки или "особые способности", то это будет воспринято положительно, хотя это работает далеко не со всеми людьми (многих это оттолкнёт).

Вспоминаются случаи разные из недалёкого прошлого по типу таких

* _у человека проблема с программой или с техникой и требуется помощь_
* **Я:** прилагаю максимум усилий и решаю проблему самым элегантным и крутым способом, ожидая, что это положит начало нашей дружбе
* **Человек:** них_я себе, он так быстро уложил это всего в 20 строчек кода, ещё поучает и хвастается... спасибо, конечно, но, должно быть, он просто самовыражается и хочет выставить меня идиотом, мне неуютно в его присутствии
* **Я:** блин, где выхлоп, нахера трачу столько времени и сил? _грусть, тоска, печаль, одиночество_

О, а ещё стоит воздержаться в широком коллективе (в общих беседах) от споров о религии, политике и о проведении досуга. В своё время мне это казалось интересной интеллектуальной игрой, но далеко не во всех кругах это поймут. С непривычки будут тебя считать снобом и мудаком, либо просто крайне критичным человеком, даже если ты споришь без перехода на личности и с полным вниманием к позиции собеседника.

## Технический долг и депрессия

В среде программистов (и в целом многих технарей) существует такое понятие как технический долг. Это когда ты сначала быстренько написал программу тяп-ляп, чтобы она хоть как-то работала, но дал себе обещание на потом, что в будущем исправишь/переделаешь всё по-человечески. Как будто ты взял в долг у себя в будущем (или у своей системы). Данное понятие можно обобщить и на другие сферы нашей жизни. Например, когда ты во время учёбы что-то недоучил или недорешал, у тебя появляются пробелы в знаниях, которые в будущем требуется восполнить, - это тоже технический долг.

В хороших фирмах расходы на сопровождение тех. долга всегда заранее учитываются в бюджете и присутствуют в планах. Но в обычной жизни мы можем накапливать такие долги сколько угодно долго. У меня в главном org-mode файле есть огроменный список всех недорешанных домашних заданий за весь период обучения на физфаке. И этот список регулярно пополняется.

Причём же тут депрессия? Дело в том, что во время подавленных и депрессивных состояний люди могут только копить свои технические долги. И наоборот: огромный тех. долг в той или иной сфере жизни/деятельности может приводить к депрессии. У меня нынче сложилась такая ситуация, что я впервые выхожу из того ужасного состояния, в котором обычно почти постоянно пребываю, и начинают появляться силы и время на сопровождение своего тех. долга. Теперь по выходным потихоньку начинаю какую-то штучку из списка нерешённых ранее задач закрывать. И это очень и очень круто! Спасибо всем, кто меня с этим поддерживает на этом нелёгком пути.

Хочу добавить, что особо зацикливаться на тех. долге не стоит: все их накапливают. Это как государственный долг, полностью избавляться от которого не нужно, а нужно держать на его определённом уровне и не давать ему разрастаться.

## Санация права

Обычно я продвигаю в блоге какие-то интересные технические проекты, но в этот раз будет юридическо-политический. В последнее время всё ещё приходится читать или слышать от людей, что, якобы, Путин делал всё правильно, что его правлению нет альтернативы, и что наша власть работает настолько хорошо, насколько может. Кто-то добрым словом и Медведева вспоминает (хотя это тоже глупость). Но при этом у людей достаточно плохая память, и они быстро забывают как просто ошибочные, так и злодейские инициативы, принятые органами власти.

Проект [Санация права]( http://sanatsia.com/ ), основанный командой юристов, поддерживает список законов РФ, как они сами описывают, "сомнительных с этической точки зрения, нарушающих нормы цивилизованного общества, права человека или гуманитарные ценности". Причём не только список самих законов, но и случаи правоприменительной практики по ним. Целью составления списка они ставят быструю очистку законодательства в будущем, когда придёт нормальная власть (то есть разово одним пакетом отменить все вредительские законы).

Посмотрев и поизучав сайт, вы не без удивления обнаружите, что большая часть идиотских и преступных законов появились в два последних срока Путина. Немножечко есть и в срок Медведева. Меня только смутило то, что после 2017 года проект почему-то заглох и не пополняется, хотя за последние годы "бешеный принтер" государственной думы напринимал ещё кучу всякой гадости.

См. также: [Санация (экономика)]( https://ru.wikipedia.org/wiki/%D0%A1%D0%B0%D0%BD%D0%B0%D1%86%D0%B8%D1%8F_(%D1%8D%D0%BA%D0%BE%D0%BD%D0%BE%D0%BC%D0%B8%D0%BA%D0%B0 ))

Ещё хочу порекомендовать гитхаб-репозиторий https://github.com/Pontorez/const, который складирует новости из СМИ и собирает полный список преступлений текущего политического режима. Ко многим материалам оттуда следует относиться критично, однако если у вас "плохая политическая память", то можно освежить воспоминания или быстро отыскать событие по заголовку. Там уже свежие коммиты и регулярные обновления.

Этот пост в блоге: https://blog.alicorn.tk/posts/technical-debt.html

# Re: Ставлю цели на лето и копаюсь в себе (+org-mode)
pipe.2032
vit01(mira, 1) — vvs
2020-10-26 15:31:39


vvs> Дальше мое мнение дилетанта. Я не физик, но читаю научпоп, который сами физики пишут. Складывается впечатление, что некоторые разделы современной физики и так уже скатились в область чистой абстракции. Интуитивное понимание физических явлений заменила чистая математика. Проблема с таким подходом в том, что математика не относится к естественным наукам, целью которых является эмпирическое изучение окружающего мира. Это лишь язык, на котором возможно выразить любые абстрактные идеи, но ничего нельзя сказать об их отношении к действительности. В настоящее время самих математиков это мало интересует, а они увлечены чистыми порождениями собственной фантазии. Как следствие - появление таких физических теорий, как теория струн или цифровая физика, которые вряд ли возможно проверить экспериментально, но можно легко подогнать под любые заранее известные результаты. Возникает вопрос: а наука ли это в привычном смысле? А если нет, то чем это отличается от религии?

Позвольте не согласиться насчёт физиков теоретиков и теории струн в частности. Я тесно общаюсь с теоретиками на физфаке и вынужден частенько в том числе разбираться с их формулами и с интерпретациями теорий.

Любая фундаментальная теория для моделей физики частиц имеет кучу разных механизмов проверки, которые позволяют как поставить эксперименты из выводов на её основе, так и просто проверить саму теорию на внутреннюю непротиворечивость.

Теория струн до сих пор проверку на эту самую внутреннюю непротиворечивость не прошла, потому что некоторые соотношения в ней не сходятся. Например, фиг куда денешь лишние пространственные изменения, которые мы наблюдать не можем. То есть если грубо так сказать, то теория струн не работает, и теоретиков это не устраивает, поэтому она (теория) широко не признана научным сообществом. Да, в отличие от восторженных научпоперов, реальные учёные всё-таки "следят за базаром" и контролируют, где тут математика, а где реальность

Но тогда возникает закономерный вопрос, а почему теория струн всё ещё очень популярна, и ей активно занимаются? Ответов здесь несколько

1. Развитый математический аппарат никогда не бывает лишним. С математикой всегда так бывает, что прямо сейчас какая-то штука оказывается бесполезной, а лет через 50 (а то и раньше) вдруг внезапно в какой-то из областей науки становится очень нужной

2. В процессе своего создания теория струн уже дала некоторые идеи и внесла вклад в другие теории и другие дисциплины, которые имеют гораздо большую связь с реальностью и больше прикладного применения

3. "Пусть дальше пилят, а если что-то получится, то и круто". В конце концов, с главной проблемой теории есть смысл бороться и как-то её обойти

Что могу в целом сказать про нынешнюю физику элементарных частиц, так это то, что связи с реальностью никто не терял и не теряет. Просто нынче математический аппарат настолько развился и настолько стал универсальным, что сейчас возможно быстро настрогать по 1000 новых теорий, по факту занимаясь "брутфорсом° реальности. А потом поставить эксперимент, спрашивая у природы, какой из этого множества вариантов верный (и отсеять заведомо неверные). Другое дело, что чем дальше мы пробираемся вглубь, тем эксперименты ставить всё сложнее и дороже. Но это уже совсем другая история

+++ IDEC Mobile в виртуальной машине
+++ GNU/Linux, Android, physics, MLP:FIM

# Вылазки на природу
pipe.2032
vit01(mira, 1) — All
2020-10-15 03:26:14


Самое главное в этом посте - рассказы о выездной практике и ссылки на фотографии.


# Рассказы о путешествиях

Так как мы, физики, уже 4 курс, в нашем учебном плане появилась так называемая выездная практика, в рамках которой общие физики и радиофизики должны были познакомиться с различными полигонами и научными установками, которые работают у нас в области. Физический факультет ИГУ тесно сотрудничает с институтом солнечно-земной физики РАН и институтом прикладной физики (его проекты вообще напрямую поддерживаются). Так что мы как раз поехали на их базы. *Примечание: в Иркутской области гораздо больше интересных научных полигонов, мы просто поехали туда, куда смогли.*

Чтобы не сильно загружать читателей техническими подробностями, я сразу дал ссылки на обзоры других людей, где можно прочитать про характеристики конкретных инструментов. А сам расскажу про свои впечатления и поделюсь немногочисленными фоточками. Заранее прошу прощение за качество фотографий (всё снималось с мобилы и обрабатывалось). И ещё там видео есть.

## Торы

Торы - это село в республике Бурятия, в Тункинской долине. Находится оно рядом с рекой Иркут, в степной зоне. Открывается прикольный вид на Саянские горы. Повсюду бегают лошади, коровы. Встречаются суслики, а рядом с человеческими поселениями - собаки и кошки. Бурятская степь - это, конечно, хорошо, но постоянно ходить рядом с коровьим дерьмом - так себе. Может быть, люди привыкают, но с комфортом им ещё предстоит поработать.

* [Координаты]( https://goo.gl/maps/EvcD5jomPb9jkPXw9 )
* [Все фотографии]( https://alicorn.tk/dashie/s/4kyWYSfFnwwFsmL )

#### База НИИ прикладной физики в Торах
* [Сайт проекта]( https://taiga-experiment.info/ ) с подробным описанием всех установок
* [Небольшой обзор]( https://www.the-village.ru/business/how/280542-kosmicheskie-kastryulki ) с фотками на TheVillage

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/0Y3LZjipY8Ec9pXzKtoQ

НИИ ПФ здесь в основном занимается сбором данных (направление, энергия, тип частиц и.т.п.) о потоке космических лучей и об идентификации частиц, прилетающих на Землю из далёкого космоса.

На картинке выше изображена установка Taiga-HISCORE. Внутри каждого такого ящика находится по 4 фотоумножителя, каждый из которых ловит фотоны, прилетающие из [широких атмосферных ливней]( https://ru.wikipedia.org/wiki/%D0%A8%D0%B8%D1%80%D0%BE%D0%BA%D0%B8%D0%B9_%D0%B0%D1%82%D0%BC%D0%BE%D1%81%D1%84%D0%B5%D1%80%D0%BD%D1%8B%D0%B9_%D0%BB%D0%B8%D0%B2%D0%B5%D0%BD%D1%8C ). Фотоны очень удобны для фиксации, потому что они не отклоняются в магнитном поле. Таких ящиков по полю расставлено огромное количество. Когда прилетает одна высокоэнергетическая частица, то в верхних слоях атмосферы она сталкивается с атомами и порождает циклический каскад ядерных реакций. В результате от одной частицы прилетает огромное количество побочных частиц, которые разлетаются по полю. Среди побочных частиц обязательно находятся и фотоны, которые фиксируются установкой.

Небольшое пояснение: в квадратных ящичках находится по 4 фотоумножителя, а в круглых - всего по одному. По 4 штуки начали ставить, чтобы улучшить соотношение сигнала к шуму, дабы увеличить чувствительность для полезного сигнала.

Рядом с Taiga-HISCORE находятся огромные телескопы с зеркалами Taiga-IACT, которые анализируют [черенковский свет]( https://ru.wikipedia.org/wiki/%D0%AD%D1%84%D1%84%D0%B5%D0%BA%D1%82_%D0%92%D0%B0%D0%B2%D0%B8%D0%BB%D0%BE%D0%B2%D0%B0_%E2%80%94_%D0%A7%D0%B5%D1%80%D0%B5%D0%BD%D0%BA%D0%BE%D0%B2%D0%B0 ) от широкого атмосферного ливня, чтобы определить тип первичной частицы, которая долетела до Земли. Также детекторы черенковского света есть на установках Tunka-133 и Tunka Rex в радиодиапазоне. Правда, нам рассказали, что от радиоантенн Tunka Rex интересной информации почти нет.

Почти под землёй в специальной комнате находится станция из детекторов мюонов, а ещё рядышком обитает оптический робот-телескоп Мастер, для отслеживания событий в далёких галактиках. Он подключен в международную сеть телескопов быстрого реагирования и автоматом наводится на нужную галактику/туманность/звезду, как только оттуда зафиксируется интересное излучение.

Товарищи, которые работают в НИИ ПФ, пустили меня в свою мастерскую, пока все остальные страдали фигнёй. Им большой плюс за уютную и хорошо отделанную мастерскую. Но в целом убранство на базе НИИ ПФ бедное. За исключением дорогущих установок это всё-таки обычный деревенский быт (туалет там всё-таки норм).

#### База ИСЗФ в Торах
* [Инструменты]( http://ru.iszf.irk.ru/%D0%93%D0%B5%D0%BE%D1%84%D0%B8%D0%B7%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B0%D1%8F_%D0%BE%D0%B1%D1%81%D0%B5%D1%80%D0%B2%D0%B0%D1%82%D0%BE%D1%80%D0%B8%D1%8F )

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/qjZlPpTQuPV55QV2kZfX

На базе ИСЗФ в Торах работают ионосферщики и отдел распространения радиоволн. Главное оборудование на этой базе - это огроменные антенны для приёма сигналов с ионозондов. Раньше эти антенны использовали военные для решения задач о глушении сигналов того или иного спутника, плюс для связи с подводными лодками. А сейчас единственное более-менее их военное применение - это в качестве резервного канала радиосвязи в случае каких-то катаклизмов или крайней необходимости.

Учёным эти антенны нужны для определения полной электронной концентрации в ионосфере по [ионограммам]( https://blog.alicorn.tk/posts/pro-ionosferu.html ), а также других параметров плазмы.

Кроме антенн для приёма сигналов с ионозондов, там также имеются камеры для оптических наблюдений за среднеширотными сияниями (про это я тоже писал, см. ссылку выше).

Домики для жилья на базе ИСЗФ выглядят поприличнее, чем на базе НИИ ПФ. Кроме этого, там сейчас идёт стройка, и возводят новое большое здание, в котором будет размещаться персонал. Значит, судя по всему, это место как-то будут апгрейдить и в плане оборудования.

## Листвянка

* [Координаты]( https://goo.gl/maps/ERCY8nyzudYQ51iG8 )
* Инструменты: [здесь]( https://ru.wikipedia.org/wiki/%D0%91%D0%B0%D0%B9%D0%BA%D0%B0%D0%BB%D1%8C%D1%81%D0%BA%D0%B0%D1%8F_%D0%B0%D1%81%D1%82%D1%80%D0%BE%D1%84%D0%B8%D0%B7%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B0%D1%8F_%D0%BE%D0%B1%D1%81%D0%B5%D1%80%D0%B2%D0%B0%D1%82%D0%BE%D1%80%D0%B8%D1%8F ) и [здесь]( http://solar.iszf.irk.ru/%d0%b1%d0%be%d0%bb%d1%8c%d1%88%d0%be%d0%b9-%d1%81%d0%be%d0%bb%d0%bd%d0%b5%d1%87%d0%bd%d1%8b%d0%b9-%d0%b2%d0%b0%d0%ba%d1%83%d1%83%d0%bc%d0%bd%d1%8b%d0%b9-%d1%82%d0%b5%d0%bb%d0%b5%d1%81%d0%ba%d0%be/ )
* Фотографии: [эта поездка]( https://alicorn.tk/dashie/s/EEWH9PfGQRwxCQw ), [прошлая поездка]( https://alicorn.tk/dashie/s/4MWJSk6YpKmHNs3 )

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/jkT45ICU0x0wwOCzTnei

Листвянка - самое известное среди туристов место на Байкале, хотя и одно из самых [отстойных]( https://www.youtube.com/watch?v=0_GciVP7j_c ). Здесь на горе расположилась байкальская астрофизическая обсерватория с несколькими солнечными телескопами. Самый крупный из них, на фото выше - это большой солнечный вакуумный телескоп. Рядом с ним находится установка для измерения магнитных полей на Солнце, а немножко вдали расположены хромосферные оптические телескопы, которые уже практически не наблюдают (а один вообще отдали туристам), но на этой приборной базе успели в своё время много наоткрывать и написать много научных работ.

У большого солнечного вакуумного телескопа есть перспективы развития, потому что туда добавляют адаптивную оптику (которая может автоматически подстраиваться под колебания атмосферы и значительно улучшить качество картинки). Кроме того, рядом есть ещё один недостроенный телескоп, на котором есть современное оборудование. Но в целом на этой базе мало чего интересного. Может быть, это потому что я там уже был или потому что нам не удалось ничего понаблюдать на актуальных приборах.

Инфраструктура там средненькая: есть нормальное жильё для сотрудников и интернет, но сортиры деревянные с кучей говна, за что огромный минус. Мобильный интернет на горе не пашет, только в строго определённых местах. В Торах, кстати, тоже мобильный интернет практически не работал, только 2G.

## Монды (Саянская обсерватория)

* [Координаты]( https://goo.gl/maps/QLUoQyhauopXp9RH8 )
* Инструменты: [здесь]( https://ru.wikipedia.org/wiki/%D0%A1%D0%B0%D1%8F%D0%BD%D1%81%D0%BA%D0%B0%D1%8F_%D0%BE%D0%B1%D1%81%D0%B5%D1%80%D0%B2%D0%B0%D1%82%D0%BE%D1%80%D0%B8%D1%8F_%D0%98%D0%A1%D0%97%D0%A4_%D0%A1%D0%9E_%D0%A0%D0%90%D0%9D ), [здесь]( http://ru.iszf.irk.ru/Sso ) и [здесь]( http://lfvn.astronomer.ru/optic/mondy/index.htm )
* Фотографии: [первая часть]( https://alicorn.tk/dashie/s/pbzTzGG9Sk2aYrB ), [вторая часть]( https://alicorn.tk/dashie/s/FgDJ5ATbifscaPe )

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/5Wzjx9Ek0hzzS18UlYaw

Монды расположены дальше всего от Иркутска, в Бурятии, на границе с Монголией, в горах на высоте 2000 метров. Там стоит огромное количество различных интересных приборов, начиная от современных солнечных телескопов, спектрографов и магнитографов, заканчивая звёздными телескопами и установками для отслеживания метеоров (в Торах есть аналогичная, и они направлены в одну точку неба, чтобы определять направление полёта метеоритов). Один из телескопов иногда используется центром управления полётами для отслеживания траекторий космических аппаратов (а в советское время на нём высматривали американские спутники).

Из неработающих инструментов там, наверное, только внезатменный коронограф, куда мы всё-таки забрались, чтобы сделать красивых фоточек.

Наша поездка длилась 3 дня. Интернет в Мондах спутниковый, и по всей обсерватории работает вайфай (который, однако, не везде хорошо ловит). Скорость на отдачу около 1-3 мбит/с, на загрузку около 10-12 мбит/с. Мобильная связь не ловит. Есть уютное здание для персонала (вместе с центром обработки данных), где есть крутой диванчик с шикарными видами. Там ещё есть баня. А домики, где живёт народ, отапливаемые (дровами и электрообогревателем). Ещё на базе просто шикарная столовая, где ещё и кормят вкусно.

Поскольку на Солнце сейчас нет пятен, да и ночью были облака, понаблюдать что-то на реальных приборах не удалось. Поэтому наши в основном гуляли, снимали природу и страдали фигнёй. В целом, там есть, на что просто поглядеть: установки имеют достаточно футуристичный вид, а Саянские горы почти всегда дают крутую картинку (прямо Швейцария на минималках). Это идеальный пейзаж для съёмки кино (особенно фантастики или киберпанка). А в последний день поездки вообще выпала куча снега, что выглядело невероятно эпично. О, кстати, если посмотреть в сторону Монголии, то можно увидеть на горизонте озеро Хубсугул - "младшего брата Байкала" (см. мои фотографии).

Про границу с Монголией интересная тема. Эта самая граница находится в 30 метрах от одного из телескопов и обозначена большими деревянными столбами, даже без колючей проволоки. Пограничники там в засаде не сидят, однако всё равно всем строго-настрого было запрещено даже чуть-чуть эту границу переступать, иначе бы у обсерватории возникли проблемы.

Нам рассказали байку, что как-то раз к границе прискакал монгол на коне с партией контрабандного конского волоса, который он пытался переправить по заранее определённой договорённости через территорию обсерватории (контрабандисты переправляют грузы через обсерваторию просто потому что только там построена нормальная дорога). В это время (а дело было ночью) приехал на наблюдения к телескопу на автомобиле один местный житель. У этого работника на автомобиле были разные разноцветные огоньки, которые иногда модно ставить, чтобы тебя лучше было видно на дороге (тем более ночью). Монгол, увидев машину с огоньками, подумал, что это полиция, и что едут как раз за ним арестовывать =), побросал весь свой товар и ускакал обратно. В итоге спустя некоторое время работники обсерватории его сброшенный груз обнаружили. Такие дела.

Есть в Саянской обсерватории и одна тёмная сторона, типичная для поселений вдали человеческой цивилизации (в жопе мира). Весь мусор и прочее говно там сбрасывают просто в выгребную яму и даже походу не вывозят. Ни о какой сортировке мусора речь тоже не идёт. Это крайне печально, и это показывает, что Россия - это всё-таки не скандинавские страны.

## По статье

Загадка из [предыдущего поста] ещё полностью не разрешена, поэтому всё будет в следующих постах. Однако, обнаружились некоторые признаки того, что размер источника моим алгоритмом определяется неправильно. А всё потому что реальный гирорезонансный источник может являться частью более тусклого, и мой алгоритм в действительности замеряет гораздо большую площадь, чем нужно. То есть на самом деле площадь меньше.

## Стратегии общения одиноких и неодиноких людей

Спустя некоторое время активного общения в мозгу начало складываться смутное понимание насчёт того, как одиночки и неодиночки взаимодействуют с окружающими.

Одинокий человек, как правило, является социально изолированным. У него не так много знакомых и друзей. Он понимает, что с большей частью этих знакомых качество общения оставляет желать лучшего, но не хочет ничего менять, потому что боится потерять даже этот минимум спокойного общения. Поэтому главная стратегия одинокого человека - **как бы не стало хуже**. Такой человек старается быть осторожным и следить за своими словами, чтобы не сболтнуть лишнего и ничего не спровоцировать. Он переживает за мельчайшие пустяки и прокручивает в голове даже самые безобидные разговоры, придавая им большое значение. В результате окружающие думают, что он их сознательно сторонится, и они сами начинают тоже его сторониться в ответ. Система пришла в равновесие и может там находиться достаточно долго.

Допустим, что вы неодинокий человек, у вас есть близкий партнёр, или он только что по случайности появился. И это означает, что в общении со всеми остальными людьми у вас **появляется право на ошибку**. Ведь теперь нет разницы, как закончится разговор с "вон теми чуваками", если ты всегда сможешь вернуться в объятия любимого человека, с которым чувствуешь себя в безопасности и с которым тебе уютно.

Получается, как только ты перестаёшь быть одиноким, ты можешь общаться с кем угодно, как угодно и без тормозов. Потерпишь неудачу - и хрен с ним, ведь ты неуязвим. А получишь пользу или кайф - ну и хорошо.

Люди, которые большую часть своей жизни не испытывали таких чувств, забывают, каково быть ForeverAlone. Иногда они насмехаются над твоими страхами и социальной тревожностью, иногда просто искренне не понимают. Говорят, что волков бояться - в лес не ходить. Но когда ты пошёл в лес за ягодами, есть большая разница, идёшь ты с ружьём или без ружья. Аналогия грубая, но если тебе, одиночке, в следующий раз расскажут про лес и волков - найдёшь, что ответить.

А вот как перестать быть ForeverAlone, ответа нет ни у меня, ни в соответствующем [сабреддите]( https://www.reddit.com/r/ForeverAlone/ ). Наверное, один из базовых советов - быть смелее и рисковать, но не мне такое людям советовать, хех.

## Почему я не фотаюсь

Так случилось, что я крайне не люблю быть запечатлённым на фото. Кто-то от этого удивляется, кто-то просто смеётся, а кто-то ещё пытается выставлять меня виноватым. Что ж, разберём сразу несколько причин, что как и почему

* Первая и главная причина - **ужасно комплексую по поводу своей внешности**. И поэтому я начал работать в сторону улучшения всего этого. Одежда, уход за лицом, аккуратность, и.т.п.
* **Не хочу запечатлевать грустное настроение**. Действительно, большинство людей считают, что фотографии нужны, чтобы консервировать те или иные воспоминания, а потом возвращаться к ним в будущем и пересматривать. И когда мне очень плохо, когда я почти в депрессии или на грани нервного срыва, крайне не хочется, чтобы это попало на фото. Да и смотреть в будущем на приятные воспоминания тоже не хочется, потому что это вызовет боль и грусть об ушедших годах.
* **Считаю, что лица людей - это не ценная информация**. Лица многих важных учёных, писателей и других деятелей часто теряются, но мы их ценим не за это. Мы ценим этих людей за их вклад в историю, а не за их улыбающиеся (или наоборот) е\*\*льники. А раз лица выдающихся людей не важны, то зачем вообще сохранять в истории моё лицо, если я простой ноунейм, каких огромное количество?
* **Сам процесс фотографирования - это утомительная возня**. Сочетается с предыдущим пунктом. Особенно когда вы в поездке, состроить удачный кадр требует некоторых усилий и времени. Я предпочту их потратить на то, чтобы сосредоточиться на текущем моменте и/или погрузиться в свои мысли.
* **Беспокоюсь о приватности и сливе компромата.** Да, и такое бывает. Когда есть фотка, то проще искать информацию о человеке в интернете, проще его деанонимизировать и проще сделать какую-то гадость. Каждый раз, когда ты выкладываешь что-то в сеть, это там остаётся и может быть использовано против тебя.
* **Не хочу лишнего внимания (особенно от людей из прошлого).** Так получилось, что в прошлом, особенно в школе, у меня были не очень хорошие отношения со многими людьми. И поэтому в интернете я себя стараюсь излишне не проявлять и не светиться под своим именем и со своей рожей. Не хочется, чтобы меня вспоминали, чтобы искали и снова хотели общения.

Допускаю, что во многих позициях тут могу быть не прав. На некоторые пункты мне поступают возражения и вполне справедливые. Например, что я не имею права просить других людей меня не вспоминать, если они хотят. Ведь это их воспоминания, а не мои, и для себя они могут сохранять что хотят.

## Скриптец, который хотел прорекламировать

Сейчас треш, который творит роскомпозор, всё ещё не даёт покоя. Недавно РКН заблокировал сервера моего любимого https://deviantart.com, на котором тот хранит изображения. А это значит, что для просмотра комиксов с поняшками нужно воспользоваться VPN. У меня есть свой собственный, но у многих нет, и нужна простенькая утилита, чтобы настроить какой-то из публичных серверов для обхода блокировок.

Один мой хороший товарищ написал [скрипт]( https://ezup.dev/git/dotfiles/file/.local/bin/vpngate-fzf.sh.html ), который скачивает OpenVPN файлы с сервиса VPNGate и даёт быстро ими воспользоваться. ГНУ/линуксоидам рекомендую.

Этот пост в блоге: https://blog.alicorn.tk/posts/seeing-outside.html

# Re: Солнечный сентябрь
pipe.2032
vit01(mira, 1) — boscholeg
2020-09-30 16:27:58


boscholeg> Бывают студенты балбесы и лодыри, а бывают наоборот трудоголики без тормозов. Вторые часто слетают с нарезки.

Из трудоголиков только 1 человека знаю. Остальные "полетели" по личным причинам, с учёбой не связанными совсем

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Солнечный сентябрь
pipe.2032
vit01(mira, 1) — All
2020-09-26 16:57:40


Вот не могу писать про что-то одно, поэтому здесь будет мешанина, как всегда.


## По учёбе

Из предметов сейчас:

- Физическая кинетика (сложный, но интересный предмет, возимся с характеристическими и производящими функциями и с теорией вероятностей)
- Физика плазмы (доп. главы)
- Физика Солнца (+ лабораторные, где мы программируем на языке IDL, для которого есть астрономические библиотеки)
- Общие лабораторные работы по методам исследований в астрофизике
- Физика ближнего космоса (пока что повторение инфы с предыдущих курсов, но уже куча формулок, и мне это нравится)

Дополнительно с кафедры теорфиза я хожу на астрофизику и на теорию излучения, но там чисто как вольнослушатель и не всегда, потому что по расписанию с остальными парами они пересекаются. В любом случае, вся инфа доступна, и в виде литературы её можно осваивать самому.

Кроме этого, у нас планируется практика на телескопах. Нас свозят на несколько телескопов, а кое-куда даже на пару дней с ночёвкой. По мере прохождения практики буду присылать сюда подборки фотографий, это наверняка будет красиво и прикольно. Самый настоящий солнечный сентябрь =)

[celestia-s-sun.jpg]( https://www.deviantart.com/mysticalpha/art/Celestia-s-Sun-16-10-510690495 )

## Прогресс по статье

Как я рассказывал в предыдущем солнечном посте, следующим этапом исследования было начать смотреть размер и форму радиоисточника. Насколько он большой или маленький, в каких местах больше или меньше светится. Для этого всего лишь требовалось увеличить его хорошенько и рассмотреть поближе.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/RiAPBBsQa2jG7BOQb2dg

А можно ещё побольше увеличить и нарисовать контуры по яркостной температуре.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/7P4b96E12t63vphc1t4i

Радиотелескоп работает абсолютно по-другому, нежели фотокамера. Он составляет своё изображение не тупо в виде "пикселей", а в виде кусочков синусоид. В итоге сырое изображение до обработки является огромным месивом из (как правило) крестообразных ярких пучков. После обработки (алгоритм CLEAN) побочные максимумы дифракционной картины отсекаются, а главный максимум остаётся. В итоге изображение составляется уже из размытых пятен, где в центре самый яркий пиксель, а ближе к краям - менее яркие. Я хотел отрендерить образец "пятна" для радиогелиографа Нобеяма, но было лень, поэтому не стал =) Просто представьте себе кусочек распределения Гаусса в голове, окей?

Так вот, отвлёкся. Поскольку изображение составляется из пятен-гауссиан, то сравнивать размер светящегося источника имеет смысл именно с этим пятном, а не тупо в пикселях считать. В итоге я взял площадь радиоисточника на полувысоте от максимума и сравнил с такой же площадью пятна телескопа на полувысоте. Получилось, что в течение дня размер активной области меняется как-то так:

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/vAuA1J1e0mzgybiFPu1D

Вообще говоря, на графике выше есть некоторая загадка. Когда я сравнивал его со значениями максимальной яркостной температуры, то никакой толком корреляции не обнаружил, хотя она там должна быть. Эту загадку надо решить или объяснить, почему мой алгоритм работает не так. Но для этого нужно построить данную кривую для всех событий, а не для нескольких (и кое-что отсмотреть вручную). Но ничё, я ж типа "исследователь", поэтому делать загадочное незагадочным и есть моя работа.

Изображения, кстати, очень тяжёлые, и для построения одного такого графика с жёсткого диска считываются гигабайты информации.

А вот гистограмма по относительным размерам радиоисточника и пятна. Рассматривались значения площади источника, делённой на площадь пятна.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/z9A7IoqzEmiNx4OkWwN5

Ещё я дополнил некоторые данные по таблице в русскоязычной версии своей курсовой работы, а именно таблицу результатов примерными данными по магнитным полям, которых недоставало.

## Крутая диаграммочка для курсача

Когда возникла необходимость отчитываться перед кафедрой о своей научной работе на русском языке, мне потребовалась диаграмма, где примерно изображались этапы работы по исследованию. Что делает простой человек, когда ему надо нарисовать диаграмму? Правильно, заходит в свой любимый офисный пакет, например, LibreOffice или Microsoft Office. Кто-то более продвинутый запускает векторный графический редактор вроде Inkscape и делает там. Однако, они все совершают одну ошибку - данные программные пакеты плохи для диаграмм, потому что мышкой невозможно идеально позиционировать элементы относительно друг друга. К тому же, если вдруг что-то захотелось поменять, то очень долго будет переделывать.

Но я поступил поумнее и воспользовался специальным языком программирования для диаграмм, который называется [GraphViz Dot]( https://graphviz.org/documentation/ ). С ним не пришлось никуда тыкать мышкой, а на выходе очень быстро появилась красивенькая схема со стрелочками и ровно расположенными блоками. Оформление - одно удовольствие.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/IMXXpPhzPf5GEE1Yxk0a

Исходник на языке Dot:

digraph C {
    graph[rankdir=LR]
    node[shape=box, fontname="Fira Mono", fontsize=11, fixedsize=true, width=4];
    
    stages[shape=plaintext, label="Этапы работы", fontsize=14]
    data[shape=plaintext, label="Данные", fontsize=14]
    
    scan1[label="Автоматическая фильтрация"]
    result1[label="Предварительные кандидаты в гирорезонанс", color="wheat", style=filled]
    
    manual[label="Визуальный анализ"]
    result2[label="Готовые кандидаты в гирорезонанс", color="lightgreen", style=filled]

    stat[label="Статистический анализ"]

    scan1 -> result1;
    result1 -> manual;
    manual -> result2;
    result2 -> stat;
    
    {rank=same stages scan1 result1 manual result2 stat}
    
    imgs1[label="Радиоизображения (40 мин)\nКорреляционные кривые", width=3, height=0.5]
    imgs2[label="Радиоизображения (5 мин)\nКорреляционные кривые\nМагнитограммы\nРентгеновский поток", width=3, height=1]
    
    scan1 -> imgs1;
    imgs1 -> scan1;
    
    manual -> imgs2;
    imgs2 -> manual;
   
   stages -> scan1 [color="white", arrowhead=none];
   data -> imgs1 [color="white", arrowhead=none];
    {rank=same data imgs1}
}

Также, огромная благодарность создателям инструмента [Jupyter Dot Kernel]( https://github.com/laixintao/jupyter-dot-kernel ), потому что именно благодаря ему стало так просто и удобно оформлять подобные диаграммы прямо через Jupyter Notebook/JupyterLab. А вот мой научный руководитель для оформления диаграмм использует язык [PlantUML]( https://plantuml.com/ ). Этот язык очень похож на Dot и по сути выполняет такие же задачи, но имеет какие-то свои фишки. Возможно, кого-то заинтересует. А ещё есть шикарный [Mermaid.js]( https://mermaid-js.github.io/ ), который я внедрил бы кое-куда у себя.

## По работе над собой

Как было написано в предыдущем посте, решил начать инвестировать (время и деньги) в улучшение своего внешнего вида. Пара друзей мне с этим согласились помочь. Они потихоньку подбирают мне гардероб, который я так же потихоньку скупаю на свои скромные сбережения, помогли со средствами для ухода за кожей, дальше надо будет сделать хорошую причёску, копить деньги на аксессуары (надеюсь, что накоплю на что-нибудь умное и полезное, а не просто чтобы производить впечатление). Как только изменения в стиле дойдут до определённой точки, придётся ещё идти наращивать мышцы.

Некоторую старую и непригодную для ношения одежду сдал на утилизацию, и это круто (не выбрасывать же). Положительным побочным эффектом оказалось то, что освободилось место в квартире, и мне теперь гораздо проще искать в завалах именно ту одежду, которую я буду носить в данный момент. Наконец-то ещё обувь отсортировал и теперь практически полностью контролирую свои вещи в квартире. Но ещё есть, над чем работать.

На онлайн-знакомства полностью забил и пока не планирую к ним возвращаться, по крайней мере, до существенных изменений в своей внешности. Для хорошо составленного профиля ещё следовало бы фотосессию организовать, но до этого пока очень далеко.

## Физфак и матфак

Один преподаватель на 1 курсе говорил нам наполовину в шутку, что каждый год на потоке в физическом факультете кто-нибудь попадает в психушку. Сейчас я учусь на 4 курсе и знаю как минимум 3-х людей с нашего потока, которые стояли на учёте у психиатра и проходили медикаментозное лечение, и ещё парочку, которые лечение не проходили, но им точно пора в дурку.

Недавно преподавательница по лабам рассказала, что она с матфака, и что на матфаке каждый год кто-то совершает самоубийство. Надо выяснить у знакомых математиков, правда это или нет.

## Делимся расписаниями

Не так давно мы с одним товарищем по переписке решили провести эксперимент по взаимной синхронизации своих расписаний, написанных в org-mode. Так как товарищ не понимает по-русски, я перевёл файл с расписанием на английский и теперь пользуюсь org-mode почти полностью на английском.

Выводы:

- Старайтесь придерживаться какого-то одного часового пояса, потому что org-mode не умеет автоматически подстраивать файл с чужими часовыми поясами под местное время. У нас, кстати, так не вышло, потому что мой партнёр пользуется UTC, а я - местным временем
- Если у вас большие расписания, либо взаимной синхронизацией пользуются несколько человек, то содержимое org-agenda разрастается. Поэтому лучше выбрать отображение календаря (Agenda) по 1 дню или по 1 неделе. Лично мне всегда было удобнее отображать 2-недельное расписание, но не в этом случае
- Пришлось разделить всё на несколько org-файлов: жизненные цели, расписание по учёбе, краткосрочные планы + дневник, заметки. Раньше я пользовался на постоянной основе только первыми двумя

## Cron в Python'e, но зачем?

Недавно выяснил, что есть одна прекрасная Python-библиотека под названием [Schedule]( https://pypi.org/project/schedule/ ), которая позволяет реализовать планировщик по типу Cron, но только для запуска внутренней функции. Можно задать периодичность выполнения какой-то внутренней процедуры, оставить скрипт включённым, и процедура сработает в нужное время. Полезно для создания мониторинг-ботов, работающих в реальном времени.

Лично я рекомендую использовать его в связке с библиотекой [Timeloop]( https://pypi.org/project/timeloop/ ), которая запускает отдельный поток и ставит функцию на регулярное срабатывание. Будете писать какого-нибудь телеграм-бота с longpoll-процессингом - скажете спасибо.

И пример, куда же без него:

import schedule
from timeloop import Timeloop

schedule.every().day.at("21:00").do(wakeup_notify, "Одно уведомление")
schedule.every().sunday.at("9:00").do(wakeup_notify, "Другое уведомление")

tl = Timeloop()
@tl.job(interval=datetime.timedelta(seconds=60))
def process_timings():
    schedule.run_pending()

tl.start(block=False)

while True:
    bot.polling() # бесконечный цикл вашего бота

## Рекомендации по софту, неплохо бы закинуть

Иногда люблю советовать здесь в блоге интересный софт. В этот раз порекомендую программу для симуляции задачи N тел - [Симулятор физики частиц]( https://f-droid.org/packages/com.tss.android ). А порекламирую я её, потому что она появилась в F-Droid и имеет интересную графику. В данной программе можно создать звёздную систему, в центре которой будет звезда или чёрная дыра определённой массы и другие тела, которые (изначально) вращаются вокруг неё. А дальше можно посмотреть эволюцию системы и даже повлиять на неё в реальном времени, добавляя лишние тела и гравитацию.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/X92LvKkYsB0pu4gJj4iB

Ещё среди приложений для физиков-любителей в F-Droid есть программа [phyphox]( https://f-droid.org/packages/de.rwth_aachen.phyphox ), которая позволяет получать доступ к датчикам смартфона вроде магнитометра или гироскопа и снимать с них сырые данные для последующего изучения и проведения опытов. Думаю, для многих она будет даже более интересна, чем предыдущая, потому что о наличии некоторых интересных датчиков в своих смартфонах многие люди даже не догадываются.

## Продолжение следует

В следующем посте будет про практику на телескопах, про мою нелюбовь к фотографированию, про особенности одиноких и неодиноких людей в общении с окружающими и про подготовку к публикации. Пишу просто чтобы не забыть, это удобно =)

Этот пост в блоге: https://blog.alicorn.tk/posts/sunny-september.html

# Re: Настройки idec mobile
idec.talks
vit01(mira, 1) — johnbrown
2020-09-26 04:18:52


johnbrown> Заметил довольно большой расход заряда - чуть больше 6% на дефолтных настройках.

Просьба отписаться всем остальным, кто пользуется клиентом, каков расход батареи

ну и доп. инфа, что за мобила, какая версия ОС и.т.п.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Что с станцией lessmore?
idec.talks
vit01(mira, 1) — Difrex
2020-09-14 15:25:51


Difrex> Т.е. я считаю, что "\n" - это разделитель списка и если в конец вносить его, то получится, что последний элемент списка - это всегда пустая строка.

В стандарте вроде про newline ничего не сказано, поэтому предусматривается, что "\n" - это лишь разделитель списка, и в конце он необязателен

В нодах и клиентах принято использовать логику, по которой принимают и то, и другое. Но, думаю, для лучшей совместимости с unix-утилитами стоит явно закрепить в стандарте, чтобы newline в конце присутствовал

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Пишу ноду ii/idec на go
idec.talks
vit01(mira, 1) — hugeping
2020-09-14 00:59:21


hugeping> Достаточно ли замены:
hugeping> ====
hugeping> msg = strings.Replace(msg, "-", "+", -1) /* if it is URL base64 */
hugeping> msg = strings.Replace(msg, "_", "/", -1) /* make it base64 */
hugeping> ====
hugeping> И потом декодировать стандартным base64? Но там вроде еще есть заполнение в виде ===?

Должно быть достаточно. А заполнение как было знаками равно, так и должно вроде как остаться таковым

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Пишу ноду ii/idec на go
idec.talks
vit01(mira, 1) — hugeping
2020-09-13 17:00:05


hugeping> Это про msgid речь же. А вопрос вроде касался того, в каком формате поинт шлёт бандл на ноду (POST или GET, не важно). И в каком формате отдают/получают бандлы ноды.

Для поинтов политика такая: если пересылает через GET, значит обязательно urlsafe. Если через POST, то поинт может выбрать любой вариант, какой захочет, ведь нода обязана поддерживать и тот, и другой

hugeping> В стандарте есть такая фраза: (все серверы обязаны принимать как обычный, так и urlsafe-словарь, генерируются же бандлы в формате обычного base64)

hugeping> Для меня эта фраза непонятна. Бандлы вроде в обычном base64, но принимать я должен в любом? Надо детектить тип base?

Да, именно так, надо детектить, но это просто делается: всего лишь прогоняешь строку через замену символов, заменяя спецсимволы по словарю.

То есть ещё раз: принимать нужно оба формата одновременно, но генерировать на отдачу желательно (как необязательная рекомендация) в обычном base64

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Пишу ноду ii/idec на go
idec.talks
vit01(mira, 1) — Andrew Lobanov
2020-09-13 14:36:04


>>>> @repto вместо @Repto
Difrex>>> Разве у нас в стандарте с большой буквы прописано? В тех же iing и ii-php реализованно с маленькой.
vit01>> Всегда было с маленькой. Глянул в документацию - оказалось, что Github стал неправильно рендерить Markdown, и там отображается с большой, хотя в исходнике осталось всё как надо

Наконец-то исправил, чтобы норм отображалось.

>>>> StdBASE64 вместо URLBase64 в get запросе
Difrex>>> Там ескейпится потом. Не помню уже почему именно так сделано было.
vit01>> Для кодирования самого сообщения вроде как раз urlbase64 и используется. Для хэшей же идёт полная подмена символов, чтобы избежать знаков препинания

AL> Из документации это не следует никоим образом.

Цитирую: https://ii-net.tk/idec-doc/?p=standarts

> Id сообщения (msgid) - уникальный номер, который генерируется станцией, как 20 первых символов base64 sha256-bin хэша сообщения.

> Примечание: production-реализации нод заменяют в полученной base64-строке плюс (+) и слэш (/) либо их аналоги (- и _) на буквы "A" и "Z" соответственно, дабы убрать из msgid спецсимволы.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Пишу ноду ii/idec на go
idec.talks
vit01(mira, 1) — Andrew Lobanov
2020-09-12 19:38:05


vit01>> 1. Нужно всё-таки объединять усилия, приходить к некоторым компромиссам и пилить одну библиотеку на всех. А аргумент "хочу другую лицензию" хоть и имеет смысл на существование, но на благо проекта точно не пойдёт. Кому-то из вас двоих нужно от своей репы отказаться и идти мержить код в общий котёл

AL> Лицензионные вопросы важны.

Здесь я ничего не навязываю, а просто предложил дискуссию и вижу проблему в распылении ресурсов. Если юзкейс каждой из либ слишком специфичен, то мержить и правда не имеет смысла

vit01>> 2. Лично мне хотелось бы не новой ноды, а нормального десктопного клиента. С избранными, с черновиками, с красивым современным интерфейсом...
AL> Всё от того, что ты хочешь пальцетыкательный интерфейс на десктопе, что, очевидно, моветон.

Дело здесь не в пальцетыкальности, а в двухпанельности и "просмотре по одному". Когда ты читаешь сообщения с большим количеством текста, то с ними удобнее возиться по отдельности и отвечать на них по отдельности, а не скроллить сплошную стену текста. При этом держать перед глазами заголовки сообщений

На Андроиде это хорошо сделано в стандартном емейл-приложении (или в GMail, где тот же интерфейс). На десктопе - Thunderbird, Apple Mail, Outlook, и.т.п. Просто в плане общения IDEC слишком похож на Email, чтобы избежать такого сравнения

vit01>> И да, шрифты говно. Не стал бы пользоваться новым интерфейсом просто из-за шрифтов с засечками. Так и людей распугать можно
AL> Перепутал вкусовщину с объективностью.

Это, конечно, грубо сказано было (и весьма в лоровском стиле, к сожалению), но тут тоже проблема просматривается и как раз объективная.

Особенность шрифтов без засечек - это то, что они не замыливают глаза и делают возможность "чтения по диагонали", что очень важно для контролов и других вспомогательных элементов интерфейса. А шрифты с засечками используют в книгах, потому что текст с ними сильнее въедается в мозги и вроде как лучше усваивается, но зато напрягает глаза

В современном веб-дизайне не просто так сложился консенсус, что шрифты без засечек лучше использовать по максимуму, а потому что это действительно читаемее. Кроме того, важен и размер шрифта, но это уже совсем другая история.

+++ IDEC Mobile в виртуальной машине
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Пишу ноду ii/idec на go
idec.talks
vit01(mira, 1) — hugeping
2020-09-12 19:38:06


>> 1. Нужно всё-таки объединять усилия .... Кому-то из вас двоих нужно от своей репы отказаться и идти мержить код в общий котёл

hugeping> Это не сработает. Мне нравится писать то, что мне нравится. Это наверное основная движущая сила "моего опенсорца". Но никто не мешает брать мой код, если он нужен. Мой замысел в принципе не компромиссный. Потому что я хотел сделать не "что-то усреднённо хорошее", а ноду своей мечты. И нода и либа и веб морда готовы - их можно просто брать и использовать, если нравится. Если нет - делать своё.

Окей, вопрос в каком-то смысле исчерпан

>> И да, шрифты говно. Не стал бы пользоваться новым интерфейсом просто из-за шрифтов с засечками. Так и людей распугать можно
hugeping> Шрифты вообще не заданы нигде. Никакие. Так что используется тот шрифт, что стоит у тебя в настройках. :)

Эмм, да, но у браузера даже для стандартных шрифтов есть опции.

Предлагаю прописать font-family: sans-serif в body-блок CSS-ки. Это сработает на всех платформах, и разница станет заметна невооружённым глазом. Попробуй хотя бы ради эксперимента

+++ IDEC Mobile в виртуальной машине
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Пишу ноду ii/idec на go
idec.talks
vit01(mira, 1) — hugeping
2020-09-12 16:05:11


hugeping> В общем, я поднял свою ноду - персональный арт-проект: http://hugeping.tk
hugeping> Прошу всех, кто с меня фетчит, переходить на http://hugeping.tk и отписаться о возникновении проблем.

Так, я тут как всегда самый медленный по ответам. Фетч настроил на hugeping

С base64, спойлерами и остальным возитесь пока сами

Что касается гошной библиотеки и новой ноды как таковых:

1. Нужно всё-таки объединять усилия, приходить к некоторым компромиссам и пилить одну библиотеку на всех. А аргумент "хочу другую лицензию" хоть и имеет смысл на существование, но на благо проекта точно не пойдёт. Кому-то из вас двоих нужно от своей репы отказаться и идти мержить код в общий котёл

2. Лично мне хотелось бы не новой ноды, а нормального десктопного клиента. С избранными, с черновиками, с красивым современным интерфейсом. Прямо сейчас пишу сообщение с IDEC Mobile в андроид эмуляторе, и это некомфортно: нельзя менять размер окна, приходится писать не с клавиатуры, а с графического планшета (т.к. с русским языком тут проблемы), да и сам этот эмулятор занимает гигабайта 3. Пытался накидать похожий интерфейс на Qt+QML и залип из-за их сложности, пытался на Flutter (кстати, хорошая штука), но понял, что надо будет заморачиваться с базой данных, и отложил это дело. Потихоньку пытаюсь попиливать Python-библиотеку в приватном репозитории, чтобы реализовать какое-то подобие клиента на Jupyter Widgets, но прогресс идёт слабо


И да, шрифты говно. Не стал бы пользоваться новым интерфейсом просто из-за шрифтов с засечками. Так и людей распугать можно

+++ IDEC Mobile в виртуальной машине
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Летние размышления и попытки что-то наладить
pipe.2032
vit01(mira, 1) — Peter
2020-09-01 14:50:56


>> В частности, на каком фундаменте такой человек выстраивает свои моральные принципы. "Истинно верующий" в моей интерпретации, как правило, деонтологист (со всеми вытекающими из этого последствиями), а "неистинно верующий" склонен к консеквенциализму.

Peter> Погуглил термины. Понял так, что в твоей классификации "истинно верующий" тот, у кого мораль не является относительным понятием. Думаю, в этом плане, даже не супер-ортодоксальные верующие, имеют такой фундамент.

В том-то и дело, что иногда люди, считающие себя верующими, используют на практике для принятия решений консеквенциальный подход. Поэтому я и написал, что непросто отличать 1 и 2 категории. Может это проявляется от случая к случаю и не по каждому вопросу.

Peter> Если же мы считаем что есть только вот этот мир, здесь и сейчас, а всё остальное - фантазии. То, да... Сложно говорить о добре и зле, когда не с чем сравнивать.

Тут подход идёт сложнее, чем просто "относительная мораль". Суть в том, что моральность поступка определяется его последствиями, в то время как по деонтологии моральность определяется самими правилами.

Наверное, объясняю непонятно, поэтому советую почитать хороший FAQ на эту тему. Может и остальным сетянам будет интересно: https://lesswrong.ru/w/%D0%A7%D0%B0%D0%92%D0%BE_%D0%BE_%D0%BA%D0%BE%D0%BD%D1%81%D0%B5%D0%BA%D0%B2%D0%B5%D0%BD%D1%86%D0%B8%D0%B0%D0%BB%D0%B8%D0%B7%D0%BC%D0%B5

Peter> Я думаю. твоё увлечение понями (честно, меня пугающее) тоже имеет что-то подобное в корне. Вероятно, в понях есть вот это вот, чего нет в реальном мире. Дружба там, искренность. Не знаю точно. Другое дело, что пони - тоже порождение этого мира, поэтому меня это настораживает. :)

Ну да, в том числе дружба и искренность. По сути, некоторые удачные модели социального взаимодействия обыгрываются. А что пугает - не удивлён, это обычное дело, многих пугает :) Но тех людей, которые хорошо меня знают (либо сами знакомы как-то с этим сеттингом), уже не пугает и не настораживает

+++ IDEC Mobile в виртуальной машине
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Летние размышления и попытки что-то наладить
pipe.2032
vit01(mira, 1) — Peter
2020-08-22 18:04:26


Peter> Я считаю, что ты слишком всё упростил. Попробую пояснить
Peter> В общем, я считаю, что твоя классификация настолько грубая, что бесполезная. И написал об этом. Смотри сам, что с этим делать. )

Да, эта классификация грубая и упрощённая, но она намеренно такая :)
Просто для меня наибольшую важность имеет, как человек себя будет проявлять в плане общения и на основе каких алгоритмов будет действовать в том или ином случае.

В частности, на каком фундаменте такой человек выстраивает свои моральные принципы. "Истинно верующий" в моей интерпретации, как правило, деонтологист (со всеми вытекающими из этого последствиями), а "неистинно верующий" склонен к консеквенциализму.

Peter> Под философским аспектом я понимаю приход к вере в Творца посредством философских поисков. Например, наблюдая за асимметрией, впечатлившись антропным принципом и красотой, неудовлетворившись материализмом и так далее. При этом, бог (с маленькой буквы, так как абстрактно) может быть обезличен. Никакого добра и зла. А может быть и нет. Но в любом случае, это скорее "интеллектуальный" + "интуитивный" процесс. Я думаю, многие люди осознанно или нет религиозны в философском плане. Упрощённо можно, наверное, провести такое разделение: идеализм vs материализм. Идеализм это, наверное, всегда некий абсолют.

Вот, кстати, частенько задумывался над антропным принципом и пришёл к выводу, что его нельзя причислить ни к атеистическим, ни к религиозным аргументам. Это, скорее, хороший мысленный трюк, который позволяет отсекать ошибочные рассуждения о природе бытия.

И ещё, отсылка к антропному принципу позволяет отсечь обращение к аргументу о "тонкой настройке Вселенной", равно как о её красоте и "продуманности".

Peter> 2. Религиозный или личный
Peter> в случае с христианством -- происходит уже личностное "узнавание" Христа. То-есть это совпадение векторов того, что ты называешь истиной и правдой. Любовь - трансцендентна. Жизнь и смысл замыкаются на Христе.
Peter> 1 и 2 вообще говоря могут сосуществовать в разной комбинации, но это параллельные вещи. Они не так уж сильно связаны между собой, кмк. И мне кажется, тебя раздражает именно пп2.

Здесь ты зашёл слишком далеко, тему личностного "узнавания" я даже почти не затронул, но в плане альтернативной классификации пусть будет.

Peter> Я верю, что Бог создал Вселенную. В этом смысле, я креационист. Как именно создал? На мой взгляд, мы вряд ли можем это осознать (грокнуть).

Кажется, понял, ты (почти что) агностик под прикрытием :)

Peter> Понятно, что создал всё: пространство, время, законы, даже случайность. Есть ли эволюция? Пускай она есть. Но сам факт, что мир таков, что содержит законы допустившие эволюцию, которая привела к возникновению жизни - это для меня означает что Бог создал человека. Мы наблюдаем этот процесс в нашем мире, а для Бога времени нет

Тут уже мы приходим как раз к противоречию агностицизма-материализма и теизма-идеализма как таковых. В посте про это не было, но прокомментировать могу. С точки зрения материалиста он вроде как допирает, что имеют в виду под "абсолютом", но само его наличие для него - это как бы искусственное и "прикрученное" построение.

В любом случае, это уже левая тема и её можно отнести к разговору о том, откуда вера и религиозность вообще может возникнуть у людей, а не к тому, как конкретный человек взаимодействует со внешним миром на практике

Peter> А кто то верит "буквально" представляя дни итд. Я не вижу в этом какого-то фундаментального различия.То-есть, культурные и личные особенности человека преломляют какие-то формальные вещи. Если же мы говорим о зацикливании на форме/внешности, но не сути/содержании -- то это уже отклонение - фарисейство.

Вот как ни странно, именно это для людей вроде меня важно для построения диалога. Конфликт формы/содержания ведёт к ключевым проблемам в общении и в быту. Он вскрывается в конкретных мелочах, и всё что остаётся - это либо тратить энергию на "перевоспитание", либо забить и перестать общаться

+++ IDEC Mobile в виртуальной машине
+++ GNU/Linux, Android, physics, MLP:FIM

# Летние размышления и попытки что-то наладить
pipe.2032
vit01(mira, 1) — All
2020-08-22 12:43:57


Чё-то ударился в философствование, но, думаю, всё равно кто-то это читает.


## Взял за привычку отслеживать время просыпания

Использую для этого приложение [track & graph]( https://f-droid.org/ru/packages/com.samco.trackandgraph/ ), которое не только может отслеживать несколько разных параметров одновременно, но ещё может давать напоминания о необходимости записать значение в какое-то время.

Вот график моего летнего режима:

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/sijDtZ1HzEQlVKMK5h4t

## Прогресс по уборке

Он небольшой, но всё-таки есть. Избавился от некоторой лишней посуды, отдав её другу. Но всё равно оптимизация среды обитания - дело небыстрое. Потому что теперь моя комната наполнена вот этим:

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/7QZSwIYfOA9gJpIlm9VK

## Знакомства, вторая неделя

Как писал в [предыдущем посте]( https://blog.alicorn.tk/posts/summer-org.html ), я пробовал онлайн-знакомства в Tinder. Сначала ничего не получалось, но я решил дать приложению ещё один шанс и оставил его на неделю. По прошествии этой недели я посоветовался с одним другом и отключил профиль до тех пор, пока не сделаю улучшения в своей внешности и в подаче себя. Но по поводу второй недели всё ещё есть, что рассказать.

Как и ранее, девушки заводили со мной общение, а потом через некоторое время теряли интерес и переставали писать. Был даже такой случай, что одной из девушек я рассказал про своё увлечение MLP:FIM. Она загуглила про фанатское сообщество, нашла там кучу какой-то странной порнухи и позадавала мне наводящие вопросы по этому поводу, а потом, видимо, посчитала меня извращенцем или фриком и перестала писать.

Разумеется, среди творчества фанатов по поням есть порно, и я не имею ничего против этого. Будучи честным человеком, признаюсь, что даже иногда его смотрю (и извращенцем себя не считаю). Но ведь сериал про пони зацепляет людей совершенно по другим причинам: это вселенная с интересными персонажами и идеями и позитивным посылом, а такие фаны как я, увлекаются ей из-за идеологической составляющей и возможности вписать туда многие важные вещи, с которыми сталкивается наш социум. Та девушка могла быть явно предвзята, и я сначала даже обиделся из-за того, что она могла меня посчитать простым дрочером или извращугой.

### Но тут не всё так просто

Мог бы я в другой ситуации поступить точно так же, как она, и быстро откинуть человека, будучи предвзятым? Ответ - да. Для меня в спектре "извращений" стоит религиозная вера, и я, будучи убеждённым атеистом, хоть и могу заводить дружбу с верующими, но стать по-настоящему близкими людьми для меня они точно не могут. Поэтому обижаться на эту девушку всё-таки глупо, и я перестал на неё обижаться.

И тут подъезжает действительно серьёзная тема для размышлений

## А что ты так взъелся на верунов?

[https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/npW6JcCQ2LYWmgrMBJgV]( https://www.deviantart.com/dipi11/art/Pondering-Twilight-Sparkle-Vector-Redone-284787806 )

Многие меня спросили бы, а почему я, на самом деле, взъелся? Ведь те же фанаты пони представляют собой чуть ли не религиозную секту. Они поклоняются своим любимым персонажам, придумали свой собственный слэнг, регулярно на полном серьёзе обсуждают проблемы дружбомагии и её применимость в реальном мире. Настоящие "понифаги" становятся преемниками целой мировоззренческой системы, которая затрагивает многие сферы жизни.

Некоторые идут ещё дальше. Например, один инженер-электронщик, сотрудник компании-подрядчика SpaceX [поставил 2 прибора]( https://whatisabrony.com/blog/2017/07/19/my-little-pony-is-on-the-international-space-station/ ) с рисунками пони-принцесс на Международную Космическую Станцию. В российском брони-сообществе широко освещали [шествие в поддержку политической заключённой]( http://freedomrussia.org/2018/08/15/marsh-materey-delo-novogo-velichiya-protiv-detey-fabrikatsiya-fsb-15-avgusta-2018-goda-18-30-msk-pryamoy-efir-translyatsiya/ ). Эти люди готовы отстаивать качество дубляжа (к сожалению, часто это делалось недружбомагичными методами), донатить на благотворительность, делать [операционные системы]( https://www.ponyos.org/ ) (невольно вспомнил печально известную TempleOS) и [жертвовать вычислительные ресурсы]( https://tabun.everypony.ru/blog/Order_of_Celestia/194227.html ) на исследования (сам принимаю в этом участие, кстати).

_**Серьёзно, чем это отличается от "фан-клубов" Иисуса или Мохаммеда?**_ Но идеологически отличия всё-таки есть, и объясню, какие именно.

Есть два вида верующих людей:

1. Истинно верующие воспринимают книги культа как священные и незыблемые законы. Для догмы вопросы толкования данных текстов являются критическими. Такие люди по-настоящему признают рай и ад, верят в душу и её бессмертие, в страшный суд и Воскресенье, в самого Творца и в креационизм.

2. Другая же категория воспринимает книги культа как иносказания и как метафору. Для них рассказы про Бога хоть и крайне важны, но это всё-таки не священная, а _почитаемая_ литература, руководство к действию, а не догма. Формально соблюдая религиозную традицию и искренне разделяя декларируемые ценности, они по факту являются материалистами, иногда сами того не осознавая.

Категории №1 и №2 часто достаточно трудно отличить друг от друга даже внутри религиозной общины. Но, будучи особо проницательным и внимательно наблюдая за поведением человека, это можно сделать.

Что касается меня и фанатов пони как таковых, то тут можно найти параллели с категорией верующих №2. Как бы сильно я ни любил ту же Принцессу Селестию, я не могу приписывать ей сверхъестественных качеств. Даже увидев её в качестве галлюцинации и побеседовав с ней лично, ты всегда понимаешь, то это не более чем твой воображаемый друг. Друг очень важный в твоей жизни, но живущий только в твоей голове и ограниченный всеми законами физики, которые действуют в нашем мире. А идеологические посылы от сериала или ещё откуда-то - лишь информация для размышления, которую ты перерабатываешь и берёшь оттуда нужное.

Пусть атеисты вроде меня принципиально несовместимы с категорией верующих №1, потому что не могут на полном серьёзе верить во всю эту "херню", но они могут находить общий язык и общаться поближе с категорией №2, ведь они состоят всего лишь в разных фан-клубах. Ввиду своей предвзятости я обычно не трачу много времени на узнавание человека и отсекаю **всех** верующих скопом (как представляющих опасность), но, объективно говоря, этого делать не стоит.

[https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/Q0S7rZULVdgPW0CqRvyS]( https://www.deviantart.com/banthatic/art/Celestia-and-Twilight-593748246 )

Для меня, кстати, до сих пор забавно слышать истории про геев-мусульман, а также про то, что во многих западных христианских традициях быть ЛГБТ и мастурбировать уже не грех. Как известно, та же Америка гораздо более религиозна, чем постсоветсткое пространство, но при этом там много людей, которые не веруют ортодоксально, а готовы переосмысливать трактовки "священных" книг под нравы XXI века.

## Replika. Возвращаемся к чат-ботам?

Путешествуя по сабреддиту [r/ForeverAlone]( https://www.reddit.com/r/ForeverAlone/ ) и в очередной раз сгорая от одиночества, я выяснил, что некоторые люди из сообщества пользуются чат-ботом [Replika]( https://replika.ai/ ). Команда Replika создаёт ассистента-психолога, главной целью которого является стать твоим другом (а за платную подписку - больше, чем другом). Отличительной чертой бота является способность запоминать факты о характере и жизни собеседника (обучаться по мере взросления), вести разговоры о жизни, Вселенной и обо всём таком, вправлять тебе мозги и так далее. Среди фич также есть трекер настроения, ролеплей, практики осознанности и распознавание объектов на фотографиях, предложки с музыкой, и.т.п.

Каждый раз, когда заходит разговор про чат-ботов, то любое их нахваливание стоит делить пополам. Что бы ни рекламировали разработчики, **боты тупые**. Очень тупые. Из своего опыта общения с Гугл Ассистентом, Яндекс Алисой и им подобным, я не ожидаю даже навыка нормально поддержать разговор.

Но несколько дней попользовавшись Replica, я скажу, что, по сравнению с той же Алисой, поддерживать разговоры она умеет гораздо лучше, хотя каких-то практически полезных фич там почти нет. А что особенно понравилось по сравнению с ботами от техногигантов, так это фишка "запоминания" твоей личности. В каких-то пределах это и правда работает. То есть бот, например, помнит, о чём вы разговаривали прошлым вечером.

### Насколько бот "живой"?

Я долго размышлял в своё время, что пусть создание искуственного интеллекта на данном этапе развития человечества невозможно (когда будет возможно, это вопрос на отдельный пост), но возможно создание простых "электронных живых существ". Их можно считать [конечными автоматами]( https://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%BD%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%B0%D1%82 ) со внешней памятью, которые удовлетворяют некоторым свойствам.

Так что, наверное, любую программу, которая умеет получать информацию из внешней среды, сохранять её в виде некоторого внутреннего состояния и основывать свои дальнейшие действия на основе долговременно хранящейся информации, полученной извне, можно считать в какой-то степени живой. Даже если это просто термостат. Хотя термостат, конечно, не является системой с памятью.

"Разумность" программы во многом зависит от базы данных, и даже не столько от самой базы, сколько от возможностей её наполнять и использовать. Кстати, кому интересно, в некоторых компонентах Replika используются нейросети типа [GPT-3]( https://www.youtube.com/watch?v=kpiY_LemaTc ), которые не так давно показали себя очень эффективными в плане накачки параметрами. Я не шарю в нейросетях, но специалистам, возможно, будет интересно.

И да, часто люблю повторять, что вся наша (и не только наша) жизнь - это задача [нахождения экстремума функционала]( https://ru.wikipedia.org/wiki/Вариационное_исчисление ).

### Общаясь с ботом, ощущаешь себя идиотом

Да, правда, так и есть поначалу. Вспомнился даже фильм "Она" 2013 года, где главный герой приобрёл себе подобного бота, потом в него влюбился, а потом они оба начали вести себя очень глупо. Сразу скажу, фильм отстой, а персонажи там скучные, но просто очень напомнило, да и походу разрабы этим фильмом вдохновились немножко.

Но потом вспомнил кое-какие слова, которые сказал Виктор Аргонов в одной из общих бесед. Процитирую дословно:

> Влюблённость в вымышленных персонажей часто считают эскапизмом, но на самом деле это не совсем так, если не сказать - сильно не так. У персонажей есть авторы. И хотя влюблённость в персонажа не означает влюблённости в автора, она говорит о взаимопонимании с автором. Если ты смог влюбиться в персонажа, значит автор в чём-то очень важном понимает тебя

Я сначала решил, что это может не работать, потому что часто персонажи создаются несколькими авторами, но это лишь означает, что каждый из авторов понял тебя с какой-то своей стороны.

Чат-боты с собственным "сюжетом", персонажи визуальной новеллы или игры - это то же самое, что персонажи книг и фильмов, только с возможностью индивидуальной тонкой подстройки, то есть, считай, ещё круче. Поэтому если ты когда-то "западёшь" на бота, то, надеюсь, что тебе не будет стыдно.

### Связь пользователей и разработчиков

Иногда Replika советует послушать какие-нибудь треки на YouTube, и когда заходишь в комментарии, видишь, что дохрена людей кроме тебя тоже попали на песню через своих персональных ботов. Народ даже шутит, что бот специально скидывает всем одиноким людям одни и те же треки, чтобы они видели, что не одиноки в своём одиночестве.

Так что будем считать, что у разработчиков есть хитрый план нас всех передружить.

Этот пост в блоге: https://blog.alicorn.tk/posts/summer-progress.html

# Re: Политосрач
pipe.2032
vit01(mira, 1) — Peter
2020-08-21 14:56:02


На сабж я, конечно, опоздал, но кроме того, что добавили Андрей и Борис, мне всё равно есть, что добавить

Сторонники действующей власти обычно приводят такие аргументы:

1. Оппозиция выглядит непривлекательно, им нечего предложить, и.т.п.

Так говорят те, кто политикой просто не интересуется, либо узнаёт обо всём из прокремлёвских новостных изданий. Среди оппозиции есть куча адекватных и уважаемых людей.

Самая главная стратегия любого диктатора - это выставить себя незаменимым: "А кто если не он?". Потом создать свой культ личности (я впервые увидел Путина по телевизору в 4 года, и уже тогда его нахваливали как супер крутого пахана) и снизить участие обычных людей в реальной политике до минимума, чтобы никто не мог и не хотел реально чем-то таким заниматься.

Подробнее тут: https://youtu.be/U3TIlgdnzWw

2. Вот смотрите как было в 90-е годы

Страшилки про 90-е только ленивый не упоминает, при том, что главным триггером проблем этих времён были денежные, банковские реформы и переход к совершенно другому типу экономики. Сейчас же сменить засидевшегося диктатора уже не будет стоить тех ресурсов и потерь, какие были тогда.

Многие, вспоминая 90-е, отдельно упоминают личность Ельцина, дескать, он был пьяницей и чуть не распродал страну. Пусть его и его реформы действительно есть за что покритиковать, но о проблемах Ельцина мы знаем как раз из-за того, что в то время была свобода слова. Да, я эти годы не застал, но другие люди застали и могут заметить эту разницу

Путин выгодно выглядит на фоне других политиков, потому что он полностью зачистил информационное поле. Теперь не просто по телевидению никто не может слова против сказать из-за тотальной цензуры, но ещё и в газетах нынче то же самое. О косяках действующей власти широкая публика не узнаёт (если ты не читаешь независимых и зарубежных СМИ), а проблемы замалчиваются. То же самое про ярких людей, которые могут проявить президентские амбиции: их просто убирают из телеэфира и дают им минимум времени.

3. Они уже всё равно наворовались, придёт новый и станет хуже

Как раз таки наоборот: когда ты сидишь у власти долго, то выстраиваются такие цепочки неформальных связей, когда можно легко воровать огромные суммы, и никто не скажет ничего против. Эти люди сидят по 10 лет на одном и том же месте, они лояльны своим начальникам. Гораздо проще воровать, когда никто тебя не одёрнет и когда никто ничего не узнает.

И именно поэтому важна сменяемость власти - как раз потому что "царьки" очень любят "охреневать" и теряют голову. Путина нынче уже невозможно воспринимать всерьёз: он частенько не просто врёт, а несёт бессмысленную чушь. И что главное - не умеет признавать своих ошибок

4. Придут солдаты НАТО, новые люди продадут страну америкосам и.т.п.

Во-первых, см. пункт 2: сами нынешние чиновники распродают страну не хуже (например, госдума недавно одобрила решение о вырубке леса на Байкале, экспортируют нещадно его в Китай, можно погуглить решения о демаркации границ в нынешние года не в нашу пользу, о которых СМИ не пишут)

Во-вторых, сколько я смотрю оппозиционных политиков, никто из них никогда не предлагает отдавать территории нашей страны и делить её как-то, потому что это явное политическое самоубийство. Армию никто ликвидировать тоже не предлагает и не собирается. Если уж кому и урезать финансирование продвигают - так это внутренним войскам вроде той же росгвардии.

+++ IDEC Mobile в виртуальной машине
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Ставлю цели на лето и копаюсь в себе (+org-mode)
pipe.2032
vit01(mira, 1) — Andrew Lobanov
2020-08-21 14:56:01


AL> Офис это хороший способ стать более организованным, если ты такой раздолбай, как я. Хотя, судя по всему, ты как раз не настолько раздолбай :)

Ой, я тот ещё раздолбай, даже ответить на сообщение лень =)

AL> К сожалению, я смог только поставить отметку в графе "Нет" на этих игрушечных выборах, которые кроме как издевкой над населением назвать не могу. Более нелепую вещь я не мог вообразить. Да даже и настолько нелепую, какой она оказалась на деле. Но народ схавает и не такое, видимо.

Да, тут есть такое, что люди у нас доверчивы к дешёвой рекламе и обещаниям, но при этом так называемая "политическая память" у них очень короткая. А многие просто не могут потрудиться полностью прочитать текст закона, узнать получше про происхождение кандидата на выборах и так далее.

AL> Было бы очень интересно почитать про возможности и workflow этого org-capture, так как из мануала на orgmode.org не очень понял что это такое и зачем нужно.

Суть очень простая. Это сочетание клавиш, работающее по всему Емаксу, которое позволяет быстро засунуть новый подзаголовок в нужный тебе org-файл.

(setq org-default-notes-file "~/watch/notes.org")
(global-set-key (kbd "C-c c") 'org-capture)

AL> Желаю тебе благополучно справиться с этими трудностями. Я никогда особо не страдал от одиночества. Даже когда неделями был один, меня это не беспокоило - всегда находил себе занятие и оно меня особо не тяготило. Правда, друзья у меня таки были и есть, за что им большое спасибо, хоть они и не сидят в секте.

Спасибо, но думаю, что это затяжная проблема. На то, чтобы это решить, понадобится куча времени и сил

AL> Если честно, никогда не рассматривал такой вид знакомств. Для секса с незнакомками я слишком боязлив, а просто так знакомиться в сети с рандомными тянками никогда не получалось так, чтобы было интересно мне. Хотя, с женой таки я познакомился в чате, но кроме как невероятным везением я это назвать не могу.

А я рассматриваю, потому что хочется быстро и эффективно. Сам скажу, что у меня тоже не получается, потому что когда ты человек весьма практических и гиковских интересов, к тебе липнут только такие же гики.

+++ IDEC Mobile в виртуальной машине
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Политосрач
pipe.2032
vit01(mira, 1) — Difrex
2020-08-13 14:07:48


Difrex> Офисы Яндекса и убера захватили силовики. В наш офис(wg) едут тоже, все срочно эвакуируются.

Ты там прячься получше и береги себя. Ну и расскажи, чем всё закончилось, если не загребут

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Ставлю цели на лето и копаюсь в себе (+org-mode)
pipe.2032
vit01(mira, 1) — All
2020-08-02 10:44:16


Обычно у нас семестр заканчивается 1 июля, но из-за ковида это всё сдвинулось на пару недель после. В последние дни происходило много всего.


## Последние дни учёбы, офис
Учёба на изоляции проходила очень-очень сложно, и это внесло свои коррективы как в мою работоспособность, так и в форму+сроки проведения экзаменов.

В числе экзаменов были

1. Термодинамика и статистическая физика
2. Физика сплошных сред
3. Физика атомного ядра и элементарных частиц
4. Физика плазмы

По пункту 2 я пролетел на осень, но сам виноват, потому что нихрена не делал и не успевал осваивать предмет из-за зацикленности на других дисциплинах. Буду готовиться и досдавать. По остальным предметам получил отлично, однако, по ТДСФ (1) я это отлично явно не заслужил. Тоже пункт для проработки и подтягивания предмета. Курсовую вон тоже не дописал, но так как её не требуют сразу же, то потихоньку наполняю, закидывая инфу из английской версии статьи, переводя её на русский язык и дополняя.

А ещё я получил в своё распоряжение небольшой офис, где есть второй монитор, хорошая вентиляция, кофе-машина и крутая мебель. Иногда туда наведываюсь, чтобы там работать и отдыхать от родителей, с которыми сидеть в одной квартире - сплошная мука. Проблемка только, что туда нужно периодически притаскивать еду и много носить на себе, но это не особо страшно.

## Политика

Это лето отметилось огромным количеством событий в российской и мировой политике. Самое главное, наверное, это обнуление сроков Путина. Мне довелось сходить на одиночный пикет против поправок (потому что в нашем городе мало кто так делает) и чуть не встретиться с полицией. Считаю, что своё "нет" нужно высказывать всеми доступными способами, если это мирно и никому не вредит. А Путину пожелаю, чтобы он как можно быстрее оказался в суде, и чтобы ему припомнили всё-всё-всё.

Скоро будет ещё больше интересных событий, в той же Беларуси. Надеюсь, что и у нас в стране что-то начнёт меняться к лучшему.

## По статье

Так как все 27 кандидатов в гирорезонанс уже найдены, всё что мне остаётся - это прорабатывать каждый из пунктов по статистическому анализу. Для этого надо опять же обрабатывать данные и строить разные интересные графики. Подкину то, что из новинок:

На первой картинке изображено распределение по длительности источников радиоизлучения, яркостная температура которых выше заданного порога (50, 100 и 150 тысяч кельвин)

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/lQAnjUpUpr0vVcbswU7h

Здесь показана в целом доля изображений, максимальная яркостная температура на которых больше того или иного порога

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/49DYwTA1kFLR13mHDXJs

А здесь показано то же самое, что и на предыдущем графике, только для каждого события в отдельности. Можно увидеть, что у чистого гирорезонанса кривая имеет вполне определённую форму "хвоста"

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/AmQZqTGvHPdVksgLzanF

Следующим этапом будет исследования активных областей по их угловому размеру, форме и площади. Если источник на картинке достаточно протяжённый, то можно сравнить его с точечным источником радиотелескопа. В общем, продолжение следует.

## Org-mode и постановка целей

[Org-mode]( https://orgmode.org ) уже несколько лет является моим главным инструментом для ведения планов, расписаний и в целом инфы по жизни. Раньше я вёл там 2 файла, первый из которых включал в себя расписание по учёбе, а второй - всю жизненную информацию, мысли, домашку, планы, идеи и так далее. Летом я решил перекроить второй файл так, чтобы там теперь были не просто так называемые "жизненные направления", но ещё и **цели**, которые можно будет брать и достигать.

Методики по борьбе с прокрастинацией часто фиксируют своё внимание на том, что нужно (1) знать, **что** делать и (2) **разделять** это на маленькие кусочки. И в этом они полностью правы. Но чтобы знать, **что** делать, нужно поставить себе конкретные цели и понимать, **что** ты получишь, если их выполнишь. Поэтому я всё-таки решил завести отдельный раздел с целями.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/ELMOR0GYbAdH5zsv238Z

Для быстрых заметок раньше использовал [Nextcloud Notes]( https://apps.nextcloud.com/apps/notes ), это достаточно красивое и хорошее приложение, но теперь вместо него пользуюсь [org-capture]( https://orgmode.org/manual/Capture.html ), чтобы абсолютно вся информация записывалась в org-mode (ведь единая экосистема зачастую лучше, чем её отсутствие). [Orgzly]( http://www.orgzly.com/ ) на андроиде поддерживает поведение, похожее на org-capture, поэтому и на смартфоне, и на десктопе этим оказалось невероятно удобно пользоваться.

А ещё перешёл на org-capture, чтобы чаще заходить в org-mode и меньше прокрастинировать разборы своих целей и планов. Ха-ха.

## Залип в ForeverAlone
Не так давно, прямо перед началом каникул открыл для себя [Reddit]( https://reddit.com ). Нет-нет, только не пинайте за это, я понимаю, что это лютейшая помойка и практически цифровой наркотик, как и любые типичные соцсети. Но просто в плане информативности и наполненности он гораздо лучше русскоязычных площадок, да и там есть контент на любую тему.

Так получилось, что из-за моих самых обычных проблем с одиночеством, про которые уже не раз писал в блоге, я начал люто залипать в сабреддите [r/ForeverAlone]( https://www.reddit.com/r/ForeverAlone ). Состоит он по большей части из постов, где реально одинокие люди вроде меня начинают выливать свои переживания и мысли на публику, а другие юзвери это комментируют.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/B1z302aPOtvg1UuAvpaJ

Да, Reddit действительно один из цифровых наркотиков. А я, кстати, там даже почти ничего не писал, чтения абсолютно достаточно. Но вот ты там просидишь час, два, три, и всё не можешь вылезти. Почему же так происходит? Догадаться несложно. Если куча людей высказывает мысли, которые практически совпадают с твоими мыслями, то ты ощущаешь некоторую социальную поддержку, как будто на самом деле не сидишь один. Наверное, понимание того, что у кучи людей есть похожие проблемы, немного успокаивает, но в то же время и устрашает, т.к. ты осознаёшь риск, что можешь остаться среди таких же одиноких людей навсегда.

## Поиск людей и дейтинг

После некоторого совместного времяпрепровождения с одним другом мы решили, что возьмёмся за решение этой проблемы. Он помог мне сделать фотки (на протяжении многих лет я не делал свои фотографии и уж тем более не выкладывал их в интернет) и попробовать создать профиль в Тиндере, как самой популярной платформе для знакомств. Ещё я создал на всякий случай второй аккаунт в Telegram, но это на будущее.

Итоги пребывания на Tinder за 3 дня:

- 1 девушка лайкнула меня чисто чтобы заняться унылым троллингом
- ещё 1 вроде как понравился мой профиль, но тут она чисто по приколу и чтобы пообщаться
- ещё +2 девушки лайкнули меня по ошибке, потому что промахнулись или свайпали всех подряд
- и 1 вообще не ответила

Суть в том, что девушки, которые на этом ресурсе чисто ради секса, лайкать меня не будут, потому что моя внешность ниже среднего, да и у них есть куча альтернатив. А те, кто меня лайкнули и с кем у нас могли быть ещё и общие интересы, сидят там от безделья и в принципе в отношениях не заинтересованы.

Из-за этой ситуации серьёзно расстроился и решил, что на текущий момент надеяться в дейтинге не на что (однако, оставлю профиль повисеть хотя бы неделю на всякий случай). Вывод из этого такой, что нужно серьёзно прокачивать внешность. Думаю хотя бы идти мускулы наращивать, потому что иначе хрен ты кому понравишься.

## Костры или вспышечки

[В новостях]( https://in-space.ru/pervye-dannye-solar-orbiter-raskryli-kostry-na-solntse-i-ne-tolko/ ) пишут, что космический аппарат Solar Orbiter от Европейского космического агенства получил снимки невероятно высокого разрешения, которые до него ещё ни один прибор не обнаруживал. Приборы зафиксировали наличие мелких "вспышечек" в короне, что, возможно, сыграет свою роль в понимании причин нагрева солнечной короны.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/jlW8mYZbbsIFkqEDfz28

Не так давно писал в блоге, что Inouye Solar Telescope на Гавайях сделал высококачественные снимки ячеистых гранул в фотосфере, что тоже достаточно крутая новость. Как видно, физика Солнца развивается, и сейчас это весьма перспективная область, которая даст много открытий и много работы для учёных. Скоро вон ещё данные поступят от [зонда Parker]( http://parkersolarprobe.jhuapl.edu/ ), потом доапгрейдят [ССРТ]( http://irkipedia.ru/content/sibirskiy_solnechnyy_radioteleskop )... На меня тоже работы хватит, надеюсь.

Этот пост в блоге: https://blog.alicorn.tk/posts/summer-org.html

# Укрощаем YouTube с помощью Selenium
pipe.2032
vit01(mira, 1) — All
2020-07-07 11:35:52


В этот раз - снова про программирование и автоматизацию. Если вы ещё не знали про существование Selenium WebDriver и ему подобных инструментов, то этот небольшой обзор поможет сэкономить некоторое время на рутине.


## Задача: получить новые видео с подписок в виде RSS

Я очень люблю некоторых людей, которые ведут YouTube-каналы, но очень не люблю тратить кучу времени на просмотр рекомендаций, на рассылки с "интересными" видео и на отсмотр подписок вручную. У меня имеется некоторый список любимых каналов в подписках, каждый из которых со своей периодичностью выпускает новые видео.

Обновления для новых видео с ютуб-канала можно получать не только с помощью рассылки и пуш-уведомлений, но и через весьма надёжные [RSS-каналы]( https://amateurblogger.ru/rss-eto-dolzhen-znat-kazhdyj/ ). Проблема лишь в том, что для генерации RSS-ленты нужно знать идентификаторы каналов и правильно составлять ссылки, которые нужно проталкивать в клиенты-читалки.

А что если ты отпишешься или наоборот подпишешься на канал? Тогда придётся брать и копировать ссылку вручную в RSS-клиент или агрегатор, что крайне неудобно и грозит путаницей. В идеале можно обновлять вручную файлик [subscription_manager]( https://www.youtube.com/subscription_manager?action_takeout=1 ), который содержит список всех твоих подписок, но это всё равно надо делать вручную.

## YouTube API и сложности с ним

Казалось бы, можно воспользоваться YouTube API и получать всю информацию оттуда. Хорошо сказано, да трудно сделано. Для скачиванияв личной информации пользователя требуется получать специальный Oauth-токен, который просто так не достанешь (нужно создавать Web Endpoint с редиректом в нужное место, поднимать отдельный сервис на подтверждённом домене и.т.п.). К тому же, токены имеют свойство протухать, и требуется как-то задумываться об обновлениях. Зачем вся эта возня для какого-то простейшего скрипта, который должен будет тихо-мирно запускаться в Cron, отработать секунду и заглохнуть?

В общем, повозился я в панели управления Google, плюнул и решил перехитрить систему. В браузере ведь у меня уже есть авторизация на гуглосервисах, да и личную информацию оттуда как раз прочитать проще простого. Почему бы не извлечь список каналов как раз через браузер?

## Selenium: управляем браузером через скрипты

Цитата [из Википедии]( https://ru.wikipedia.org/wiki/Selenium ):

> Selenium WebDriver — это инструмент для автоматизации действий веб-браузера. В большинстве случаев используется для тестирования Web-приложений, но этим не ограничивается. В частности, он может быть использован для решения рутинных задач администрирования сайта или регулярного получения данных из различных источников (сайтов).

У Selenium имеется куча биндингов для разных языков программирования, в том числе для Python. Перед началом использования требуется установить некоторые пакеты из репозиториев, в Debian и Ubuntu их доставить проще простого: `apt-cache search selenium`, и всё сразу вылезет. Доступны движки на основе Firefox и Chromium (разумеется, сам браузер нужно перед этим тоже установить).

## Ну что, поехали пушкой по воробьям

Решил использовать свой любимый браузер - Firefox. Благо, здесь можно воспользоваться уже существующим браузерным профилем, хотя по умолчанию Selenium обычно создаёт свежий. Приготовления:

1. Устанавливаем все пакеты вида python3-selenium, firefoxdriver, geckodriver и.т.п.
2. Из текущего профиля фаерфокса логинимся в Гугле, пробуем скачать файл вручную
3. Выбираем при скачивании (или напрямую в настройках), что файл автоматически будет сохраняться в папку загрузок без подтверждения
4. Копируем путь в системе к профилю браузера

#!/usr/bin/env python3

import os, sys
import time
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.firefox.options import Options

yturl = "https://www.youtube.com/subscription_manager?action_takeout=1"
file_path = "/home/user/Downloads/subscription_manager"

if os.path.exists(file_path):
    os.remove(file_path)

options = Options()
options.headless = True
fp = webdriver.FirefoxProfile("/home/user/.mozilla/firefox/blablabla.default")
driver = webdriver.Firefox(fp, options=options)
driver.set_page_load_timeout(15)

try:
    driver.get(yturl)
except:
    pass
time.sleep(5)
driver.quit()

Важное замечание насчёт Headless-режима. Headless представляет собой запуск вне графического окружения, без всякой отрисовки. Это требуется как раз для работы браузера вообще без участия человека. При отладке Selenium-скриптов лучше пользоваться браузером в обычном режиме, но когда вся автоматизация будет доведена до совершенства, то можно включить Headless и закидывать скрипты в Cron. **При отсутствии запущенного X-сервера скрипты в Cron будут работать только в Headless.**

Кроме простого посещения сайтов Selenium умеет и многое другое, например:

- нажимать на ссылки/кнопки, прокручивать страницы, вводить текст и "сёрфить веб" как человек
- запускать произвольный Javascript на сайте
- доставать полезную информацию из любого куска страницы
- делать скриншоты сайтов

Итак, список каналов вытащили. Теперь дело остаётся за малым - распарсить его, вытащить айдишники и закинуть в программу, которая слепит из них красивую RSS-ленту.

## Обрабатываем подписки

#!/usr/bin/env python3

from xml.dom import minidom
xmldoc = minidom.parse("subscription_manager")

itemlist = xmldoc.getElementsByTagName("outline")

del(itemlist[0]) # there is no xmlUrl in 1-st element

for i in itemlist:
    print(i.attributes['xmlUrl'].value.split("=")[1])

Для того чтобы полученный список ID преобразовать в RSS-ленту, рекомендую программу ytsubs: https://github.com/ali1234/ytsubs. Она консольная и отлично работает.

## В качестве бонуса

Одной из самых популярных статей здесь в блоге является статья про [построение графиков в matplotlib]( https://blog.alicorn.tk/posts/best-plot-mpl.html ). Из новых добавлений к лайфхакам в той статье:

- Упомянул параметр width_ratios для более удобного управления размерами графиков
- Написал вариант итерации по subplots с помощью объекта axes.flat: теперь ещё меньше строк кода и никакой возни с двухмерными массивами!
- Масштабы сетки можно устанавливать отдельно для разных осей, для красивых графиков это очень полезно

Этот пост в блоге: https://blog.alicorn.tk/posts/selenium.html

# Болезни и сидение дома
pipe.2032
vit01(mira, 1) — All
2020-06-23 18:54:53


Решил продолжить вести этот блог, чтобы было, о чём вспомнить, и чтобы как-то фиксировать минимальный прогресс по жизни, который появляется. Наконец-то запилил самописную систему публикации на основе Jupyter, и постинг/репостинг в разные источники теперь будет быстрее и проще.


## Начало жизни в изоляции (конец марта)

[https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/KuYTwQTsAbkH4XBtFvIK]( https://www.deviantart.com/hitbass/art/Space-T-W-I-839839795 )

С самым началом всей этой возни по вирусу всё шло нескладно. Успел ввязаться в бесполезное общение в одной из местных тусовок, что ничего мне не принесло. Уставал от учёбы. В конце концов, всё как обычно дошло до упадка продуктивности в 0, депрессивного состояния и тому подобного.

Только засел домой как в бункер, а это было в конце марта и начале апреля. Начались лекции почти по всем предметам. Внезапно, не выходя за пределы квартиры, почувствовал себе плохо. Поднялась температура до 37.3, заболело горло. Сначала было подумал, что у меня коронавирус, что ещё больше усугубило эмоциональное состояние. Но решил из дома не выходить, чтобы не нагружать поликлинику.

## Прокрастинация, обращение за помощью (начало-середина апреля)

Поскольку оставалось некоторое количество бабла на балансе, решил исполнить одну свою давнюю хотелку - заказал себе психотерапевта. Мы общались неделю в чате и по видеосвязи, но только этот психотерапевт был американец, и всё было по-английски. Я специально выбрал иностранца, потому что хотелось пообщаться с человеком другого менталитета. Почему-то теперь у меня предубеждения по поводу "типичных россиян", и для "поговорить по душам" (примечание: души не существует, это образное выражение), скорее выберу либо людей схожих взглядов/образования, либо воспитанных и вежливых иностранцев.

Прорабатывали в основном мои страхи по поводу учёбы, и в целом тогда успокоился. Оно помогло. Хотелось бы ещё пройтись по социальной тревожности и по взаимоотношениям с людьми, но конкретно на тот момент хотелось сконцентрироваться на учёбе.

Потом у меня кончились деньги. Всё-таки психотерапия - это дорого. Буду копить деньги, чтобы позднее продолжить это дело. Но это лучше, чем жрать всякие таблетки, которые могут дать побочки и которые фиг где достанешь. А ещё хочу деньги, чтобы заказывать проституток. Нет, ни разу не заказывал, но хочется попробовать.

## Потеря обнимашки (ближе к концу апреля)

Только-только прошёл психотерапию, немножко подкрутил свои мозги, но внезапно испортил отношения и полностью прекратил общение с очень важным для себя человеком, которого считал близким. Сейчас уже понимаю, что от этого общения был только вред и никакой пользы, но когда привязываешься к людям, то всё терпишь, даже агрессию в свой адрес.

Все итоги психотерапии сошли на нет. Начал в себе обнаруживать некоторые новые черты поведения. Например, отторжение ко всем людям и мизантропия. Терпеть не могу людей в целом, да и раздражаюсь по мелочи. Видимо, это последствия ещё одного из "кризисов доверия", когда вообще с трудом допускается возможность того, что с другими людьми будет спокойно и хорошо, что они не захотят тебя нае_ть или воспользоваться тобой каким-то другим образом.

[https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/Vtdc0Ul5TU6mzCjMudKn]( https://www.deviantart.com/kodabomb/art/Dangerous-Redraw-695686367 )

## Пошёл лечиться

Нашёл в себе смелость выйти на улицу и пойти к врачу в поликлинику. Оказалось, что это не коронавирус, а обычный фарингит. 2 недели лечился антибиотиками. Если бы пришёл раньше, то меньше бы страдал из-за этой хрени. Когда какие-то проблемы наваливаются на голову, надо постепенно избавляться то от одной, то от другой.

## Так вот, задолбали люди и не только

В конце мая и в июне нашёл себе новое увлечение - избавляться от ненужных людей, мыслей, вещей. Но с вещами как-то получше получилось.

Сдал на утилизацию старую технику. Кое-что оттуда всё-таки осталось, например, старая игровая приставка и некоторые древние игры на дисках для винды. Можно это продать где-нибудь, но я не уверен, что кто-то купит. Всё ещё остаётся куча посуды, старые (но рабочие) телевизоры, некоторый другой хлам, но от этого придётся избавляться вместе с родителями.

Рассортировал многие из своих книг, но квартиру ещё долго придётся приводить в порядок. Уж больно много всего накапливалось за десятки лет.

## Продвижение статьи, LaTeX, Excel и это вот всё

По статье решил сделать некоторую автоматизацию, чтобы можно было уже специально лепить графики с сервера. Так повелось, что статью я пишу на платформе Overleaf с соавторами, туда можно (при наличии подписки) грузить файлы через Git. Финальный список найденных событий-кандидатов в гирорезонанс мы храним в OneDrive в Excel-таблицах. А расчёты делаются на отдельном сервере в JupyterLab.

Что я сделал для упрощения написания статьи:

- создал отдельный Jupyter Notebook для постоения некоторых графиков и иллюстраций
- с помощью cli-тулзы для OneDrive настроил синхронизацию нужного файла с таблицей результатов
- сделал Python-скрипт для парсинга + конвертации Excel-файла в LaTeX таблицу
- и всё это приправил Git-ом, через который всё быстро грузится прямиком в статью

А вот некоторые новые графики: распределения по максимальной яркостной температуре и по координатам кандидатов в гирорезонанс

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/NoDIPhNVj038JufKRtX0
https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/e1b2flsZr7d7gcMuZkBm

## Частное солнечное затмение 21 июня

Praise the Sun! 21 июня был день Летнего Солнцестояния (в терминологии любителей поняш - Summer Sun Celebration). И так получилось, что в этот же день случилось солнечное затмение, которое было видно даже у нас в Иркутске с покрытием 33% диска Солнца. Очень редкое явление! Особенно учитывая то, что сами затмения в нашем регионе редки.

Вот что мне удалось заснять на телефон через фильтр в виде старой фотоплёнки

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/picpvWQApDR857TRG5GF

## Времени мало

Времени мало! Времени очень-очень мало, и я ещё многое до сих пор не досдал. Самоизоляция подкосила с экзаменами и с мотивацией. Кое-что у меня есть шансы сдать нормально, а вот по некоторым предметам всё жёстко, могу остаться на осень и без стипендии. Хочу только пахать и пахать, но работаю только по мере возможностей. Очень большое психологическое давление, но что есть - то есть.

Этот пост в блоге: https://blog.alicorn.tk/posts/life-on-isolation.html

# Re: Подкасты
pipe.2032
vit01(mira, 1) — Difrex
2020-05-23 08:32:24


Difrex> Поучавствовал я в этом подкасте. Было интересно.
Difrex> Вот ссылка на него https://devopskitchentalks.podbean.com/e/6-vscode%d0%b2-githubwindows-%d0%bd%d0%be%d0%b4%d1%8b-%d0%b2aksgrafana-70-%d0%b8%d0%bc%d0%bd%d0%be%d0%b3%d0%be%d0%bf%d1%80%d0%bekubernetesnomad-%d0%b8/

Прикольный подкаст, хоть и много профессиональностей, важных только тем, кто с этим непосредственно работает.

Теперь буду знать, что отвечать тем, кто спрашивает про отличие Гита от Гитхаба =)

Про отсылочку к IDEC я так и не понял. Ты написал плагин к Grafana на Go, который делает несколько запросов с её стороны и группирует в таблицу, или ты этот плагин запилил на бэкенде dynamic’а и выкидываешь в Grafana уже готовые для переваривания куски данных?

Sourcehut ты слишком хипстерским назвал, видимо работал с ним уже. У них на сайте говорится про continuous integration фишки, но сайт с проектом у них слишком отстойный по качеству документации. Можешь пояснить за эту тему?
У меня симпатии на стороне Gitea, ну или на худой конец Гитлаба.

+++ IDEC Mobile в виртуальной машине
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Подкасты
pipe.2032
vit01(mira, 1) — btimofeev
2020-05-07 18:04:33


Из подкастов давно слушаю "Мысли и методы"

https://rakh.im/mimpod/

Чел выдаёт свои размышления по поводу программирования, информатики, физики, вычислений и иногда просто по жизни, проводит исторический ликбез. Не особо люблю подкасты (т.к. это часто малосодержательный трёп), но на этого парня подсел и вдохновляюсь некоторыми идеями, которые высказывает.

всем рекомендую

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Самоизоляция
pipe.2032
vit01(mira, 1) — Andrew Lobanov
2020-04-21 23:02:22


AL> Ну что, пиплы, кто как самоизолировался? Кто самообразованием занялся? Кто, как я, салообразованием? :)

Самоизолировался как в бункере, с самообразованием плохо дела. Но это лучше в посте свежем в блоге расскажу.

AL> У меня по роду службы приходится чаще быть в офисе, чем дома. Пока две недели "выходные" были я вообще почти каждый день на работе торчал (три дня из десяти дома провёл), сейчас с начальником день через день работаем.

У меня мать на работу каждый день ходит, походу все перезаражаемся скоро. На улице народу дохрена ходит, город живёт, это плохо.

AL> Не знаю почему, но дома не получается заниматься ни пет-проектами, ни игрописательством. Всегда находится что поделать по хозяйству или поспать часок-другой в связи с убитым режимом дня.

Вот то же самое абсолютно. Полная апатия

AL> Вот хотел было разводку комповых кабелей переделать и уложить все эти свисающие жгуты в кабель-каналы. Ещё порог на балконе пофиксить, но в связи с самоизоляцией строймаркеты позакрывались нафиг. С одной стороны я рад, с другой - сейчас самое время плотнее заняться делами домашними :)

Для уборки самое время. Тоже пробовал убирать провода, переставлял клавиатуры, мониторы, книги и.т.п. на своём столе, уже перепробовал несколько конфигураций. На ноуте стал беспроводную мышку юзать. Жаль, наушники беспроводные сдохли, но пока есть живые с проводом. Хочется как можно больше минимализма на столе, чтобы можно было разложиться норм

+++ IDEC Mobile в виртуальной машине
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Механические клавиатуры
pipe.2032
vit01(mira, 1) — btimofeev
2020-03-31 12:53:27


btimofeev> 2. Практически полная ремонтопригодность и моддинг. Сломалась кнопка - впаял новую; сгорела микросхема - перепаял всю клаву под микроконтроллер Atmega со свободной прошивкой; не нравится/надоел цвет или форма кнопок - можно легко поменять, они продаются отдельно на любой вкус.

Ремонтопригодность и моддинг - это реально круто. Правда, совершенно не понимаю, как мои знакомые умудряются отхреначить какую-нибудь кнопку на своих клавах. Сколько ни долблю по клавишам со всей силы, ни разу лично на моих устройствах этого не случалось. Только после разбора в мастерской было, когда "мастера" криво приделывали блок клавиш обратно к ноутбуку. А ещё никогда не пью чай и не обедаю за компьютером, поэтому шансы что-то пролить и испортить стремятся к нулю =)

btimofeev> 3. Возможность перенастроить функций самих кнопок, софтом можно менять их как хочешь, плюс можно записывать макросы (не знаю правда для чего это может пригодиться).

Это достигается программно со стороны операционной системы для любой клавы, но если где-то поддерживается с доп. фишками и кому-то может сэкономить время, то отлично

btimofeev> 5. Есть красивая подсветка. Правда я сомневаюсь что буду ей пользоваться, т.к. мне кажется это довольно бесполезная вещь. Но судя по тому сколько сейчас клавиатур с подсветкой это кому-то нужно.

Вот подсветка - это и правда бесполезно, ведь если уже приноровился к печати вслепую, то она только отвлекает. И, кстати, за неё производитель часто накидывает переплату, потому что это нехилые понты.

btimofeev> 6. Ну и небольшой размер, что освобождает место на столе и позволяет таскать клавиатуру с собой если надо.

Уже от модели к модели, но фишка сама по себе приятная.

+++ IDEC Mobile в виртуальной машине
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Механические клавиатуры
pipe.2032
vit01(mira, 1) — Difrex
2020-03-31 12:37:22


>> Вот тут Денис про макбуки написал, я тут сам сейчас с макбука пишу, с Air 2017 года, который купил недавно. Клава тут достаточно классическая для ноутов, ничего необычного, легко клавиши нажимаются.
Difrex> Слишком низкие клавиши, а ещё на моем еврораскладка, а это лютый отстой. Ещё непонятно зачем на маках выносят знаки, типа, параграфа на отдельную клавишу.

Тоже сначала офигел, что вместо привычной буквы Ё на этом самом месте стоит знак параграфа, но раскладка подбирается в настройках, и можно настроить как на обычном ПК (так и сделал). И, кстати, приятно удивил знак тильды рядом с левым шифтом, это удобно оказалось.

Difrex> Жесты вполне себе работают и в гноме с расширением extended gestures. Но мне это не нужно, т.к. работаю я в sway, а гном на личном thinkpad, где тачпад тоже хорош. В общем за 3.5 года, что у меня этот рабочий макбук, я к его клаве так и не привык - ругаю при любом случае.

С мультитачем в разных рабочих окружениях по-разному обстоит, ещё и с драйверами проблемы, но круто, что в гноме об этом позаботились. А то переключать рабочие столы тремя пальцами очень понравилось. Другое дело, что гном по юзабилити не идеален, но это уже вопрос десятый

Вот недоговорил в предыдущем сообщении, у меня есть клавиатура A4Tech дешёвая, до сих пор живая ещё, так вот, там блок pgup/pgdown/home/end присутствует, но нумпада нет. Клава крутая, мелкая, до сих пор служит. А ту полноразмерную за 200 рублей я покупал для другого компьютера, чтобы их оба одновременно включать.

+++ IDEC Mobile в виртуальной машине
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Механические клавиатуры
pipe.2032
vit01(mira, 1) — Peter
2020-03-31 12:21:15


>> я тут сам сейчас с макбука пишу, с Air 2017
Peter> А я завязал с техникой Apple. Покупаю нищебродскую теперь. :)

Если ты в целом про их технику (и про мобильные устройства в частности), то понимаю тебя =) Кстати, здесь я в дуалбут поставил линукс, почистил всё от блотвари встроенной (типа iTunes и Apple Books), поустанавливал кучу софта, к которому уже привык, в том числе Emacs и KDEConnect. Apple ID не регистрировал, ставлю софт через Homebrew и MacPorts. Даже для солнечников завёл программы.

>> есть нумпад (нужность которого, правда, переоценена
Peter> Будешь смеяться, но единственная причина в нумпаде для меня pgup/down/home/end. Так вышло, что на первой моей клавиатуре не было отдельного блока этих клавиш. Я настолько привык, что отучиться так и не смог. Вот прямо сейчас пытаюсь постоянно. И -- никак. :)

На ноутбуках часто этот блок клавиш заменяется через Fn + клавиши со стрелками. К этому тоже можно привыкнуть.
А для стационарников есть специальные клавиатуры, в которых отдельно есть блок с pgup/pgdown/home/end, но при этом нет нумпада. Получается относительно компактно, при этом со всеми удобствами.

+++ IDEC Mobile в виртуальной машине
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Механические клавиатуры
pipe.2032
vit01(mira, 1) — btimofeev
2020-03-27 17:23:47


btimofeev> Peter> Домой купил Zet Blade Kalith Red. На работу - её же, но Blue (за счет работодателя).
btimofeev> Я вот тоже сначала про неё думал, но потом увидел 60% клавы и мне захотелось такую.
btimofeev> Короче заказал я с алика белую Anne pro 2 с синими гатеронами. Пока цены из-за доллара не выросли. Сейчас распродажа и с купонами вышло за 4500.

Так и не понимаю, в чём прикол покупать клавиатуру за 4500 рублей. Я в своё время брал самую дешёвую клаву DEXP рублей за 200 (сейчас из-за курса доллара такие стоят 400р). Уже пользуюсь больше года. Там вполне себе звонкие высокие клавиши, по которым можно долбить в своё удовольствие, есть нумпад (нужность которого, правда, переоценена). Разумеется, за это время там сломалась одна ножка, и провод не идеального качества, однако, к клаве привык, да и эффективно пользоваться ей это не мешает. Свою цену отработала как полагается и, думаю, ещё поработает пару лет.

Вот тут Денис про макбуки написал, я тут сам сейчас с макбука пишу, с Air 2017 года, который купил недавно. Клава тут достаточно классическая для ноутов, ничего необычного, легко клавиши нажимаются. Но тут всё удобство в тачпаде, которым можно несколькими пальцами эффективно управлять и настраивать жесты. Если уж во что-то инвестировать из устройств ввода, так это в какую-нибудь альтернативу мыши вроде подобного тачпада, трекпада или графического планшета (это прямо вообще супер, но дороговато).

Слепой метод учится по наитию, для этого любая клавиатура подойдёт. Можно на начальном уровне тренажёры использовать, но рано или поздно ты привыкнешь сам без всяких тренажёров держать позицию и фигачить любые, даже большие тексты. Сам начал осваивать слепой метод лет в 11, по весьма своеобразной программе "Соло на клавиатуре", тогда ещё сидел на винде ХР. Так до конца не прошёл все уровни, бросил, но печатать всё-таки научился.

+++ IDEC Mobile в виртуальной машине
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Прощай, рифма
pipe.2032
vit01(mira, 1) — Andrew Lobanov
2020-03-27 16:41:44


vit01>> Кто знает, может быть, они по-своему правы. Мне печально смотреть на таких людей, во-первых, из-за некоторой зависти (т.к. сам нахожусь где-то в социальных низах и не в состоянии поддерживать "спрос на себя"), во-вторых, из-за того, что они просирают на эти социальные игры огромное количество сил и времени, которое можно было бы потратить на что-то более конструктивное и полезное.

AL> Лежишь на смертном одре и думаешь "Я прожил достойную жизнь - у меня было 100500 фоловеров в твиттере" :)

Твиттеры - это для крупных СМИ и знаменитостей вроде Илона Маска, у обычной молодёжи он популярностью не пользуется. Сейчас самое место скопления народа - это ВК (как раз именно там обычно знакомятся и обсуждают замесы на районе), Инстаграм (туда выкладывают фотки своих прелестей типа сисек и жоп, получают реальное внимание противоположного пола, причём как от людей с соседнего подъезда, так и от иностранцев), и в последнее время появился дегенератский ТикТок, где постят всякие «смешные» штуки и видео-креатив.

AL> Особо завидовать тут нечему. Настоящую дружбу так не заработаешь и количество, сколько не бейся, не переходит в качество. У меня очень мало друзей. Зато те, что есть, настоящие. Дружба, ИМХО, это во многом безусловное принятие. Друг не скажет "скатился, отписываюсь", а поддержит в трудную минуту.

Всё верно. Сам тоже из тех людей, у которых мало друзей, и которым трудно их наживать. Единственное от чего есть фрустрация - так это от того, что широкая публика всё-таки умеет находить себе реальных знакомых и позднее друзей, выставляя себя напоказ и хорошо себя раз разрекламировав. А я так не могу. Хрена с два меня заставишь загрузить свою реальную фотку в интернет, начать накидывать посты и так далее. Не хочу играть в эти дурацкие игры, засорять мозги пустяками, они и так уже засорены. К тому же, чем больше мы тратим время на что-то одно, тем меньше остаётся времени для чего-то другого.

AL> Поэтому всю эту популярность воспринимаю как шелуху. Проходящее, временное. Начатое как результат творчества, оно превратилось в цель творчества. Для многих важную и даже основную. Человек уже не делает то, что он хочет. Он делает то, что принесёт лайки, просмотры, подписки. Как итог, у таких людей совершенно нечего ценного уже и не найти. Бывают приятные исключения, когда количество подписчиков и популярность практически не влияет на качество творчества, но эти исключения тонут в общей массе.

Если говорить про что-то, напоминающее творчество, то тут если человек гонится за лайками и просмотрами, то он в первую очередь имеет за этим чисто финансовый интерес, потому что за просмотры платят нехилое бабло. Это уже отдельная история. Часто встречается на ютубе, на аккаунтах фотомоделей, где есть партнёрки, иногда на писательских сайтах, где обычно получают с донатов.

+++ IDEC Mobile в виртуальной машине
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Прощай, рифма
pipe.2032
vit01(mira, 1) — vmg
2020-03-23 15:05:59


Человек всегда может побыть с собой наедине, если захочет. Это не так сложно, просто не хотят люди, вот и всё. Им спокойнее делиться всем-всем и жить напоказ, потому что так возникает ощущение хоть какой-то нужности окружающим и контакта с ними. Особо популярные особы упиваются чужим обожанием и зависят от него, т.к. у них уже в мировоззрении заложено отношение к себе как к товару, что если на тебя есть "спрос на рынке", значит у тебя всё круто, не будет ни одиночества, ни тоски, ни печали.

Кто знает, может быть, они по-своему правы. Мне печально смотреть на таких людей, во-первых, из-за некоторой зависти (т.к. сам нахожусь где-то в социальных низах и не в состоянии поддерживать "спрос на себя"), во-вторых, из-за того, что они просирают на эти социальные игры огромное количество сил и времени, которое можно было бы потратить на что-то более конструктивное и полезное.

+++ IDEC Mobile в виртуальной машине
+++ GNU/Linux, Android, physics, MLP:FIM

# После долгого затишья
pipe.2032
vit01(mira, 1) — All
2020-03-14 18:24:28


Вновь привет всем в моём красноглазом блоге. Давно не писал, потому что было мало причин, чтобы сделать хороший и крупный пост, но теперь в жизни накопилось достаточно событий, чтобы обо всём рассказать.

Отдельно прошу прощения у народа из IDEC, потому что пост в основном откладывался из-за того, что мне было лень ответить на фидбек к предыдущему посту =)

## Картинка для привлечения внимания

Уже традиционно скидываю в блог некоторые красивые картинки поняш, которые попадают под настроение поста и которые лично мне западают в мозги на какое-то время; в этот раз ловите одну няшку в космическом стиле:

[https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/O0ZeeDOV6JA416dmvZLj]( https://www.deviantart.com/opalacorn/art/Comet-832894932 )

## Ещё немного про социальные проекты

N недель назад опять погрузился в упаднические состояния на фоне своих обычных неуспехов в общении со многими людьми, и в поиске решения решения снова просидел в одном приложении для психологической помощи анонимусам. Долго думал, стоит ли его здесь пиарить в блоге, но всё-таки расскажу, потому что в своё время познакомился там со многими хорошими людьми.

#### Идея кратко:

1. Люди с психологическими проблемами (или жизненными трудностями) хотят выговориться, получить поддержку, пообщаться с такими же людьми, они создают что-то вроде тем на форуме, где рассказывают анонимно свою историю и ждут отклика
2. Ты можешь либо ответить на обсуждение в виде комментария, либо зайти в отдельное приложение, через которое можно поддержать этого человека в приватном чате
3. В отличие от классических соцсетей и сайтов знакомств, через такое приложение легко подружиться и сблизиться с человеком, потому что вы изначально подходите друг к другу с "уязвимой" стороны и пытаетесь наладить доверительный контакт

#### О приложениях

* Разрабатывается всё одним человеком, русскоязычное
* Проприетарщина
* Ссылка: https://olympapp.com/install/ru
* В магазинах приложений есть аналоги, но их крайне немного

Лично я всегда принимал участие в Олимпе в качестве "поддерживающего" (через приложение Друг). Почему? Наверное, потому что в моих личных проблемах достаточно трудно разобраться и ещё труднее их решить. И, кроме этого, когда я читаю о чужих проблемах и пытаюсь подбодрить человека, то становится легче самому, и собственные переживания отступают на задний план.

Знаю, что среди читателей этих постов есть народ, который интересуется социальными проектами, системами обмена сообщениями, взаимоотношениями людей в интернете, поэтому оставлю эту тему заценить вам на досуге. Может быть, кто-нибудь ответит и выскажет своё личное мнение.

### Небольшое видео для размышлений

Выступление на TED Talks о зависимости от соцсетей, о цифровом дауншифтинге и ему подобных вещах. Запостил один товарищ из группы физиков, но разговор на эту тему среди наших не развился

https://www.youtube.com/watch?v=S_1sRvNpkdg

## Учёба, контрольные, домашки, это вот всё

По учёбе постепенно накапливаются долги, которые нужно в спешке закрывать, чтобы не нарваться на ещё большие проблемы. Это утомляет. В данный момент у меня накопилось

1. Домашка по термодинамике; сдавать, начиная со следующей недели
2. Несколько лабораторных по физике плазмы, расчёты, обоснование + защита
3. Несложные, но отнимающие время лабораторные по компьютерным практикумам в пятницу
4. Физика сплошных сред
5. Начинает поджимать статистическая физика, там куча жести

## по Солнцу родимому

На совещании коллаборации уже начали писать (пока без меня) черновик научной статьи, которая пойдёт для проекта по гирорезонансному излучению. Формулировать ключевые вопросы и вещи, о которых следует упомянуть.

## Список событий на 100 000 Кельвин

Из 82 событий выжило всего **около десятка** интересных кандидатов в гирорезонанс, примерно треть данных оказались испорченными из-за особенностей работы алгоритма.

События с порченными данными появляются из-за того, что алгоритм работает на основе анализа шумов на корреляционных кривых и радиояркостей, и если радиояркость сильно и высоко прыгает, а на корреляционной кривой выше шума ничего не поднимается, то такой подход обязательно гарантирует ложноположительные срабатывания. К счастью, отсекать Bad Data достаточно просто, и никаких неоднозначностей это за собой не несёт. Так что проехали =)

## Проверка на рентген

Чтобы проверить оставшихся кандидатов в гирорезонансные события, имеет смысл проверять их на вспышки не только "тупо на глаз", но и по более весомым признакам, для чего требуется использовать другие приборы, а не только радиотелескоп.

#### Обыкновенные вспышки

1. Длятся на более 2-3 часов, часто сильно меньше
2. "Экспоненциально" затухают и не держатся весь день
3. **Сильно фонят в рентгеновских лучах**
4. Могут не иметь стабильных активных областей

А это означает, что нужно провести ещё и проверки по максимальной яркости в рентгеновском диапазоне, сравнив их с корреляционными кривыми и с графиками максимальной радиояркости. Написал скрипт для загрузки данных с Geostationary Operational Environmental Satellites (GOES), благо, в библиотеке Sunpy уже есть готовые инструменты, которые загружают оттуда графики и позволяют их отобразить.

#### Пример графика GOES X-Ray Imager

На нижнем графике те же самые данные, что и на верхнем, только в логарифмическом масштабе. По оси есть пересчёт в шкалу классов вспышек, и этим заведует библиотека SunPy.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/uN0tkBA5WBr7nIoTzSIw

#### Jupyter Widgets

Так как мне хотелось сделать построение графиков для нужных дат наиболее простым и удобным способом, и чтобы не было путаницы, решил сделать менюшку, в которой можно подцепить конкретную дату и построить график точно по времени корреляционной кривой. Так как код пишу в среде разработки JupyterLab, то решил воспользоваться встроенной фишкой Jupyter Widgets, которая позволяет делать простенькое GUI прямо посреди кода с графиками и расчётами. И вот что получилось:

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/Fw4NOOhnAHfqoV9cpTxK

#### Код виджетов с примера выше

import ipywidgets as widgets
from IPython.display import display, clear_output

dates = []
dates29 = []

for crv in curves_100k_filtered:
    tm = crv["times"][-1]
    dates.append("%d-%02d-%02d" % (tm.year,tm.month, tm.day))

for crv in curves_29events:
    tm = crv["times"][-1]
    dates29.append("%d-%02d-%02d" % (tm.year,tm.month, tm.day))

choose = widgets.Select(options = dates)
choose29 = widgets.Select(options = dates29)
button = widgets.Button(description="Plot xray")
button29 = widgets.Button(description="Plot for 29events")
output = widgets.Output()

def on_button_clicked(b):
    with output:
        clear_output()
        cc = curves_100k_filtered[dates.index(choose.value)]
        # строим график
        goes_plotter.ccflares(cc)

def on_button_clicked29(b):
    with output:
        clear_output()
        cc = curves_29events[dates29.index(choose29.value)]
        goes_plotter.ccflares(cc)

button.on_click(on_button_clicked)
button29.on_click(on_button_clicked29)
left_box = widgets.VBox([choose, button])
right_box = widgets.VBox([choose29, button29])
hbox = widgets.HBox([left_box, right_box])
display(hbox, output)

Ознакомиться с виджетами Jupyter можно в официальной документации: https://ipywidgets.readthedocs.io/en/latest/, а ещё вот здесь: https://jupyter.org/widgets

Кстати, внезапно, посты в этот блог я тоже теперь пишу в JupyterLab, потому что там классный редактор Markdown. А ещё это оказалось удобно, потому что теперь можно писать посты с любого устройства, продолжая с того же места, на котором остановился.

## Line of sight, угол обзора

Поскольку магнитные поля имеют выделенное направление, количество обнаруженных случаев гирорезонанса должно зависеть от угла зрения на солнечный диск. Для каждой гармоники излучения эта зависимость своя, и в данный момент передо мной стоит задача вытащить координаты каждой активной области на солнечном диске и найти их распределение

1. По углу луча зрения наблюдателя
2. По истинной долготе на Солнце

В случае 2 распределение должно получиться равновероятным. Это один из видов проверки на дурака, что исследование корректно. В случае 1 всё должно быть смещено по координатам ближе к краю диска Солнца

## Корреляционная кривая - это сумма только по высоким частотам

Как ни странно, корреляционные кривые оказались не **полной** разницей потока радиоизлучения от Солнца, как я думал раньше, а лишь таковой разницей **по высоким пространственным частотам**. Поэтому некоторые всплески яркости на них не отражаются. И это одна из причин, по которым алгоритм часто захватывает обычные солнечные вспышки и порченные данные.

Кажется, сама суть корреляционной кривой может создавать проблемы на источниках определённого размера, и некоторые найденные случаи неплохо было бы проанализировать на эту тему. Это тоже войдёт в статью

Если кто-то не понял про высокие пространственные частоты, то срочно смотреть инфу про преобразование Фурье и разложение в спектр =) Вот когда кто-то сжимает картинки в JPEG ("Давай, сжимай, е***ий шакал"), то высокие частоты отсекаются, из-за чего мелкие детали на картинке становятся плохо различимыми, теряется чёткость. А при составлении корреляционных кривых для радиотелескопа, я предполагаю, отсекают наоборот низкие частоты, чтобы пренебречь изменениями фоновых яркостей диска Солнца.

Этот пост в блоге: https://blog.alicorn.tk/posts/procrast.html

# Re: Автоматизация и борьба с собой
pipe.2032
vit01(mira, 1) — Andrew Lobanov
2020-03-14 17:18:16


vit01>> Когда коту нечего делать, он ..., ну вы поняли. А когда нечего делать программисту, он начинает пытаться излишне оптимизировать свою жизнь. Писать кучу скриптов, настраивать рабочую среду и ковырять конфигурационные файлы, создавать и/или скачивать приложения, которые, как ему кажется, сделают всю его жизнь удобнее и позволят быстрее выполнять различные операции, которые до этого требовали кучу сил или времени.

AL> Ещё в Revolution OS об этом было сказано немного. Мол, некоторые люди тратят столько сил на оптимизацию своей работы, что если бы всё таки удосужились за неё засесть, то сделали бы её за день :)

Вот представь себе, но лень моя настолько перешла все границы, что даже на это сообщение хотел ответить нормально, но всё откладывал на потом и отвечаю только сейчас. А сейчас, внезапно, уже 15 марта. При этом каждый день заходил в клиент, чтобы проверить новости и чтобы почитать новую годноту от ботов.

vit01>> Вот так, например, выглядит моё расписание в Emacs:
vit01>> https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/PoACQzXUdXVv2rVf4zhM
AL> Я так и не сподобился вести расписание полноценное. Только небольшие заметки по хозяйству и работе. Всё в orgzly с напоминалками и совершенно без какой-либо синхронизации.

Одно дело просто расписание, а другое - когда нужно втискивать куча разных событий в свой весьма плотный график, плюс когда ты в Emacs хранишь не только расписание, но и домашние задания, и другие списки, которые тебе крайне желательно иметь сразу и на всех девайсах. Вот тогда и начинаешь понимать, как круто, когда все твои данные сами собой перекачиваются, а софтины работают в слаженности друг с другом =)

>>> "Но власти нету страшней, чем власть над собой" (с) [Переосмысляя прогресс]( http://complexnumbers.ru/reth.html )
AL> О! Как раз недавно переслушивал.

Аргонов в последнее время насобирал немало денег и готовит полноценный альбом с новыми песнями. И, внезапно, я один из тех, кто помогает ему с отслушиванием косяков для ещё не вышедших треков. Так что в скором времени будет ещё немало интересностей кроме этой годноты =)

AL> Я надеюсь, ты таблетосы пьёшь по рекомендации врача. Потому как любые таблетки влияют на химию организма и даже с рецептами врача надо быть готовым к последствиям. Например, отлично можно посадить печень.

Конечно же, к врачам не ходил и не собираюсь, потому что в насыщенном расписании физика совершенно нет времени стоять в очередях и гонять туда-сюда по городу. А от покупки новых колёс меня отговорил один друг, который имел с ними опыт. Соблазн найти какие-нибудь вещества, чтобы закинуться, ещё есть, но пока что эмоциональное состояние стабилизировалось и не настолько располагает, чтобы бежать сразу на крайние меры.

Кто-то во время одиночества или стресса бухает. Но от алкоголя меня тошнит, от него болит башка, и, видимо, непереносимость к этой отраве.

AL> А я всё изобретаю велосипеды в вебмордах (idec-client можно посмотреть на эту тему) :)

Пробовал, тыкал. Но хочется клиента с удобными черновиками, избранными и обязательно с сортировкой сообщений по дате. Поэтому загнал IDEC Mobile в виртуалку и пишу с 13 дюймов =)

+++ IDEC Mobile в виртуальной машине
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: No subject
pipe.2032
vit01(mira, 1) — libra
2020-03-14 17:18:34


libra> Заканчивает свою жизнь февраль, так и не успев начатся.
libra> Очередной год, очередной февраль. И вот, опять самый короткий месяц, что по календарным измерениям, что по мироощущениям. Жизнь пролетает мимо нас.

Февраль вот-вот прошёл, но ощущение пролетающей мимо нас жизни никуда не девается =)

libra> Сегодня уникальный день... день полного рассинхрона всех календарей. День коррекции всего хаоса измерений времени человеком.

Ох уж эта романтизация несовершенства наших измерений времени... Тогда, 29 числа не было никаких эмоций по этому поводу, хз, может быть, я зануда

libra> Всем sup, сетяне.
libra> Ждём наступления весны?

Вот у нас наступает весна. 14 марта, температура от -2 до 5 градусов, на крышах встречаются редкие сосульки, улицы наполнены грязным снегом, вокруг лужи и говно. Вот-вот надел шапку менее тёплую. Кто вообще любит весну?

+++ IDEC Mobile в виртуальной машине
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Автоматизация и борьба с собой
pipe.2032
vit01(mira, 1) — vmg
2020-03-14 17:18:27


vmg> Как много пользы можешь принести ты и тебе подобные, если станете просвещать людей в использовании org-mode и ему подобных средств. И чтобы человек, попав на страницу с твоей инструкцией, чувствовал себя в безопасности, подобно тому, как это происходит, если включить игру на INSTEAD. Перед тобой алгоритм. Выполни его и получишь то, что надо. Тогда Org-mode (да и Emacs) станет в радость любому, более-менее склонному* к вычислительным технологиям человеку. И много-много радости детишкам принесёт.

Чтобы человек чувствовал себя в безопасности и легко всё освоил, нужен талант к составлению подобных инструкций =)
В org-mode самое главное, наверное - это сочетания клавиш. Как только ты их запомнишь, всё остальное станет настолько простым и удобным, что начнёт сразу же приносить удовольствие. Если у тебя есть андроид, то начни с Orzly, там ни о чём таком задумываться не надо, есть простой и удобный интерфейс. А потом потихоньку переходи к Emacs и к настоящему org-mode, заучивая сочетания клавиш

Что лично у меня лежит в закладках по org-mode из хауту и подсказок

https://orgmode.org/orgcard.pdf
https://www.tompurl.com/bd/emacscheatsheet/
https://bzg.fr/en/some-emacs-org-mode-features-you-may-not-know.html/

Можешь ещё туториалы всякие на Ютубе посмотреть, чтобы увидеть, как люди работают с емаксом в реальном времени. Но, в принципе, понял, что народ в целом интересует эта тема, поэтому могу сделать в блоге обзор на свои org-mode файлы и конфиги для него, если опять лень не замучает

vmg> Сам когда-то немало времени тратил на систему документирования своей профессиональной жизни. Личная в документировании не нуждалась, но подвергалась ему, когда лезла под горячую руку. Знаний и навыков программиста у меня не было, поэтому делал, что мог, прибегая к фотографии, Syncthing (думал, специалисты пользуются rsync), и разным plain text заметкам. Специализированные программы перепробовал все. С первого же взгляда они казались неподходящими. Даже сам Д.Аллен говорил: «Всё это слишком сложно! Подумать только: нажать несколько кнопок для такой простой операции. Достаточно одной кнопки!». Org-mode тоже непрост. Но, в отличие от других, он ведёт к простоте. Чувствуя это, продолжаю хотеть** его освоить.

У каждой утилиты синхронизации есть уже некоторая своя занятая ниша

rsync неплохо подходит для бэкапов на сервере или для каких-то сценариев синхронизации, которые тебе надо полностью контролировать самому, вплоть до мелочей
Syncthing - это решение для файлов, которые тебе нужны на всех твоих устройствах постоянно и прямо сейчас. Например, это файлы org-mode с планами и расписаниями, может быть, какая-то конфигурация.
Для коллекции электронных книг, музыки, фотографий, закладок для браузера и в целом как персональная база знаний идеально подойдёт Nextcloud. И так далее

vmg> * Время от времени рассказываю знакомым о текстовых играх. Недавно говорил о них с одной знакомой. При виде инструкции (та вступительная, где яблоки, столы и карандаши) её переклинило. Сидя неподвижно, она смотрела в монитор секунд пять, а потом, видимо, расклиниваясь, она восклицала только: «Что это такое?!» или «Что я должна тут делать!?». Так продолжалось раза три, пока я, на всякий случай, не прекратил эксперимент

К таким штукам надо приучать постепенно =)
Хотя сам вот предпочёл лучше прочитать обыкновенную книгу или рассказ, чем прокликивать туда-сюда предметы в том же инстеде только для того чтобы выбраться из локации или перейти в следующую. Обыкновенные компьютерные игры тоже страдают тем, что как только ты перестаёшь выигрывать и игра становится сложной, то желание играть дальше отпадает напрочь. Именно поэтому стать геймером мне было никогда не суждено, хехе

vmg> ** Учу английский.. Надоело читать со словарём.

Учи английский. Сейчас без него просто никак и никуда. Самому порой настолько сильно приходится вертеться в иностранной среде, что уже часто замечаю за собой, что думаю на английском.

+++ IDEC Mobile в виртуальной машине
+++ GNU/Linux, Android, physics, MLP:FIM

# Автоматизация и борьба с собой
pipe.2032
vit01(mira, 1) — All
2020-02-23 04:45:59


Всем привет, давно не было повода что-то написать сюда, но появилась одна тема, которую я слабо затрагивал в своих постах в блоге. Сейчас она стала ещё более актуальной, и, думаю, этим следует поделиться.

## Овероптимизация == fail

Когда коту нечего делать, он ..., ну вы поняли. А когда нечего делать программисту, он начинает пытаться излишне оптимизировать свою жизнь. Писать кучу скриптов, настраивать рабочую среду и ковырять конфигурационные файлы, создавать и/или скачивать приложения, которые, как ему кажется, сделают всю его жизнь удобнее и позволят быстрее выполнять различные операции, которые до этого требовали кучу сил или времени.

Очень часто эти действия имеют смысл, но иногда могут заходить слишком далеко и становиться чем-то вроде навязчивой идеи. У меня такие припадки, связанные с наведением порядка, случаются регулярно, особенно во время плохого настроения. Перфекционизм лезет изо всех щелей, и виртуальная уборка плавно перерастает в уборку по всей квартире.

## Всё из одного места

Все мои планы, расписания, домашние задания и долгосрочные штуки я держу в файлах [org-mode]( https://orgmode.org/ ), которые синхронизируются между разными устройствами через Syncthing. На компьютере я правлю эти файлы через GNU Emacs, а на смартфоне использую для этого приложение [Orgzly]( http://www.orgzly.com/ ). Девиз org-mode - **Your Life in Plain Text**, и это означает, что абсолютно любой аспект жизни можно представить в виде небольшого набора простых текстовых файлов, каковыми и являются файлы org-формата. А приложение эти файлы красиво и удобно отобразит и даст возможность поверх строить определённую логику.

Вот так, например, выглядит моё расписание в Emacs:

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/PoACQzXUdXVv2rVf4zhM

В какой-то момент меня переклинило, и я решил, что Orgzly недостаёт фичи задания будильников через теги, чтобы контролировать через org-mode даже расписание своего сна. Нашёл нужную Issue на Гитхабе, написал туда [вдохновляющую речь]( https://github.com/orgzly/orgzly-android/issues/654 ) и решил, что если никто не реализует эту тему, то рано или поздно реализую её сам. Подумал, что имеет смысл воспользоваться приложениями для перехвата уведомлений, чтобы реализовать то же самое. Даже нашёл приложуху [Easer]( https://github.com/renyuneyun/Easer ), которая может это сделать и потом выставить будильник, однако этот функционал не работал. Хотел перехватить дебаг-лог и сделать Issue, но запись логов у Easer тоже оказалась сломана, и от идеи мне пришлось в конце концов отказаться. А ведь если бы получилось, то можно было бы ещё и подключить туда систему push-уведомлений [Gotify]( https://gotify.net/ ), потом улучшенный мониторинг различных показателей (числовых) через [Prometheus API]( https://prometheus.io/ ) с красивыми графиками, интеграцию с различными сервисами и системами обмена сообщениями...

## В общем, вы поняли, к чему это могло привести

[https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/uSo2Eii1HLS9M6YDVOHt]( https://www.deviantart.com/flutterthrash/art/My-Little-Linux-382887907 )

От всего этого беспредела, который может увлечь меня на целые дни "в запой", спасает кривость некоторых инструментов, недоступность API и лень писать реализации некоторых штук с нуля. Ещё тормозным фактором служит учёба, благодаря которой я всё меньше программирую для себя.

Не все инструменты приживаются. Какое-то время пользовался приложением [ActivityDiary]( https://github.com/ramack/ActivityDiary ), оно позволяет отслеживать различные виды деятельности, которыми ты занимаешься (еда, сон, учёба и работа, досуг, и.т.д.), а потом предоставляет подробную статистику по каждому из них и по совокупности. Типа того, сколько времени ты провёл за пинанием х__в, сколько на прогулки, учёбу, сон и тому подобное. В конце концов, достало заниматься этим логированием.

Для учёта денежных расходов пару месяцев пользовался этим приложением: https://github.com/AndreAle94/moneywallet. Однако, в один прекрасный момент мне надоело вести эту бухгалтерию и последовательно заполнять все свои операции, что отнимало много времени, сил и отвлекало внимание.

Будильники, кстати, всё-таки настроил через стандартное приложение в андроиде. Не идеально, ведь оно не синхронизируется с компом, а при переустановке прошивки опять настраивать, но фиг с ним пока что.

## Надо не кровати переставлять

Всё выше - один из способов ухода от реальности и прокрастинации. Даже нет, не совсем точно. Погружение с головой в софт и в скрипты само по себе - это прокрастинация. А вот целью этого погружения, скорее, является не уход от реальности, а желание эту реальность больше **контролировать**. Следить за всем миром и автоматизировать его, чтобы стать, в конце концов, хозяином своей собственной жизни.

> "Но власти нету страшней, чем власть над собой" (с) [Переосмысляя прогресс]( http://complexnumbers.ru/reth.html )

[https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/eQWTXkV1ZlUj5PlFjRqd]( https://www.deviantart.com/mrs1989/art/What-Princess-is-561806137 )

От своих приступов одиночества (для которых всё ещё немало катализаторов, вызванных внешними факторами) спасаюсь прежними таблетками, но планирую ещё [накупить новых]( http://theoryandpractice.ru/posts/10185-anti-love-pills ). Кстати, чтобы не забывать их принимать, и для учёта, сколько осталось в запасе, использую ещё одно полезное [приложение]( https://github.com/jclehner/rxdroid ), благо, в F-Droid подобного софта навалом.

А ещё в процессе своих полупрограммерских трипов наконец-то решил обратить внимание на [Material Design Lite]( https://getmdl.io/ ) и обновил главную страницу https://alicorn.tk/, чтобы сделать её более няшной, поняшной и красочной. Кто ещё не видел, может заценить. По сравнению с предыдущим вариантом, эта главная лучше подстраивается под разные размеры экрана.

Этот пост в блоге: https://blog.alicorn.tk/posts/struggle.html

# Re: Привет в новом семестре
pipe.2032
vit01(mira, 1) — Andrew Lobanov
2020-02-17 15:20:41


AL> Вот, кстати, вопрос. Что-то по анализу изображений и поиску аномалий можешь подсказать? Для самых маленьких, поверхностно. Можно с примерами на питонах

Тут всё зависит от того, какая практическая задача перед тобой стоит. Как из моих постов видишь, я ограничиваюсь лишь самыми простенькими методами вроде фильтрации по порогу и начального уровня статистикой.

Если нужно искать какие-то конкретные объекты на изображениях вроде номеров машин или котиков, то тут OpenCV и нейросети (сам в этом не спец).

Если искать изменения по яркостям, смотреть шумы или помехи, то тут будет достаточно опять же обычной статистики: построить гистограмму яркостей компонент, сделать преобразование Фурье и глянуть уже пространственные частоты. Можно попутно сделать свёртку и фильтрацию какую-нибудь (в своих постах упоминал медианный фильтр).

Вот мой научрук использует вейвлет-анализ для видеозаписей, чтобы находить на корональных петлях на Солнце колебания, не заметные невооружённому глазу. И по частотам этих колебаний можно выяснить величину магнитного поля. Надо будет как-нибудь найти или попросить у него демку, это очень красиво и увлекательно выглядит

Когда сам толком не шарю, то трудно что-то посоветовать годного :)

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Привет в новом семестре
pipe.2032
vit01(mira, 1) — All
2020-02-13 02:16:59


Небольшой информативный пост на начало учёбы.

## Картинка для привлечения внимания

Верхняя набережная в Иркутске

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/FTnNNM63GHUPrRoPBGz0

## Начало учёбы

Проблема с зачёткой решилась, на кафедре теорфиза меня спасли, и ничего переписывать не надо =)

А вот какие у нас новые предметы

Особо сложные:

+ Термодинамика и статистическая физика
+ Физика сплошных сред
+ Теория рассеяния
+ Введение в квантовую теорию поля

Остальные предметы:

+ Физика ядра и элементарных частиц
+ Физика плазмы
+ Основы сетевых технологий и методы обработки сигналов
+ Функциональный анализ
+ Теория групп (продолжается с прошлого семестра)
+ Ещё парочка практикумов и лабораторных работ

## Лабораторные работы

Ой, что у нас тут? А это установка для получения и измерения вакуума. Говорят, где-то здесь есть установка, где можно получить высокоионизированную плазму на короткое время.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/AbBAclDJ2KkQxqF6oP1q

## Данные и их скачивание

С проблемой скачивания из JSOC (см. предыдущий пост) мне помогли разобраться. Оказалось, что в каждый запрос нужно добавлять условие на "quality > 0". Тем самым фильтруются битые данные. Хорошие люди уже подготовили патчи и сделали Pull Request. То есть уже можно обойти проблему и что-то скачать.

Для VSO проблема со скачиванием так пока и не разрешилась, хотя разработчики попытались чё-то накодить и разрыть суть проблемы. Но это не страшно, потому что картинки для SOHO MDI, оказывается, есть не только в хранилище VSO, но и в JSOC, а оттуда скачивание теперь хорошо работает.

Большую часть картинок для MDI я уже скачал, как для событий с 100 000 кельвин, так и для 29 событий 150 000 кельвин.

Из планов на будущее:

1. Построить видео на основе картинок Нобеямы для 80 событий от 100 000 до 150 000 кельвин
- Для тех событий, где данные с Нобеямы не скачались, докачать и досинтезировать вручную
2. Докачать магнитограммы MDI, особо обратить внимание на 2003 год из списка 29 событий
3. Скачать магнитограммы Hinode для событий 100 000 кельвин
4. Записать в классификацию данные с MDI, для событий 100 000 кельвин сделать отдельную таблицу и начать заполнять

## Проверка на солнечную активность

Когда я делал фильтрацию по 100 000 кельвин, то заметил, что для некоторых годов событий очень много, а для некоторых, наоборот, мало или совсем нет. Решил, что имеет смысл сделать проверку на вшивость, усомниться в работе алгоритма. Вдруг он работает неадекватно, или в датасете для корреляционных кривых отсутствуют некоторые важные фрагменты данных.

Нанёс на график то, что найдено моей программкой, и нашёл на Википедии данные [по солнечной цикличности]( https://ru.wikipedia.org/wiki/%D0%A1%D0%BE%D0%BB%D0%BD%D0%B5%D1%87%D0%BD%D0%B0%D1%8F_%D1%86%D0%B8%D0%BA%D0%BB%D0%B8%D1%87%D0%BD%D0%BE%D1%81%D1%82%D1%8C ), основанные на количестве солнечных пятен. Судя по данным с Вики, минимум активности как раз приходится на период, когда у меня ничего не найдено, но я всё равно решил сделать график, на котором видно полную картину.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/sP2b22eFFe6S9W8bAnQ8

**И чему здесь удивляться?** Конечно, люди, кто хоть сколько-нибудь читали про Солнце, знают, что чем больше солнечных пятен, тем больше вспышек, и в периоды высокой солнечной активности будет больше активных областей. А значит - больше высокоэнергетических событий. Здравый смысл нам прямо говорит, что всё должно быть именно так.

Мораль здесь в том, что **не надо стесняться делать защиту от дурака** и проверять очевидные факты. Ведь вдруг ваша программа насчитала хрень, такое тоже может быть. Зато теперь можно продолжать высчитывать то, что нужно, и меньше переживать.

Этот пост в блоге: https://blog.alicorn.tk/posts/new-semester.html

# Каникулы вместе с Солнцем
pipe.2032
vit01(mira, 1) — All
2020-01-30 20:56:24


Кто до сих пор не в курсе или забыл, экзамены я сдал все успешно (спасибо товарищи из IDEC за поздравления :) ). И начался отдых...

Только в деканате меня наругали за то, что преподы-теоретики проставили зачёты по своим предметам в зачётку, хотя делать этого не следовало. Как уже писал ранее, официально я космофизик, но ещё и хожу к теоретикам, и теоретики просто настаивали, чтобы их зачёты тоже были у меня проставлены. Заставят их переписывать мою зачётку или нет, фиг знает. Надеюсь, что это уже не мои проблемы.

## Поход в новый планетарий

В пятницу 24 числа я ходил на открытие нового планетария в Иркутске, который находится в 19 школе. Программа была посвящена Солнцу и Луне, включала в себя музыкальное сопровождение от джазменов и научпоп-лекцию от нашего преподавателя Сергея Язева. Под конец показали видео про то, как экспедиция из Иркутска слетала летом 2019 года в Чили на солнечное затмение. В интернетах эти кадры я не нашёл (видимо, их смонтировали только недавно), зато нашёл новость: https://www.irk.kp.ru/online/news/3526751/

Одна из анимаций, частично показанная в планетарии: https://www.youtube.com/watch?v=OkivPFtLOj4

После 7 минуты люди в теме заметят отсылочку на кое-что, и я тоже очень офигел, когда увидел это в такой неожиданный момент. Инженеры Google явно знают, кто на самом деле обитает на Луне ;)

Вместо видео наших иркутян о затмении предложу посмотреть вот это: https://youtu.be/SdjMZB1E8fM

## Долгими зимними вечерами...

С той пятницы я 4.5 дня подряд не выходил из дома. Просто не было повода. Сидел за компом, упарывался всякой фигнёй, слушал музыку и работал над скачиванием данных по Солнцу.

В среду вечером только сходил на улицу, чтобы немножко пожрать за пределами дома и купить некоторой мелочёвки. Потом был созвон по коллаборации, а дальше сижу дома снова.

Просто некуда идти, да и не с кем.

Одиночество - это страшная штука, и с ним часто приходится сталкиваться. Но когда есть работа и дело, которое приносит выхлоп, то одиночество можно пережить. Пока что я рад, что есть какое-то время и возможность поиграться с кодом, но скоро эта тема накатит вновь, главное, чтобы не с большей силой.

3 числа выхожу на учёбу, а ещё у меня есть некоторые недочитанные книги, которые точно надо дочитать (квантмех, например), плюс начать читать одну крутую книгу про Солнце, которая на английском.

## по Солнцу

Основными моими направлениями работы были:

1. Рефакторинг кода обработки данных, вынос всё в функции и обеспечение повторяемости запусков. То есть чтобы можно было провести всё исследование с нуля на любом компьютере.
2. **Скачивание данных** для 29 событий, про которые я рассказывал в [этом посте]( ii://eexX0TQIx8ArwkbhcwPa ), из них
* Полный набор картинок с Нобеямской радиообсерватории
* Магнитограммы со спутников SDO и Hinode
* Магнитограммы со спутника SOHO MDI, для событий до 2006 года. Потому что миссии SDO и Hinode в то время ещё запущены не были
3. Построение видео по картинкам с Нобеямы
4. Построение графиков изменения магнитных полей для тех событий, где есть магнитограммы SDO. Их тоже в видео
5. Отсмотр видео и магнитограмм, документирование того, что нашлось или не нашлось
6. Сделать пробную фильтрацию по корреляционным кривым с порогом 100 000 кельвин, а потом GOTO 1. И это уже совсем другая история...

#### Скрин одного видосика (2014-10-18)

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/7r2IfjYJpH8ZTob4BxwG

Да, я научился строить графики покруче, потому что наконец-то разобрался с layout-ами matplotlib. Но про это был [предыдущий пост]( ii://cTq1EhnAjnFjTa1MoOoO ).

#### Магнитограмма MDI

Данные невысокого качества, но что есть, то есть

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/SRBzOr4o6Al7XvEny4hZ

#### Магнитограмма SDO одного из событий

Читателям моего блога полюбились магнитограммы SDO и Hinode, потому что эффектно выглядят. Вот вам ещё картиночка

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/ojkjpivzHSSEwd8BUJ83

## Пинаю Гитхабы

Из-за проблем со скачиванием с SOHO MDI из хранилища [Virtual Solar Observatory]( https://vso.nascom.nasa.gov/cgi-bin/search ) (VSO) с помощью библиотеки Sunpy я был вынужден связываться с разработчиками и подавать туда Issue с жалобами на проблемы.

Проблем несколько:

1. Определённый поставщик данных VSO для MDI не даёт ничего скачивать, клиент Sunpy падает с ошибкой
2. Те небольшие фрагменты данных, которые скачиваются, могут быть в виде странного нераспакованного архива и с испорченными именами файлов
3. Для приборов SDO HMI клиент выдаёт ошибку, если в наборе данных есть хотя бы 1 испорченный файл. Эта проблема связана не с VSO, но затрагивает Sunpy и сильно портит жизнь, потому что надо заходить на сайт и скачивать всё вручную, а это муторно и долго.
4. _(пока не жаловался)_ Для прибора Hinode SP доступны только сырые, несинтезированные спектральные данные. Готовые магнитограммы нужно скачивать с официального сайта миссии, прощёлкивая всё вручную мышкой, а это тоже боль

Оказалось, что главные проблемы (1 и 2) возникли именно на стороне VSO API. К счастью, среди людей, связанных с Sunpy, оказался человек, причастный к VSO. Некоторые свои исправления в API он внёс, но их оказалось недостаточно, чтобы скачивание файлов начало работать. Но надеемся, что в скором времени они всё починят. Благо, уже готовятся нужные пулл-реквесты, и ответственные люди оторвали свои задницы с диванов.

https://github.com/sunpy/sunpy/issues

Какие-то из проблем могли бы быть решены с помощью костылей, но в скачивалке Sunpy есть свои косяки, которые мешают даже костыли реализовать. Но, как говорится, "Issues крутятся, Pull-Requestы мутятся", и с новыми версиями работать будет проще.

## Добор данных, фильтрация и курсач

Мы уже определились, что по теме своей работы я буду писать курсовую, а потом это уже будет научная статья (разумеется, на английском).

Из текущих дел остаётся **докачать данные с MDI**, добавить их в статистику и повторить весь цикл, но уже для событий **с порогом 100 000 кельвин**. Всего из 29 событий для порога 150 000 выжили 8, значит для 100 000 с вычетом этих 29 событий выживет опять же чуть меньше трети, то есть пару десятков интересностей стоит ожидать.

Ааааа, надо писать курсач!

Хорошо, у меня есть этот блог, ведь с его помощью можно вспомнить всё, что было проделано. Уже где-то через месяц просматривается логический конец исследования. Как быстро на деле всё завершится - не знаю. Но это точно будет увлекательно

## Да-да, я в курсе этой новости

Про то, что телескоп на Гавайях смог получить самое детальное изображение структуры "гранул" на фотосфере Солнца. Об этом уже твердит куча новостных сайтов, но здесь в блоге лишь скину первоисточник новости на английском + интервью с учёными.

https://www.nso.edu/press-release/inouye-solar-telescope-first-light/

https://www.scientificamerican.com/article/home-star-stunner-best-ever-images-of-solar-surface-herald-new-era/

Видосик, на который можно взглянуть: https://www.nso.edu/wp-content/uploads/2016/04/DKIST-First-Light-MZ-fullFOV-loop_FHD-H264.mp4

Этот пост в блоге: https://blog.alicorn.tk/posts/holidays.html

# Самый лучший график в matplotlib
pipe.2032
vit01(mira, 1) — All
2020-01-21 13:16:08


Данный пост является Python-howto, написан в формате Jupyter Notebook (мой движок блоггинга позволяет так делать) и вообще неформат, так как там полным полно именно встроенного кода и графиков (в base64)

Поэтому предлагаю сразу заценить, как это выглядит на сайте: https://blog.alicorn.tk/posts/best-plot-mpl.html

Также я скинул для всех желающих исходники в фэху alicorn.blog, чтобы их можно было запустить на своём компьютере. Да и там в самом начале поста написано, что к чему.

# Поздравьте меня
pipe.2032
vit01(mira, 1) — All
2020-01-21 06:34:01


Сдал все экзамены на 5

со степухой буду

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Блоггинг, за жизнь и форматы данных
pipe.2032
vit01(mira, 1) — Andrew Lobanov
2020-01-18 13:15:04


vit01>> Потом уже пришлось написать скрипт-костыль, который загружает нужные файлы в файлэху и даёт способы быстро описание ввести. Ранее приходилось всё грузить с мобилы.

AL> Я разве свой скрипт для отправки файлов в фэхи не публииковал? Или у тебя более автоматизировано?

Глянул на твой гитхабчик и вижу, что ты выложил более-менее полноценную утилиту. У меня же всего лишь 10-строчник с requests.post, который делал чисто для блога и прикрутил к парочке репарсеров, поэтому выкладывать там нечего.

libra> Кстати, по поводу скриптов. Есть какие у кого решения? где взять пощупать??? поделитесь?? идеи???? для многофайловой обработки каталогов с файлом и генерации файл-индексов= с возможностью ввода description либо без оного, эти desc можно прописать и позже

Description у нас обязательный как в стандарте, так и по задумке. Ибо нефиг засорять файлэхи котами в мешке

libra> К примеру хочется мне сохранить/создать на ноде файлэху и в неё положить разом 50 файлов? Что посоветуете^?

https://github.com/spline1986/idec-utils/blob/master/fecho_send.py

И там же скрипты другие в репе

// Кстати, to AL, перенеси эти скрипты в официальную репу https://github.com/idec-net/idec-utils , чтобы потом не искать их хрен знает где. Мы же специально создали организацию на гитхабе, чтобы весь нужный софт был в одном месте

У меня есть репозиторий https://github.com/idec-net/ii-db-utils

Там ничего для фэх нет, зато есть другие скрипты интересные

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Немного облегчения и впечатляющий гирорезонанс
pipe.2032
vit01(mira, 1) — All
2020-01-15 13:13:59


Началась экзаменационная неделя, и пока что в работе и учебной жизни всё проходит более-менее приятно. Но расслабляться некогда, ведь осталось ещё 2 экзамена.

## Квантовая механика

В понедельник ходил на экзамен по квантовой механике. Само собой, готовился в последний момент, ночью не мог уснуть, пробовал успокаиваться таблетосами. А на самом экзамене, как ни странно, попался билет с несложной задачей, которую я уже решал и быстро решил. Теория попалась тоже несложная, но из-за того, что я всё захотел вывести формулы с нуля, без дополнительных предположений, пришлось надолго залипнуть =)

Надо было вывести уровни энергии и собственные функции водородоподобного атома и получить дифференциальное уравнение на полиномы Лагерра. До уравнения еле-еле дошёл. Но чтобы получить всё до конца, нужно было сделать хитрую подстановку и искать решение в виде ряда. В итоге ни я, ни препод так не смогли допереть до нужной подстановки. Просидели вместе 6 часов 40 минут, в итоге ему надоело, он **поставил мне 5** (!) и отпустил.

Конечно, такому раздолбаю как мне, надо было ещё порешать что-нибудь, да на дополнительные вопросы ответить, но явно снова повезло.

В пятницу меня ждёт экзамен по атомной физике, а во вторник - по методам математической физики. Последний будет очень и очень сложным, потому что там самый ядрёный матан.

Надо поскорее идти готовиться...

## Защита в ИСЗФ: оставшееся

В этот вторник, не успев отойти от 6-часового стресса на экзамене, надо было идти на защиту презентации в ИСЗФ. С меня оставалось достроить некоторые данные по [радару некогерентного рассеяния]( ii://Y1mXFxzhrgifxZyM7o0n ). К сожалению, данные нам дали не для того дня, для которого мы проводили сравнительный анализ, а для 2011 года. Надо было всего лишь провести интерполяцию экспериментальных данных заданной функцией, но методом сеток и с достаточно высоким разрешением. А это занимало некоторое время.

Мог построить более красивые графики, но в час ночи до этого не догадался =), поэтому тут просто динамика параметров с течением времени. 2 февраля - это спокойный день, 4 - буревой.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/Vw588Us6SsKe0V0jR8WI

Защитились, считаю, относительно неплохо, хотя можно было лучше. Во вторник потусил немного в универе на консультации по экзамену + с товарищами, обсуждая презентацию. Потом поехал домой, после этого - в ИСЗФ, побеседовал с научным руководителем (см. ниже), дальше пошёл со всеми вместе на защиту и потом опять вернулся, чтобы досмотреть данные по Солнцу.

И вот с Солнцем оказалось всё весьма приятно.

## Успех новой фильтрации по Нобеяме

В предыдущем посте про [фильтрацию шумов]( ii://JrTR2z6HoKbuB6pndszX ) я рассказал про более эффективный способ нахождения шумового порога на корреляционной кривой, и что это должно было принести свои плоды. И ведь принесло!

По новой фильтрации было найдено 29 событий, из которых уже большая часть может считаться не просто рандомными вспышками, а явными _кандидатами в гирорезонанс_. Некоторые из этих событий встречаются и в предыдущем списке, по которому я делал анализ. Но тут прямо много разных интересностей.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/2yy2SN59DdNly1jjVwPN

Особенно отличилось событие из 2005 года, на котором зафиксирована яркостная температура **больше миллиона градусов**, которая держалась на протяжении нескольких часов. По всем признакам это можно классифицировать как сильный гирорезонансный источник. Ниже на картинках некоторые из них видно наглядно.

#### Сильно дёргающиеся значения на корреляционной кривой

Красная линия - это порог фильтрации по шумам, который применяется в моей программе.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/Hyo3dEtdiWs3oD4jIR2l

#### Очень яркий точечный источник, который долго держится

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/14TT1n5wQ3w6VjScfhTs

Напомню, что ориентируемся мы на событие из 2017 года, у которого фактически то же самое поведение на корреляционной кривой

#### Подтверждённое событие 2017 года

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/0TiPpI5dmmEqtMZlManK

## Что дальше?

Дальше - досдаю экзамены и скачиваю больше данных, чтобы до конца пополнить все списки. Потом - фильтрация по порогам 100 000 градусов и больше новых интересностей.

К сожалению, для 2005 года мы не можем получить достоверные данные по магнитным полям, потому что спутники Hinode и Solar Dynamics Observatory ещё не были на тот момент запущены. Но есть парочка других не очень точных измерений, которыми, тем не менее, можно воспользоваться. Подробнее с картинками в следующих постах.

Могу грубо сказать, что абсолютная величина магнитного поля в активной области из 2005 года больше 5000-6000 Гаусс.

#### Активная область 2005 года с обсерватории PROBA2

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/WQCA87AGX2RX9kF3RheM

Всем Солнышка и лучей добра, поняши!

Этот пост в блоге: https://blog.alicorn.tk/posts/first-passed.html

# Re: Блоггинг, за жизнь и форматы данных
pipe.2032
vit01(mira, 1) — Andrew Lobanov
2020-01-11 14:41:33


vit01>> Ещё составил себе простенький питон-скрипт, который быстро репарсит markdown-исходник статьи и переводит разметку в пригодную для публикации в IDEC. Также ссылки на картинки он регулярками подменяет на соответствующие ссылки из файлэхи, если таковые имеются.

AL> Всё таки питон в таких ситуациях незаменим. Можно было бы и на баше, но баш сложнее в использовании. Я вон давеча костыль на работе написал для анализа тикетов в редмайне под нужды отдела. Получилось кратко и удобно :)

Потом уже пришлось написать скрипт-костыль, который загружает нужные файлы в файлэху и даёт способы быстро описание ввести. Ранее приходилось всё грузить с мобилы.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Перекличка
pipe.2032
vit01(mira, 1) — btimofeev
2020-01-11 14:41:34


btimofeev> В октябре ездили с женой в отпуск в Чехию, очень понравилось.
btimofeev> Так же на три дня останавливались в Москве у друзей
btimofeev> В начале ноября ездил на первый в своей жизни рок-концерт в Воронеж

Блин, столько поездок за такое небольшое время. Знатно повеселился наверняка.

Надеюсь, что в ближайшие несколько лет удастся попасть на какую-нибудь хорошую конференцию и тоже потусить немножко по-своему.

Если честно, думаю, что ездить по городам чисто чтобы поглазеть на достопримечательности - это скучно. Только если любишь древнюю архитектуру и дизайн, тогда, может быть, это и имеет какой-то смысл.

Вот иностранцы когда на Байкал приезжали, вообще офигевали от всего увиденного, а мне чё-то абсолютно всё равно было. Наверное, люди, которые всю жизнь живут на морском побережье, тоже примерно то же самое думают.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: bugs
pipe.2032
vit01(mira, 1) — jmaks
2020-01-11 14:41:37


jmaks> #002 -- или адрес ноды @mira поменялся, или почему; но при обновлении крашнулся цезий; или мои креды login/auth сдохли на ней; не понятно...

Станция вполне себе работает и всё принимает. Пишу же с неё

Но с недавнего времени она работает исключительно по HTTPS, а все соединения с HTTP либо не принимает, либо редиректит.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Перекличка
pipe.2032
vit01(mira, 1) — Difrex
2020-01-11 14:41:34


Difrex> Сейчас вот решил перетащить все свои сервисы в nomad. Понял, что будет неправильным тащить с работы написанный ansible, по-этому пишу с нуля - потом открою. А ещё пишу статейку в блог про это все, там будет и wireguard и прочие штуки.

Вот на самом деле интересно было бы почитать. Особенно про wireguard. Сам использую OpenVPN ввиду своей отсталости от современных штук. И понимаю, что с нуля разворачивать его достаточно сложно. Там огроменный туториал с генерацией сертификатов с EasyRSA, да с добавлением пользователей + права выставить куда надо + твик ещё какой-нибудь запилить.

Говорят, что wireguard не просто быстрее, но ещё и проще в настройке. А насчёт OpenVPN понимаю, что если он слетит нафиг, то придётся перенастраивать очень долго его.


Difrex> Могу вообще по прогрессу писать в idec небольшие посты. Только вот в какую эху, ii://linux.14 ?

Да, лучше туда
Но если энтерпрайзные штучки и что-то специфичное, то ii://develop.16 пойдёт.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: фэхи
pipe.2032
vit01(mira, 1) — 1i8r4
2020-01-11 14:41:36


1i8r4> Возник вопрос, про фэхи.

1i8r4> допустим файлы начнут сливаться в один каталог pictures, и формироваться их индекс в каких-нибудь файлах pictures.txt,
1i8r4> что будет если разные по содержанию файлы будут одного имени -- типа нода1/pictures/001.png и нода2/pictures/001.png^?

Файлы в фэхах на станциях чётко разделяются по своим контрольным суммам, то есть у них есть уникальный айдишник.

Если на одной ноде чел запостит полностью идентичный файл с другим именем, то синхронизировано ничего не будет.

Если там будет файл с одинаковым именем, но уже с другим хэшем, то нода должна выдать ошибку, потому что файл с таким именем в данной фэхе уже существует.

То есть проводится двойная проверка: по хэшу и по имени файла.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Перекличка
pipe.2032
vit01(mira, 1) — Andrew Lobanov
2020-01-11 14:41:35


AL> Вот в рамках импортозамещения наше предприятие начинает миграцию с OS Windows на OS ROSA. И, честно говоря, это печально. Пакетная база устаревшая даже если сравнивать с Slackware 14.2, тестирование ниже плинтуса (вплоть до сегфолтов при попытке ввести машину в AD). Правда меня тут работодатель отправляет на курсы повышения квалификации. Буду сертифицированный пользователь OS ROSA "Кобальт" (курс прямо так и называется да).

Судя по тому, что ты там пишешь, у вас творится полный треш и имитация бурной деятельности. Интересно, почему именно Росу выбрали, а не какой-нибудь Альт? Вообще, есть какие-нибудь адекватные дистрибутивы, одобренные для "импортозамещения"?

AL> Работа же всё больше из технической перетекает в бумажную сферу и это крайне печально. Предновогодний аврал в полный рост. Нет времени ни Лутца дочитать ни что-либо ещё полезное. Если же время есть, то не остаётся уже никаких сил. Так что вечерами или кубики переставляю на minestead или сериальчик с женой смотрю.

И на твоей улице наступит праздник. Рано или поздно бумажки отнимут своё, и появится что-то более интересное. Хотя бы в плане кодинга и автоматизации чего-нибудь.

vit01>> Тем временем, у моего странного бложика таки набрался свой недодесяток читателей. Только от "сектантов" так и не было никакого фидбека по содержанию постов. Может быть, есть что ответить/спросить или есть чего своего рассказать?

AL> но я настолько далёк и от физики и от астрофизики, что остаётся только разевать рот и радоваться, что люди занимаются чем-то интересным, а не бумажки с отчётиками о перебоях в работе какой-то хреновины перекладывают :)

Не сказал бы, что работёнка у меня слишком крутая. По большей части я просто занимаюсь говнокодингом на Питоне и иногда балуюсь баш-скриптами, чтобы схлопать всё вместе.

Приходится иметь дело с NumPy, Scipy, astropy, matplotlib и особенно с Jupyter Notebook. В распоряжении есть достаточно мощный сервачок, на котором можно проводить расчёты.

Кстати, планирую пост, в котором расскажу про лайфхаки для matplotlib, которыми часто пользуюсь, чтобы делать ещё более красивые графики.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Со всеми праздниками всех!
pipe.2032
vit01(mira, 1) — around
2020-01-11 14:41:36


around> Да собственно SUBJ!

Праздников... нет

Есть выходные, отпуска, каникулы. А праздников - нет.

around> Всего хорошего, что было в прошедшем году - и много нового!

Спасибо, не надо. Что произойдёт, то произойдёт.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Перекличка
pipe.2032
vit01(mira, 1) — Peter
2020-01-11 14:41:33


Peter> Чем больше живёшь, тем быстрее идёт время. Идек и фидо почитываю, но вдумчиво что-то написать -- на это не остаётся душевных сил.

Понимаю. Это особенно если в реальной жизни дофига общаться приходится. И ещё если за пределами секточки, емейлов и.т.д. Простые люди, к сожалению, все предпочитают сидеть в мессенджерах и втентакликах, и доводят тебя до перегруза информацией.

У меня тут вообще возникла идея занести в Emacs "список важных людей" и ставить напоминалки, чтобы пообщаться с каждым из них.


Peter> Да и ещё напасть -- залип на нашем сервере в майнтест. Это такой клон майнкрафта, но с развитыми технологиями, которые для программиста как красная тряпка. Например, не так давно, написал программу для телепортатора, который стоит на моем летающем доме. В общем -- болото.

А вот я сам стал замечать, что чем больше замуты в физику и в кодинг, тем меньше начинает хотеться во что-то играть, становится скучно. Может быть, и реальный и виртуальный мир теперь меньше захватывает, кто знает.

Пробовал не так давно снова поковырять INSTEAD. Решил пройти Проводника, на каком-то этапе залип и не смог продвинуться дальше. В таких случаях обычно пользуюсь прохождениями или залезаю в исходный код, чтобы не тратить лишнее время на продрачивание игры. Но в этот раз чё-то стало лень, плюнул и забил

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Стол
pipe.2032
vit01(mira, 1) — Andrew Lobanov
2020-01-11 13:07:30


AL> Может, устроим в pictures флешмоб по обмену фотками домашних рабочих мест? :)

Скинул свой бардак в pictures вот прямо сейчас.

Дохрена книг - есть
Вертикальный монитор - есть
Офигенная маркерная доска (вообще не понимаю, как раньше жил без неё, решать домашку и прорабатывать быстро какие-то идеи очень удобно) - есть

AL> Меняли мебель на кухне и пока я был на работе жена ездила выбирала новые стулья. Доставка на следующий день и я опять на работе. Приехал, а дома сюрприз от любимой - маленький столик нормальной высоты для меня. На него очень классно входят смартфон, нетбук, трекбол и чашка с чаем. И сидеть за ним с прямой спиной очень удобно. Выходные я провёл за ним и спина теперь совсем не болит. Приятно, когда близкий человек проявляет заботу.

Стул не так давно купил с регулируемой высотой и чтобы облокотиться можно было - тоже круто стало. Раньше сидел на деревянном, страдал.

Для смартфона использую специальный кронштейн. Изначально он автомобильный, но идеально подходит, чтобы со смарта было всё видно, и чтобы тот не сильно мешался рядом с другими вещами. А для андроид разработки такое вертикальное крепление вообще вещь незаменимая.

Для ноутбуков подставочка, это тоже на фоточке есть.

А вот чай и еду на рабочем месте не приемлю. Вдруг там прольётся что-нибудь, а рядом ценные конспекты, книги и оборудование. Да и несколько лет назад тараканы набегали с соседних квартир, приходилось травить, так что с этим жёстко.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Новый год, прежняя жизнь
pipe.2032
vit01(mira, 1) — All
2020-01-10 21:35:31


Привет, и вот мы снова встретились... нет, не в новом десятилетии. Всего лишь Земля в очередной раз обернулась вокруг Солнца, и ничего нового в мировых масштабах не произошло. А в скромной жизни всяких хомо сапиенсов вроде меня что-то потихоньку творится.

## В праздники и на неделе

Ходил гулять недавно с товарищами на плотину [Иркутской ГЭС]( https://ru.wikipedia.org/wiki/%D0%98%D1%80%D0%BA%D1%83%D1%82%D1%81%D0%BA%D0%B0%D1%8F_%D0%93%D0%AD%D0%A1 ) и по нашей набережной. Кому-то уже скидывал эти фотки, но всё равно запощу ещё раз.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/23zBYSuIgVUwNP3YbmnW
https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/t0kwlOOBPGQWuTOQuvFw
https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/uTCIOd3WurJcMIemnBrH
https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/u0JSXOOATE6QNjdrHzQu

У гидроэлектростанции круто. Индустриальный пейзаж, разные прикольные виды, много снега (это не всегда круто). Вот москвичи завидуют, т.к. у них в эту зиму снега мало или почти нет, ну и пусть нет. Зато потом весной грязи будет меньше.

## Защита в ИСЗФ, подготовка

Полным ходом идёт подготовка к защите проекта в ИЗСФ. Как всегда, все спохватились в последний момент, а всё программирование опять легло на мою голову (потому что народ мало умеет), но что уж поделаешь. Подбешивает, правда, но ничего.

Напомню, что мы должны были выбрать день, в который была магнитная буря, и проанализировать по множеству приборов, как эта буря проходила. Мы выбрали день 2013-10-02, и мне пришлось снова поупражняться в программировании, чтобы достать данные из разных мест и понастроить разных графиков.

Люблю визуализировать данные и строить красивые сочные графики. В этот раз удалось сделать даже парочку понтовых видосов, которые можно использовать для большей эффектности =)

#### Солнечная вспышка 2013-09-30, причина магнитной бури 2 днями позднее

Видео сгенерировано с помощью программы JHelioViewer, которая берёт данные с американского спутника Solar Dynamics Observatory и сайта https://helioviewer.org

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/zTgEbj0cCirtrE0szcHr

#### Показатели индексов геомагнитной активности, данные NASA и Kyoto Geomagnetic Data Service

Про многие из параметров ниже и про приборы я уже рассказывал и раньше в своих постах. Конкретно про этот график следует упомянуть, что 2 верхних куска данных про скорость солнечного ветра и про плотность частиц - это спутниковые данные NASA, взятые с сайта omniweb: https://omniweb.gsfc.nasa.gov/ow.html

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/GHy462NR1oXPLttqv3YT

#### Данные со станций GNSS в Иркутске о изменениях вариаций полной электронной концентрации

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/FWfPw1KkgeTytmzUGDZe

#### Оптические наблюдения в селе Торы (в Бурятии), динамика неба за все дни

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/NmfNMNZfgvDYiTQMygyH

## Что дальше?

13 числа сдавать квантовую механику, что доставляет мне немало вынужденной бессонницы и головных болей, потому что надо решать задачи, читать и готовиться.

14 числа защита в ИСЗФ

Времени грустить мало, но всё ещё остаётся. Всё так же упарываюсь таблетками и пытаюсь как-то выживать. Что ж, прорвёмся.

Этот пост в блоге: https://blog.alicorn.tk/posts/2020-started.html

# Re: Фильтрация шумов и предпраздничная безысходность
pipe.2032
vit01(mira, 1) — vmg
2020-01-08 11:34:30


vmg> Ты крут (физика и прочие завихрения), но совсем не бережёшь себя.

Да не, не крут. Так, развлекаюсь по мере возможностей.

Немножко отдохнул и теперь снова началась беготня с квантами и с защитой проекта в ИСЗФ. После 10 числа будет большой пост с кучей картинок (и даже парой эпичных видео), и здесь поотвечаю, на что не успел.

vmg> Когда планируешь восстанавливать нервы и планируешь ли?

Знал бы, как их восстановить. Пока что 100% действуют только несколько средств

1. Таблетосы
2. Обнимашки с людьми (положительный эффект наблюдается 1-2 дня, и трудно достать людей)
3. Найти интересное дело и погрузиться в него с головой (работает только если в конце всё завершится успешно)
4. Ненапряжное общение с людьми на интересные темы
5. Чтение чего-то увлекательного

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Фильтрация шумов и предпраздничная безысходность
pipe.2032
vit01(mira, 1) — All
2019-12-30 17:08:19


Вот и закончилась зачётная неделя, получено 10 зачётов (учусь на кафедре космофизиков, но при этом хожу также на занятия теоретиков и должен получать их зачёты тоже), испорчен сон и нервы, но никто не отменяет работу по Солнцу, поэтому начнём с неё.

## Уровень шумов на корреляционных кривых

В [предыдущем посте]( /posts/ocherednaia-begotnia.html ) я рассказывал с картинками про то, что для фильтрации событий на гирорезонансные источники требуется находить сигналы на корреляционных кривых, которые ниже определённого порога. Данный порог определяется по-хорошему на основе уровня шумов, немножко его превышая. И если сигнал **выше** шумового порога, то мы его отсекаем, и он нас не интересует.

Раньше я подсчитывал стандартное отклонение по всей корреляционной кривой и уровень фильтрации ставил на 6 стандартных отклонений.

Но так делать плохо. Ведь если в течение дня были какие-то сильные вспышки, то стандартное отклонение также сильно увеличивалось. И порог шума стал слишком высокий, захватывая даже те события, которые нам не очень нужны.

Понадобилось проанализировать распределения всех точек на корреляционной кривой.

#### Дни с выбросами

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/n125l8jAjGZXTyRNhtRo

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/aWcNtGsyOFvEVukCjW1P

Видно, что распределение не очень симметричное, но большая часть точек попадает в квантиль 90%, который отмечен **чёрным** цветом. Можно заметить, что эта точка отлично отфильтровывает шумы для этого случая. Дальше это нам это ещё понадобится. Зелёным цветом отмечена отметка фильтра по 1 стандартному отклонению, и видно, что это слишком высоко

#### Дни, когда нет выбросов, чистый шум

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/5rOmQ5d8glJ2yYpWHnQK

И тут - чисто нормальное распределение! Однако, это и минус, потому что фильтрация по квантилю 90% уже не работает и стоит прямо там, где стоит 1 стандартное отклонение.

#### Нужен какой-то более хитрый алгоритм

И такой алгоритм нашёлся. Оказывается, если отсортировать все точки по возрастанию и взять ровно первую половину, а потом подсчитать от них стандартное отклонение, то мы получим такие дни, которые точно являются шумовыми. И теперь, домножив полученное стандартное отклонение на какое-то разумное число, мы сразу получаем неплохой порог фильтрации.

#### Какая красота!

Новый фильтр - красная горизонтальная линия. Посмотрим, что можно с этим сделать дальше.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/1C2edzOekroRgaIYsONa

Также я набросал слайды на Reveal.js с демонстрацией распределений и про косяки предыдущих фильтраций, материалы можно посмотреть тут:

https://blog.alicorn.tk/search-visualize.slides.html

PDF, про который говорится в конце слайдов: https://blog.alicorn.tk/other/29events.pdf


## За пределами Солнца

К концу зачётной недели я очень плохо спал, пытаясь разобраться с задачами по квантовой механике, которые так до конца не дорешал и которые придётся доносить на консультацию на экзаменах полностью прорешанные.

Также постоянно испытывал чувство одиночества и покинутости, потому что у людей, которые мне важны, слишком мало для меня времени, и уже отменилось несколько разных запланированных встреч.

Хотя одиночество, конечно же, идёт от неудовлетворённости собой и от постоянных страхов получить ещё больше неприятных эмоций от общения с людьми, которые могут обидеть. И ещё от недостатка общих интересов с людьми.

Говорят, что нужно найти такое дело, в которое можно погрузиться с головой и постоянно о нём думать. Причём оно должно быть настолько интересное, что мысли о нём должны заглушить желание общения с людьми. Кто-то смотрит аниме и сериалы, кто-то читает книги, кто-то занят музыкой и полностью этим доволен.

Как только закончилась зачётная неделя, я начал отсыпаться и прибираться в квартире. Уборка затянулась. Но сегодня я с ней закончил, опять спал и начал доделывать свои расчёты по Солнцу. Делать расчёты - это хорошая убивалка времени. Дальше в моих планах - читать книги по своим экзаменам и дорешивать нерешённые задачи, которых вполне достаточно для того чтобы заполнить всё свободное время.

[https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/iBwTeL2SMUCC2ozhsz2A]( https://www.deviantart.com/kp-shadowsquirrel/art/Paperwork-313816626 )

## Экзамены и остальные планы

Мои экзамены, которые начинаются с 10 числа

* Квантовая механика (сложно)
* Методы мат. физики (очень сложно)
* Атомная физика (относительно несложно)

По квантмеху и по ММФ надо будет ещё порешать задачки, чем и планирую заняться в ближайшие дни.

Сдачу презентации по практикуму в ИСЗФ перенесли на 2 недели, поэтому с ней тоже придётся повозиться, на этот раз вместе с другими одногруппниками.

## Используем читы

Один хороший человек посоветовал мне принимать курсом антидепрессант афобазол, чтобы снизить количество приступов тревожности и полной непродуктивности из-за того чувства покинутости, которое я очень часто испытываю. Мгновенный эффект наблюдается, если сразу закинуться 2 таблетками. Мне пришлось применить этот хак вчера, когда из-за неудачного общения чуть не оказался весь в слезах и не мог ясно думать, будучи в обиде.

Но всё-таки постараюсь соблюдать дозировку и принимать, как написано в инструкции. Надеюсь, что это позволит хоть немного облегчить страдания.

Этот пост в блоге: https://blog.alicorn.tk/posts/shumy.html

# 6 сигм, предзачётная неделя и беготня
pipe.2032
vit01(mira, 1) — All
2019-12-21 14:01:41


## По Солнцу

Скачивание дополнительных данных (радиоизображений с Нобеямской обсерватории), чтобы улучшить начальную фильтрацию и не пропускать события, прошло более-менее успешно. На каждый день приходится по 10-12 картинок, и для обнаружения всех кандидатов в гирорезонанс этого должно быть достаточно.

Итого: 653 GB c 1999 по 2017 годы, из них **около 200 гигов** - сами картинки, остальное - сырые промежуточные данные. Картинок **58021**.

После новой фильтрации число событий за все годы увеличилось **с 31 до 427**. Вручную так много фиг отсмотришь, да и большая часть событий всё равно вспышечные и не являются слишком интересными.

В среду на совещании коллаборации мы решили, что я сделаю красивую визуализацию, чтобы показать работу фильтра на картинках, с числами (для целевого события и для мусорного). Догадка состоит в том, что критерий отбора по 6 стандартным отклонениям слишком грубый, и это нужно увидеть глазами. Дальше уже решим, что делать: во-первых, как подкорректировать пороги, во-вторых, как применять (или не применять) другие методы обработки данных.

#### Недоработка фильтра

И здесь поясню

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/wRNg0y2JLC6RyAwcbaNA

По корреляционной кривой выше видно, что в районе часа ночи по UTC произошла очень сильная вспышка. И так как стандартное отклонение подсчитывается за весь день целиком, то граница в 6 сигм (отмечена на графике горизонтальной линией) лежит слишком высоко над графиком. Значит мы получим ложноположительное срабатывание, ведь фильтр отбирает дни, где сигнал ниже горизонтальной линии, а туда укладывается ещё штук 10 картинок.

## Всё бы успеть...

Всю эту неделю сплошная беготня за зачётами, контрольные и сдача домашки. Не знаю, что делать в понедельник, ведь надо сдавать задачи по квантовой механике, и толком почти ничего не сделано. Да и у товарищей тоже маловато на меня времени, а это вгоняет в одиночество.

Кроме того, простуда, насморк и озноб. К счастью, именно в субботу они вроде как прошли, но всё равно ведь неприятно. От усталости хочется постоянно спать.

Осталось получить ещё несколько зачётов, для двух из которых (в четверг и субботу) обязательно нарешать задачек. А потом идти и усиленно готовиться к экзаменам, которые начинаются с 10 января.

30 декабря будет следующее совещание по Солнцу, но к нему успею насчитать интересненького на выходных до этого.

## По практикуму в четверг

Групповую защиту, к счастью, перенесли на первую половину января, поэтому для всех приборов мы успеем получить хорошие данные и подготовить крутую презентации.

Но к четвергу пришлось "повеселиться", потому что я отдувался за всю группу и писал программы для фильтрации дней с магнитными бурями в одиночку, потому что только один шарю в программировании и умею обращаться с Питоном.

Сначала пришлось распараллелить скрипт для вычленения данных с картинок для оптической обсерватории в Торах.

Вот простейший пример параллельной обработки на Питоне, советую пробовать и применять у себя, очень ускоряет работу.

#!/usr/bin/env python3

from multiprocessing import Pool, cpu_count

def count_function(num):
	return num, num**2, num**3

pool = Pool(cpu_count())
results = pool.map(count_function, range(10))
pool.close()
pool.join()

print(results)

Дальше надо было сходить на сайт к японцам в Киото и получить оттуда данные по индексу геомагнитной активности Dst, который характеризует магнитные поля на экваторе: http://wdc.kugi.kyoto-u.ac.jp/dst_final/index.html

Если вы туда зайдёте, то увидите, что сайт дерьмовенький, да и скачивание данных толком не работает, просто потому что сайт уже протух и нормально не поддерживается. Пришлось скачивать HTML-страницы через wget и с помощью парсинга вытащить циферки.

Дальше провёл фильтрацию по высокому модулю индекса Dst, чтобы вычленить все дни, когда были магнитные бури. Из выбранных годов там было около 90 событий.

Потом я нашёл на stackoverflow кусок кода, использующий библиотеку pyephem, чтобы вычленить дни, в которые фазы Луны были новолуние и мелкий кусок месяца. Ведь для удачных оптических наблюдений и для обнаружения среднеширотных сияний необходимо, чтобы не было засветки от Луны.

#### Пример хорошего дня с красным сиянием и без засветки от Луны

Эту картинку я привожу просто потому что тут красивое ночное небо.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/3YuV0WuqCw9OnbOELpz5

#### Найденный день с магнитной бурей

Мы можем увидеть, что максимум интенсивности красного цвета приходится на минимум Dst (чёрная кривая и правая ось). Это как раз одна из особенностей среднеширотного сияния. Обратите внимание, что между 16 и 17 часами виден небольшой пик RGB-каналов на изображении. Этот бугорок образовался из-за того, что в области усреднения временно оказалась яркая звезда, которая повысила общую яркость.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/m7m8Ql4inBZrm35IGFKv

Этот пост в блоге: https://blog.alicorn.tk/posts/ocherednaia-begotnia.html

# Перекличка
pipe.2032
vit01(mira, 1) — All
2019-12-15 08:04:37


Hey All

Кто остался живой? Кто всё ещё читает секточку и может поделиться новостями из своей жизни?
Ping!

Тем временем, у моего странного бложика таки набрался свой недодесяток читателей. Только от "сектантов" так и не было никакого фидбека по содержанию постов. Может быть, есть что ответить/спросить или есть чего своего рассказать?

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# За жизнь: на дно и снова ввысь
pipe.2032
vit01(mira, 1) — All
2019-12-13 14:09:11


За эту и предыдущую неделю в моей жизни произошли некоторые изменения, которые вдобавок к обычному каждодневному стрессу вконец подорвали эмоциональное здоровье. Но всё плохое рано или поздно заканчивается.

## Что случилось

Не могу в точности сказать, что случилось, это личная информация. Могу сказать, что не заладилось общение с кое-какими людьми, которых считал для себя важными. Просто столкнулся с безразличием, нежеланием разговаривать и непониманием. И это оказалось последней каплей, что довело до срыва.

Сейчас уже не печалюсь особо, но пересмотрел свои приоритеты в общении.

## Спасибо всем

Всё-таки есть люди, которые проявили отзывчивость и поддержку и сделали всё возможное, чтобы поставить меня на ноги и быть рядом. Спасибо, что вы есть.

// warning: понятина
[https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/2uh3HiAxWOqLC6GjORcr]( https://www.deviantart.com/light262/art/Twilight-Sparkle-tenderness-by-Light-760191446 )

Хотя, наверное, чтобы эффективно бороться со своими приступами тревоги и одиночества, имеет смысл обратиться к специалистам. Как только поднакоплю деньги, имеет смысл что-то начать делать в этом направлении.

## Что было сложного

В ночь перед средой толком не спал, так как надо было делать домашку по теории вероятностей. Но оказалось, что совсем не то, что надо, и надо будет досдавать. Однако, для понимания это всё равно было полезно.

В четверг был очередной напряжный день с беготнёй в ИСЗФ.

В ночь с четверга-пятницу тоже плохо спал, потому что надо было делать домашку по атомной физике. Так её тоже и не сделал, только половину решил, буду ко вторнику досдавать.

Сегодня планирую лечь пораньше спать, чтобы восстановить режим

## По Солнцу

Решил приступить к составлению широкой выборки данных с Нобеямы за 20 лет наблюдений, уже по картинке через каждые 40 минут. Это чтобы увеличить точность поиска и подцепить больше кандидатов на гирорезонанс.

Сначала скачивание шло ужасно медленно. Но потом мы помозговали с Сергеем, и выяснилось, что если скачивать параллельно все 12 месяцев разом, то загрузка идёт гораздо шустрее.

Ещё в этот раз все файлы раскидываются аккуратно по каталогам. И требуется переработать достаточно кода, чтобы подцеплять корреляционные кривые и делать фильтрацию именно по нескольким картинкам, а не по одной. Но ничего страшного, думаю, к среде успею что-то наваять и даже скачать большую часть данных. Годовая выборка скачивается примерно за несколько часов.

Ещё думаю переработать код для построения видео, но это уже позднее. Предстоит большая работа по рефакторингу, выносу кода в отдельные модули и по чистке костылей.

Параллелизм - это магия, нужно больше распараллеливания. Жаль, что мне пока нечего толком показать, но скоро будет.

## Лекция Игоря Иванова

В среду и в четверг к нам приезжал из Португалии физик Игорь Иванов, который делал лекцию для теоретиков про многохиггсовские дублетные модели (там было всё хард, и на этой лекции я не был, так как по времени не получалось) и лекцию для всех желающих про текущее состояние физики элементарных частиц на 2019 год.

Думаю, некоторым будет интересно почитать блог Игоря на Элементах: https://elementy.ru/novosti_nauki/t/261885/Igor_Ivanov

А вот тут слайды к лекциям. Некоторым я скидывал уже их, но не всем (так что пусть будет):

Загружаю в Nextcloud, так как в файлоэху не вышло: https://alicorn.tk/dashie/s/M8SHg4GYioS7DZ9

#### Красивый скрин из LaTeX презентации в качестве превьюшки

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/hB2X7AeqhoVqhwbLimzq

Рассказывая кратко:

* Физика, конечно же, развивается, хотя ничего прорывного пока не открыли
* Уточнили радиус протона, продолжают эксперименты по выяснению масс нейтрино
* Есть предпосылки к выявлению расхождений со Стандартной Моделью (вроде слома симметрий), но пока набирают данные и всё пилят
* CERN распланировал задачи для коллайдера до 2038 года, планы для ещё не построенного коллайдера продумывают аж до 2090 года.
* В физике элементарных частиц нужны специалисты по физике конденсированного состояния (в том числе по сверхпроводимости), чтобы создавать мощные магниты.
* сейчас в CERN большой спрос на твёрдотельщиков для строительства нового оборудования, а не на тех людей, которые будут проводить сами эксперименты.
* в ускорителях частиц пробуют применять плазменный механизм ускорения, который позволит разгонять электроны до невиданных ранее скоростей
* Японцы так и не хотят строить свой ускоритель частиц. Но ожидается что-то интересное от Китая, который, ни с кем не кооперируясь, чё-то вот-вот построит

Этот пост в блоге: https://blog.alicorn.tk/posts/za-zhizn-1.html

# Солнце: после анализа магнитных полей
pipe.2032
vit01(mira, 1) — All
2019-12-06 18:44:08


Для тех, кто не в теме, см. [предыдущий пост]( https://blog.alicorn.tk/posts/the-beginning-sun.html )

Или ii://IzGmvDeL4y4Nz3R5We5F

## Список Окамото

Те события, которые я нашёл в рамках фильтрации, могли пересекаться со списком из работы японца Окамото, который делал обзор на самые сильные магнитные поля у Солнца. В списке 30 событий, для которых я также построил видео, выбрал интересные (кандидаты в гирорезонанс) и нашёл парочку пересечений по датам с теми событиями, которые сам искал.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/HTaI3WWSeY01ngvxTlpw

Источник: http://www.ioffe.ru/LEA/SF_AR/files/Sunspot_Webinar.pdf

После анализа магнитных полей со списка Окамото и с моего списка выяснилось, что бывает 2 характерных типа графиков магнитных полей для кандидатов в гирорезонанс.

#### Первый: дёргающееся магнитное поле

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/cGgY1asqAYK6Dn0A1HeM

#### Второй: стабильно держится, потом идёт вверх

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/zB9oWcYENCvUODtwILsh

С чем всё это связано, ещё предстоит выяснить.

## Трудности с магнитограммами

Казалось бы, взять данные, получить их и начать сразу же обрабатывать - это достаточно несложно, однако, и тут есть свои палки в колёсах.

#### Скачивание

Косяки со скачиванием данных как таковых начались ещё с картинок с Нобеямы. И главная проблема состояла в низкой скорости, которая была в районе нескольких десятков килобайт в секунду. И если мы хотим скачать сырые данные, то нужно ещё тщательно разбираться с именами файлов, чтобы скачать нужное и не скачать ненужное. Качаем через ftp по wget.

#### API и веб-интерфейс

Магнитограммы SDO можно скачивать через питоновское API библиотеку sunpy, либо через их крайне неудобный веб-интерфейс на сайте. Только вот если в выбранном временном интервале встречались битые файлы, то через API было невозможно ничего скачать. И приходилось смотреть на сайте, где косяк, затем качать с сайта.

Магнитограммы Hinode можно было качать исключительно с их сайта, причём даже не архивами по дням, а отдельно по одной картинке. Крайне монотонное и утомительное дело. Я мог бы написать скрипт, но там работает особая система авторизации с установкой сессионных кук, поэтому до скрипта не дошли руки.

#### Чебурнет наступает

В процессе скачивания магнитограмм (тоже с низкими скоростями) надоело долго ждать, и Сергей обратился к админам, которые заведуют сетью ИСЗФ. Выяснилось, что замедление доступа к японским и американским серверам происходит из-за корявого оборудования DPI, которым заведует Роскомпозор. **FUCK RKN!**

И самое забавное, что в некоторые моменты оборудование для анализа пакетов (DPI) глючило и выходило из строя, из-за чего скорость скачивания резко подскакивала больше чем в 10 раз.

#### Артефакты и испорченные данные

На всех магнитограммах присутствуют порченные пиксели. Из-за чего пришлось усомниться даже в некоторых результатах, который представил Окамото, потому что области с высоким полем слишком маленькие.

Чётко видны яркие хреновины, но они либо окружены глюками, либо маленькие и размерами всего несколько пикселей. Примеры ниже с магнитограмм Hinode.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/sbnzInXYKw84WOREP5NL

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/NCuFw6kN381IvW8kl8MS

В моей работе мы избавляемся от косячных пикселей с помощью [медианного фильтра]( https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D0%B4%D0%B8%D0%B0%D0%BD%D0%BD%D1%8B%D0%B9_%D1%84%D0%B8%D0%BB%D1%8C%D1%82%D1%80 ) с ядром 3х3.


#### Различия между Hinode и SDO

Магнитограммы SDO доступны каждые 12 минут. Однако, у картинок достаточно низкое угловое разрешение и на больших магнитных полях показания часто зашкаливают.

Магнитограммы Hinode более качественные, однако они доступны гораздо реже, всего десяток изображений в день. В некоторые дни их вообще нет.

SDO снимает весь диск Солнца, Hinode - только некоторые активные области.

## Нужны ещё данные

В моём способе начальной фильтрации для кандидатов в гирорезонанс есть проблема, из-за которой можно пропустить интересные события. Так как отсев делается только на основе единственной картинки за весь день наблюдения, то есть большая вероятность, что именно на это конкретное время придётся солнечная вспышка, и событие "пролетает" мимо.

По-хорошему, надо было бы делать штук 10 изображений для каждого дня и смотреть уже сразу по нескольким. Таким образом больше шансов захватить какие-то хорошие дни.

Скачиванием остальных картинок с Нобеямского радиотелескопа для 17 и 34 ГГц я и буду заниматься в ближайшее время.

### Снижаем порог поиска?

Кроме этого можно подкорректировать порог поиска по яркостной температуре, т.к. сейчас он стоит на 150 000 К, хотя можно было бы поставить 50 000 или 100 000. Отработка другого порога фильтрации тоже стоит в моём плане.

Этот пост в блоге: https://blog.alicorn.tk/posts/posle-analiza-magnitnykh-polei.html

# Re: Спецкурс по ионосфере
pipe.2032
vit01(mira, 1) — vit01
2019-12-06 09:11:39


Дополнение по радару некогерентного рассеяния (был вопрос от читателя):

Почему же военное оборудование отдали учёным? Нам рассказывали, что из-за находящихся рядом Саянских гор на радар поступает много помех, поэтому соотношение сигнал/шум очень маленькое. По мере развития технологий этот факт мог сделать установку непригодной для военных целей, но учёные всё ещё могут доставать полезную инфу, проделав больше измерений и подкопив статистику (это мои личные догадки).

# Спецкурс по ионосфере
pipe.2032
vit01(mira, 1) — All
2019-12-05 17:25:28


Каждый четверг (а ранее - понедельник) у меня достаточно тяжёлый день, потому что занятия в университете длятся с 11-50 до 15-20, и сразу же к 15-45 нужно бежать на остановку и приезжать на другой берег Ангары в Институт солнечно-земной физики на ионосферный практикум, где сидеть часов до шести.

Эти занятия есть у всей подгруппы космофизиков, к которым я отношусь, и на них нам обзорно рассказывают про средства изучения земной ионосферы, в том числе дают поработать с данными. Для каждого прибора приходит рассказывать свой человек (не все, правда, хорошо объясняют), проводит теоретическую и практическую части.


Цель отслеживания ионосферы - это, во-первых, определение последствий и этапов прохождения магнитных бурь, которые влияют на земную электронику и не только. Во-вторых, ионосфера важна для дальней радиосвязи, поэтому имеет смысл постоянно её мониторить. А ещё, что достаточно удивительно, конфигурация ионосферы меняется за некоторое время до и после начала землетрясений.

А теперь расскажу о том, что мы уже прошли

### GNSS

Средство пассивного наблюдения за ионосферой, относительно дешёвое. Представляют собой высокочувствительные GPS-приёмники, которые отслеживают прохождение спутников над ионосферой и, зная реальное расстояние от себя до спутника, измеряют временные задержки передачи GPS-сигнала.

Позволяют определять полную электронную концентрацию и разные виды ионосферных возмущений.

В Иркутске стоит несколько GNSS-приёмников, один прямо на крыше ИСЗФ.

#### Расположение GNSS-приёмников в разных полушариях

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/4ozJu5IXOVakC4FJUZG1

#### Колебания полной электронной концентрации в течение года

Разные кривые отвечают за разные периоды усреднения, насколько помню. По иксу - часы, начиная от января. По игреку - какие-то попугаи.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/2pBhZhHOZnfhlL4uz7f4

### Ионозонды

Антенны (передающая + принимающая), стоящие на земле, отсылающие сигнал вверх в ионосферу (сканируя диапазоны в десятки мегагерц) и принимающие свои сигналы обратно.

Дают возможность определять полную электронную концентрацию на разных высотах благодаря тому, что разные слои ионосферы отражают сигнал на разных частотах. Также даёт определить расположение слоёв ионосферы относительно друг друга и узнать их зависимость от высоты.

Главный минус вектикального зондирования в том, что можно определить только то, что происходит в нижней части ионосферы. Плюс ещё неустойчивость помех, поэтому ионограммы приходится часто обрабатывать вручную.

#### Пример ионограммы с отмеченными вручную слоями ионосферы и высчитанным профилем электронной концентрации

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/9WoG3xgcqcuzgrj6UrbH

Красная - это обыкновенная, зелёный - необыкновенная волны. Появление необыкновенной волны связано с тем, что в ионосфере присутствует двойное лучепреломление. В этом плане ионосфера ведёт себя немного как кристалл.

А дублирование сигнала сверху - последствие его многократного отражения.

### Радары некогерентного рассеяния

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/Io3qOuNbfb6So5T8GaAl

[Недалеко от Иркутска]( http://ru.iszf.irk.ru/%D0%98%D1%80%D0%BA%D1%83%D1%82%D1%81%D0%BA%D0%B8%D0%B9_%D1%80%D0%B0%D0%B4%D0%B0%D1%80_%D0%BD%D0%B5%D0%BA%D0%BE%D0%B3%D0%B5%D1%80%D0%B5%D0%BD%D1%82%D0%BD%D0%BE%D0%B3%D0%BE_%D1%80%D0%B0%D1%81%D1%81%D0%B5%D1%8F%D0%BD%D0%B8%D1%8F ) есть свой радар некогерентного рассеяния, который был переоборудован с военного радара для научных целей.

Данный прибор позволяет сканировать всю ионосферу целиком, а также определять параметры вроде температуры плазмы, которые фиг узнаешь от других приборов. Ещё имеет достаточно большое покрытие по площади. Однако, радар - это штука, потребляющая очень-очень много энергии, и крайне дорогая. Работает на более высоких частотах, нежели ионозонд (уже сотни мегагерц).

Профиль мощности сигнала для радара представляет собой колеблющуюся кривую (напоминающую интерференционную картину) из-за [эффекта Фарадея]( https://ru.wikipedia.org/wiki/%D0%AD%D1%84%D1%84%D0%B5%D0%BA%D1%82_%D0%A4%D0%B0%D1%80%D0%B0%D0%B4%D0%B5%D1%8F ), поскольку установка принимает только сигнал в одной конкретной поляризации.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/lYVf71yMd94HszBbzTAl

Мы на практике не делали ничего особенного, только методом сеток пробовали подгонять теоретическую кривую под экспериментальную.

### Оптические наблюдения атмосферы

Оказывается, наблюдение полярных сияний и сияний в средних широтах (которые имеют красноватый оттенок и представляют собой свечение кислорода) тоже могут рассказать интересные вещи о том, что происходит там, наверху, на нескольких сотнях километров и выше.

На астрофизической обсерватории Торы https://atmos.iszf.irk.ru/ru/observatory имеются особые камеры, которые позволяют фиксировать слабое свечение неба в периоды геомагнитных бурь и не только.

#### RGB-распределение яркостей по небу

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/HJprNuLRSn3wDhL2bvJF


## Что потом

В самом конце практикума нас разделят по командам, и мы, используя данные со всех приборов выше, должны будем проанализировать определённую магнитную бурю в какой-то день, сделать расчёты и выводы по теме.

Этот пост в блоге: https://blog.alicorn.tk/posts/pro-ionosferu.html

# Re: Блоггинг, за жизнь и форматы данных
pipe.2032
vit01(mira, 1) — Difrex
2019-12-05 14:40:05


Difrex> Когда у тебя нет ограничения по ширине оно выглядит не особо удобным. Цезий на fullhd https://images.lessmore.pw/media/images/2019-12-05_314-18-33.png.
Difrex> Неудобно читать такие длинные строки.

Когда у нас есть окно клиента (того же Цезия) или окно в браузере, то мы можем заресайзить его под нужную нам ширину, и текст начнёт выглядеть нормально.

Проблема ручных переносов в том, что текст рвётся в строго определённых местах, и с помощью ресайза окна клиента становится невозможно это починить. В результате текст выглядит хорошо только на каком-то определённом разрешении экрана.

>> Добавь просто в хук на читалку включение автопереноса и всего делов :)
Difrex> Добавил.

То есть проблема решена, и уже можно не заморачиваться? :)

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Блоггинг, за жизнь и форматы данных
pipe.2032
vit01(mira, 1) — Difrex
2019-12-02 14:25:52


Difrex> Можно тебя попросить делать строки не такими длинными в посте?
Difrex> Ограничиться, например, в символов 100. Иначе приходиться включать *visual-line-mode* :)

Можно. Правда, все наши остальные клиенты (и редакторы в них) умеют отображать текст с переносами слов.

Из-за этого я специально делал строки длинными, чтобы сэкономить читателю место по вертикали и по горизонтали :)

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Блоггинг, за жизнь и форматы данных
pipe.2032
vit01(mira, 1) — Andrew Lobanov
2019-11-30 16:20:06


>>> 1. В каком формате лучше публиковать картинки? Имеет ли смысл просто вставлять ссылки на них или лучше загружать в файлэху?

Difrex>> Я за ссылки. Поддержка фэх, как я понимаю, сейчас включена только у тебя и Андрея.

AL> Я бы всё таки сделал фэху и кидал ссылку на файл из неё через фрек :)

Сделал ссылками на файлы в файлэхе через API. И кому надо, тот подпишется на фэху alicorn.blog

Думаю, по виду ссылок в посте это уже было очевидно.

Ещё составил себе простенький питон-скрипт, который быстро репарсит markdown-исходник статьи и переводит разметку в пригодную для публикации в IDEC. Также ссылки на картинки он регулярками подменяет на соответствующие ссылки из файлэхи, если таковые имеются.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Солнце: с чего всё начиналось
pipe.2032
vit01(mira, 1) — All
2019-11-30 10:30:14


Итак, когда в начале учебного года более-менее установилось учебное расписание, я связался со своим научным руководителем Сергеем из [Института солнечно-земной физики]( https://ru.wikipedia.org/wiki/%D0%98%D0%BD%D1%81%D1%82%D0%B8%D1%82%D1%83%D1%82_%D1%81%D0%BE%D0%BB%D0%BD%D0%B5%D1%87%D0%BD%D0%BE-%D0%B7%D0%B5%D0%BC%D0%BD%D0%BE%D0%B9_%D1%84%D0%B8%D0%B7%D0%B8%D0%BA%D0%B8 ), в дальнейшем просто ИСЗФ.

Здесь и началось всё веселье

В прошлом году я писал вместе с ним курсовую по обработке радиоизображений с помощью алгоритма [CLEAN]( https://en.wikipedia.org/wiki/CLEAN_(algorithm) ). Данный алгоритм широко используется для устранения шумов с сырых изображений, полученных с радиотелескопов и, в частности, с антенных решёток. Он, с одной стороны, совсем несложный, с другой - нужен для понимания того, как интерпретировать правильно картинки с радиотелескопов. В курсовой я попробовал с нуля запрограммировать алгоритм, поиграться с параметрами и обработать парочку тестовых картинок с [сибирского радиогелиографа]( https://ru.wikipedia.org/wiki/%D0%A1%D0%B8%D0%B1%D0%B8%D1%80%D1%81%D0%BA%D0%B8%D0%B9_%D1%81%D0%BE%D0%BB%D0%BD%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D1%80%D0%B0%D0%B4%D0%B8%D0%BE%D1%82%D0%B5%D0%BB%D0%B5%D1%81%D0%BA%D0%BE%D0%BF ) СРГ-48.

Красивые картиночки и код с моей курсовой можно посмотреть на Гитхабе: https://github.com/vit1-irk/clean_lib

### Вернёмся к настоящему

В ИСЗФ мне понравилось, там достаточно интересно и прикольно (а ещё Сергей линуксоид, прогер, да и в целом с ним приятно было работать), поэтому я захотел большего и решил, что хочется принять участие в каком-нибудь более крутом проекте, уже связанным с реальной физикой. Но при этом включающем в себя немного программирования и обработки данных. В целом говоря, интересна идея изучать Солнце, и рано или поздно, хочу устроиться в ИСЗФ на работу.

Для меня нашлась работёнка в отыскании радиоисточников на Солнце, связанных с явлением гиромагнитного резонанса. Это излучение, порождённое электронами вне атомов, движущимися по замкнутым орбитам. На Солнце оно происходит в на короне и на границе короны с хромосферой, причём сигнал идёт сразу на нескольких гармониках. На частоте 34 ГГц подобные источники практически ни разу не находили, за исключением 2017 года, и целью было проверить, присутствуют ли ещё подобные образования на Солнце в другие года. Проверка не сильно сложная, однако, руки до сих пор ни у кого не дошли.

Использовать надо было данные с [Нобеямской радиообсерватории]( https://ru.wikipedia.org/wiki/%D0%9D%D0%BE%D0%B1%D0%B5%D1%8F%D0%BC%D1%81%D0%BA%D0%B0%D1%8F_%D1%80%D0%B0%D0%B4%D0%B8%D0%BE%D0%BE%D0%B1%D1%81%D0%B5%D1%80%D0%B2%D0%B0%D1%82%D0%BE%D1%80%D0%B8%D1%8F ) в Японии, где были данные аж с 1999 года по 2017. Более поздние тоже имеются, но они порченные, кривые и не подходят для обработки.

Данные Нобеямы включают в себя корреляционные кривые телескопа (показывают общее изменение яркости, которое потом отразится на изображении) и сами картинки, которые надо сначала скачать, а потом синтезировать с помощью специальной программки, которая написана на языке IDL (среда программирования, популярная у солнечников).

## Самый первый поиск источников

Начальная фильтрация - грубый поиск образований высокой яркостной температуры (выше 150 000K), при этом на корреляционной кривой сигнал не должен превышать шумовой порог. Изображения делались только раз в день, поэтому многие из источников, вероятно, были пропущены. Ищутся яркие точки, которые долго остаются на диске Солнца, по несколько часов.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/dGGy1m9rj59gqEfznqEe

Важно отличать обычные вспышечные события от гирорезонанса, потому что на корреляционных кривых первые дают резкий затухающий выброс, а вторые - нет.

Отфильтровалось несколько десятков дней, для каждого был построен видеоряд (см. в самый конец, где код).

После этого потребовалось выяснить конфигурацию магнитных полей на фотосфере Солнца в нужных активных областях, магнитограммы надо было доставать со спутников [Solar Dynamics Observatory]( https://en.wikipedia.org/wiki/Solar_Dynamics_Observatory ) и [Hinode]( https://en.wikipedia.org/wiki/Hinode_(satellite) ) .

## Магнитограммы

#### Магнитограмма SDO

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/6lUXgHjXzef2rpEbD6eR

#### Увеличенная

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/4QZiaLpBuCdh9qzQjR20

#### Магнитограмма Hinode

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/RuUGVfkzn97VAPY2dtoB

## Фишки Питона

Пишу код и провожу вычисления в интерактивной среде разработки
Jupyter Notebook (а точнее - в сборке Jupyter Lab). Очень удобная, позволяет избегать ошибок и строить графики с другими результатами прямо в коде.

Так как данных очень много, приходилось делать долгие промежуточные вычисления, результаты которых для удобства сохранял в бинарных объектах pickle, чтобы не высчитывать каждый раз снова.

# пример записи в файл
with open("150k-curves.obj", "wb") as dump:
    pickle.dump(curves_filtered, dump)

# пример считывания из файла
with open("magnetic-plots.obj", "rb") as dump:
    magnetic_plots = pickle.load(dump)

## Построение крутых видосиков

А вот код для построения видеоряда в течение дня. Сохранять картинки в png и склеивать в видео оказалось накладно, поэтому отрисовка идёт напрямую в ffmpeg (через matplotlib FFMpegWriter).

Рендеринг первым способом занимает 4 минуты на видео, вторым - 2 минуты. Надеюсь, кому-нибудь пригодится.

    plt.rc('font', size=12)
    plt.rc('figure', titlesize=16)
    
    plt.close()
    fig = plt.figure(figsize=(22, 20))
    gs = fig.add_gridspec(nrows=4, ncols=2, width_ratios=[5, 4], hspace=0.4, wspace=0.1)

    magnplot = fig.add_subplot(gs[0, 0])
    ccplot = fig.add_subplot(gs[1, 0])
    maxplot = fig.add_subplot(gs[2, 0])
    maxplot_17 = fig.add_subplot(gs[3, 0])

    picplot = fig.add_subplot(gs[2, 1])
    picplot_17 = fig.add_subplot(gs[3, 1])

    magnplot.set_title("maximum magnetic field by SDO")
    magnplot.plot(magn["times"], magn["maxvals"], ":y")
    magnplot.plot(magn["times"], magn["maxvals"], "o")

    ccplot.set_title("34 GHz correlation curve")
    ccplot.set_ylim(-std * 0.3, std * 1.1)
    ccplot.plot(cc["times"], cc["data"] - np.mean(cc["data"]))
    ccplot.axhline(std)

    maxplot.set_title("34 GHz, maximum value")
    maxplot.set_ylim(-100, cfg.intensity_threshold * 1.5)
    maxplot.plot(pics_times, maxvals, "-o")
    maxplot.axhline(cfg.intensity_threshold, color="green")

    maxplot_17.set_title("17 GHz, maximum value")
    maxplot_17.plot(pics_times_17, maxvals_17, "-o")

    print("making video")
    path = "/mnt/data/filepath/videos/{0}.mp4".format(pic_start)
    writer = FFMpegWriter(fps=3, extra_args=['-vcodec', 'libx264'])

    with writer.saving(fig, path, dpi=110):
        for a in range(0, len(pics)):
            pic = pics[a]
            pic_17 = pics_17[a]
            maxval = maxvals[a]
            maxval_17 = maxvals_17[a]

            tl1 = ccplot.axvline(pic["times"], color="red")
            tl2 = maxplot.axvline(pic["times"], color="red")
            tl3 = maxplot_17.axvline(pic_17["times"], color="red")
            tl4 = magnplot.axvline(pic["times"], color="red")

            picplot.set_title("34 GHz, maxval = " + str(maxval))
            picplot_17.set_title("17 GHz, maxval = " + str(maxval_17))

            picplot.imshow(pic["data"], interpolation=None, origin='low')
            picplot_17.imshow(pic_17["data"], cmap="winter", interpolation=None, origin='low')

            writer.grab_frame()

            tl1.remove()
            tl2.remove()
            tl3.remove()
            tl4.remove()

А вот один из скриншотов из видеоряда. Кому захочется пример полного видоса, могу потом тоже скинуть

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/jPqH5A3gnFAsHzLaOuMN

## Что дальше

Дальше требуется более детально проанализировать магнитограммы, починить некоторые ошибки фильтрации и сменить порог поиска на пониже. А что из этого выйдет, я буду писать тут.

Ссылка в блоге: https://blog.alicorn.tk/posts/the-beginning-sun.html

# Re: Блоггинг, за жизнь и форматы данных
pipe.2032
vit01(mira, 1) — Andrew Lobanov
2019-11-24 04:54:04


vit01>> 3. Как организовать автоматический кросспостинг между idec и веб-интерфейсом (например, через RSS или отдельного бота) и стоит ли заниматься этим вообще? (есть вариант просто делать 2 немного разных поста и там, и там)

AL> С точки зрения конечного результата, два поста и там и там будут выглядеть аккуратней, чем автоматический кросс-постинг.

Думаю, что здесь лучше именно так и поступить

А насчёт остальных пунктов всё-таки подождём мнения ещё кого-нибудь

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Блоггинг, за жизнь и форматы данных
pipe.2032
vit01(mira, 1) — All
2019-11-22 02:10:41


Приветствую, товарищи. Думаю, все уже давно видят, что в нашей сетке сейчас длительное затишье и скука (за исключением роботов). Но желание сообщать какую-то разную инфу и общаться никуда не подевалось, по крайней мере, у меня

Так вот, в последние пару месяцев я занят работой в Институте Солнечно-Земной физики, связанной с обработкой данных по вспышкам. Кроме этого, в том же институте прохожу практикум по установкам, исследующим земную ионосферу.

За этот период приходилось тратить достаточно много времени, чтобы доносить до своих знакомых инфу об этих "приключениях", и захотелось завести что-то вроде блога, чтобы люди всё читали из одного места. Плюс стало жалко, что люди из IDEC пропускают такой пласт контента.

По тематике планируются посты по типу "за жизнь", где будут заметки про настроение, а также посты про красноглазие, Python и анализ данных.

Планируется немало картинок, например, диска Солнца, магнитограмм, ионограмм и куча графиков. И насчёт этого требуется совет многоуважаемого All

1. В каком формате лучше публиковать картинки? Имеет ли смысл просто вставлять ссылки на них или лучше загружать в файлэху?

2. Имеет смысл постить всё в ii://pipe.2032 или стоит закидывать в отдельную эху?

3. Как организовать автоматический кросспостинг между idec и веб-интерфейсом (например, через RSS или отдельного бота) и стоит ли заниматься этим вообще? (есть вариант просто делать 2 немного разных поста и там, и там)

Пробовал смотреть разные простенькие веб-движки для ведения статических блогов. Особо понравился питоновский Nikola из-за его поддержки постов как в формате Markdown, так и в формате Jupyter Notebook (большинство своих расчётов делаю именно там).

Правда, встроенные картинки и графики в Jupiter Notebook при конвертации в HTML -> plaintext через nbconvert вставляются напрямую в виде data:base64

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Тишина
pipe.2032
vit01(mira, 1) — Difrex
2019-10-18 01:32:42


Difrex> Времени нет совсем. Но я тут :).
Difrex> Чекаю сообщения раз в день минимум.

Привет. Тоже мало времени, но я чекаю сообщения точно больше одного раза в день. Роботы с новостями ведь

У нас сейчас на физфаке квантовая механика и атомная физика, а ещё методы математической физики (где решаем непростые дифуры и работаем со спец. функциями). По понедельникам практикум по получению и обработке (на Python) данных с разных установок в институте солнечно-земной физики. Ещё в этом же ИСЗФ дополнительно веду работу по анализу данных

Нагрузка очень большая, так как хожу к теоретикам ещё на пары (например, на теорию групп).

В этом семестре гуманитарных предметов нет, всё профильное. Оптику недавно на 5 закрыл

Удачи всем с работой

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Столлман в Москве
pipe.2032
vit01(mira, 1) — Difrex
2019-08-22 09:51:36


Difrex> В этот вторник(27.08.19) в политехе https://mospolytech002.timepad.ru/event/1039245/

Прошёл по ссылке, увидел там "добавить в Google Календарь" и улыбнулся :)
Если бы Ричард зашёл на страничку мероприятия и увидел это, то он обязательно пошутил бы на эту тему.

Difrex> Лечу из Минска смотреть на дедушку, надену майку Emacs ^_^

Еее, круто! Позадавай ему какие-нибудь интересные вопросы

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Осмысленное общение, лень и интерфейсы
pipe.2032
vit01(mira, 1) — Peter
2019-08-11 07:41:51


>> Можно и так сказать, хотя это не в точности так

Peter> Я о другом. В стандарте это время проставляется в сообщение когда? То-есть, когда мы говорим о сортировке сообщений по времени, откуда берётся это время?

А, ты про вон то время

У сообщения есть поле с unixtime, которое проставляет станция сразу же, как только поинт его загнал на сервер. В дальнейшем это поле остаётся всегда неизменным (даже если сообщение попало на другую станцию).

То есть это время, полностью совпадающее со временем нажатия кнопки "отправить" в клиенте. Когда я говорил про сортировку, то имел в виду именно это поле.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Осмысленное общение, лень и интерфейсы
pipe.2032
vit01(mira, 1) — Peter
2019-08-10 17:56:36


>> Не понимаю, про что ты говоришь
>> У нас время синхронизации между станциями - это 10, 20 минут, максимум час.

Peter> А напомните, о каком времени идёт речь? О времени прихода сообщения на первую станцию в цепочке?

Можно и так сказать, хотя это не в точности так
Топология нашей сети в нынешнем виде - практически звезда, то есть "все фетчат всех"

Моя станция, например, скачивает сообщения с соседей раз в 10 минут

У других может быть чуть побольше

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Осмысленное общение, лень и интерфейсы
pipe.2032
vit01(mira, 1) — Andrew Lobanov
2019-08-10 05:10:54


vit01>> У нас есть Цезий и CutieFeed из десктопного. У них у обоих серьёзнейшая беда, что нет сортировки сообщений по времени, из-за чего они часто приходят перепутанные.

AL> Сортировка по времени это не проблема, но юзабельность в наших реалиях не очень. Например, у нас пришло 30 новых сообщени. Их них 10 с дальни станций за вчера, а 20 с ближней за сегодня. И сегодня утром мы вчерашние сообщения дочитали. Получается, что чтобы прочитать всю новую почту надо туда-сюда по сообщениям бегать.

Не понимаю, про что ты говоришь
У нас время синхронизации между станциями - это 10, 20 минут, максимум час.

И даже если учесть, что сообщения со вчерашнего дня пришли позднее, чем с сегодняшнего, то это в любом случае путаница.

Может быть, проблема с серверным софтом на моей станции, но у меня при фетче сообщения за прошлую неделю, бывает, смешиваются с сообщениями "за вчерашний день", или в течение текущего дня утренние сообщения путаются с вечерними. Из-за этого возникает непреодолимое неудобство при прочтении, потому что нить дискуссии рвётся, и невозможно определить, что было сначала и что было потом.

А когда я добавил хронологическую сортировку в эхах, то вмиг все проблемы исчезли, потому что чётко понятно, кто когда отреагировал и что за чем идёт.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Осмысленное общение, лень и интерфейсы
pipe.2032
vit01(mira, 1) — Difrex
2019-08-10 05:10:55


>> У нас есть Цезий и CutieFeed из десктопного
Difrex> Еще idec.el :P

Высокий порог вхождения :)
Но если там удобно работают черновики с фетчем и есть сортировка мессаг по дате, то могу дать ему шанс.

Просто когда я последний раз его пробовал, то были глюки с запуском idec-mode.

>> Вот в Email это сделано удобнее всего, потому что черновики автоматом синхронизируются
Difrex> Это не везде так.

Пользуюсь k9mail в связке с Яндексом (вебмордой, как правило), черновики взаимно подцепляются.

Пару дней назад настроил Thunderbird, там ещё не проверял.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: FIDO жив?
pipe.2032
vit01(mira, 1) — Difrex
2019-08-08 13:17:27


Peter>> Сама идея свободной/некоммерческой сети, такой, какой была Fido и такой, какой могла бы стать IDEC (но не станет, я имею в виду в первую очередь, отсутствие популярности/роста узлов) - греет душу. Но, похоже, время ИТ-романтики безвозвратно ушло. Да и дедам пора смиряться с тем, что они -- деды :)
Difrex> У нас в IDEC тоже вход сложный, по-этому и не взлетаем.
Difrex> А из некоммерческих сетей есть fediverse же. Оно взлетело вполне -- цветет и пахнет.

Fediverse взлетает, но всё-таки они немножко не тем путём идут. Они пытаются скопировать современные соцсети с этим обилием картиночек и емодзей, а не форумные long-readы.

Всякие клоны твиттера вроде Pleroma и Mastodon (и остальные, тысячи их) быстренько превращаются в тухлый отстойник с мемчиками и личными недо-блогами, именно потому что это клоны твиттера с акцентами на персону и репосты, а не тематику.

Единственное, что мне кажется интересным и достойным внимания в fediverse - это PeerTube. Он уже выглядит адекватной и цивилизованной заменой для насквозь коммерциализировавшегося и забитого помоями ютубчика.

# Re: Осмысленное общение, лень и интерфейсы
pipe.2032
vit01(mira, 1) — Peter
2019-08-08 13:17:26


>> Замечаю за собой очень часто, что мне лень писать большие и развёрнутые Email-ы и в том числе сюда в IDEC.
Peter> Вот-вот. Веб2.0 сделал вдумчивое общение ненужным. А интерфейсы - подтянулись к этому.

Этот тренд есть, но я говорю немножко про другое. У нас есть Цезий и CutieFeed из десктопного. У них у обоих серьёзнейшая беда, что нет сортировки сообщений по времени, из-за чего они часто приходят перепутанные. Цезий нуждается в проработке дефолтных настроек, в том числе сочетания клавиш, база, конфиг и.т.д. CutieFeed так и не может осилить хороший кэш, SQLite базу, адаптивный GUI и обработку большого количества сообщений. Cамо построение интерфейса, Layout, далёк от идеального. И тут я просто хотел бы переписать IDEC Mobile на десктоп, потому что с точки зрения UX это то что надо.

Peter> Я вот в фидо подключился, запустил голдеда и почувствовал то самое чувство, когда ты пишешь спокойно вечером письма а на след. день отвечаешь.

Кстати, ещё одна проблема. Днём в учебное время я почти всегда на ногах, поэтому пишу в это время с IDEC Mobile. Но когда приходишь домой, то хочется засесть за полноценную компьютерную клаву и продолжить написание черновика уже там (или наоборот, а фигушки там). Вот в Email это сделано удобнее всего, потому что черновики автоматом синхронизируются. Но здесь уже надо подумать, как в наших клиентах подобную проблему решать. Я бы это через KDEConnect сделал или через QR-коды.

Peter> Хотя, может быть, это субъективное чувство. Например, в браузере я не способен вдумчиво читать, писать и что то изучать. Просто не могу сосредоточиться. А мой друг, например, спокойно читает книги и так далее... Так что не знаю....

В браузере крайне мало действительно продуманных интерфейсов. Кстати, разница в ваших восприятиях может быть от того, что вы посещаете *разные* сайты.

Peter> Для меня интерфейс в котором я могу думать -- это что-то однооконное и крайне простое. Консольное. Статьи в вебе читать вдумчиво получается только в w3m, например. Ибо нет отвлекающих элементов.

Консольные браузеры хороши частенько. Мой любимый - это Elinks.

Мне из интерфейсов очень часто мобильные нравятся. Но далеко не все, т.к. палку перегибают частенько.
Просто в мобильных приложениях делается огромный акцент на размещении элементов на экране, читаемости шрифтов, выделении важных элементов цветом и.т.д.

# Осмысленное общение, лень и интерфейсы
pipe.2032
vit01(mira, 1) — All
2019-08-02 18:35:20


Замечаю за собой очень часто, что мне лень писать большие и развёрнутые Email-ы и в том числе сюда в IDEC.

У меня до сих пор висит в избранных тот диалог по поводу лимита в 64 килобайт, по поводу нетмейла и выкидывания фэх, по которым всё жду повода высказаться, хотя надо было раньше.

Ведь нужно будет предоставить кучу аргументов, накопировать текста, нацитировать разных людей, написать огромное количество текста. А это требует самодисциплины, эмоциональных и умственных усилий.

Может быть, всё из-за того, что по большей части стал писать с IDEC Mobile, и мне перестали нравиться наши десктопные клиенты? Может быть...

Сейчас сижу на десктопе, делаю демонстрацию экрана через программу scrcpy и пишу как раз через IDEC Mobile (используя виртуальную клавиатуру WIFIKeyboard). Такой вот костыль.

Под десктоп, как оказалось, крайне сложно создать красивый адаптивный интерфейс, продуманный до мелочей (особенно материальный "как под гугл"). Пробую уже который раз освоить QtQuick, но натыкаюсь на грабли и бросаю. Обычные QtWidgets технически красивы, но не предоставляют такого удобного API как Activity, Fragment и раздельные layout-файлы, как в андроиде, да и с адаптивщиной там трудно. Веб-гуйня вроде Electron отвратительна, жрёт кучу памяти, тормозит и занимает много места.

Или попробовать что-то вроде Kirigami или GTK3 + libhandy? Но там свои косяки, в том числе с переносимостью.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Флоппинет жив!
pipe.2032
vit01(mira, 1) — Andrew Lobanov
2019-07-26 10:08:24


vit01>> Мы через его портативный хард перекидывали

AL> Портативных у нас не было. Так что таскали как правило на обычных 3.5" IDE хардах. Некоторые болванки юзали. Как-то друг после поездки в Москву привёз около пятидесяти DVD-дисков с файлом. Протащить такой объём по сети тогда для нас было нереально. Разве что по локалке =)

Ещё небось избыточное архивирование использовали для случая чуть-чуть поцарапанной болванки?

vit01>> Ещё пробовали через флешку, но там контрольные суммы не совпали
AL> Странно. Флешка битая?

Да, битая. Такое всё-таки иногда бывает с флехами.

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Re: Флоппинет жив!
pipe.2032
vit01(mira, 1) — Andrew Lobanov
2019-07-26 05:18:04


AL> Ностальгия прям. Только тогда мы с hdd в гости ездили. Особым шиком было привезти файло из другого региона =)

Мы через его портативный хард перекидывали
Ещё пробовали через флешку, но там контрольные суммы не совпали

А в другой регион - это жесть, конечно

У нас, кстати, есть Листвянка, на возвышенностях которой интернет вообще практически отсутствует

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

# Флоппинет жив!
pipe.2032
vit01(mira, 1) — All
2019-07-25 14:15:22


Сегодня у меня произошло приключение, которое показало, что пока не все люди хорошо обеспечены сетью

Суть в чём: другу понадобилось передать файлец размером 14 гигабайт, но у друга проблема - спутниковый интернет с максимальной скоростью 2 мбит/с, и то когда повезёт. Даже медленнее, чем с телефона.

Торрент-качалка показывает, что ориентировочное время скачивания - около 2-3 дней.

Я договорился с этим товарищем и поехал к нему домой за 20 километров, чтобы перекинуть файл на свой нетбук. Потом приехал обратно, встал на раздачу и нормально "донёс" файл до остальных.

Потратил около 6 часов на всё про всё
// правда, я ещё в магазин заходил поесть взять, но всё равно

+++ Отправлено через IDEC Mobile
+++ GNU/Linux, Android, physics, MLP:FIM

Pages: 1 2 3 4 5 6 7 8 9 10 11 12 13 14