## По Солнцу

Скачивание дополнительных данных (радиоизображений с Нобеямской обсерватории), чтобы улучшить начальную фильтрацию и не пропускать события, прошло более-менее успешно. На каждый день приходится по 10-12 картинок, и для обнаружения всех кандидатов в гирорезонанс этого должно быть достаточно.

Итого: 653 GB c 1999 по 2017 годы, из них **около 200 гигов** - сами картинки, остальное - сырые промежуточные данные. Картинок **58021**.

После новой фильтрации число событий за все годы увеличилось **с 31 до 427**. Вручную так много фиг отсмотришь, да и большая часть событий всё равно вспышечные и не являются слишком интересными.

В среду на совещании коллаборации мы решили, что я сделаю красивую визуализацию, чтобы показать работу фильтра на картинках, с числами (для целевого события и для мусорного). Догадка состоит в том, что критерий отбора по 6 стандартным отклонениям слишком грубый, и это нужно увидеть глазами. Дальше уже решим, что делать: во-первых, как подкорректировать пороги, во-вторых, как применять (или не применять) другие методы обработки данных.

#### Недоработка фильтра

И здесь поясню

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/wRNg0y2JLC6RyAwcbaNA

По корреляционной кривой выше видно, что в районе часа ночи по UTC произошла очень сильная вспышка. И так как стандартное отклонение подсчитывается за весь день целиком, то граница в 6 сигм (отмечена на графике горизонтальной линией) лежит слишком высоко над графиком. Значит мы получим ложноположительное срабатывание, ведь фильтр отбирает дни, где сигнал ниже горизонтальной линии, а туда укладывается ещё штук 10 картинок.

## Всё бы успеть...

Всю эту неделю сплошная беготня за зачётами, контрольные и сдача домашки. Не знаю, что делать в понедельник, ведь надо сдавать задачи по квантовой механике, и толком почти ничего не сделано. Да и у товарищей тоже маловато на меня времени, а это вгоняет в одиночество.

Кроме того, простуда, насморк и озноб. К счастью, именно в субботу они вроде как прошли, но всё равно ведь неприятно. От усталости хочется постоянно спать.

Осталось получить ещё несколько зачётов, для двух из которых (в четверг и субботу) обязательно нарешать задачек. А потом идти и усиленно готовиться к экзаменам, которые начинаются с 10 января.

30 декабря будет следующее совещание по Солнцу, но к нему успею насчитать интересненького на выходных до этого.

## По практикуму в четверг

Групповую защиту, к счастью, перенесли на первую половину января, поэтому для всех приборов мы успеем получить хорошие данные и подготовить крутую презентации.

Но к четвергу пришлось "повеселиться", потому что я отдувался за всю группу и писал программы для фильтрации дней с магнитными бурями в одиночку, потому что только один шарю в программировании и умею обращаться с Питоном.

Сначала пришлось распараллелить скрипт для вычленения данных с картинок для оптической обсерватории в Торах.

Вот простейший пример параллельной обработки на Питоне, советую пробовать и применять у себя, очень ускоряет работу.

#!/usr/bin/env python3

from multiprocessing import Pool, cpu_count

def count_function(num):
	return num, num**2, num**3

pool = Pool(cpu_count())
results = pool.map(count_function, range(10))
pool.close()
pool.join()

print(results)

Дальше надо было сходить на сайт к японцам в Киото и получить оттуда данные по индексу геомагнитной активности Dst, который характеризует магнитные поля на экваторе: http://wdc.kugi.kyoto-u.ac.jp/dst_final/index.html

Если вы туда зайдёте, то увидите, что сайт дерьмовенький, да и скачивание данных толком не работает, просто потому что сайт уже протух и нормально не поддерживается. Пришлось скачивать HTML-страницы через wget и с помощью парсинга вытащить циферки.

Дальше провёл фильтрацию по высокому модулю индекса Dst, чтобы вычленить все дни, когда были магнитные бури. Из выбранных годов там было около 90 событий.

Потом я нашёл на stackoverflow кусок кода, использующий библиотеку pyephem, чтобы вычленить дни, в которые фазы Луны были новолуние и мелкий кусок месяца. Ведь для удачных оптических наблюдений и для обнаружения среднеширотных сияний необходимо, чтобы не было засветки от Луны.

#### Пример хорошего дня с красным сиянием и без засветки от Луны

Эту картинку я привожу просто потому что тут красивое ночное небо.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/3YuV0WuqCw9OnbOELpz5

#### Найденный день с магнитной бурей

Мы можем увидеть, что максимум интенсивности красного цвета приходится на минимум Dst (чёрная кривая и правая ось). Это как раз одна из особенностей среднеширотного сияния. Обратите внимание, что между 16 и 17 часами виден небольшой пик RGB-каналов на изображении. Этот бугорок образовался из-за того, что в области усреднения временно оказалась яркая звезда, которая повысила общую яркость.

https://ii-net.tk/ii/ii-point.php?q=/f/f/alicorn.blog/m7m8Ql4inBZrm35IGFKv

Этот пост в блоге: https://blog.alicorn.tk/posts/ocherednaia-begotnia.html