Если вам понравилась статья, поделитесь ею со своими друзьями в социальных сетях:
Будьте всегда в курсе!
Подпишитесь на наши новости и узнавайте о новинках и специальных предложениях первыми
- Как купить
- Оплата
- Доставка
- Лицензионный товар
- Крупногабаритный товар
- Возврат и гарантия
- Защита персональных данных
- Отзывы и предложения
- Вопросы и ответы
- Дисконтная программа
- Подарочные карты
- Товар под заказ
- Стрелковый тир
- Товары в кредит
- Настройки профиля
- Корзина
- История заказов
- Избранное
Магазин не работает
Мобильные устройства
Мы в соцсетях
Принимаем к оплате
Версия для печати
Релиз InterSystems IRIS 2021.1
Этим летом вышел новый релиз платформы данных InterSystems IRIS Data Platform 2021.1.
Основные «темы» в этом релизе связаны с расширением доступности платформы для разработчиков на различных технологиях и новыми возможностями по анализу данных.
Iris-test — очередной ЛОХОТРОН? Иридодиагностика. Чуть-Чуть о Науке #Наука
Расширяется выбор доступных языков разработки, как серверных, так и клиентских, а также новые компоненты для аналитики больших объемов данных. Но, обо всём по порядку.
InterSystems IRIS 2021.1 является релизом с расширенной поддержкой, который выпускается один раз в год. Он включает в себя все изменения и улучшения промежуточных релизов (2020.2, 2020.3, 2020.4), выходивших в виде docker-контейнеров, а также новый функционал.
Полную версию описания новых возможностей на английском можно прочитать на этой странице, а далее приведем краткий обзор на русском.
Аналитика
Новый компонент InterSystems IRIS Adaptive Analytics
Вместе с платформой InterSystems IRIS 2021.1 можно использовать дополнительный продукт InterSystems IRIS Adaptive Analytics. Он обеспечивает создание единой виртуальной модели данных на основе данных InterSystems IRIS для различных инструментов бизнес-аналитики (BI), таких как Microsoft Excel, Microsoft Power BI, Tableau, и инструментов искусственного интеллекта (AI). Продукт ускоряет выполнение аналитических запросов по этой модели за счет того, что в фоновом режиме создаются и поддерживаются в актуальном состоянии независимые промежуточные структуры данных.
Оконные функции
В SQL появилась поддержка оконных функций, которые позволяют делать сложные вычисления в рамках одного запроса на отдельных диапазонах рядов. Синтаксис работы с такими функциями выглядит следующим образом:
window-function() OVER ( [ PARTITION BY partfield ] [ ORDER BY orderfield ] [ ROWS framestart ] | [ ROWS BETWEEN framestart AND frameend ] )
Ускорение запросов во встроенном BI
Значимые улучшения были сделаны во встроенном BI-компоненте в InterSystems IRIS Data Platform за счет изменений в «движке» MDX-запросов.
Новые возможности для разработки приложений
Интеграция с R и Python
В 2021.1 расширяется линейка языков программирования доступных для использования совместно с InterSystems IRIS Data Platform. К уже имеющимся Java Gateway и .NET Gateway добавляются шлюзы для R и Python. Код на этих языках может вызываться в отдельном процессе или на внешнем сервере. Python Gateway поддерживает виртуальные среды, тем самым давая возможность использовать, например, разные версии Python на каждом отдельном Gateway.
ИРИС работа с мобильным приложением
Обновления в External Language Servers (ELS)
Помимо R и Python Gateway, улучшена работа ELS в целом. Для всех внешних сред поддерживается автоматический запуск шлюза при первом использовании и безопасное повторное использование установленных соединений. Таким образом, внешнее приложение может прозрачным образом обратиться к InterSystems IRIS за данными и вернуть исполнение обратно, без необходимости явно создавать новое соединение.
.NET Gateway
.NET Gateway теперь поддерживает .NET Core 2.1
Внешние хранимые процедуры в SQL
Для SQL сделали расширение в виде поддержки внешних хранимых процедур. Это дает возможность вызывать фрагменты кода, написанные на Java, .NET, Python, прямо из SQL-запросов. Внешний код вызывается с использованием соответствующего Gateway и имеет следующий синтаксис для создания:
CREATE FUNCTION name(parameter_list) [characteristics] LANGUAGE < JAVA | PYTHON | DOTNET >EXTERNAL NAME external-stored-procedure
Подробнее можно почитать тут.
Пользовательские функции агрегирования
Необходимую логику агрегации можно теперь реализовывать в пользовательских функциях агрегирования, поддержка которых также появилась в текущем релизе. В SQL работа с ними происходит при помощи CREATE AGGREGATE и DROP AGGREGATE
Улучшения в клиентских API
В этом релизе добавлен полностью «нативный» клиентский SDK для Python работающий на всех платформах, поддерживающих Python.
- Также все доступные Native API теперь поддерживают работу с $list и $order.
- В ODBC-драйвере расширена поддержка T-SQL, а в XEP добавлена поддержка отложенного индексирования (deferred indexing).
IntegratedML
В InterSystems IRIS 2021.1 получил широкую доступность (впервые появившийся в версии 2020.3) новый функционал IntegratedML. Простой и интуитивно-понятный SQL-синтаксис, помогает аналитикам и разработчикам использовать машинное обучение. IntegratedML позволяет обучать и использовать модели непосредственно в платформе данных InterSystems IRIS. Выглядит это вот так:
CREATE MODEL HousePriceModel PREDICTING (Price) FROM HouseData
TRAIN MODEL HousePriceModel FROM HouseData
SELECT *, PREDICT(HousePriceModel) FROM NewHouseData
Подробнее и с примерами в можно найти тут, и посмотреть на видео вот тут.
А также
- Добавляется поддержка Java SE 11 LTS. Во всех своих Java-компонентах InterSystems поддерживает и Oracle OpenJDK, и AdoptOpenJDK.
- В JDBC-driver добавили поддержку пула соединений (connection pooling) для более эффективной работы.
- Для VSCode вышла версия 1.0 расширения поддерживающего работу с ObjectScript — VSCode-ObjectScript
- Обновилась поддерживаемая версия Spark, теперь поддерживается — 2.4.4
Администрирование и операции
InterSystems Kubernetes Operator (IKO)
Добавлен новый компонент для конфигурирования и развертывания динамических кластеров с InterSystems IRIS в Kubernetes – InteSystems Kubernetes Operator. Он впервые появился в 2020.2, а начиная с 2021.1 добавилась возможность развертывания инструмента мониторинга InterSystems System Alerting https://habr.com/ru/companies/intersystems/articles/579644/» target=»_blank»]habr.com[/mask_link]
Что за программа iris
Оказывается, под Unix в последнее время разрабатывается масса интересного астрософта. К примеру, появился графический аналог windows-программы обработки изображений IRIS — SIRIL (siril.org). Одним кликом в этой программе можно производить препроцессинг астроизображений.
Установил на свою «апельсинку» последнюю версию (0.9.12rc2) предварительно подключив репозиторий ppa:lock042/siril, иначе по умолчанию в Armbian ставится древняя версия 0.9.1.
$ sudo add-apt-repository ppa:lock042/siril $ sudo apt-get update $ sudo apt-get install siril
Можно сказать, что по базовым возможностям программа уже дотягивает до IRIS, а по удобству сильно превосходит его. Фактически, это уже некий аналог FitsWork, но с наличием таких приятных фишек, как набор готовых скриптов для калибровки и сложения снимков с DSLR (8 скриптов в меню Scripts, но можно скачать еще с сайта), или автоматическое (через интернет) распознавание координат центра и других астрометрических параметров изображения (Analysis->Image Plate Solver).
Автоматическая калибровка и сложение
Используя первый скрипт из меню «Scripts->DSLR_preprocessing» почти одним нажатием кнопки мыши в SIRIL можно произвести препроцессинг (калибровку и сложение) серии из шести 8-мегапиксельных кадров.
Для этого предварительно нужно выбрать рабочую папку в окне программы (самое нижнее поле окна), в каком нибудь файлменеджере создать в рабочей папке директории lights, flats, biases и darks, а затем скопировать туда соответствующие RAW-файлы.
После нескольких минут работы итоговый кадр сохранится в рабочей папке под названием result.fit На всю операцию моему мини-пк потребовалось 6 минут.
Процессинг в SIRIL
Чтобы довести результат калибровки и сложения до ума, надо открыть итоговый файл в программе командой меню «File->Open» и применить к нему несколько процессинговых команд.
Сперва парой кликов по изображению и окну (Image Processing->Color Calibration->Color Calibration) можно произвести калибровку баланса черного и белого на снимке.
Для этого сначала надо выбрать область темного участка неба в окне предпросмотра и в окне » Color Calibration» рядом с полем «background reference» нажать кнопку «use current selection». Затем можно нажать кнопку «Background neutralisation», чтобы фон стал нужного цвета.
Далее можно исправить баланс белого, выделив в окне предпросмотра белый участок неба (центр яркой белой звезды) и нажать в окне » Color Calibration» в поле «White reference» на кнопку «Use current selection».
Для более точного выделения черного или белого участка неба можно менять масштаб снимка в правом нижнем углу окна препросмотра в поле «Zoom level» (по умолчанию стоит «auto fit»).
После задания нужных участков неба в качестве опорных для выправления баланса черного и белого, нажмите на кнопку «Apply».
Затем командой (Image Processing->Asing transformation) можно вытянуть снимок из «темноты», просто сдвинув ползунок нелинейной трансформации вправо примерно на середину, глядя на результат в окне просмотра изображения, пока объект на снимке не станет достаточно ярким.
Также можно выровнять гистограмму снимка в окне (Image Processing->Histogram transformation). Для того, чтобы фон неба стал темным, подтяните левый край гистограммы к краю окна верхним ползунком «Shadow clipping». Чтобы объекты на снимке стали ярче, подтяните к правому краю окна правый край гистограммы ползунком «Higlights clippung».
Устранять неравномерности фона снимков — градиенты (неравномерный фон неба, засветка от усилителя матрицы и т.п.) можно за два клика командой «Image processing->Background extraction». В окне «Background extraction» нажмите на кнопку «Generate» и после появления в окне превью зеленых точек — на кнопку «Apply». Команда отлично работает с установками по умолчанию, но вы можете поиграться с четырьмя настройками и сравнить результаты. К слову, алгоритм команды отлично распознает дипскай-изображения и не трогает их.
В финале командой (Image Processing->Color Saturation) можно добавить снимку больше цвета. Ни одной команды в консоли вводить не потребуется, хотя такая возможность для заядлых «юниксоидов» имеется.
В принципе, быстрая обработка астрофотоснимка завершена.
Ручная калибровка и сложение
Можно осуществлять препроцессинг в SIRIL «вручную», т.е. без использования готовых скриптов.
Для этого нужно предварительно сконвертировать в FITS-формат и дебайеризировать группы RAW-файлов (дарки, флеты, офсеты, лайты) во вкладке «File conversion». (Настройки дебайеризации можно изменить в окне настроек программы).
Программа работает с группами сконвертированных файлов — seq, которые можно задавать во вкладке «Sequences», (есть кнопка удобного автопоиска готовых seq). Не забудьте давать группам понятные названия в поле «Sequence name» (dars, lights, biases, flats).
Выбрав необходимую группу калибровочных файлов во вкладке «Sequences», во вкладке «Stacking» можно поочередно сложить их и получить калибровочные мастер-файлы.
Затем, выбрав во вкладке «Sequences» группу «лайтов» — файлов изображений участка неба, можно задать в окне «Pre-processing» калибровочные мастер-файлы и произвести калибровку астрофотоснимков по одной из двух выбранных формул.
В результате группа откалиброванных кадров автоматом появится и выберется во вкладке «Sequences». Далее можно перейти во вкладку «Stacking» и произвести сложение снимков по одному из нескольких алгоритмов (не нашел там Sigma clipping).
Итоговый кадр сохранится в рабочей папке под названием result.fit
Быстрая астрометрия в SIRIL
Добавить астрометрические поля в итоговый FITS-файл можно при помощи инструмента «Analysis->Image Plate Solver». Для этого в окне «Image Plate Solver» надо указать фокусное расстояние инструмента и размер пикселя камеры, а также примерные координаты центра снимка.
Определить примерные координаты центра снимка можно, введя название снимаемого объекта в поле поиска Image parameters и нажав кнопку «Find». Выберите одного из найденных «resolver» в окне результатов поиска (автоматом заполнится поле примерных координат центра снимка), нажмите кнопку «Ок» и подождите, пока во вкладке «Output logs» не появится астрометрическая информация о снимке. После этого его можно пересохранить. Астрометрическая информация о снимке появится в соответствующих FITS-полях.
Помимо снимков дипскаев, в Siril можно обрабатывать и лунно-планетные видео. Эту возможность пока не пробовал.
Проверено — комбайн по обработке астрофотографий с GYI на Linux работает!
SIRIL под Windows
Программа установилась и запустилась без сбоев. Калибровка и сложение десяти 8Мп кадров М31 прошли успешно.
После быстрого и агрессивного процессинга итогового снимка в том же SIRIL результатом остался доволен.
Видимо, настала пора пересаживаться с FitsWork на SIRIL?! Рекомендую!
Благодарности
Вы можете отблагодарить и поддержать автора, закинув любую сумму на номер-счет МегаФон +79278510680 (как пополнить телефон), либо задонатить на номер +79023281522. Мне важно знать, что мой труд чего-то стоит. Это даст стимул к написанию новых статей и книг.
Источник: vazhorov.wordpress.com