Программа seldon что это

Почему клиенты выбирают Seldon?

В штате компании более 700 сотрудников, их профессиональные компетенции подтверждены сертификацией по международным стандартам, включая Cisco, Microsoft, ISO и др.

Офисы компании расположены во многих регионах России (в т.ч. головной офис в Москве и офис разработки в Нижнем Новгороде).

Партнерамикомпании являются 8 групп площадок, 45 коммерческих торгово-закупочных систем, 46 ЭТП по реализации имущества, 9 международных торговых систем.

Дилерская сеть насчитывает более 200 компаний.

Глубокая экспертиза и обширный опыт в сфере электронной коммерции позволяют нам предлагать клиентам высокий уровень сервиса в таких направлениях, как:

o Seldon – информационно-аналитическая система поиска профильных торгов.

o Seldon.Doc – система автоматизации тендерных бизнес-процессов.

o Seldon.Basis – сервис поиска клиентов и комплексной проверки контрагентов.

Маркетинговые исследования рынка по любым параметрам, исследования на основе данных собственных IT-продуктов.

Seldon 1.7 | Обзор главных функций и выгод сервиса

Сопровождение заказчиков и поставщиков на каждом этапе закупки – от оформления документации до представительства интересов в контролирующих органах.

Помощь в получении банковских продуктов, необходимых для проведения тендерной деятельности (тендерные кредиты и займы, банковские гарантии и др.).

Проведение обучающих мероприятий для частных лиц и корпоративных клиентов в различных регионах РФ. Тематика – госзаказ, обзор изменений профильного законодательства.

Клиенты – компании различного масштаба, от индивидуальных предпринимателей и СМП до крупных холдингов и госкорпораций.

Преимущества сотрудничества с SELDON оценили уже более 40 000 корпоративных клиентов, включая:

Информационно-аналитическая система Seldon

Информационно-аналитическая система Seldon содержит всю необходимую информацию для эффективного поиска и участия в государственных, коммерческих, международных торгах, аукционах по продаже имущества банкротов.

Почему клиенты выбирают Seldon?

  • Максимальный объем информации о закупках. Более 44 млн тендеров.
  • Широкие аналитические возможности.21 вид аналитических отчетов.
  • Эффективная система поиска тендеров.Лингвистический умный поиск, поиск по картинкам и сканам, удобная система фильтров.
  • Высокий уровень сервиса.Персональный менеджер, уведомление о новых тендерах на почту.
  • Целый ряд дополнительных модулей.Прайс-листы (свыше 51 млн товарных позиций), ЕГРЮЛ, ЕГРИП, данные из РНП, жалобы в ФАС, практика Арбитражного суда РФ, данные Росстат, законодательная база.

Использование системы Seldon позволяет:

  • Сократить расходы на поиск профильных закупок в среднем на 40%.
  • Свести к нулюзатраты на поиск информации о компаниях, получивших крупные государственные контракты.
  • Значительно повыситьвероятность победы в тендере и выявить заведомо проигрышные торги.
  • В несколько кликов мыши оценить конкурентоспособность компании.
  • Корректно сформировать начальную (максимальную) цену закупки.

Знакомство с программой Селдон Общий поиск

Система Seldon.Doc помогает автоматизировать задачи в рамках тендерной деятельности, отслеживать их выполнение и анализировать ключевые показатели работы сотрудников и отделов.

Преимущества:

  • Вся информация о закупках в одном окне. Полная и актуальная информация обо всех профильных торгах.
  • Эффективный отбор закупок. Фильтрация закупок по целому ряду параметров.
  • Непревзойденная аналитика. Отслеживание занятости сотрудников в несколько кликов мыши, автоматизация контроля всех стадий закупок и причин отказа от участия.
  • Оптимизация бизнес-процессов в рамках тендерной деятельности.Оперативное распределение закупок по ответственным сотрудникам,обмен документами внутри системы, возможность групповой работы с файлами.
  • Высокий уровень сервиса.Система e-mail уведомлений об изменениях в закупке и статусе работы с ней,сохранение истории комментариев к каждой закупке в формате online чата.

Использование Seldon.Doc позволяет:

  • Сократить объем ручной работы в среднемна 50%.
  • Объективно оцениватьобъем работ, реализованный каждым сотрудником.
  • Выявлятьпроблемные зоны и точки роста при участии в торгах.

§ Автоматизировать анализ результатов деятельности по участию в торгах.

Платформа Seldon.Basis

Seldon.Basis – эффективное решение для комплексной проверки контрагентов и получения актуальной информации об их финансовом состоянии, учредителях, аффилированности с другими организациями, степени зависимости от кредиторов и инвесторов, благонадежности, заключенных госконтрактах и плановых проверках.

Источник: poisk-ru.ru

Аналитическая система Seldon — анализ тендеров, аукционов.

Информационно-аналитическая система Seldon упрощает и систематизирует работу с закупками. Не имеет полнофункциональных аналогов в России.

  • В онлайн режиме собирает информацию обо всех закупках в России и за рубежом (торги по 44-ФЗ и 223-ФЗ, коммерческие закупки, аукционы по продаже имущества банкротов).
  • Формирует подборки профильных торгов в соответствии с заданными параметрами.
  • Позволяет проводить комплексную аналитику (включая оценку эффективности торгово-закупочной деятельности, вероятности победы, тендерной активности конкурентов).
  • Экономит время на мониторинг закупок по конкретной тематике.
  • Структурирует информацию о реализованных закупках.

Закупки и контракты

Система содержит архив закупок с 2007 года и информацию о действующих закупках, в которых можно принять участие. Все торги распределены по категориям: государственные, коммерческие, международные, планируемые и другие.

  • Состояние интересующей закупки
  • Форму проведения тендера
  • Срок завершения приема заявок
  • Информацию о заказчике
  • Сведения о лотах и товарах

Поиск в системе

Система собирает данные с 7 000+ информационных источников и отображает все интересующие закупки со всех площадок в одном окне.

Поисковые фильтры учитывают целый ряд параметров для максимально точного поиска: тематика, заказчик, НМЦК, регион или адрес поставки, ОКПД2 и другие критерии.

Форма сквозного поиска, находящаяся на главной странице системы, позволяет искать по всем разделам системы. Это особенно удобно, когда пользователь не знает, в каком именно разделе может содержаться поисковый запрос, или хочет получить комплексную информацию.

E-mail и SMS уведомления

Получайте оповещения не только в самой системе, но и на e-mail или по SMS.

Отслеживайте прирост закупок и контрактов с помощью списков наблюдений. Динамика прироста данных отражается в сохраненных пользователем фильтрах, которые представляют собой комбинацию определенных параметров.

  • Получайте информацию о новых закупках
  • Узнавайте, когда интересующие позиции планов и планов-графиков станут текущими закупками
  • Каждый месяц узнавайте о новых возможностях системы
  • Будьте в курсе запланированных технических работ. Мы всегда проводим их в нерабочие часы

Аналитика

Собранная в системе обширная база данных о закупках и их итогах позволяет формировать различные аналитические отчеты.

Задайте нужные условия, и система сама наглядно проиллюстрирует тенденции и распределение данных в форме графика или таблицы.

  • Крупнейшие игроки рынка и их объемы контрактов
  • Динамика закупок и заключения контрактов
  • Деятельность участников закупок
  • Победители и участники закупки
  • Поставщики по профилю
  • Поставщики конкретного заказчика
Читайте также:
Что за программа rkmc

Законодательная база

В системе содержится правовая база «Гарант», которая обеспечивает комплексную правовую поддержку и своевременно информирует о новостях в сфере законодательства.

Информация об организациях

Система предоставляет доступ к информации об интересующих компаниях.

  • Числится ли компания в Реестре недобросовестных поставщиков (РНП)?
  • Подавались ли на компанию жалобы в ФАС?
  • Какие связи есть у компании на рынке?
  • Есть ли у компании арбитражные дела? В роли кого она в них выступает (истец / ответчик / фигурант)?

Интерфейс

Персональные настройки делают работу в Seldon максимально удобной и простой. В системе реализованы различные форматы и виды таблиц, тем оформления экрана, панелей, кнопок, шрифтов. Настройте систему под себя, чтобы работа приносила еще и удовольствие!

Усовершенствуйте работу тендерного отдела с помощью специального модуля «Мои тендеры»!

  • Автоматическое распределение тендеров по ответственным сотрудникам и делегирование
  • Рассылка и настройка уведомлений
  • Организация и контроль работы с тендерами
  • Аналитика

Расширенные возможности для фармацевтических компаний

  • Поиск закупок и контрактов с учетом характеристик лекарственных средств (торговое наименование, МНН, ЖНВЛП и др.).
  • Подробная информация о товаре (позиция лота закупки / контракта, лекарственный препарат).
  • Специализированный отчет по товарам – лекарственным препаратам с подробной информацией о цене за единицу, упаковке, дозировке, стране производителе, МНН, торговом наименовании, ЖНВЛП и др.

Данные о торгах в вашей системе

Получайте по API информацию из открытых источников обо всех торгах по своей тематике. Автоматически добавляйте ее во внутреннюю систему (CRM, ERP, BPM и др.). Используйте данные для лидогенерации и маркетинговых исследований, развивайте тендерное направление и зарабатывайте больше.

  • Извещения
  • Протоколы
  • Контракты
  • Активность компании
  • Документы
  • Рекомендованные процедуры
  • Подбор поставщиков

Источник: tender.myseldon.com

Функционал системы поиска тендеров Seldon

Система поиска тендеров Seldon — это специализированный онлайн-сервис от ГК Seldon для удобного поиска и аналитики торговых процедур, данные о которых собираются с более чем 7200 электронных торговых площадок России и ближнего зарубежья.

Функционал системы поиска тендеров Seldon

База системы формируется в реальном времени, позволяя за считанные секунды получать информацию о появляющихся тендерах.

Поиск тендеров «Селдон» представляет собой основной инструмент сервиса с многочисленными критериями отбора интересующих вас процедур. Среди них наиболее значимыми являются следующие пункты:

  • ключевые слова с отображением наименований организаций, товарных позиций, лотов, документации и т.п.;
  • коды ОКПД2 и встроенный в систему классификатор стандартной номенклатуры товаров и услуг;
  • способы осуществления закупок, включая указание федеральных законов 223-ФЗ, 44-ФЗ, а также торгов по распродаже залогового имущества и позиций обанкротившихся организаций;
  • диапазоны начальных, текущих и максимальных цен, а также временные рамки проведения процедуры;
  • статусы процедур с актуальной информацией о текущем состоянии торгов;
  • регионы с удобными инструментами и широкой базой населенных пунктов;
  • площадки, на которых проводится закупка, включая нишевые и региональные порталы;
  • размеры требующегося гарантийного обеспечения заявок и контрактов, а также их максимальные суммы;
  • юридические данные организаций и должностных лиц, ответственных за проведение закупки.

Функция умного поиска позволит быстро отыскивать тендеры по схожей тематике, а сама система предлагает варианты на основе анализа ваших интересов.

В Seldon можно настраивать уведомления о новых интересующих процедурах, приходящие на почтовый ящик или на мобильный номер в качестве SMS-оповещений.

Но самой главной фишкой сервиса является поиск по картинкам, позволяющий искать процедуры по сканам документов, что действительно очень удобно и мало где реализовано.

Второй значимой частью системы являются аналитические инструменты. Они позволяют сортировать и анализировать базу заказчиков и поставщиков, динамику ценовых движений в интересующих нишах закупок, реестры заключенных контрактов и др.

Функционал системы поиска тендеров Seldon

Аналитика может производиться по различным направлениям, а встроенный табличный анализатор сможет быстро отображать срезы с необходимыми данными, предлагая наглядную статистику с графиками и диаграммами.

Функционал системы поиска тендеров Seldon

Функционал системы поиска тендеров Seldon

Функционал системы поиска тендеров Seldon

Функционал системы поиска тендеров Seldon

Собственно эта форма и является регистрационным шлюзом для всех новых пользователей Seldon, а сама регистрация делится на следующие этапы:

  1. Заполнение формы тестового доступа с указанием имени, номера мобильного телефона и рабочего e-mail адреса для технической связи.
  2. Получение логина и пароля от личного кабинета письмом на указанный почтовый ящик с последующей авторизацией под этими данными.

Сгенерированный логин изменить нельзя, а вот пароль вы можете поменять самостоятельно в личном кабинете.

Хотя система генерирует надежные пароли, они могут быть сложными для запоминания, поэтому для смены пароля следуйте следующей инструкции:

  1. Перейдите в раздел «Настройка» и выберете подраздел «Настройки пользователя», расположенный в последнем пункте.
  2. В открывшемся окне есть поле для смены пароля, которое требуется заполнить и нажать на кнопку «Изменить».

Фиксированных тарифов компания «Селдон» не предлагает, а каждый пользователь получает свое уникальное коммерческое предложение.

Для его получения нужно заполнить специальную форму, в которую вводится ИНН организации и контактные данные. Итоговая сумма может зависеть от множества факторов, включая факты оформления электронной цифровой подписи в ГК Seldon, подписку на сервис «Basis», а также посещение семинаров и курсов, проводимых компанией.

Источник: tendr.guru

Продукты компании Seldon

Купить аналитическую систему для госзакупок Seldon 1.7 (Селдон 1.7)

Собранная в системе обширная база данных о закупках и их итогах позволяет формировать различные аналитические отчеты.

Задайте нужные условия, и система сама наглядно проиллюстрирует тенденции и распределение данных в форме графика или таблицы.

  • Крупнейшие игроки рынка и их объемы контрактов
  • Динамика закупок и заключения контрактов
  • Деятельность участников закупок
  • Победители и участники закупки
  • Поставщики по профилю
  • Поставщики конкретного заказчика

Благодаря широким возможностям Вы сможете еще на этапе подачи заявки с большей долей вероятности выявить нечестных заказчиков, посмотреть какое снижение ожидается в текущей закупке и принять решение о том стоит ли участвовать и какую прибыль возможно получить. Не имеющий аналогов на рынке РФ аналитический модуль заставит Вас по-новому взглянуть на тендерный рынок.

Поиск в системе

Система собирает данные с 7 400+ информационных источников (включая собственные сайты компаний, различные порталыи т.п.) и отображает все интересующие закупки со всех площадок в одном окне.

Поисковые фильтры учитывают целый ряд параметров для максимально точного поиска: тематика, заказчик, НМЦК, регион или адрес поставки, ОКПД2 и другие критерии.

Форма сквозного поиска, находящаяся на главной странице системы, позволяет искать по всем разделам системы. Это особенно удобно, когда пользователь не знает, в каком именно разделе может содержаться поисковый запрос, или хочет получить комплексную информацию.

Уникальный поиск по документам позволит производить поиск внутри конкурсной документации, даже если заказчик разместил ее в формате скан-копий или фотографий. Данная функция не имеет аналогов на сегодняшний день, что дает Вам самые широкие возможности в отличие в конкурентов.

Читайте также:
Что за программа другой мир

Законодательная база

В системе содержится правовая база «Гарант» c актуальной подборкой материалов непосредственно для тендерных специалистов.

Данным ресурсом может пользоваться как специалист по тендерам так и бухгалтерия и юридический отдел. Данные поступают напрямую с сервера разработчика СПС Гарант.

Наши преимущества

Более 7000 источников данных

Точная настройка поиска

Продукты компании Seldon — это будущее!

С помощью информационно-аналитических систем Seldon Вы всегда будете в курсе профильных тендеров, сможете проводить маркетинговые исследования рынка, просматривать информацию о всех закупках и знать о контрактах конкурентов.

Seldon - это будущее

Seldon.News

Продукты Seldon

Информация

Соц. сети

Whatsapp Seldon Viber Seldon Telegram Seldon

Политика конфиденциальности

Спасибо за обращение

Сообщение успешно отправлено

Согласие на обработку персональных данных

Заполняя форму на сайте seldon.online Вы даете добровольное согласие Администрации ресурса на обработку своих персональных данных. Под персональными данными понимается любая информация, относящаяся к Вам, отправленная с помощью формы обратной связи на сайте seldon.online (фамилия, имя, отчество, город проживания, контактный номер телефона, адрес электронной почты);

Ваше согласие распространяется на осуществление Администрацией сайта seldon.online действий в отношении ваших персональных данных, которые могут понадобиться для сбора, систематизации, хранения, уточнения (обновление, изменение), обработки (например, отправки писем или совершения звонков), распространения (в том числе возможная передача Генеральному партнеру ООО «Селдон ПРО»), блокирования и т.п. с учетом действующего законодательства;

Администрации ресурса получает персональные данные указанные в следующих целях:

  • ФИО Пользователя – для идентификации пользователя;
  • Телефон Пользователя – для возможности уведомлять пользователя о важных событиях, в случае его согласия;
  • Адрес электронной почты (e-mail) Пользователя для отправки писем и для возможности уведомлять пользователя о важных событиях, в случае его согласия;

Администрации ресурса обрабатывает персональные данные субъекта персональных данных исключительно в следующих целях:

  • осуществления деятельности по предоставлению онлайн сервисов Пользователям сайта;
  • осуществления деятельности по предоставлению доступа к программному обеспечению Информационно-аналитической системы Seldon Пользователям сайта;
  • заключения, исполнения и прекращения гражданско-правовых договоров с физическими, юридическим лицами, индивидуальными предпринимателями и иными лицами, в случаях, предусмотренных действующим законодательством и уставными или иными документами Администрации ресурса;
  • осуществления связи с Пользователем в случае необходимости, в том числе направления уведомлений, запросов и информации, связанных с использованием им сайта, оказанием услуг, а также обработки запросов и заявок от Пользователя;
  • улучшения качества оказываемых услуг, удобства их использования, разработки новых сервисов и услуг.

Администрации ресурса вправе не предоставлять бесплатный доступ к Информационно-аналитической системе Seldon 1.7, в случае:

  1. Не предоставления ИНН организации, т.е. не заполнения поля «ИНН организации».
  2. Предоставления несуществующего ИНН организации.
  3. Предоставления ИНН организации деятельность которой прекращена. ИНН — Идентификационный номер налогоплательщика

Источник: seldon.online

Использование Seldon Core для машинного обучения

Широкое распространение машинного обучения помогло стимулировать инновации, которые всё труднее предсказать и создавать на их основе интеллектуальный опыт для продуктов и услуг бизнеса. Чтобы решить эту задачу, важно применять передовые методы. Сергей Десяк, ведущий эксперт центра компетенций DevOps компании Neoflex, делится опытом использования Seldon Core для машинного обучения, в частности, для «выкатки» моделей.

Что такое ML

Машинное обучение (ML) — это использование математических моделей данных, которые помогают компьютеру обучаться без непосредственных инструкций. Оно считается одной из форм искусственного интеллекта (ИИ). При машинном обучении с помощью алгоритмов выявляются закономерности в данных и на их основе создаётся модель для прогнозирования. Чем больше данных обрабатывает и использует такая модель, тем точнее становятся результаты ее работы. Это очень похоже на то, как человек оттачивает навыки на практике.

Все это называют жизненным циклом модели. Сначала ставят техническую задачу для дата-сайентистов, которые разрабатывают модели ML. В последствии эту модель обучают на архивных (накопленных) данных, чтобы в дальнейшем она работала с новыми данными. Нужного качества работы модели добиваются в зависимости от поставленной задачи и при необходимости «подкручивают» настроечные параметры пока не достигнут результата.

Благодаря такому адаптивному характеру машинное обучение отлично подходит для сценариев, когда постоянно изменяются данные и свойства запросов, и написать код для решения фактически невозможно.

Зачем ML DevOps

Хотя машинное обучение можно найти повсюду, оно создаёт определенные трудности при внедрении. Одной из них является потребность быстро и надёжно переходить от фазы экспериментов к фазе производства, где обученные модели могут начать оперативно работать, чтобы принести пользу бизнесу.

Индустрия ML предлагает множество инструментов, которые помогают решить эту проблему. Публичные облачные провайдеры имеют свои собственные управляемые решения для обслуживания моделей машинного обучения. В то же время существует множество проектов с открытым исходным кодом. Часть из них бесплатные (open source), часть — платные.

Со всем этим работают дата-сайентисты и MLOps.

MLOps — это стык таких технологий, как DevOps, Machine Learning, Data Engineering. Одни создают ML- модели, другие внедряют их в производство.

Как создавали и использовали модели раньше

Изначально дата-сайентисты вели разработку на своих локальных компьютерах. Порядок их действий был таким:

  1. Создавали модель;
  2. Обучали и подбирали необходимые для запуска параметры;
  3. Сохраняли в виде pkl-файла.

После этого модель готова, но её необходимо ещё и «выкатить». Для этого совершались дополнительные шаги:

  1. На Flask писали «обвязку» для запуска модели в виде REST API сервиса (опять же – врукопашную);
  2. Собирали образ;
  3. Затем на основе образа любым удобным способом создавали сущности в Kubernetes (pod, deployment, replicaset, services and etc).

Обязательно в этом процессе были задействованы и дата-сайентисты, и DevOps-инженеры, потому что постоянно вносились правки и в код модели, и параметры запуска. В частности, при изменении модели приходилось переписывать код для REST API сервиса, пересобирать образ и, возможно, устанавливать новые пакеты, привлекая для консультации дата-сайентистов.

Как удалось оптимизировать процесс

Впоследствии стали использовать один из дополнительных инструментов для запуска моделей — MLflow. Он имеет графический интерфейс и позволяет с помощью UI наблюдать – как модель отрабатывает и с каким результатом. Кроме того, MLflow показывает предыдущие запуски и эксперименты. С помощью него порядок действия изменился:

  1. Дата-сайентист создает модель (в Jupyter-Hub);
  2. Обучает модель, подбирая параметры, в MLflow;
  3. Собирается образ рабочей модели на основе пути к обученной модели и MLflow в режиме сервиса;
  4. Используя этот образ, DevOps создаёт манифесты для запуска в Kubernetes.

Но впоследствии всё равно оставались проблемы: модель только в формате MLflow и язык по-прежнему только Python. Вдобавок, невозможно было совершать дополнительные действия с данными, поступающими на вход модели. Если же модель менялась, то приходилось пересобирать образ и все делать заново.

Читайте также:
Для чего нужна программа рекува

Были и другие факторы, которые не устраивали:

• Ограниченность в самих форматах моделей;

• Отсутствие возможности строить из нескольких последовательных моделей pipeline (конвейер), то есть выходные данные одной модели подавать на вход другой, а также невозможность проведения предварительных преобразований входящих данных;

• Отсутствие контроля за работой модели, а также реакции на наличие сбоев;

• Невозможность проведения А/В тестов.

Компании стали искать более современное решение, потому что использовать лишь MLflow неудобно, сложно, затратно c точки зрения человеко-часов.

KFServing vs. Seldon Core

Выбор на рынке был из двух достаточно похожих продуктов:

KFServing

Использует Kubernetes CRD для создания сервиса из моделей. Из основных возможностей выделяют:

● Поддержку моделей различного типа (Tensorflow, XGBoost, ScikitLearn, PyTorch, ONNX);

● Наличие автомасштабирования, в том числе для графического процессора;

● Проверку работоспособности модели и конфигурации сервера при старте;

● Scale to Zero, то есть возможность практически останавливать работу, ожидая данные на входе;

● Canary Rollouts для развернутых сервисов.

Seldon Core

Seldon Core похож на KFServing. Он обладает теми же функциями, но с дополнительными «фичами» и поддержкой чуть большего количества типов моделей. Вдобавок, есть возможность из обычного скрипта (программы на Python, Java, NodeJS) разворачивать готовую модель в виде REST API и работать с ней. Не надо делать кучу промежуточных решений, просто взяли код на Python и запустили его как REST API сервис. Seldon готовит это всё под себя в нужном формате, поэтому никаких дополнительных ухищрений не надо.

Кроме того, он позволяет делать А/В тесты, канареечные выкатки и имеет Outlier Detector (детектор выбросов). Этот детектор проводит проверку входящих данных на схожесть их с теми, на которых модель обучалась. Если модель обучалась, например, на данных по температуре в Арктике, то эта температура никогда не была более +5 градусов. Поэтому, если вдруг выпадет +34, модель выдаст неправильный результат, Outlier Detector это «отловит» и сообщит, что что-то пошло не так. Это удобно, например, для скоринга в банках: когда оцениваются критерии выдачи кредита, модель при необходимости сообщит о том, что входные данные неверные, и не будет всем подряд одобрять кредит.

Благодаря наличию Language Wrapper Seldon Core позволяет из разных языков программирования строить модель.

Также по git у него более частые коммиты, то есть он чаще обновляется и имеет чуть получше документацию, чем в KFServing. Хотя она, честно скажу, не идеальна. Часто ищешь что-то на странице в доках, может выпасть 404 :). Так устроена документация. Но при этом в github у Seldon Core всё есть.

Cайт просто не поспевает за ним.

Как использовать Seldon Core для машинного обучения?

Если в общем, то мы продолжим использовать MLflow для логирования экспериментов.

Всем дата-сайентистам известен продукт Jupyter Hub, так как они практически только в нём и работают. Именно здесь происходит создание моделей, их запуск и обучение. Для этого подбираются необходимые параметры запуска и проводится отладка моделей для получения необходимого качества работы. Каждый запуск мониторится в MLflow.

В дальнейшем можно посмотреть логи и с какими параметрами модель лучше запустилась. Это нужно для того, чтобы выбрать лучшую по результатам метрик. Для этого просто импортируется библиотека MLflow и модель экспортируется туда.

Дальше стоит графический интерфейс и дата-сайентист может посмотреть – какой запуск его больше устроил.

Допустим, он добился своего – модель отработала как нужно. При достижении необходимых результатов он делает git push, модель сохраняется и отправляется в GitLab для сборки образа будущего контейнера модели. Тут используется утилита от Seldon s2i (Source-to-Image), которая из кода на языке (Python, Java и т.д.) создает рабочий образ в нужном формате, готовый для использования в Seldon Core. Образ можно запустить и отправить на вход тестовые данные (test stage) для проверки успешности сборки.

На выходе мы получаем готовый образ для Seldon: то есть не просто образ для какой-то системы, а образ в том формате, который нужен Seldon. В нём уже настроены эндпойнты, обработаны входные данные и выдан результат. Дальше всё это «пушится» в репу для выкатки в Кубер (деплоится манифест).

В случае успешной сборки, модель «выкатывается» в Kubernetes с необходимыми параметрами с помощью Helm chart (используется Seldon Deployment) и ArgoCD. Так на основе одного единственного манифеста идёт выкатка всех сущностей, необходимых для работы модели в качестве REST API сервиса. Seldon работает на основе Custom resources definition (CRD) в Kubernetes. Он видит тип деплоя (Seldon Deployment) и разворачивает необходимые сервисы, поды – то есть всё, что нужно, чтобы модель заработала.

Во время сборки необходимо задать всего лишь имя модели. Также задается тип модели (router, classifier, splitter) и список используемых ею пакетов. После этого «подкидывается» единственный файл со списком библиотек, который использовал сам дата-сайентист. Для DevOps неважно, что внутри. Дата-сайентист добавляет новую либу, указывает в файле и модель соберется.

DevOps-инженер один раз настраивает pipeline и отдаёт его дата-сайентисту. Тот «пушит» в репу, всё это выкатывается с помощью, допустим, ArgoCD на Kubernetes, и можно уже посылать данные в «инстанс», который доступен снаружи на Kubernetes. При этом DevOps-инженер свободен, а дата-сайентист не отвлекается от своей работы. Это достаточно удобно, быстро и очень сильно экономит ресурсы.

Вывод

Подытожим плюсы использования Seldon Core для машинного обучения:

● Самое главное — процесс CI/CD для DevOps стал намного проще;

● Решение Kubernetes native за счет оператора автоматически уменьшает количество шагов во время «деплоя» модели. Нет необходимости привлекать большое количество сотрудников;

● Большая гибкость для использования разного типа моделей и в разных сочетаниях. Возможность создания конвейеров моделей, не прибегая к написанию большого количества кода;

● Интеграция с современными решениями: Istio, Prometheus;

● Логирование и управление из «коробки».

Дополнительно есть возможность в Prometheus следить за нагрузкой и результатом работы моделей. Если мы выкатываем A/B тесты, то можем видеть параметры отработки каждой модели на входных данных.

Это достаточно гибкое решение, потому что дата-сайентисты могут работать на разных языках. В основном это Python, но бывает NodeJS или Java. Образ с рабочей моделью соберется вне независимости от языка, на котором она написана.

Источник: habr.com

Рейтинг
( Пока оценок нет )
Загрузка ...
EFT-Soft.ru