This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
Switch branches/tags
Branches Tags
Could not load branches
Nothing to show
Could not load tags
Nothing to show
Name already in use
A tag already exists with the provided branch name. Many Git commands accept both tag and branch names, so creating this branch may cause unexpected behavior. Are you sure you want to create this branch?
Cancel Create
- Local
- Codespaces
HTTPS GitHub CLI
Use Git or checkout with SVN using the web URL.
Work fast with our official CLI. Learn more about the CLI.
Sign In Required
Please sign in to use Codespaces.
Launching GitHub Desktop
If nothing happens, download GitHub Desktop and try again.
Launching GitHub Desktop
If nothing happens, download GitHub Desktop and try again.
Launching Xcode
If nothing happens, download Xcode and try again.
Почему все знают где стоят ГАИ?! Все из-за этого приложения — KoDin maps (16+)
Launching Visual Studio Code
Your codespace will open once ready.
There was a problem preparing your codespace, please try again.
Latest commit
Git stats
Files
Failed to load latest commit information.
Latest commit message
Commit time
README.md
Проект состоит из нескольких параллельно реализованных модулей и исследований, которые формируют сервис для определения марки, поколения и рестайлинга автомобиля по его фотографии.
Для обучения нашей модели был собран датасет изображений автомобилей. Мы взяли 25 самых продаваемых в России моделей машин в 2020 году, а также все их существующие поколения и рестайлинги. Всего, таким образом, было выбрано 89 категорий автомобилей. Датасет собирался с сайта Auto.ru. Для парсинга данных с сайта мы использовали программу, написанную на основе библиотеки ‘Scrapy’.
Таким образом, для каждго из наших классов было собрано 500-600 фотографий. Затем мы удалили из датасета снимки, на которых был изображен салон, отдельные детали (колесо, фара, и.т.д) или только часть автомобиля. Также мы исключили фотографии машин с открытым багажником или открытыми дверями. Таким образом, в каждой категории у нас осталось в среднем ~200 фотографий автомобилей. В итоге мы получили датасет, содержащий ~19000 изображений.
- На первом этапе мы обработали каждый снимок в датасете с помощью нейросети Detectron2. Она выделяла на снимке самый крупный объект-автомобиль. Затем картинка обрезалась по размеру ограничивающей рамки, которую обозначала нейросеть.
- Далее надо было привести снимки к одинаковому квадратному виду размера 331×331, без искажения (растягивания/сжатия) фотографии. Именно разрешение 331×331 оптимально для нейросети NASNetLarge, из которой мы осуществляли transfer learning для обучения своей нейросети.
- На завершающем этапе препроцессинга мы сделали небольшую аугументацию изображений, для того чтобы наша нейросеть не начинала быстро переобучаться. Это должно было позволить нам достичь большего прогресса классификации на валидационной выборке.
Как проверить машину по госномеру? Проверка авто перед покупкой за 5 минут!
Для нашей цели классификации моделей/поколений/рестайлингов автомобилей мы использовали transfer learning из нейросети NASNetLarge, показавшей на датасете ImageNet самый лучший результат из всех моделей, доступных в библиотеке Keras. Мы заменили голову (последние слои) NASNetLarge на новую, с помощью которой делали предсказания наших 89 классов.
Первоначально обучали нейросеть, заморозив основную часть, кроме последнего слоя. Затем разморозили часть тела нейросети и дообучили. Основная метрика результатов обучения для нас была accuracy-Top-4, так как для telegram-bot мы решили выводить 4 первых предсказания модели автомобиля. По итогам нашего обучения на валидационной выборке мы достигли точности 86% для ТОП-4.
Имплементация в telegram бота
Для реализации проекта в сервис telegram была использована библиотека aiogram — асинхронный фреймворк для Telegram Bot API основанный на asyncio и aiohttp.
Основной модуль, где реализованы обработчики сообщений: стартовое сообщение, проверка на необходимый тип медиа вложения — фотография, сохранение входной фотографии, отправка на препроцессинг, после подготовленная фотография приходит на вход в модель и производится вывод результатов предсказания модели. Далее формируется коллаж 2×2 «эталонных» пронумерованных фотографий соответствующих классов автомобилей — пользователь может сравнить визуально автомобиль перед ним и фотографию предсказанного класса. После этого формируется встроенная клавиатура с соответствующими предсказаниями, по нажатию на кнопку генерируется более подробное описание: дополнительно выводятся дипазон цен покупки, поисковая ссылка и остальные поколения и рестайлинги для данной предсказанной модели.
Фотография попадает в detectron2 — происходит отбраковка фотографий без авто и выделение bounding box на фото. После первичной проверки на наличие автомобиля, на фотографии box самого большого найденного автомобиля должен быть по площади не менее 70% от самого большого найденного box’а (в том числе не автомобиля). По выделению происходит обрезка снимка и сохранение полученной фотографии для последующей отправки в модель классификации автомобиля.
Преобразование входной фотографии к требованиям входа NASNetLarge модели (которая лежит в основе нашей обученной модели). В данном модуле также реализованы функции генерации коллажа эталонных фотографий.
Здесь происходит настройка среды и загрузка предобученной нами модели. Обрезанная фотография после препроцессинга попадает в модель. Далее происходит декодирование результатов предсказания. Формирование «клавиатуры» для пользователя.
В модуле рализуются функция генерации текста для подробного описания. Используются табличные данные о каждом классе автомобиля.
Модуль использует данные о нажатии инлайн кнопок, получает ответ и формирует текст описания, который далее будет передаваться в сообщение к пользователю.
По результатам проекта мы получили модель с точностью предсказания ТОП-4 равной 88% (количество определяемых классов 89).
Альтернативный вариант — предсказание марки и модели (без рейстайлинга) дал результат 97% (количество определяемых классов 25).
Возможно несколько путей улучшения точности модели:
- расширение объёма и разнобразия датасета и увеличение времени обучения*
- нахождение оптимальной тонкой настройки параметров обучения (fine tuning)
- использовать более эффективные архитектуры нейросетей**
Возможно расширение количества используемых в обучении марок и моделей, чтобы любой встреченный автомобиль мог быть корректно распознан.
- *есть шанс, что действительно нужно оставить подольше обучаться и не бояться оверфиттинга
- **но, например, ResNet101V2 показала себя не лучше
Источник: github.com
АвтоПикс: Определение авто
Распознавайте авто мгновенно. Просто, быстро и подробно!
АвтоПикс поможет Вам узнавать новые марки и модели автомобилей, грузовиков, мотоциклов, автобусов.
Замечали ли Вы когда-нибудь на улице красивый автомобиль, о котором хотели бы узнать больше? Просто сделайте его фото, а приложение ответит на все Ваши вопросы!
АвтоПикс способен распознать более 2 000 моделей автомобилей. Благодаря революционному механизму искусственного интеллекта приложение постоянно учится у специалистов, распознавая с каждым новым днём точнее и лучше. Сфотографируйте авто и наслаждайтесь!
ОСОБЕННОСТИ
• Мгновенный поиск тысячи автомобилей, грузовиков, мотоциклов и автобусов с помощью передового искусственного интеллекта.
• Детальная информация о большинстве видов автомобилей.
• Простой в использовании интерфейс с подробным руководством, которое поможет Вам сделать качественные фото.
• Легко делитесь своей находкой с другими людьми.
• Следите за всеми видами автомобилей, которые Вы находите, в личной коллекции.
Источник: arkapk.com
Мобильное приложение найдет поломку двигателя в машине по звуку
Комментарии: 1 20.11.2019 Неужели сбудется мечта многих водителей? Российские инженеры разработали мобильное приложение «Автошазам», которое призвано значительно облегчить жизнь водителю. Данный сервис поможет по звуку мотора оценить его состояние и определить причину поломки.
Достаточно скачать приложение на смартфон и записать на телефон звук двигателя. Далее программа отправляет звуковой сигнал в систему, где искусственный интеллект анализирует звук и выдает свой вердикт о причине поломки.
В данное время приложение проходит «обкатку», далее ему придется пройти стадии согласования и одобрения, после чего приложение будет доступно всем желающим. Предварительно известно, что запустят его в работу не раньше 2021 года. «Умное» приложение уже научили определять возраст автомобиля и пробег по звуку. На основе обработанной информации умный гаджет резюмирует, стоит ли водителю записываться на ремонт в автомастерскую и что происходит с двигателем.
Источник: car.ru