В настоящее время существует более 500 языков программирования, и каждый день создаётся всё больше. Следует признать, что большинство из них частично совпадают, и большое их количество никогда не предназначалось для использования вне теоретических или лабораторных условий. Но, среди языков программирования, которые используются ежедневно в программировании и бизнесе, каждый делает свой выбор. Какие языки стоит изучать, и почему необходимо тратить свое время на их изучение?
Поскольку это сайт, посвященный Python, мы уже рассказывали вам, почему Python — отличный язык для изучения. И вы, вероятно, знаете о том, что Python является наиболее предпочтительным языком сценариев для Raspberry Pi (поскольку он является предустановленным). И, зная это, вы понимаете, какие удивительные вещи вы можете сделать с Raspberry Pi, проявив совсем немного изобретательности. А так как разобраться, в работе с Python, относительно несложно, вам может быть интересно, как он применяется в реальных компаниях и настоящих приложениях.
Где используется язык Python || Области и сферы применения языка python
Теперь мы собираемся рассказать вам о восьми ведущих компаниях, которые, как вы понимаете, используют Python. Таким образом, вы можете увидеть, насколько большие возможности существуют для разработчиков на Python.
Industrial Light and Magic
Industrial Light and Magic (ILM) — студия спецэффектов, которая была основана Джорджем Лукасом в 1975 году для создания FX для Star Wars. С тех пор аббревиатура ILM считается синонимом FX, получив множество наград за свою работу в кино и рекламе.
В первые годы ILM фокусировались на настоящих эффектах, но вскоре поняли, что компьютерные эффекты — это будущее FX в целом. Их отдел CGI был основан в 1979 году, и их первым эффектом была последовательность взрывов проекта Genesis в Star Trek II: Гнев Хана.
Первоначально в CGI студии ILM использовалась оболочка Unix, но она занималась сравнительно небольшим объемом работы. Поскольку студия предвидела будущее CGI, они начали искать систему, которая могла бы справиться с агрессивным масштабированием, которое они видели в будущем.
ILM выбрал Python 1.4 вместо Perl и Tcl, объяснив это тем, что его было намного проще интегрировать в существующую инфраструктуру. Благодаря простой совместимости Python с C и C++, ILM легко импортировала Python в свое проприетарное программное обеспечение (являющееся частной собственностью авторов или правообладателей) для создания освещения. Это позволило им использовать Python в большем количестве сценариев, используя его для свертывания программных компонентов, и расширить свои стандартные графические приложения.
Студия использовала Python во многих других аспектах своей работы. Разработчики создают софт на Python для отслеживания и аудита функциональности конвейера, поддерживая базу данных каждого кадра, созданного для каждого фильма. Поскольку все больше и больше программ ILM контролировались Python, они создали простой унифицированный набор инструментов, который позволил создать более эффективный производственный конвейер.
Вопреки многочисленным нападкам, ILM продолжает находить Python лучшим решением для своих нужд. Комбинация открытого исходного кода в сочетании с возможностью резервного копирования изменений гарантирует, что Python будет продолжать удовлетворять потребности ILM в течение длительного времени.
Google поддерживал Python с самого начала. Вначале основатели Google приняли решение «Использовать Python, там, где мы можем, C++, где должны». Это означало, что C++ использовался там, где контроль над памятью был обязателен и была желательна низкая задержка. В других аспектах Python обеспечивает простоту поддержки и относительно быстрый отклик.
Даже когда другие скрипты писались для Google на Perl или Bash, они часто переписывались на Python. Причина была в простоте развертывания и поддержки. На самом деле, по словам Стивена Леви, автора «In the Plex», самый первый парсер Google для сканирования веб-страниц был изначально написан на Java 1.0 и оказался настолько сложным, что они переписали его на Python.
Python теперь является одним из официальных серверных языков Google — C++, Java и Go — три других, которые разрешено развертывать в рабочей среде. И, в случае, если вы не уверены, насколько важен Python для Google, с 2005 по 2012 год в Google работал сам создатель Python, Гвидо ван Россум.
В довершение всего Питер Норвиг сказал:
«Python был важной частью Google с самого начала и остается таковым по мере роста и развития системы. Сегодня десятки инженеров Google используют Python, и мы ищем больше людей, владеющих этим языком».
Инженеры Facebook исключительно заинтересованы в Python, что делает его третьим по популярности языком среди гигантов социальной сети (сразу за C++ и их проприетарным PHP-диалектом Hack). В целом, было сделано более 5000 коммитов к утилитам и сервисам в Facebook, которые управляют инфраструктурой, бинарным распределением, отображением оборудования и операционной автоматизацией.
Простота использования библиотек Python означает, что производственным инженерам не нужно писать или поддерживать слишком много кода, что позволяет им сосредоточиться на улучшениях. Это также гарантирует то, что инфраструктура Facebook способна эффективно масштабироваться.
Согласно сообщению Facebook в 2016 году, Python в настоящее время отвечает за несколько сервисов по управлению инфраструктурой. К ним относятся использование TORconfig для настройки и формирования сетевого коммутатора, FBOSS для CLI коммутатора whitebox и использование Dapper для планирования и выполнения работ по техническому обслуживанию. Facebook опубликовал множество проектов на Python с открытым исходным кодом, написанных для Py3, включая Facebook Ads API и фреймворк Python Async IRCbot. Facebook в настоящее время находится в процессе обновления своей инфраструктуры и обработчиков до Python 3.4, и AsyncIO помогает их инженерам в этом процессе.
В 2016 году команда инженеров Instagram заявила, что они запускают крупнейший в мире Django-проект, полностью написанный на Python. Мин Ни, инженер-программист из Instagram, рассказал о своем опыте инженеринга на Python для этого проекта:
«Изначально мы решили использовать Python из-за его репутации, а также за простоту и практичность, которая хорошо согласуется с нашей философией «сделай простое в первую очередь»».
С тех пор команда разработчиков Instagram инвестировала время и ресурсы в поддержание жизнеспособности использования Python в огромном масштабе (~800 миллионов активных пользователей в месяц):
«Работая над созданием структуры эффективности веб-сервисов Instagram, мы уверены, что будем продолжать масштабировать инфраструктуру с помощью Python. Мы также стали больше инвестировать в сам язык Python и начинаем готовиться к переводу нашего кода на Python с версии 2 на 3».
Spotify
Этот гигант стриминговой музыки — огромный сторонник Python, использующий язык в основном для анализа данных и сервисов. На бэкенде работает большое количество утилит, которые взаимодействуют через 0MQ или ZeroMQ, сетевую библиотеку с открытым исходным кодом и инфраструктуру, написанную на Python и C++.
Причина того, что сервисы написаны на Python, заключается в том, что Spotify нравится, как быстро происходит разработка при программировании на Python. В последних обновлениях архитектуры Spotify используется Gevent, который обеспечивает быстрый цикл обработки событий с высокоуровневым синхронным API.
Для предоставления предложений и рекомендаций пользователям, Spotify использует большой объем аналитики. Для их интерпретации Spotify использует Luigi, модуль Python, который синхронизируется с Hadoop. Этот модуль с открытым исходным кодом обрабатывает то, как библиотеки работают вместе, и быстро объединяет журналы ошибок, чтобы дать возможность как можно быстрее устранить проблемы и провести повторный деплой.
В общей сложности Spotify использует более 6000 отдельных сервисов на Python, которые работают вместе на узлах кластера Hadoop.
Quora
Создатели этой огромной краудсорсинговой компании долго и упорно решали, какой язык использовать, чтобы реализовать свою идею. Чарли Чивер, один из основателей Quora, ограничился выбором Python, C#, Java и Scala. Их самой большой проблемой в работе с Python стало отсутствие проверки типов и относительная медлительность.
По словам Адама Д’Анджело, они решили не использовать C#, потому что это проприетарный язык Microsoft, и они не хотели быть связанными с какими-либо будущими изменениями. Кроме того, открытый исходный код имел бы поддержку сообщества.
Программирование на Java было более болезненным, чем Python, да и работала Java не так хорошо с не-Java программами, как Python. В то время Java также находилась в зачаточном состоянии, поэтому они беспокоились о будущей поддержке и о том, будет ли язык продолжать расти.
Вместо этого основатели Quora пошли по примеру Google, решив использовать Python там, где могли, из-за его простоты написания и читабельности, и внедрили C++ для критически важных для производительности разделов. Они обошли отсутствие проверки типов в Python, написав модульные тесты, которые выполняют практически то же самое.
Еще одной причиной для использования Python было наличие нескольких хороших фреймворков на то время, таких как Django и Pylons. Поскольку они знали, что Quora будет включать взаимодействия вида сервер/клиент, которые не обязательно будут загружаться на всю страницу, большим преимуществом стала слаженная работа Python и JS.
Netflix
Netflix использует Python в тех же сценариях, что и Spotify, полагаясь на этот язык для анализа данных на стороне сервера. Однакo, на этом они не остановились. Netflix позволил разработчикам программного обеспечения выбирать язык для написания кода и заметил значительный рост числа приложений на Python.
В ходе опроса выяснилось, что инженеры Netflix ссылаются на стандартную библиотеку, чрезвычайно активное сообщество разработчиков и богатое разнообразие сторонних библиотек, доступных для решения практически любой конкретной проблемы. Кроме того, поскольку Python очень прост в разработке, он стал основой во многих других сервисах Netflix.
Одно из основных мест, где используется Python — Central Alert Gateway. Это RESTful веб-приложение обрабатывает оповещения из любого места, а затем направляет их людям или группам, которые должны их видеть. Кроме того, приложение может подавлять повторяющиеся уведомления, которые уже были обработаны, и в некоторых случаях выполнять самостоятельные решения, такие как перезагрузка процесса или завершение чего-либо. Это приложение — огромное достижение для Netflix. Интеллектуальная обработка означает, что разработчики и инженеры не занимаются лишними вызовами.
Dropbox
Эта облачная система хранения использует Python в своем клиенте для ПК. Если у вас есть какие-либо сомнения по поводу того, как Dropbox вложился в Python, представьте, что в 2012 году им удалось убедить Гвидо ван Россума, создателя Python, покинуть Google и уйти в Dropbox.
Россум присоединился к Dropbox при условии, что он будет инженером, а не руководителем или даже менеджером. В первый год он смог реализовать систему, которая позволяет обмениваться данными с другими пользователями сообщества Dropbox. Несмотря на то, что многие библиотеки и внутренние компоненты Dropbox являются проприетарными и не имеют открытого исходного кода, компания выпустила весьма эффективный API, написанный на Python, который позволяет увидеть, как думают их инженеры. Вы можете прочитать между строк о том, какой огромный процент их кода на стороне сервера занимает Python, когда будете читать интервью с инженерами Dropbox.
Также интересно отметить, что, хотя программы на стороне клиента написаны на Python, они используют разные библиотеки на компьютерах Mac и Windows, чтобы обеспечить одинаковое взаимодействие. Это связано с тем, что Python не предустановлен в Windows, а в зависимости от вашего Mac, версия Python будет сильно отличаться.
Этот веб-сайт посетило 542 миллиона человек каждый месяц в течение 2017 года, что делает его четвертым по посещаемости веб-сайтом в США и седьмым по посещаемости в мире. В 2015 году было зарегистрировано 73,15 млн. пользователей и 82,54 млрд. просмотров записей. И за всем этим, формируя программный каркас, стоит Python.
Reddit изначально был написан на Lisp, но, в декабре 2005 года, через шесть месяцев после его запуска, сайт был переписан на Python. Основной причиной изменений стало то, что Python имел более широкий спектр библиотек и был более гибким в разработке. Веб-фреймворк, который изначально управлял сайтом, web.py, теперь стал проектом с открытым исходным кодом.
В 2009 году, во время Pycon, Стива Хаффмана и Алексиса Оганяна спросили, почему Reddit все еще использует Python в качестве своего основного яхыка. По словам Хаффмана, причина та же, что и причина ухода с Lisp:
«У Python есть библиотеки для всего. Мы изучали многие технологии и множество архитектур по ходу работы. Если не разбираюсь в веб-фреймворках, буду использовать чужие, пока не создам свои собственные… У Python есть такой замечательный костыль.
Кто-то еще?
В этой статье мы рассмотрели восемь (вообще девять, но Instagram принадлежит Facebook) успешных компаний-разработчиков программного обеспечения мирового класса, которые используют Python для разработки. Но они не единственные. В 2020 году использование Python достигло нового пика и продолжает расти.
Язык программирования Python: сферы применения, методы и этапы изучения
Язык программирования Python является, пожалуй, одним из самых популярных. Используется в веб-разработке, DataScience, системах автоматизации, приложениях – сферы его применения поистине безграничны. Но главное преимущество Питона – это его низкий порог входа. Иными словами, обучиться программированию на этом языке может практически каждый.
Python обладает простым и понятным синтаксисом. Даже далекому от программирования человеку будет несложно разобраться в строках простенького кода. Какими еще преимуществами обладает этот язык, почему его выбирает весь мир, как и где лучше изучать Python, вы узнаете из нашего материала.
Краткая история создания языка программирования Python
Python сегодня входит в число наиболее популярных языков программирования. Неудивительно, что столько начинающих кодеров задаются вопросом, трудно ли учить язык программирования Python и есть ли вообще в этом смысл.
Python входит в самые различные информационные экосистемы, но, по большей части, он используется в бэкенде. Такие гиганты разработки, как Google, Facebook*, Stripe, Spotify, Netflix, применяют его в своих продуктах. Поэтому можно не сомневаться, что язык программирования Python способен стать неплохим стартом карьеры для программиста.
Python является языком программирования высокого уровня общего назначения. Сфера его применения весьма широка. В разработке приложений и веб-сайтов он тоже активно используется. Этот интерпретируемый объектно-ориентированный язык имеет открытый исходный код и динамическую семантику. Сам Python создавался посредством языка “Си”.
В 1989 г. Гвидо Ван Россум создал новый язык программирования под названием Python, а в 1991 г выпустил его. Главная цель, которую ставил перед собой автор — это упрощение процесса программирования. Чтобы писать код было проще, он должен стать более читабельным и понятным для человека. У Python открытый исходный код. Одно из преимуществ этого языка — возможность запускать программы на нём как на ОС Windows, так и на macOS и Linux.
Для вас подарок! В свободном доступе до 09.07 —>
Скачайте ТОП-10
бесплатных нейросетей
для программирования
Помогут писать код быстрее на 25%
Чтобы получить подарок, заполните информацию в открывшемся окне
Код, написанный на “питоне”, действительно легко читать и разбираться в его структурных элементах. Это делает язык программирования Python подходящим для начинающих. Но его возможности не сводятся лишь к базовым: на Python написаны и эффективно поддерживаются сложнейшие веб-платформы и высоконагруженные приложения.
Python поддерживает динамическую типизацию, парадигмы объектно-ориентированного программирования и императивного программирования. Поэтому его выбирают программисты, практикующие RAD-модель (быструю разработку).
Причины популярности Python
Интерпретируемость — одно из главных преимуществ “питона”. Напомним, что интерпретируемым называется тот язык, код на котором не нужно компилировать, а можно сразу запускать.
Запуск кода на Python возможен на любом ПК, интерпретаторы для него есть везде. А это значит, что разработчик может сразу видеть результат. Однако, будучи интерпретируемым языком, Python уступает по скорости компилируемым языкам (поскольку не работает непосредственно на компьютере).
- Интерпретируемость сильно упрощает тестирование и перемещение с платформы на платформу небольших блоков кода. Совместимость с большинством существующих ОС делает Python универсальным языком программирования.
- Он прекрасно подходит для тех, кто только начинает программировать. Данный высокоуровневый язык позволяет разработчику сосредоточиться на сути и целях, а не конкретных шагах и процедурах. По этой причине писать скрипты на Python оказывается быстрее, чем на многих других языках.
- Его сходство с естественным языком (английским) сильно облегчает его изучение, если сравнивать Python с другими языками программирования. Разработчику легко запомнить синтаксис “питона” и начать читать код.
- Помимо небольших прикладных скриптов, на Python можно писать и крупные коммерческие приложения, думая только о том, как обеспечить им необходимый функционал (все мелкие задачи решаются “под капотом”, и программисту не нужно беспокоиться о них). Надёжность делает язык программирования Python очень популярным.
Это четыре причины столь трепетной привязанности к “питону” со стороны программистов, хакеров и дата-сайентистов.
Ключевым фактором при его выборе является гибкость этого языка программирования и его соответствие ООП-парадигме. Поэтому его активно применяют в Data Science и машинном обучении.
Преимущества и недостатки использования Python
Преимущества языка программирования Python:
- Простота изучения. Язык программирования Python легко выучить с нуля, поскольку он ясен, логичен и читабелен. Сложный синтаксис и запутанные правила — это не про “питон”. Если вы владеете английским, то у вас всё получится.
- Высокая востребованность языка. В 2020 г. в рейтинге IEEE Spectrum Python занял первое место. Он не только широко распространён, но и применим в разных видах программных продуктов. Заработки Python-программистов очень неплохи, особенно в веб-разработке, машинном обучении и Data Science.
- Использование Python в технологиях искусственного интеллекта и машинного обучения. С помощью Python удобно производить сложные расчёты, поэтому он и пригодился в машинном обучения. А библиотеки, отвечающие за нейронные системы, пришлись очень кстати в ИИ.
- На языке программирования Python можно написать программу для ПК, мобильное и веб-приложение (сегодня в вебе и мобильной разработке очень много таких продуктов). У “питона” имеется множество расширений для создания микро- и макропроектов.
- Открытый исходный код и бесплатная доступность языка на официальном сайта. Кроме того, каждый может внести свой вклад в развитие Python и добавить новые фичи в него.
- Язык независим от ОС и с одинаковой эффективностью работает на главных платформах — Linux, Windows, macOS.
Узнай, какие ИТ — профессии
входят в ТОП-30 с доходом
от 210 000 ₽/мес
Команда GeekBrains совместно с международными специалистами по развитию карьеры подготовили материалы, которые помогут вам начать путь к профессии мечты.
Подборка содержит только самые востребованные и высокооплачиваемые специальности и направления в IT-сфере. 86% наших учеников с помощью данных материалов определились с карьерной целью на ближайшее будущее!
Скачивайте и используйте уже сегодня:
Александр Сагун
Исполнительный директор Geekbrains
Топ-30 самых востребованных и высокооплачиваемых профессий 2023
Поможет разобраться в актуальной ситуации на рынке труда
Подборка 50+ ресурсов об IT-сфере
Только лучшие телеграм-каналы, каналы Youtube, подкасты, форумы и многое другое для того, чтобы узнавать новое про IT
ТОП 50+ сервисов и приложений от Geekbrains
Безопасные и надежные программы для работы в наши дни
Получить подборку бесплатно
Уже скачали 21628
- Медленная работа. “Питон” плохо подходит для создания высокопроизводительных приложений, лучше сразу выбрать другой язык.
- Крайне мало возможностей для процессорных оптимизаций: их сводит на нет особая модель памяти языка.
В этом и заключаются основные минусы данного языка — низкое быстродействие и недостаток возможностей для статического анализа кода. Эти проблемы тесно взаимосвязаны. Если удастся решить вторую, то откроются пути решения первой.
Сферы применения Python
Всю серверную часть веб-сайта можно написать на “питоне”. Но не на чистом Python, а на популярных фреймворках (Django, Flask), которые, в свою очередь, написаны на нём. Эти фреймворки упрощают процессы генерации html-страничек, которые пользователь видит в своём браузере, запросы к базе данных, обработку адресов.
К сегодняшнему дню уже написана масса дополнительных инструментов для реализации веб-приложений. Например, с помощью HTMLGen авторства сторонних разработчиков можно добавлять готовые классы для html-страницы на Python; пакет mod_python помогает запускать Apache-скрипты и при этом обеспечивать стабильное функционирование шаблонов Python Server Pages.
В области графики многие задачи тоже решаются с помощью языка программирования Python. Если вам необходимо адаптировать создаваемый графический интерфейс под стилистику операционной системы, где будет запускаться приложение, то вы можете использовать Python с дополнительными графическими библиотеками Dabo и PythonCard, которые значительно упростят процесс разработки.
Современная версия “питона” создавалась таким образом, чтобы максимально просто и ясно взаимодействовать с любыми базами данным. В частности, рабочая среда языка содержит программный интерфейс для работы с базами прямо в скрипте посредством SQL-запросов. Код на Python потребует лишь минимальных доработок, если нужно будет использовать его для БД Oracle и MySQL.
- Системное программирование и администрирование
У Python есть интерфейсы для управления службами различных ОС, в которых он работает — Linux, Windows и др. Поэтому на “питоне” удобно писать портативные приложения для ПК. Уже давно язык программирования Python используют системные администраторы для написания своих программ. Посредством Python можно ускорять открытие и поиск файлов в папках, запуск программ, вычисления и другие типичные задачи.
- Сложные расчёты
В области вычислений язык программирования Python не менее продвинут, чем C++ и FORTRAN. Для осуществления математических вычислений создано расширение NumPy, работающее с уравнениями, массивами данных и другими их форматами. С момента установки этого расширения на ПК “питон” моментально интегрируется с библиотеками формул.
Однако NumPy можно использовать, помимо вычислений, также и для создания анимаций и рендеринга 3D-объектов (при котором нужно параллельно производить массу вычислений). Другое востребованное дополнение к Python под названием ScientificPython имеет собственные библиотеки для научных вычислений.
То есть, Python помогает не только с расчётами, но и с визуализацией полученных данных.
В машинном обучении активно используются не только основной инструментарий языка Python, но и фреймворки, а также дополнительные библиотеки, “заточенные” специально под ML. Наиболее популярные среди них — это TensorFlow (низкоуровневая библиотека, позволяющая пользователю самому создавать алгоритмы) и scikit-learn (который уже содержит наиболее часто встречающиеся алгоритмы обучения).
На языке программирования Python пишется такой функционал для машинного обучения, с помощью которого работают системы распознавания голосов и лиц. Python используют специалисты по глубокому обучению и создатели нейронный сетей.
- Автоматизация бизнес-процессов
Одна из наиболее востребованных ниш в IT, где используется Python — это написание коротких скриптов для автоматизации ряда рабочих процессов и стандартных процедур. К примеру, это небольшой код, автоматически обрабатывающий входящие письма: он сортирует их по наличию заданных ключевых фраз, чем сильно упрощает жизнь пользователю (делать то же самое вручную было бы сложно и долго).
Источник: gb.ru
Где и как применить Python на практике? Три основные сферы его применения
Если вы собираетесь изучать такой язык программирования, как Python, или уже изучаете — у вас может возникнуть резонный вопрос:
«Для решения каких конкретных задач я могу использовать Python?»
Ну что же, это достаточно каверзный вопрос, потому что способов применения для Python много.
Но не волнуйтесь, по мере роста моих знаний в этой области, я выделил 3 основных способа применения для Python, и сейчас я поделюсь ими:
- Веб-разработка
- Анализ и работа с данными, а именно: машинное обучение, анализ и визуализация данных
- Скриптинг
Теперь поговорим о каждом из них.
Веб-разработка
Веб-фреймворки, основанные на языке Python, например, Django и Flask, в последнее время стали крайне популярными в веб-разработке.
Эти фреймворки помогают написать бэкенд-код на Python. Код работает на вашем сервере, а не в браузерах и устройствах пользователей, как это делает фронтенд-код. Если не знаете, в чем разница между фронтенд-кодом и бэкенд-кодом — читайте вторую часть нашей статьи.
Но подождите, зачем мне эти веб-фреймворки?
Используя данные веб-фреймворки, можно значительно упростить себе работу по написанию веб-приложений. Они позволяют реализовать любые бизнес-процессы, помогают в рефакторинге старых сайтов, упрощают использование Ajax и многое другое.
Какой фреймворк я должен взять на вооружение?
Django и Flask — два самых популярных веб-фреймворка на Python. Если вы новичок, я бы рекомендовал использовать один из них.
В чем разница между Django и Flask?
За меня на этот вопрос ответит статья Гарета Дуайера. Возьму смелость процитировать её:
Основные различия:
- Flask минималистичен, прост в использовании и гибок, а также у него отсутсвуют какие-либо ограничения.
- Django похож на тариф «Все включено». В нем есть админ-панель, интерфейс базы данных, ORM (объектно-реляционное отображение) и структура каталогов для готовых приложений и проектов.
Вам стоит выбрать:
- Flask, если вы заинтересованы в получении профессионального опыта и возможности обучения или же хотите получить больше контроля над тем, какие компоненты используются (например, какие базы данных вы хотите использовать и как взаимодействовать с ними).
- Django, если вы сосредоточены на конечном результате. Особенно, если работаете над новостным сайтом, интернет-магазином или блогом, и вы хотите, чтобы на сайтах все было предельно понятно и легко для пользователя.
Другими словами, если вы новичок — Flask лучший выбор, потому что он достаточно прост в работе. Также, Flask подходит тем, кому нужно больше кастомизации. Кроме того, по словам моего друга Джонатана Т Хо, Flaskболее подходит для создания REST API, чем Django. Все благодаря его гибкости в работе.
С другой стороны, если нужно что-то незамысловатое и с четко-поставленной целью — на помощь приходит Django.
Переходим к следующему пункту!
Анализ и работа с данными, а именно: машинное обучение, анализ и визуализация данных
Перво-наперво, разберемся с понятием машинное обучение.
Мне кажется, лучший способ объяснить, что же такое машинное обучение — показать все на простом примере:
Предположим, нужно разработать программу, которая автоматически будет определять предметы на картинках.
Беря за основу картинку № 1, вы хотите, чтобы программа определила, что на ней собака.
Беря за основу картинку № 2, вы хотите, чтобы программа распознала на ней стол.
Для того чтобы программа правильно справилась с поставленной задачей, вы просто можете написать соответствующий код. Например, если на картинке много светло-коричневых пикселей, можно сказать, что это собака. Если много прямых краев, то это стол.
Но такой подход слишком сложный, он не учитывает множество факторов. Что делать, если на фотографии изображена белая собака без коричневой шерсти? Или если на картинке стоит круглый стол?
Вот тут-то и появляется машинное обучение
Характерной чертой машинного обучения является не прямое решение задачи, а обучение в процессе решений множества сходных задач.
Вы можете дать программе, скажем, 1000 изображений собаки и 1000 изображений стола для составления алгоритма машинного обучения. Так она поймет разницу между собакой и столом. В следующий раз, когда вы дадите ей новую картину собаки или стола, она скажет, кто есть кто.
Это схоже с тем, как ребенок познает что-нибудь новое. Каким образом ребенок понимает, что одна вещь похожа на собаку, а другая на стол? Вероятно, с помощью примеров.
Вы однозначно не говорите ребенку: «Если что-то пушистое и с светло-коричневой шерстью, то это собака». Вы просто говорите: «Это собака. Просто собака. А это стол. И вот это тоже стол»
Алгоритмы машинного обучения работают точно так же.
Это можно применить:
- Система рекомендаций (в YouTube, Netflix, Amazon)
- Распознавание лиц
- Распознавание голоса
- И многое другое
Популярные алгоритмы машинного обучения, о которых вы, возможно, слышали:
- Нейронные сети
- Глубокое обучение
- Метод опорных векторов
- Алгоритм «случайный лес»
Можете использовать любой из вышеперечисленных алгоритмов для решения проблемы с распознаванием предметов на картинке.
Python для машинного обучения
Здесь я расскажу о популярных фреймворках и библиотеках для машинного обучения на Python.
Два самых популярных это scikit-learn и TensorFlow.
- scikit-learn встроен в некоторые из наиболее популярных алгоритмов машинного обучения. Некоторые из них я упомянул выше.
- TensorFlow — это библиотека более низкого уровня, которая позволяет создавать кастомные алгоритмы машинного обучения.
Если вы только начинаете работать с проектами по машинному обучению — вам пригодится scikit-learn. А в случае, если вам захочется увеличить эффективность программы или приложения — рекомендую TensorFlow.
Как мне следует начать изучать машинное обучение?
Чтобы понять основы машинного обучения, я советую вам пройти курс Стэндфордского университета или Калифорнийского технологического института.
Предупреждаю, для понимания этих курсов вам нужны базовые знания по линейной алгебре и математике.
Затем вам нужно будет начать практиковать полученные знания, делать это можно на Kaggle. На этом сайте люди соревнуются с друг другом в постройке лучшего алгоритма машинного обучения для решения предложенной на сайте проблемы. Бонусом у них есть очень качественные учебные пособия.
Анализ и визуализация данных
Чтобы помочь вам разобраться в том, о чем я говорю, позвольте мне привести небольшой пример:
Допустим, вы работаете в компании, которая продает свою продукцию в Интернете. Как аналитик, вы должны будете построить вот такой график:
Основываясь на этом графике, можно сказать, что в это воскресенье мужчины купили 400 единиц условного продукта, а женщины около 350 единиц. Исходя из этого, вы должны придумать несколько возможных объяснений такой разницы.
Самое очевидное объяснение: продукт более популярен у мужчин, чем у женщин. Другим возможным объяснением может быть то, что размер графика оказался слишком мал, и эта разница вызвана чисто случайно. И еще одним возможным объяснением может быть то, что мужчины чаще покупают данный продукт в воскресенье по невыясненной причине.
Чтобы установить истинную причину, вы можете нарисовать другой график, подобный этому:
Вместо того, чтобы рассматривать данные только за воскресенье, мы рассматриваем данные за целую неделю. Как вы видите, разница довольно последовательна в различные дни.
Благодаря этому небольшому анализу, мы делаем вывод, что наиболее убедительным объяснением этой разницы является то, что продукт всего-навсего более популярен у мужчин, чем у женщин.
А что, если вы увидите такой график?
Что тогда объясняет такую разницу в воскресенье?
Вы могли бы предположить, что мужчины более склонны к приобретению данного продукта именно в воскресенье по какой-то причине. Или это просто совпадение.
Итак, это был упрощенный пример того, как может выглядеть анализ данных в реальном мире.
Работа по анализу данных, которой я занимался пока работал в Google и Microsoft, очень схожа с верхним примером — только данных было намного больше и анализ сложнее. Я использовал Python для анализа данных в Google, в Microsoft использовал JS.
В обоих компаниях я использовал SQL, чтобы вытащить данные из баз данных. Для визуализации данных я использовал Matplotlib (в Google) и D3.js (в Microsoft).
Анализ данных и визуализация в Python
Одной из самых популярных библиотек для визуализации данных является Matplotlib.
Эта библиотека станет отличным выбором для вас:
- Вы сможете легко и достаточно быстро ее освоить
- На ее основе построены многие другие библиотеки, например seaborn. Изучив Matplotlib, в будущем вам будет легче разобраться с другими библиотеками на его основе.
Как мне следует начать анализировать данные с помощью Python?
Сначала вам следует взяться за изучение фундаментальных принципов анализа и визуализации данных. Когда я искал в интернете достойные ресурсы по этой теме — я ничего не нашел. Поэтому, я сам записал обучающее видео на YouTube по этой теме:
Также я создал свой собственный курс по этой теме на Pluralsight, который вы можете пройти бесплатно, подписавшись на их 10-дневную бесплатную пробную версию.
Я бы рекомендовал вам посмотреть и то и другое.
Изучив основы анализа и визуализации данных, вам будет полезно также изучить основы статистики с таких сайтов, как Coursera и Khan Academy.
Скриптинг
Что такое скриптинг?
Скриптинг обычно используется при написании небольших программ для автоматизации простых задач. Позвольте мне привести пример из личного опыта:
Когда-то я работал в небольшом стартапе в Японии, в котором у нас была система поддержки электронной почты. Эта система нужна была нам для того, чтобы мы отвечали на всевозможные вопросы клиентов. И пока я там работал, мне приходилось подсчитывать количество писем, содержащих определенные ключевые слова, чтобы затем мы могли анализировать полученные письма.