Python — высокоуровневый, объектно-ориентированный, интерпретируемый язык программирования, основными целями которого являются повышенная читаемость кода и способность написания намного меньших по объему программ по сравнению с такими языками как Java или C++. Правила оформления кода интегрированы в язык и закреплены его стилевыми правилами. Python и R являются стандартными языками программирования для анализа данных де-факто [1] [1] .
Версии языка
Основными поддерживаемыми версиями Python являются вторая и третья (2.7.11 и 3.5.1 на момент написания статьи), которые, вообще говоря, не являются обратно совместимыми. Вторая версия на момент написания статьи распространена в индустрии больше из-за количества написанного на нем кода, однако его поддержка будет закончена раньше, и все основные модули совместимы с Python 3.
Установка Python
Python является интерпретируемым языком программирования, что означает, что для работы кода на Python нужен интерпретатор. Основной реализацией Python является CPython. В академической и исследовательской распространен IPython, который расширен более продвинутым автодополнением и другими вспомогательными конструкциями. В частности, довольно распространен Jupyter, в котором можно писать код (не только на Python 2 или 3, но и на Matlab, R и других) и вставлять документацию на Markdown с поддержкой LaTeX. Основным достоинством этого подхода является написание кода и технического отчета одновременно, который может сопровождаться самой разнообразной визуализацией [1] .
00 Установка Anaconda Python, Jupyter Notebook и создание окружения
Linux и OS X
Интерпретатор Python встроен в OS X и почти во все Linux дистрибутивы. С большой вероятностью, команда python вызывает интерпретатор Python по умолчанию, python3 — интерпретатор для третьей версии.
Для установки дополнительных пакетов необходимо воспользоваться пакетным менеджером Python — pip. Единственный верный способ установки менеджера на любой *nix системе указан здесь. Если вы используете Ubuntu/Mint/Debian, то код, устанавливающий основные зависимости и библиотеки анализа данных приведен ниже (работает на Ubuntu 14.04). Обратите внимание, что пакеты собираются pip’ом из исходников на Linux, так что установка может занять некоторое время.
sudo apt-get -y update sudo apt-get -y upgrade sudo apt-get -y dist-upgrade sudo apt-get -y install htop gcc g++ vim libxrender1 libxrender-dev gfortran build-essential libatlas-dev libatlas3gf-base libsm6 git pkg-config libblas3gf libblas-doc libblas-dev liblapack3gf liblapack-doc liblapack-dev libpng-dev libjpeg8-dev libfreetype6-dev sudo apt-get -y install python-pip python-dev python-setuptools sudo apt-get -y install python3-pip python3-dev python3-setuptools sudo pip install —upgrade pip sudo pip3 install —upgrade pip sudo pip3 install numpy scipy matplotlib pandas jupyter sklearn seaborn # если устанавливать пакеты для Python 2 используйте pip вместо pip3
Все дополнительные библиотеки, jupyter и ipython могут быть установлены с помощью команды (приведен пример для установки pandas).
Pip, Easy_install, Conda | В Чём Разница? | Что Такое Wheel И Egg
pip install pandas
Обратите внимание, что, если вы используете Linux, рекомендуется использовать pip без прав администратора, так как вы рискуете своей ошибкой нарушить работоспособность системы. Для безопасной работы с pip существует virtualenv.
Альтернативой pip является anaconda.
Windows
Для корректной работы всех библиотек анализа данных практически единственным реалистичным методом является anaconda.
Anaconda
Anaconda — это дистрибутив Python и R вместе с основными библиотеками для анализа данных и пакетным менеджером conda . С помощью последнего удобно устанавливать и удалять пакеты. Также сильным достоинством является установка без компилирования из исходного кода, что значительно ее ускоряет по сравнению с pip. После установки дистрибутива с официального сайта (в этом разделе рассматриваем случай Windows) в приложениях появляется «Anaconda Prompt». Именно в этом приложении коммандной строки и придется работать. Для выведения помощи по коммандам:
conda help
Обновление всех установленных пакетов
conda update —all
Выведение списка установленных пакетов
conda list
Из комманд терминала Windows пригодится cd foldername — изменить директорию, dir — вывести содержимое текущей директории. Расширенную справку можно почитать, например, тут.
Краткое введение в Python
Будем использовать для знакомства третью версию языка Python.
Программа «Hello, World»
# this is comment print(«Hello, World!»)
В арифметических операции Python помимо стандартных есть возведение в степень. Длинная арифметика, а также необходимые преобразования типов происходят «под капотом»
bags = 20 apples = 40 variants = apples ** bags print(variants) # 109951162777600000000000000000000
Целочисленное деление, остаток от деления
a = 23 / 4 # 5.75 # в Python 2 было бы 5 a = 23 // 4 # 5 a = 23 % 4 # 3
print(5 in [1, 2, 5]) # True condition = 2 * 2 == 5 if condition: call_police()
Python — язык с динамической типизацией
value = «Who is John Galt?» print(value) value = 9 print(value + 1)
В Python богатый встроенный набор коллекций
# список (изменяемый, расширяемый) fruit = [‘apples’, ‘peaches’, ‘bananas’] # словарь (множество пар ключ-значение) cities = {«London»:»UK», «Nizhny Novgorod»:»Russia»} cities[«Bristol»] = «Ireland» # кортеж (неизменяемый) point = (12, 21)
Индексация в списках
pi_list = [3, 1, 4, 1, 5, 9, 2, 6] pi_list[0:4] # [3, 1, 4, 1], то есть берется полуинтервал с левым включением pi_list[:4] == pi_list[0:4] # True, крайние значения можно опускать pi_list[:3:-1] # [4, 1, 3], -1 инвертирует направление списка pi_list[::2] # [3, 4, 5, 2] каждый второй элемент pi_list[:-4:-2] # [6, 9] это можно понять 🙂
Цикл for. Обратите внимание, что блок выделяется однотипным отступом (то есть с помощью Tab или одинакового количества пробелов).
for i in range(5): print(i) # 0 1 2 3 4 for letter in [«alpha», «beta», «gamma»]: print(letter.upper()) # ALPHA BETA GAMMA
value = 0 while value 5: value += 1
import math print(math.
sqrt(math.pi))
from math import pi from math import sqrt print(sqrt(pi))
Некоторые трюки с присваиваниями
val1, val2 = val2, val1 ### def func(a, b): return (a, b+a) # кортеж val1, val2 = func(2, 3) # в val1 теперь 2, в val2 — 5 ### a = [1, 2, 3] b = a b.append(4) # добавляем 4 в конец b a == b # True, при присваивании в b записалась ссылка на a ### b = a[:] # В b теперь копия a
Определение функций в Python
def centrize(array): mean = sum(array)/len(array) array = [item — mean for item in array] # генератор return array print(centrize([1, 2, 3])) # [-1.0, 0.0, 1.0]
Python и анализ данных
Python наряду с R стал де-факто стандартом индустрии анализа данных. Одним из основных достоинств Python выделяют богатство его стандартной библиотеки и огромное множество реализованных библиотек, называемых *модулями*. В частности, для задач оптимизации, статистики, анализа данных, визуализации и представления результатов можно выделить следующие модули:
Литература
- М. Лутц «Изучаем Python»
- М. Саммерфилд «Программирование на Python 3. Подробное руководство»
- Лучано Рамальо «Python. К вершинам мастерства»
- Уэс Маккини «Python для анализа данных»
Источник: www.machinelearning.ru
Установка Anaconda Python в Ubuntu
Anaconda — популярная платформа для обработки данных и машинного обучения. Она поддерживает языки программирования Python и R. Используется для масштабной обработки данных, прогнозной аналитики и научных вычислений. Её можно установить на локальную машину или масштабируемые облачные серверы от Timeweb Cloud.
Кстати, в официальном канале Timeweb Cloud мы собрали комьюнити из специалистов, которые говорят про IT-тренды, делятся полезными инструкциями и даже приглашают к себе работать.
Дистрибутив для Python поставляется с 250 пакетами данных с открытым исходным кодом. Из репозиториев Anaconda можно установить более 7500 дополнительных пакетов. В составе также входит пакетный менеджер Conda и графический пользовательский интерфейс Anaconda Navigator.
В этом руководстве вы узнаете, как установить дистрибутив на последние версии Ubuntu.
Загрузка дистрибутива
Для загрузки Anaconda- скрипта используют три варианта:
- Скачивание дистрибутива через браузер.
- Загрузка с помощью wget.
- Загрузка с помощью curl.
Чтобы скачать дистрибутив через браузер, перейдите на официальный сайт Анаконды в раздел Distribution . Выберите загрузку версии для Linux. Скачайте установщик 64-Bit (x86) Installer.
Получить файл дистрибутива можно с помощью утилиты wget. Пример команды:
wget https://repo.anaconda.com/archive/Anaconda3-2022.05-Linux-x86_64.sh —output anaconda.sh
При таком скачивании главное — указать правильную версию. Эта команда запрашивает версию 2022.05. Если вам нужна другая, укажите её номер — например, 2020.02. Узнать номер версии и конкретные изменения можно на странице Release Notes в документации.
Обратите внимание на синтаксис обеих команд. В конце мы указываем —output anaconda.sh . Это необязательный аргумент. Он переименовывает файл Anaconda3-2022.05-Linux-x86_64.sh в anaconda.sh. Делаем это для собственного удобства, чтобы при установке не приходилось вводить длинное и сложное название.
Чтобы убедиться в целостности данных, сравните криптографический хеш через контрольную сумму. Это опциональный шаг.
Чтобы увидеть контрольную сумму SHA-256, выполните команду:
sha256sum anaconda.sh
В терминал будет выведен результат, состоящий из цифр и букв. Эту контрольную сумму нужно сравнить с той, что представлена на сайте Анаконды для соответствующей версии. Если хеш не совпадает, возможно, файл загружен не полностью. Скачайте его заново и ещё раз проверьте контрольную сумму.
Установка дистрибутива Anaconda
Для работы с Anaconda можно использовать графический интерфейс Navigator. Для его корректной работы на Ubuntu потребуется установка дополнительных пакетов:
sudo apt install libgl1-mesa-glx libegl1-mesa libxrandr2 libxrandr2 libxss1 libxcursor1 libxcomposite1 libasound2 libxi6 libxtst6
Если вы не собираетесь пользоваться графическим интерфейсом, то эти пакеты можно не устанавливать.
Итак, у вас есть файл дистрибутива. Теперь нужно развернуть диспетчер пакетов со всеми компонентами. Вне зависимости от того, каким способом вы скачали дистрибутив, развёртывание выполняется одной командой:
bash anaconda.sh
Инсталляция выполняется в режиме диалога. Сначала вам предложат нажать Enter для продолжения. Затем — нажать Enter для прочтения лицензии. Если вы согласны с её условиями, введите ‘yes’ и нажмите Enter ещё раз.
Следующий шаг — выбор места установки. Можно принять ту директорию, которую мастер инсталляции предлагает по умолчанию. Для этого нужно нажать Enter. Если хотите указать другую папку, напишите полный путь до неё.
Установка дистрибутива Anaconda занимает несколько минут. После её завершения на экране появится предложение выполнить инициализацию Анаконды. Введите ‘yes’ и нажмите Enter. Мастер инсталляции самостоятельно внесёт изменения во все необходимые каталоги.
Последний шаг — активация установки. Под активацией понимается добавление новой переменной PATH. Благодаря этому система начнёт понимать команды, которые вы даёте Анаконде и её компонентам. Для активации выполните команду:
source ~/.bashrc
После активации произойдет обновление переменных окружения. Визуально это изменение отразится появлением надписи base перед именем пользователя.
Чтобы убедиться в том, что установка завершена успешно, выполните команду:
conda list
На экране отобразится список всех установленных компонентов Anaconda.
Настройка виртуальной среды
По умолчанию для работы используется базовая среда — base. Если у вас несколько проектов с разными пакетами и версиями, то работать в одном окружении будет неудобно. Решить эту проблему помогают виртуальные среды Anaconda Python. Для каждого окружения можно указать версию языка, а также состав и версии всех пакетов.
Например, у вас есть проект на сервере Timeweb Cloud , в котором используется версия Python 3.9. Создайте для него собственную виртуальную среду командой:
conda create -n new_env python=3.9
Синтаксис очень простой:
- create — команда для создания виртуальной среды;
- -n — аргумент, после которого вы указываете имя новой среды, в данном случае это new_env;
- python=3.9 — указание версии языка, которая будет использована внутри виртуальной среды.
После выполнения команды на экране отобразится информация о том, какие пакеты будут установлены. Если вы согласны с их добавлением, введите ‘yes’ и нажмите Enter.
Чтобы перейти в среду, нужно её активировать:
conda activate new_env
Чтобы выйти из среды, нужно её деактивировать:
conda deactivate
Внутри среды вы можете устанавливать пакеты, необходимые для работы над проектом. Можно делать это двумя способами:
- Активировать среду и устанавливать пакеты внутри.
- Указывать имя среды при установке пакета. Например: conda install —name new_env numpy . Эту команду можно выполнить из базовой среды, однако библиотека numpy установится внутри new_env.
Можно создать сколько угодно виртуальных сред для работы с Anaconda. Полный их список выводит команда:
conda info —envs
Текущая среда будет отмечена в списке звёздочкой.
Обновление
Обновление Anaconda — простая задача. Откройте терминал и выполните команду:
conda update —all
Если у Anaconda для Python 3 доступны обновления, они отобразятся списком. Чтобы подтвердить установку апдейтом, введите ‘y’ и нажмите Enter.
Компоненты диспетчера пакетов можно обновлять и по отдельности. Например, вы узнали, что вышла новая версия утилиты командной строки conda. Обновите только её командой:
conda update conda
Обновить весь дистрибутив без предварительной проверки списка апдейтов можно следующей командой:
conda update anaconda
Не забывайте периодически проверять обновления, чтобы пользоваться актуальными версиями утилит.
Полное удаление
Удалить диспетчер пакетов Anaconda можно двумя способами. Рассмотрим оба.
Первый способ — удалите каталог установки и все другие файлы, которые были созданы во время инсталляции, командой:
rm -rf ~/anaconda3 ~/.condarc ~/.conda ~/.continuum
Второй способ чуть более автоматизирован. Чтобы наверняка очистить систему от всех компонентов, используйте модуль anaconda-clean . Он поможет избавиться от файлов конфигурации. После этого останется только стереть каталог anaconda3.
Сначала установите сам модуль:
install anaconda-clean
Чтобы подтвердить удаление, введите в диалоге ‘y’ и нажмите Enter.
Запустите модуль после установки командой:
anaconda-clean
Мастер деинсталляции требует подтверждения перед удалением каждого компонента. Чтобы не вводить каждый раз ‘y’, добавьте флаг автоматического подтверждения всех операций:
anaconda-clean —yes
После завершения удаления в домашней директории пользователя появится папка с резервной копией. Внутри неё будет бэкап с последним сохранённым состоянием. Это нужно на тот случай, если вы передумаете и решите восстановить Anaconda в Ubuntu.
После работы чистящего модуля можно наконец удалить каталог диспетчера пакетов:
rm -rf ~/anaconda3
Чтобы в системе не осталось никаких следов Анаконды, удалите строку PATH из файла .bashrc. Она добавляется туда по умолчанию при установке.
Откройте файл .bashrc в любом текстовом редакторе. В нашем примере используется nano:
nano ~/.bashrc
Найдите строки, в которых инициализируется conda. Если с момента установки Anaconda прошло немного времени, то эти строки будут в конце файла. Для ускорения поиска используйте сочетание клавиш Ctrl+W. Строки будут примерно такими:
# >>> conda initialize >>>
# !! Contents within this block are managed by ‘conda init’ !!
__conda_setup=»$(‘/home/linux/anaconda3/bin/conda’ ‘shell.bash’ ‘hook’ 2> /dev/null)»
if [ $? -eq 0 ]; then
eval «$__conda_setup»
else
if [ -f «/home/linux/anaconda3/etc/profile.d/conda.sh» ]; then
. «/home/linux/anaconda3/etc/profile.d/conda.sh»
else
export PATH=»/home/linux/anaconda3/bin:$PATH»
fi
fi
unset __conda_setup
#
Удалите или закомментируйте эти строки в файле. Чтобы сохранить изменения в редакторе nano, нажмите сочетание клавиш Ctrl + X и подтвердите перезапись файла. На этом удаление Анаконды завершено.
Заключение
В этом туториале мы изучили основные этапы от установки Anaconda до удаления. Теперь вы сможете правильно добавить диспетчер пакетов в систему и держать его в актуальном состоянии, а при необходимости — полностью удалить компоненты ПО из Ubuntu.
Источник: timeweb.cloud
Русские Блоги
Начинающим Python-Anaconda Руководство по началу работы
Если вы планируете изучать Python для анализа данных, сталкивались ли вы с множеством проблем в начале?
- Должен ли я установить Python2 или Python3?
- Почему я всегда получаю ошибки при установке Python?
- Как установить инструментарий?
- Почему перед установкой этого инструмента необходимо установить несколько других неизвестных инструментов?
Я полагаю, что у большинства новичков в Python были проблемы с окружающей средой, но вы не одиноки, все так переживают. Чтобы избежать обходных путей при начале работы и предотвратить слишком сильный энтузиазм, рекомендуется использовать Anaconda для управления средой установки и различными наборами инструментов.
Добавьте небольшую группу изучения Python редактора: 813542856 может получить все виды учебных материалов Python!
В этой статье рассказывается об использовании Anaconda, полный текст которого выглядит следующим образом:
- Почему стоит выбрать Анаконду
- Что такое Анаконда
- Что такое Конда
- Преимущества Анаконды
- Как установить Анаконду
- Как управлять пакетами Python
- Как управлять средой Python
1. Почему стоит выбрать Анаконду?
1.1 Что такое Анаконда?
Anaconda — это дистрибутив Python, ориентированный на анализ данных, который содержит более 190 научных пакетов, таких как conda и Python и их зависимости. Как любопытный ребенок, вы открыли новый терминcondaТогда вы должны спросить, что такое Конда?
1.2 Что такое Конда?
Conda — это система управления пакетами с открытым исходным кодом и виртуальными средами.
- Управление пакетами: Вы можете использовать conda для установки, обновления и удаления наборов инструментов, и он больше фокусируется на наборах инструментов, связанных с наукой о данных. При установке anaconda он предварительно интегрируется с пакетами, обычно используемыми для анализа данных, такими как Numpy, Scipy, pandas и Scikit-learn. Стоит также отметить, что conda не только управляет наборами инструментов Python, но и может устанавливать не-python-пакеты. Например, в новой версии Anaconda вы можете установить интегрированную среду разработки R-language Rstudio.
- Управление виртуальной средой: В conda может быть создано несколько виртуальных сред для изоляции разных версий наборов инструментов, необходимых для разных проектов, для предотвращения конфликтов версий. Для студентов, которые борются с версией Python, мы также можем создать две среды, Python2 и Python3, для запуска различных версий кода Python.
Knowкакой В то же время, мы также должны спроситьЗачем, Итак, почему выбирают Анаконда?
1.3 Преимущества Анаконды?
Преимущества Anaconda можно суммировать в восьми словах: экономия времени, беззаботность и аналитический инструмент.
- Экономьте время и беспокойство: Anaconda значительно упрощает ваш рабочий процесс, управляя наборами инструментов, средами разработки и версиями Python. Этот инструментарий можно не только легко устанавливать, обновлять и удалять, но и автоматически устанавливать соответствующие пакеты зависимостей во время установки, а также использовать разные виртуальные среды для изоляции проектов с различными требованиями.
- Инструмент анализа: ВAnaconda Официальный сайт рекламирует себя так: инструменты Python для анализа больших данных на уровне предприятия. Он содержит более 720 пакетов с открытым исходным кодом, связанных с наукой о данных, которые связаны с визуализацией данных, машинным обучением, глубоким обучением и многими другими аспектами. Его можно использовать не только для анализа данных, но и для больших данных и искусственного интеллекта.
решенаЧто это так же как Зачем После вопроса давайте посмотримКак сделать。
2. Как установить Анаконду?
Может быть изВотЗагрузите установщик Anaconda и просмотрите инструкции по установке. Будь то система Windows, Linux или MAC OSX, вы можете найти соответствующее программное обеспечение для установки. Если ваш компьютер 64-битный, попробуйте выбрать 64-битную версию. Что касается версии Python 2.7 или 3.x, рекомендуется использовать Python3, потому что Python2 в конечном итоге будетПрекратить обслуживание, Возможно, большинство учебных пособий на рынке в настоящее время используют Python2, поэтому не беспокойтесь, потому что в Anaconda вы можете управлять средой двух версий Python одновременно.
Установите в соответствии с инструкциями. После завершения вы можете быть удивлены, обнаружив, что на вашем компьютере есть еще много приложений. Не волнуйтесь, давайте посмотрим на каждый пункт:
- Anaconda Navigator : Графический пользовательский интерфейс, используемый для управления инструментарием и средой. Многие команды управления, участвующие в последующей деятельности, также могут быть реализованы вручную в Navigator.
- Jupyter notebook Веб-среда интерактивных вычислений, которая может редактировать документы, которые легко читаются людьми, чтобы показать процесс анализа данных.
- qtconsole : Терминальная программа с графическим интерфейсом, которая может выполнять IPython. По сравнению с интерфейсом Python Shell, qtconsole может напрямую отображать графику, сгенерированную кодом, реализовывать ввод и выполнение многострочного кода и иметь много встроенных полезных функций и функций.
- spyder : Кроссплатформенная, интегрированная среда разработки научных вычислений с использованием языка Python.
После завершения установки нам также необходимо обновить все наборы инструментов, чтобы избежать возможных ошибок. Откройте терминал вашего компьютера и введите в командной строке:
conda upgrade —all
Когда терминал спросит, следует ли установить следующую версию обновления, введите y 。
В некоторых случаях может появляться сообщение об ошибке, что команда conda не может быть найдена. Это может быть проблемой с настройкой пути среды. Вам необходимо добавить переменную среды conda: export PATH=xxx/anaconda/bin:$PATH Где ХХХ заменен путем установки анаконды.
На этом этапе установка завершена, давайте рассмотрим, как использовать Anaconda для управления инструментарием и средой.
3. Как управлять пакетами Python?
conda install package_name
Здесь имя_пакета — это имя пакета, который нужно установить. Вы также можете установить несколько пакетов одновременно. Например, чтобы установить numpy, scipy и pandas одновременно, выполните следующую команду:
conda install numpy scipy pandas
Вы также можете указать версию для установки, например, установить версию numpy 1.1:
conda install numpy=1.10
conda remove package_name
Версия пакета обновлений:
conda update package_name
Посмотреть все пакеты:
conda list
Если вы не можете вспомнить конкретное имя пакета, вы также можете выполнить нечеткий запрос:
conda search search_term
4. Как управлять средой Python?
Средой по умолчанию является root, вы также можете создать новую среду:
conda create -n env_name list of packages
среди них -n Стоит для имени, env_name Имя среды, которая должна быть создана, list of packages В нем перечислены наборы инструментов, которые необходимо установить в новой среде.
Например, когда я установил версию Anaconda для Python3, корневой средой по умолчанию, естественно, является Python3, но мне также нужно создать среду Python 2 для запуска старой версии кода Python, предпочтительно также установить пакет pandas, поэтому мы запускаем следующую Команда для создания:
conda create -n py2 python=2.7 pandas
Если вы будете осторожны, вы обнаружите, что в среде py2 установлена не только pandas, но и ряд пакетов, таких как numpy. Это удобство использования conda. Он автоматически установит для вас соответствующие пакеты зависимостей, не требуя от вас одного за другим. Установить вручную.
Введите среду с именем env_name:
source activate env_name
Выход из текущей среды:
source deactivate
Также обратите внимание, что в системах Windows используйте activate env_name с участием deactivate Чтобы войти и выйти из окружающей среды.
Удалить среду с именем env_name:
conda env remove -n env_name
Показать все среды:
conda env list
При совместном использовании кода вам также необходимо предоставить всем доступную рабочую среду. Выполните следующую команду, чтобы сохранить информацию о пакете в текущей среде в файл YAML с именем среда.
conda env export > environment.yaml
Аналогично, при выполнении чужого кода вам также необходимо настроить соответствующую среду. В настоящее время вы можете использовать файл YAML, предоставленный другой стороной, для создания точно такой же операционной среды.
conda env create -f environment.yaml
В этот момент вы вошли в дверь Анаконды, и вы можете бродить в океане Питона в будущем.
Источник: russianblogs.com