Один мой друг сказал по поводу pv следующее «Я админю семь лет, мне нужна была эта тулза десятки раз, а я даже не знал что она существует». В размышлениях над тем как заполучить инвайт на Харбе, я набрал в поиске pv. И ничего не нашел.
И так pv — это сокращенно от pipeviewer, то есть ни много не мало как просмотрщик пайпов. Про эффективность использования пайпов расказывать не буду, ни для кого это не секрет. Единственное, «но» в работе с ними — это то, что набрав команду и нажав Enter часто не хватает самой малости — знать сколько времени займет ее выполнение. Именно cкорость обработки данных и будет нам показывать pv.
С лирикой покончено, перейдем к примерам.
Установка pv в Debian довольно тривиальна.
% sudo aptitude install pv
Дальше вводная, допустим вы такой же как и я счасливый обладатель каких-нибудь полезных логов и в какой-то момент у вас дошли руки их заархивировать, например так
% cat rt94-171-06 | gzip > rt94-171-06.gz
Есть мысли, сколько времени займет эта операция?
Быстрое создание Portable версий программ | PC-Lessons.ru
Тоже самое при помощи pv
%pv rt94-171-06 | gzip > rt94-171-06.gz
128MB 0:00:15 [ 9.1MB/s] [=====>. ] 18% ETA 0:01:07
Наглядно видно, что через пайп за 15 секунд прошло 128Мб — это 18% от всего объема, операция займет еще минуту и 7 секунд.
Может показаться, что pv это такая замена для cat, но на самом деле ее возможности намного шире. Например, упаковываем весь каталог в сжатый архив
%tar -czf — . | pv > out.tgz
21.9MB 0:00:15 [1.47MB/s] [. . ]
Уже неплохо, но хочеться большего, чтобы показывалось время окончания работы. Для этого всего лишь надо при помощи ключа -s передать pv размер каталога в байтах
%tar -czf — . | pv -s $(du -sb | grep -o ‘[0-9]*’) > out.tgz
44.3MB 0:00:27 [1.73MB/s] [>. ] 0% ETA 13:36:22
У меня вся операция займет 13 с половиной часов. Хех, накопил =)
Можно так же составлять команды из несколько копий pv.
%tar -cf — . | pv -cN tar -s $(du -sb | grep -o ‘[0-9]*’) | gzip | pv -cN gzip > out.tgz
tar: 97.1MB 0:00:08 [12.3MB/s] [>. ] 0% ETA 1:50:26
gzip: 13.1MB 0:00:08 [1.6MB/s] [. . ]
Ключ -c нужен, чтобы несколько копий pv не выводили информацию друг поверх друга. Ключ -N дает имя шкале.
Ну и под конец забавный пример с одного англоязычного блога о Линуксе
%pv /dev/urandom > /dev/null
18MB 0:00:05 [ 3,6MB/s] [. . ]
Источник: habr.com
Полезные Unix утилиты. Pipe Viewer.
Как использовать PV?
Давайте начнем с нескольких простых примеров и продолжим более сложными. Предположим, что у Вас есть файл “access.log” в несколько гигабайт, который содержит логи Вашего веб сервера. Вы хотите сжать его, ну, скажем в (.gz) архив. Обычно это делается так:
$ gzip -c access.log > access.log.gz
Так как файл достаточно большой (несколько гигабайт), у Вас нет ориентира насколько долгим будет процесс сжатия. Закончится ли он скоро? Или через 30 минут? Используя pv Вы можете точно оценить время, которое займет данный процесс. Посмотрим на ту-же самую команду исполненную через pv:
NL international как сделать 200 пв и больше
$ pv access.log | gzip > access.log.gz 611MB 0:00:11 [58.3MB/s] [=> ] 15% ETA 0:00:59
Pipe viewer действует как “cat”, за исключением того, что добавляет индикатор процесса. Мы можем видеть, что gzip обработал 611МБ данных за 11 секунд. Это занимает 15% от всех данных и до завершения всего процесса остается около 59 секунд. Вы можете вставлять различные pv процессы в различных местах. Для примера, Вы можете замерить насколько быстро данные читаются с диска и сколько данных выдет gzip:
$ pv -cN source access.log | gzip | pv -cN gzip > access.log.gz source: 760MB 0:00:15 [37.4MB/s] [=> ] 19% ETA 0:01:02 gzip: 34.5MB 0:00:15 [1.74MB/s] [ ]
Здесь мы определили параметр “-N” для создания имени потока (имена: source и gzip). Параметр “-c” предотвращает «замусорвание» вывода одного из pv процессов другим. Этот пример показывает, что файл “access.log” читается на скорости 37.4МБ/с, а gzip записывает данные только на скорости 1.74МБ/с.
Имея такие данные мы можем посчитать коэффициент сжатия. Он равен 37.4/1.74 = 21x! Заметим, что процесс gzip не показывает сколько данных осталось или как быстро они закончатся. Это происходит потому, что процесс pv, идущий после gzip, не знает сколько данных выдаст gzip (это простой вывод сжатых данных из входного потока). Однако, первый pv процесс, знает точно сколько данных осталось, потому-что он непосредственно занимается их чтением. Другой аналогичный пример будет паковать целую директорию с файлами в единый tar архив:
$ tar -czf — . | pv > out.tgz 117MB 0:00:55 [2.7MB/s] [> ]
В этом примере pv показывает скорость вывода команды “tar -czf”. Не очень интересно и это не предоставляет информации о том, как много данных осталось. Нам необходимо выдать общий размер сжимаемых данных данных, для pv, это делается таким путем:
$ tar -cf — . | pv -s $(du -sb . | awk ») | gzip > out.tgz 253MB 0:00:05 [46.7MB/s] [> ] 1% ETA 0:04:49
Что здесь происходит: мы говорим tar создать “-c” архив всех файлов текущей директории “.” (рекурсивно) и вывести данные в стандартный вывод “-f -”. Далее, мы указываем размер “-s” всех файлов текущей директории для pv.
Команда “du -sb . | awk ‘’” возвращает число байт в текущей директории, и скармливает это число для pv через параметр “-s”. Затем мы сжимаем gzip все содержимое и выводим результат в файл out.tgz. Таким образом, “pv” знает, сколько данных осталось обработать и она показывает нам, что это займет еще 4 минуты 49 секунд. Другой замечательный пример — копирование большого количества данных через сеть с использованием утилиты “nc”, о которой я расскажу в следующий раз. Предположим, у Вас есть два компьютера A и B. Вы хотите очень быстро перенести директорию с A на B. Наибыстрейший путь — использовать tar и nc, и время операции с pv.
# on computer A, with IP address 192.168.1.100 $ tar -cf — /path/to/dir | pv | nc -l -p 6666 -q 5 # on computer B $ nc 192.168.1.100 6666 | pv | tar -xf —
Все файлы из /path/to/dir на компьютере A будут перенесены на компьютер B, и у Вас будет возможность посмотреть как быстро это делается. Если Вы хотите получить индикатор процесса, Вы добавляете “pv -s $(…)” трюк из предыдущего примера (только на компьютере A). Другой забавный пример от читателя блога alexandru. Он показывает как посчитать насколько быстро компьютер читает из /dev/zero:
$ pv /dev/zero > /dev/null 157GB 0:00:38 [4,17GB/s]
Я надеюсь Вам понравились мои примеры и Вы научились чему-то новому. Я люблю объяснять то, что я сам изучаю! 🙂
Как установить pv?
Если у Вас Debian или Debian подобная операционная система, такая как Ubuntu, сделайте следующее:
$ sudo aptitude install pv
Если у Вас Fedora или Fedora подобная операционная система, такая как CentOS сделайте:
$ sudo yum install pv
Если у Вас Slackware, отправляйтесь на домашнюю страницу pv, загрузите архив pv-version.tar.gz и сделайте:
$ tar -zxf pv-version.tar.gz $ cd pv-version $ ./configure sudo make install
Если Вы пользователь Mac:
$ sudo port install pv
Если Вы пользователь OpenSolaris:
$ pfexec pkg install pv
Если Вы пользователь Windows с Cygwin:
$ ./configure $ export DESTDIR=/cygdrive/c/cygwin $ make $ make install
Руководство по утилите может быть найдено в man pv. Приятного времяпровождения вместе с измерением конвейеров через pv, до следующего раза!
18 января, 2010 , 12:02
handyblogger[at]gmail.com
Источник: handynotes.ru
Советы по открытию файла PV
Не удается открыть файл PV? Ты не единственный. Тысячи пользователей ежедневно сталкиваются с подобными проблемами. Ниже вы найдете советы по открытию файлов PV, а также список программ, поддерживающих файлы PV.
PV расширение файла
| CONSEL Output P-Value |
| Другие файлы |
Файл PV поддерживается в операционных системах 1. В зависимости от вашей операционной системы вам может потребоваться другое программное обеспечение для обработки файлов PV. Ниже приводится сводка количества программ, которые поддерживают и открывают файл PV на каждой системной платформе.
Операционные системы
1
Что такое файл PV?
Файл PV отнесен к категории Другие файлы. Помимо этого файла, в категорию Другие файлы входят связанные файлы 6033. CONSEL Output P-Value появляется в операционных системах 1 как функциональный файл. Хотя его можно найти с большим или меньшим успехом в любой операционной системе, он будет полезен только в Windows.
Как открыть файл PV?
Часто повторяющаяся проблема с CONSEL Output P-Value заключается в том, что PV не связан с правильным программным файлом. Это проявляется в том, что файлы PV открываются в необычных приложениях или не имеют назначенной программы. Эту проблему можно быстро решить, следуя приведенным ниже инструкциям.
Первое, что вам нужно сделать, это просто «дважды щелкнуть » по значку файла PV, который вы хотите открыть. Если в операционной системе есть соответствующее приложение для ее поддержки, а также существует связь между файлом и программой, файл следует открыть.
Шаг 1. Установите CONSEL
Первый шаг — проверить, установлена ли на компьютере программа CONSEL. Для этого введите имя CONSEL в поисковик системы. Если у нас нет этой программы, стоит ее установить, так как она поможет вам автоматически связать файл PV с CONSEL. Ниже приведен список программ, поддерживающих файл PV.
Программы для открытия файла PV
Не забывайте загружать программы, поддерживающие файлы PV, только из проверенных и безопасных источников. Предлагаем использовать сайты разработчиков программного обеспечения.
CONSEL
Шаг 2. Создайте ассоциацию CONSEL с файлами PV.
Однако может случиться так, что само приложение не вызывает открытия файла PV в приложении CONSEL, но вы можете установить это вручную. Удобнее всего вызвать контекстное меню правой кнопкой мыши и выбрать пункт « Свойства». Отображаемое окно будет содержать информацию о программе, поддерживающей этот тип файла.
Используя кнопку «Изменить» , мы можем настроить программу на обработку этого типа. Программа должна быть видна в окне, в противном случае ее следует выбрать вручную с помощью кнопки «Обзор» и указать каталог установки программы. Установка флажка «Всегда использовать выбранную программу . » навсегда связывает файл PV с программой CONSEL.
Шаг 3. Обновите CONSEL до последней версии.
Неисправность также может быть связана с программой CONSEL, возможно, что CONSEL Output P-Value требует более новую версию программы.
Шаг 4. Проверьте наличие следующих проблем с файлом PV.
Если описанные выше действия не помогли, вы можете предположить, что сам файл неправильный. Это может быть связано с самим файлом, самые чистые проблемы:
Файл № ROZ # пуст или неполный.
Файл PV может быть необычно маленьким по сравнению с исходным файлом. Это предполагает усечение содержимого файла PV при загрузке или копировании. Повторная загрузка файла должна решить проблему.
PV файл заражен
Компьютер мог стать жертвой компьютерного вируса или хакера. Быстрая проверка на вирусы с использованием современной антивирусной программы устранит любые сомнения. В качестве альтернативы вы можете использовать сканеры, доступные в Интернете. Для достижения наилучших результатов мы просканируем всю операционную систему, а не только наш файл PV. В результате сканирования иногда не удается восстановить файлы PV, которые удаляются, если есть резервная копия этого файла, то после восстановления его также необходимо сканировать.
Файл находится в другой версии
Типичная ошибка совместимости — программа не поддерживает старую версию файла PV. За помощью следует обращаться к разработчику программного обеспечения, поскольку они обычно рекомендуют использовать бесплатные конвертеры файлов или установить более старую версию программы.
Файл поврежден
Причин неудачи может быть много. Метод ремонта должен быть адаптирован к типу файла и повреждению. Иногда в самой программе есть опции для восстановления самого популярного повреждения файла PV.
Файл PV зашифрован.
При чтении появляется сообщение о том, что файл был зашифрован или поврежден. Зашифрованные файлы PV могут использоваться устройством, на котором они были зашифрованы, на любом другом устройстве необходимо иметь соответствующий криптографический ключ и расшифровать файл перед его восстановлением.
У вас ограниченный доступ к файлу
Некоторые системные каталоги исключены из модификации. Эти каталоги защищены от записи, и решить эту проблему очень сложно. Лучше всего переместить PV в другой каталог.
Файл № ROZ # уже используется
Это может произойти с файлом, который не поддерживает множественный доступ. Некоторые типы файлов могут быть открыты только в одной программе за раз. Закрытие других программ должно помочь. Иногда необходимо немного подождать, прежде чем снова обратиться к файлу PV.
Антивирусные программы или создаваемая резервная копия могут заблокировать файл на некоторое время без ведома пользователя. Если ничего не помогает, перезагрузите устройство.
Источник: file.tips