Программа для работы с облачным хранилищем данных что это

Облачное хранилище – это модель облачных вычислений, которая дает возможность хранить данные и файлы в Интернете, пользуясь услугами поставщика облачных вычислений, к которому вы подключаетесь либо через общедоступный Интернет, либо через частное сетевое соединение. Поставщик обеспечивает безопасное хранение и обслуживание серверов хранилища, инфраструктуры и сети, а также управление ими. Благодаря этому вы получаете доступ к данным тогда, когда он вам нужен, практически в неограниченном масштабе и с эластичным объемом. Если вы пользуетесь облачным хранилищем, то отпадает необходимость покупать и обслуживать собственную инфраструктуру хранилища данных, что дает гибкость, масштабируемость и надежность доступа к данным в любое время и в любом месте.

Как работает облачное хранилище?

Облачное хранилище предоставляется поставщиком облачных сервисов, который владеет оборудованием для хранения данных и обеспечивает его работу за счет крупных центров обработки данных, расположенных в различных точках мира. Поставщики облачных хранилищ отвечают за состояние ресурсов, безопасность и надежность, обеспечивая доступность данных для приложений по Интернету по модели с оплатой по мере использования.

Как подключить все облачные хранилища, как сетевые диски?

Обычно вы подключаетесь к облачному хранилищу либо через Интернет, либо через выделенное частное подключение с использованием интернет-портала, веб-сайта или мобильного приложения. Когда клиенты приобретают облачное хранилище у поставщика сервисов, они делегируют ему большинство аспектов хранения данных, в том числе пространство, безопасность, доступность данных, серверы хранилищ, вычислительные ресурсы и доставку данных по сети. Ваши приложения получают доступ к облачному хранилищу через традиционные протоколы хранения данных или напрямую через интерфейс программирования приложений (API). Поставщики облачных хранилищ предлагают дополнительные сервисы, предназначенные для защиты, сбора и анализа данных в огромных масштабах, а также управления ими.

Какие существуют типы облачного хранилища?

Существует три типа облачных хранилищ данных: объектные хранилища, файловые хранилища и блочные хранилища. Каждый из них предлагает свои преимущества, подходящие для определенных примеров использования.

Объектное хранилище

Организациям требуется хранить крупные и растущие объемы неструктурированных данных, таких как фотографии, видео, данные машинного обучения (ML), показания датчиков, аудиофайлы и интернет-контент других типов. Поиск масштабируемого, эффективного и доступного хранилища для них может оказаться проблематичным.

Объектное хранилище – это архитектура хранения данных для крупных хранилищ неструктурированных данных. Объекты хранят данные в том формате, в котором они поступают, и дают возможность настраивать метаданные таким образом, чтобы упростить доступ к данным и их анализ. Объекты не упорядочены в виде иерархии файлов и папок. Они хранятся в безопасных корзинах, которые обеспечивают практически неограниченную масштабируемость. Также они обходятся дешевле при хранении крупных объемов данных.

Облачное хранилище: что такое облачные технологии хранения данных.

Для приложений, разработанных в облаке, как правило, требуются такие преимущества объектного хранилища, как широкие возможности масштабирования и характеристики метаданных. Решения объектных хранилищ идеально подходят для разработки с нуля современных приложений, для которых требуется гибкость и возможность масштабирования. Кроме того, эти хранилища можно использовать для импорта данных из существующих хранилищ с целью аналитики, резервного копирования или архивации.

Файловое хранилище

Хранилище на основе файлов или файловое хранилище широко используется различными приложениями и хранит данные в виде иерархии папок и файлов. Этот тип хранилища часто называется сервером сетевого хранилища данных (NAS) с широко используемыми протоколами файлового уровня блока сообщений сервера (SMB), который используется на инстансах Windows, и сетевой файловой системы (NFS), используемой в Linux.

Блочное хранилище

Корпоративные приложения, например базы данных или системы планирования ресурсов предприятия (ERP), часто нуждаются в выделенном хранилище с низкими задержками для каждого из узлов. Такое хранилище работает аналогично хранилищу с прямым подключением (DAS) или сети хранения данных (SAN). В этом случае вы можете использовать сервис облачного хранилища, который хранит данные в виде блоков. Каждый блок имеет собственный идентификатор для быстрого сохранения и получения данных.

Какие требования к облачному хранилищу следует принять во внимание?

Вопросы обеспечения надежного хранения, безопасности и доступности критически важных корпоративных данных имеют первостепенную важность. При рассмотрении варианта хранения данных в облаке существует несколько фундаментальных требований.

Надежность и доступность

Облачное хранилище упрощает и улучшает традиционные процессы, применяемые в центрах обработки данных для обеспечения надежности и доступности данных. При использовании облачного хранилища данные хранятся с избыточностью на нескольких устройствах в одном или нескольких центрах обработки данных.

Безопасность

Облачное хранилище позволяет вам контролировать, где хранятся ваши данные, кто может получать к ним доступ и какие ресурсы использует ваша организация в любой момент времени. В идеале все данные должны шифроваться – как при хранении, так и при передаче. Разрешения и контроль доступа должны работать в облаке точно так же, как и в локальных хранилищах данных.

Каковы примеры использования облачных хранилищ?

Облачное хранилище имеет несколько примеров использования в области управления приложениями, данными и обеспечения непрерывности бизнеса. Рассмотрим несколько приведенных ниже примеров.

Аналитика и озера данных

Традиционные локальные решения для хранения данных могут оказаться непредсказуемыми в вопросах стоимости, производительности и масштабируемости, особенно с течением времени. Проекты, связанные с аналитикой, требуют наличия крупномасштабных, доступных и надежных пулов хранилищ данных с высокой доступностью. Часто подобные пулы называют «озерами данных».

Озера данных, построенные на базе объектных хранилищ, хранят информацию в исходной форме и содержат расширенные метаданные, позволяющие выборочно извлекать и использовать данные в целях анализа. Облачные озера данных могут быть расположены в центре множества систем хранения и обработки больших данных и аналитических движков, что позволит вам выполнить следующий проект быстрее и с большей степенью релевантности.

Резервное копирование и аварийное восстановление

Резервное копирование и аварийное восстановление крайне важны для защиты данных и обеспечения их доступности, но растущие требования к объему хранилища могут оказаться постоянной проблемой. Облачное хранилище обеспечивает низкую стоимость, высокую надежность и практически безграничные возможности масштабирования для решений резервного копирования и восстановления данных. Встроенные политики управления данными, могут выполнять автоматическую миграцию данных в более экономичные хранилища на основании частотных или временных параметров, за счет чего можно создавать архивные хранилища, позволяющие облегчить соблюдение юридических или нормативных требований. Эти преимущества предоставляют широкие возможности масштабирования в отраслях финансовых услуг, здравоохранения, наук о жизни, СМИ и развлечений, где постоянно создаются большие объемы неструктурированных данных с необходимостью длительного хранения.

Тестирование и разработка программного обеспечения

Среды тестирования и разработки программного обеспечения часто требуют создания, использования и последующего удаления отдельных, независимых и дублирующих сред хранения. Помимо временных затрат, с этими процессами могут быть связаны серьезные начальные капиталовложения.

Многие из крупнейших и наиболее прибыльных компаний мира создают приложения в рекордно быстрые сроки благодаря гибкости, производительности и низкой стоимости облачного хранилища. Даже работу простейших статичных веб-сайтов можно улучшить с низкими затратами. ИТ-специалисты и разработчики обращаются к решениям для хранения данных с оплатой по факту использования, которые избавляют их от проблем с управлением и масштабированием.

Перенос данных в облако

Доступность, устойчивость и низкие затраты на облачное хранилище могут быть очень весомыми аргументами. С другой стороны, ИТ-персонал, который работает с администраторами по хранению данных, резервному копированию, сетям, безопасности и обеспечению соответствия нормативным требованиям, может испытывать сомнения относительно фактической передачи больших объемов данных в облако. Для некоторых людей передача данных в облако может являться проблемой. Гибридные, периферийные сервисы и сервисы передачи данных помогают вам в физическом мире и упрощают передачу данных в облако.

Соответствие требованиям

Хранение конфиденциальных данных в облаке может поставить вопрос о регулировании и соответствии требованиям, особенно если данные находятся в системах хранилищ, ограниченных определенными требованиям. Средства контроля соответствия облачных данных призваны помочь в развертывании данных и применении к ним комплексных средств обеспечения соответствия нормативным требованиям, благодаря которым вы будете отвечать требованиям, выдвигаемым практически любым регулятивным органом в мире. Поставщики облачных сервисов, часто с использованием модели общей ответственности, дают клиентам возможность эффективно и экономично управлять рисками в ИТ-среде и гарантируют эффективное управление рисками путем обеспечения соответствия с помощью проверенных, широко признанных платформ и программ.

Хранилище приложений с оптимизацией для облака

Приложения с оптимизацией для облака используют контейнерные и бессерверные технологии, чтобы отвечать ожиданиям клиентов и обеспечивать это соответствие быстро и гибко. Обычно эти приложения состоят из небольших и независимых компонентов со слабой взаимозависимостью, называемых микросервисами, которые взаимодействуют на внутреннем уровне, делясь друг с другом данными или состоянием. Сервисы облачного хранилища обеспечивают управление данными для таких приложений и предоставляют решения текущих проблем хранения данных в облачной среде.

Архивирование

В наши дни предприятия сталкиваются с серьезными проблемами, вызванными экспоненциальным ростом объемов данных. Количество применений данных возрастает благодаря машинному обучению (ML) и аналитике. Чтобы обеспечить выполнение нормативных требований, информацию необходимо хранить долго. Клиентам необходимо заменить локальную инфраструктуру с архивами на ленточных накопителях и дисках такими решениями, которые обеспечивают улучшение надежности хранения данных, их мгновенное извлечение, повышение уровня безопасности, соблюдение нормативных требований, а также доступность данных для использования расширенной и бизнес-аналитики.

Гибридное облачное хранилище

Многие организации знают о преимуществах облачного хранилища, но используют приложения, развернутые локально, которым необходим доступ к данным с минимальной задержкой или быстрая передача данных в облако. Гибридные облачные архитектуры хранения данных позволяют подключить локальные приложения и системы к облачному хранилищу. Благодаря этому вы можете снизить расходы, оптимизировать процесс управления и использовать инновационные инструменты для работы с данными.

Хранилище базы данных

Поскольку блочное хранилище отличается высокой производительностью и готовностью к обновлению данных, многие организации используют его для транзакционных баз данных. Благодаря ограниченным метаданным блочное хранилище способно обеспечивать очень низкую задержку, которая требуется для высокопроизводительных рабочих нагрузок и чувствительных к задержке приложений, таких как базы данных.

Блочное хранилище позволяет разработчикам создать надежную, масштабируемую и высокоэффективную транзакционную базу данных. Поскольку каждый блок является автономным блоком, база данных работает оптимально даже при увеличении объема хранимых данных.

Машинное обучение и IoT

Пользуясь облачным хранилищем, вы можете обрабатывать, хранить и анализировать данные недалеко от местонахождения приложений, а затем копировать данные в облако для дальнейшего анализа. Облачное хранилище дает возможность эффективно и экономично хранить данные, а также использовать машинное обучение, искусственный интеллект (ИИ) и расширенную аналитику, чтобы получать ценную аналитическую информацию и внедрять инновации в своем бизнесе.

Безопасно ли облачное хранилище?

Безопасность в AWS имеет для нас наивысший приоритет. Компания AWS стала пионером в сфере облачных вычислений в 2006 г., предоставив клиентам облачную инфраструктуру для надежной разработки и быстрого внедрения инноваций. AWS позволяет вам контролировать, где хранятся ваши данные, кто может получать к ним доступ и какие ресурсы использует ваша организация в любой момент времени.

Средства надежной идентификации и контроля доступа в сочетании с непрерывным мониторингом данных о безопасности, которые поступают в режиме, близком к реальному времени, гарантируют, что к вашей информации будут иметь доступ нужные ресурсы, где бы она ни хранилась. С AWS вы получаете контроль и уверенность, необходимые для безопасного ведения бизнеса с наиболее гибкой и безопасной доступной облачной средой. Благодаря этому даже организации с самыми строгими требованиями каждый день доверяют свои данные AWS.

Подробнее о безопасности в облаке AWS

Как AWS может удовлетворить ваши потребности в облаке?

AWS предлагает более 200 полнофункциональных сервисов в ЦОД по всему миру, является самой безопасной, масштабной и надежной облачной платформой. С помощью сервисов AWS можно создать облачную инфраструктуру с учетом всех требований. Например, быстро запустить приложение с доступом по всему миру и легко управлять рабочими нагрузками или развернуть приложение ближе к конечным пользователям, чтобы обеспечить задержку не более нескольких миллисекунд.

• Простой сервис хранения данных Amazon (Amazon S3) хранит объекты с избыточностью на множестве устройств по крайней мере в трех зонах доступности (кластерах дискретных центров обработки данных с избыточным питанием, сетью и возможностями подключения в регионе AWS Region).
• Amazon FSx и Эластичная файловая система Amazon (Amazon EFS) предоставляют общий доступ к файлам для приложений с неструктурированными данными, такими как видео и медицинские изображения, интернет-контент и расширенные мультимедийные материалы, каталоги пользователей и крупные наборы данных.
• Решения облачных хранилищ на основе блоков, такие как Магазин эластичных блоков Amazon (EBS), предоставляются с каждым вычислительным инстансом Эластичного вычислительного облака Amazon (Amazon EC2) и обеспечивают сверхнизкую задержку для рабочих нагрузок, требующих высокой производительности.

• Подробнее о хранилище в озере данных на AWS
• Создание масштабируемых, надежных и безопасных решений для защиты данных на AWS
• Узнайте, как уверенно провести миграцию в облако на AWS
• Выполните свои обязанности по обеспечению соответствия нормативным требованиям на AWS
• Храните оптимизированные для облака приложения на AWS
• Модернизируйте архивирование данных на AWS
• Увеличьте потенциал гибридного облака на AWS до максимума
• Создавайте бесплатные решения IoT на AWS
• Ускорьте внедрение инноваций с помощью машинного обучения (ML) на AWS

Создайте аккаунт AWS и начните работу с облачным хранилищем уже сегодня.

Источник: aws.amazon.com

4 лучших файловых менеджера для облачных хранилищ

Когда-то все наши файлы умещались на жёстком диске компьютера и нескольких дискетах. Сегодня мы всё чаще пользуемся облачными хранилищами, а на рынке появляется всё больше сервисов, которые совершенно бесплатно предоставляют весьма внушительные дисковые ёмкости.

И совсем скоро многие могут столкнуться с неожиданной ситуацией, когда будет непросто отыскать нужный файл, хранящийся на каком-то из нескольких облачных дисков. Уже сегодня мы не всегда можем вспомнить, куда загрузили рабочую таблицу — в Google Drive или в Dropbox? Или где хранится окончательный вариант презентации — в OneDrive или в SugarSync? А куда же мы сохранили те самые фотографии из отпуска — во Flickr или, может, в «Яндекс.Диск»?

Лучше всего в такой ситуации воспользоваться файловыми менеджерами, которые позволяют работать с разными облачными сервисами точно так же, как если бы это были жёсткие диски вашего компьютера. Существует два варианта. Во-первых, можно воспользоваться обычными десктопными файловыми менеджерами вроде популярного Total Commander, в которые автоматически интегрируются приложения разных облачных сервисов в виде отдельных папок или дисков. В мобильной версии Total Commander для Android есть встроенные плагины для доступа к Google Drive, Microsoft Live и Dropbox, при этом поддерживается установка и дополнительных плагинов — например, TotalBox или Google Drive.

Второй вариант — использовать специализированные онлайновые службы, доступные с любого компьютера с выходом в интернет. Этот вариант, на наш взгляд, безусловно предпочтительнее, поскольку мы как раз для того и помещаем наши файлы в «облака», чтобы они были всегда, так сказать, на расстоянии протянутой руки. Вот несколько таких онлайновых сервисов, способных работать со множеством популярных облачных хранилищ.

1. Primadesk

Primadesk — это не только онлайновый сервис, это ещё и мобильное приложение, доступное в версиях для Android и iOS.

Главная идея Primadesk сводится к тому, что, открыв «рабочий стол» этой службы, вы сразу получаете информацию о всём происшедшем с вашими аккаунтами за последние 24 часа, что делает её особенно полезной, если вы пользуетесь множеством различных облачных сервисов. К Primadesk можно подключить сразу несколько учётных записей электронной почты от одного провайдера (например, несколько аккаунтов Gmail) и управлять ими всеми из одного окна. Дополнительно можно установить расширение в браузер для быстрого доступа к подключённым хранилищам без необходимости ввода паролей.

После регистрации в веб-сервисе Primadesk вам будет предложено подключить в нему аккаунты 39 разных сетевых служб — от Dropbox и Google Drive до Facebook и Twitter. В течение нескольких часов приложение будет сканировать эти аккаунты, после чего вы сможете вести поиск среди размещённых там файлов, в том числе по ключевому слову, диапазону дат и содержимому.

Перемещать файлы между разными сервисами можно простым перетаскиванием, а 256-битное шифрование и доступ по HTTPS позволяют защитить ваши данные. К слову, поскольку основатели Primadesk — это те же люди, что разработали и известный брандмауэр ZoneAlarm, можно рассчитывать на то, что к безопасности они относятся вполне серьёзно.

Бесплатно любым пользователям Primadesk предоставляется возможность подключения до 5 аккаунтов сетевых сервисов и гигабайт дискового пространства для резервного копирования данных, а за дополнительную плату можно получить поддержку неограниченного числа аккаунтов и 10 или 30 Гбайт хранилища для бэкапа. Заметный и для кого-то существенный недостаток Primadesk — отсутствие возможности просмотра и редактирования заметок Evernote. И, увы, Primadesk не умеет работать ни с одним отечественным облачным хранилищем.

2. CloudKafé

По числу поддерживаемых облачных сервисов CloudKafé твёрдый середнячок — их 18, — но при этом он полностью бесплатен. И, о чудо, в нём есть поддержка «Яндекс.Диск»! Но, в отличие от Primadesk, у этой службы нет мобильных приложений и она работает исключительно через веб-интерфейс.

При этом CloudKafé может похвастаться красивым лаконичным дизайном и уникальной функцией Baskets («Корзины»). Смысл её заключается в том, что вы можете набирать в такие корзины файлы из разных облачных хранилищ и делиться ими с друзьями или коллегами, просто вводя их адреса электронной почты.

Ещё одна необычная функция, реализованная в CloudKafé, — это единая адресная книга для аккаунтов Google, Yahoo и LinkedIn, причём вы можете использовать по нескольку аккаунтов для каждого сервиса.

Все файлы, хранящиеся в подключённых облаках, сортируются по большим понятным группам — «Документы», «Фотографии», «Видео», «Заметки», «Контакты» и уже упомянутые «Корзины». Это очень практично, поскольку не редкость, когда, к примеру, фото или видеоролики случайно попадают в папки документов в облачных хранилищах, где и остаются забытыми навсегда.

При этом в CloudKafé поддерживается просмотр и редактирование заметок Evernote, а это большой плюс для бесплатного сервиса. Предусмотрена функция поиска файлов по всем подключённым облакам с последующим распределением результатов по перечисленным выше группам-категориям.

Заметных недостатков у CloudKafé всего два — невозможность перемещения файлов между разными облачными хранилищами и отсутствие функции резервного копирования, что простительно для бесплатного сервиса. В целом же это очень удобное и простое в использовании веб-приложение.

3. JoliCloud

JoliCloud, как и Primadesk, доступен в качестве онлайнового сервиса через веб-интерфейс, а также в виде мобильного приложения, но только для устройств под управлением iOS.

Зарегистрировавшись и подключив к JoliCloud нужные аккаунты, вы получаете большой рабочий стол, на котором можно управлять всеми вашими облачными сервисами — всего их 13. В JoliCloud нет встроенного почтового клиента, вместо этого предлагается некий единый «социальный поток», включающей в себя Facebook, Google+. Feedly, Tumblr и прочие аналогичные сервисы. В JoliCloud предусмотрена встроенная функция просмотра заметок Evernote.

Все облачные хранилища доступны в разделе Drive, где можно просматривать и удалять файлы. Благодаря круговой диаграмме в правой стороне страницы вы можете наглядно видеть, сколько места занято на том или ином облачном диске. К сожалению, в JoliCloud отсутствует возможность перемещения файлов между разными аккаунтами, нет единой функции поиска по всем облакам и не предусмотрено резервное копирование. К тому же JoliCloud до сих по пребывает в стадии бета-версии, что может намекать на сомнения самих авторов в стабильности сервиса.

Любопытно, что создатели JoliCloud одновременно предлагают на своём сайте и совершенно бесплатную операционную систему Joli OS на основе Ubuntu Linux, представляющую собой типичную веб-ОС и рассчитанную на устаревшие и маломощные машины. В комплекте предлагается около полутора тысяч приложений и, конечно, аккаунт JoliCloud.

4. ZeroPC

Это, наверное, самый необычный онлайновый файловый менеджер: зайдя в ZeroPC, вы попадаете не в скучное окно табличного вида со списками файлов, а на рабочий стол, достойный полноценной операционной системы, на котором можно найти ярлыки разных приложений, включая веб-браузер и текстовый редактор. Все эти приложения предельно просты, но сама идея, безусловно, любопытна.

ZeroPC доступен как через веб-интерфейс, так и через мобильные приложения для Android и iOS. Фактически это «микрооперационка», в которой есть гигабайт пространства для хранения данных (за дополнительную плату можно увеличить его до 5 или 50 Гбайт), поддержка свободного перемещения файлов между разными облаками, которые предстают здесь в качестве обычных накопителей, SSL-шифрование, поддержка нескольких аккаунтов электронной почты, а также быстрый поиск по ключевому слову, провайдеру, типу файла и диапазону дат. Оригинальная функция Cloud Attach позволяет прикрепить любой файл из подключённых облаков непосредственно к электронному письму в сервисе Gmail.

Несмотря на богатую функциональность, веб-интерфейс ZeroPC всё-таки перегружен лишними приложениями, в нём сложно ориентироваться. Мобильные приложения значительно проще, но у них как раз нет тех особенностей, что могут понравиться в ZeroPC. В общем, это оригинальное, многофункциональное, но спорное по юзабилити решение на любителя.

Источник: www.computerra.ru

Все облака — в одном окошке

В наше время почти у каждого скопилось несколько гигабайт (или терабайт) резервных копий и личных документов. Всё это зачастую хранится в зашифрованном виде на нескольких накопителях и в нескольких облаках.

Создаваемые нами данные — это наше наследие, которое надолго переживёт нас. По идее, личная информация не должна быть никак привязана ни к какому конкретному облаку, провайдеру или компании. Хорошо бы иметь возможность свободной замены облачных сервисов в своём личном наборе. В идеале — составить общую «файловую систему», куда можно в любой момент добавить/удалить Google Drive, Яндекс.Диск, YouTube Drive или другие бесплатные файлохостинги. Главное, чтобы данные были размазаны по всему пространству и оставались независимы от конкретного провайдера.

• Файл-менеджер Spacedrive
• Cryptomator
• rsync.net

Файл-менеджер на распределённой файловой системе

Файл-менеджер Spacedrive — это опенсорсный кросс-платформенный файл-менеджер на файловой системе VDFS, который ставит задачей объединить в едином интерфейсе файлы из разных сервисов и разных файловых систем, в том числе из разных облаков. Грубо говоря, объединить в одном окошке облачные сервисы, которые официально не умеют друг с другом взаимодействовать, не имеют общих API и др.

Разработка программы ещё не закончена, но обещают выпустить клиенты под Windows, Linux, MacOS, iOS, watchOS и Android. Можно записаться в список ожидания, чтобы вас первым оповестили о релизе.

Файл-менеджер будет выглядеть примерно таким образом:

Что такое VDFS

Отдельно нужно сказать пару слов о VDFS (virtual distributed filesystem) — виртуальной распределённой файловой системе, написанной на Rust. Это фундамент, на котором базируется Spacedrive.

VDFS предоставляет единый API для доступа к файлам на всех ваших устройствах (смартфоны, персональные компьютеры, серверы) и облачных дисках. То есть это единый интерфейс, который ведёт виртуальный индекс всех мест хранения файлов, а также синхронизирует БД между клиентами в режиме реального времени. Данная реализация использует архитектуру CAS (Content-addressable storage, контентно-адресуемое хранилище данных) для уникальной идентификации файлов, сохраняя логические пути файлов относительно мест хранения.

Первую реализацию VDFS можно найти в статье Хаоюана Ли из Калифорнийского университета в Беркли. Там предполагается использовать VDFS в облачных хранилищах, но ничто не помешает перенести концепцию в клиентский софт, что и делается в Spacedrive.

Spacedrive находится в активной разработке, а большинство функций или в статусе «экспериментальная», или ещё не реализованы, а только запланированы.

• обнаружение файлов (сканирование всех устройств, дисков и облачных аккаунтов для создания каталога всех файлов с метаданными);
• генерация превью (автоматическое создание маленьких превью для изображений и видео);
• статистика (общий объём, размер индекса, свободное пространство и другое).

• файл-менеджер — просмотр онлайн- и офлайн-хранилищ, файлов с метаданными, базовые функции CRUD (файл-менеджер разрабатывается прямо сейчас, к моменту публикации статьи может быть готов);
• синхронизация в реальном времени (тоже в разработке прямо сейчас);
• фото- и видеоальбомы;
• поиск по файловой системе;
• теги для автоматизации рабочих процессов, массовых операций с группами файлов, организации фотоколлекций;
• расширения (интеграция сторонних сервисов и расширение функциональности Spacedrive).

• интеграция облаков — Apple Photos, Google Drive, Dropbox, OneDrive, создание API для добавления других облаков, таких как Яндекс.Диск;
• зашифрованные хранилища, модуль поверх VeraCrypt;
• менеджер ключей;
• установка коэффициента избыточности для файлов, мониторинг состояния устройств и накопителей;
• таймлайн/версионность (просмотр файловой системы за любой момент времени в прошлом);
• кодер аудио- и видеофайлов на базе FFMPEG в разные форматы с поддержкой тегов;
• воркеры (распределение вычислений по нескольким своим устройствам во время кодирования или других ресурсоёмких вычислений);
• бесплатный хостинг Spacedrive Cloud на своём сервере (или платная подписка).

По сути, это смена парадигмы. Не множество пользователей представляют собой ресурс для одной экосистемы, а наоборот — много облачных провайдеров становятся ресурсами для хостинга файлов отдельного пользователя. Это более правильная парадигма.

Шифрование файлов в своём облаке

Cryptomator — удобная программа для шифрования файлов, которые хранятся на облачном хостинге. В то время как Spacedrive только обещает реализовать модуль шифрования в своём файл-менеджере, здесь всё уже готово и работает.

Можно создать зашифрованное хранилище файлов всего в несколько щелчков мыши:

Хранилище открывается в файл-менеджере после введения пароля, его можно просматривать и добавлять файлы. А само хранилище легко скопировать на любое облако — это просто папка с vault.cryptomator и зашифрованными файлами в формате *.c9r .

Под Windows для более удобной работы рекомендуется скачать и установить сторонний драйвер WinFsp (Windows File System Proxy). Это своеобразный аналог FUSE для Unix, который упрощает работу сторонних файловых систем под Windows.

В качестве более простой альтернативы, которая работает из командной строки, можно рекомендовать gocryptfs (Linux), cppcryptfs (Windows) или DroidFS (Android). Всё это оверлейные зашифрованные файловые системы, которые прозрачно работают поверх основной ФС, что очень удобно — со стороны они выглядят как обычные папки и обычные файлы, только со странными названиями и нечитаемым содержимым.

В целом, это более простая альтернатива команде crypt, которая поддерживается в rclone .

Копия облака в другом облаке

Как дома, так и в других местах, файлы с одного сервера дублируются на другом для надёжности, так и в интернете на каждое облако нужно второе, резервное. Это элементарная безопасность.

Некоторые даже бизнес-модель построили на этой идее. Например, сервис rsync.net предлагает облачное хранилище и удобный бэкап других облаков с помощью стандартных linux-инструментов типа borg, restic, rclone, git-annex и др.

По сути, rsync.net предоставляет клиенту пустую файловую систему UNIX и доступ к ней по SSH. Никаких обвесистых клиентов GUI или API, всё работает настолько просто, насколько просто выглядит. Это удалённая файловая система, доступная из локальной консоли. Дата-центр даже не использует ни файрволов, ни маршрутизаторов, потому что в них «нет особой необходимости». Просто стоят серверы FreeBSD, набитые накопителями с файловой системой ZFS — одно огромное файлохранилище.

Вообще, серверы у них сконфигурированы довольно интересно: это в основном корпуса 4U типа JBOD (just a bunch of disks), куда втиснуто от 45 до 60 накопителей SSD в каждый. Массивы накопителей подключаются к управляющим хед-юнитам 2U, в которых установлено 16 SSD, в том числе два загрузочных и 14 для кэшей на чтение (L2ARC) и запись (SLOG). Специфика файловой системы ZFS такова, что требуется много оперативной памяти, поэтому хед-юниты поддерживают до 2 ТБ.

Такое удалённое файлохранилище легко интегрировать в любую файловую систему, примонтировав его как накопитель под Windows, macOS или Linux. Например, назначить букву диска под Windows.

Это хранилище специально для резервных копий, чтобы сбрасывать туда бэкапы с локальной системы, с продакшна или из облака. В последнем случае мы получаем копию одного облака в другом облаке. Тоже шаг к нашей цели — гибридной архитектуре из нескольких облаков, хотя шаг немного с другой стороны.

В свою очередь, rclone — утилита командной строки, которая позволяет управлять файлами практически на любом облачном хостинге. Сейчас поддерживается более 40 облачных провайдеров, включая хранилище объектов S3, хранилища Yandex Disk, Mail.ru Cloud, Microsoft OneDrive, Dropbox, Google Drive и другие.

В общем, rclone в облаке — это эквивалент локальным unix-командам rsync, cp, mv, mount, ls, ncdu, tree, rm и cat. Утилита также позволяет примонтировать облачное хранилище в виде локального диска под Windows, macOS, Linux или FreeBSD.

Децентрализованная архитектура на основе ячеек

Итак, мы сформулировали парадигму «персонального хранилища», которое состоит из разных облаков, множества личных устройств и накопителей. Все файлы распределяются по носителям/облакам с указанной степенью избыточности, но доступны из единого «окна».

Как видим, постепенно появляются инструменты, которые поддерживают эту парадигму. В неё вписывается модель независимых «персональных подов» с личной информацией — концепция SOLID от Тима Бернерса-Ли.

Всё это может работать в децентрализованной системе, где независимые модули осуществляют коммуникацию друг с другом по открытым стандартам и протоколам, поддерживающим связь всех со всеми.

Такая система напоминает ещё одну интересную концепцию из области бизнеса — децентрализованную архитектуру организации на основе ячеек, Cell-Based Architecture.

Это облачная инфраструктура для современных цифровых компаний, созданная по образцу Agile, микросервисов и многоклеточных организмов в биологии.

В современных компаниях новая архитектура призвана заменить многоуровневую или сегментированную структуру с отделами и подразделениями.

В принципе, это очень красивая концепция. Поскольку мы и сами — многоклеточные существа, то идея с относительно независимыми клетками в рамках единого организма уже доказала свою эффективность. MVP готов. Поэтому можно предположить, что и микросервисы в рамках одного приложения тоже будут отлично работать, и независимые ячейки в рамках организации, и независимые облачные хостинги в одном окошке. Почему нет?

А какие решения предпочитаете вы?

НЛО прилетело и оставило здесь промокод для читателей нашего блога:

— 15% на все тарифы VDS (кроме тарифа Прогрев) — HABRFIRSTVDS .

• Блог компании FirstVDS
• Системное администрирование
• Хранение данных
• Софт

Источник: habr.com