Python, Boto3 и AWS S3: демистифицированы

Для начала вам понадобится S3bucket. Чтобы создать один программно, вы должны сначала выбрать имя для вашего ведра. Помните, что это имя должно быть уникальным для всей платформы AWS, так как имена сегментов соответствуют DNS. Если вы попытаетесь создать сегмент, но другой пользователь уже указал желаемое имя блока, ваш код не будет выполнен. Вместо успеха вы увидите следующую ошибку:botocore.errorfactory.BucketAlreadyExists.

Вы можете увеличить свои шансы на успех при создании своего ведра, выбрав случайное имя. Вы можете создать свою собственную функцию, которая сделает это за вас. В этой реализации вы увидите, как использование модуляuuid поможет вам в этом. Строковое представление UUID4 имеет длину 36 символов (включая дефисы), и вы можете добавить префикс, чтобы указать, для чего предназначен каждый сегмент.

Вот способ, которым вы можете достичь этого:

У вас есть имя группы, но теперь есть еще одна вещь, о которой вам нужно знать: если ваш регион не находится в Соединенных Штатах, вам нужно будет явно указать регион при создании группы. В противном случае вы получитеIllegalLocationConstraintException.

Чтобы проиллюстрировать, что это означает, когда вы создаете свою корзину S3 в неамериканском регионе, взгляните на код ниже:

Вам необходимо указать как имя корзины, так и конфигурацию корзины, в которой вы должны указать регион, которым в моем случае являетсяeu-west-1.

Это не идеально. Представьте, что вы хотите взять свой код и развернуть его в облаке. Ваша задача будет становиться все труднее, потому что вы жестко закодировали регион. Вы можете реорганизовать регион и преобразовать его в переменную окружения, но тогда вам придется управлять еще одной вещью.

К счастью, есть лучший способ получить область программно, используя объектsession. Boto3 создастsession из ваших учетных данных. Вам просто нужно взять регион и передать егоcreate_bucket() в качестве конфигурацииLocationConstraint. Вот как это сделать:

Приятно то, что этот код работает независимо от того, где вы хотите его развернуть: локально / EC2 / Lambda. Более того, вам не нужно жестко кодировать свой регион.

Поскольку и клиент, и ресурс создают сегменты одинаково, вы можете передать любую из них в качестве параметраs3_connection.

Теперь вы создадите два ведра. Сначала создайте его с помощью клиента, который вернет вамbucket_response в качестве словаря:

>>>

Затем создайте вторую корзину, используя ресурс, который вернет вам экземплярBucket какbucket_response:

>>>

Вы получили свои ведра. Далее вы захотите начать добавлять к ним несколько файлов.

Вы можете называть свои объекты, используя стандартные соглашения об именах файлов. Вы можете использовать любое действительное имя. В этой статье вы познакомитесь с более конкретным случаем, который поможет вам понять, как работает S3.

Если вы планируете разместить большое количество файлов в своей корзине S3, есть кое-что, что вы должны иметь в виду. Если все имена ваших файлов имеют детерминированный префикс, который повторяется для каждого файла, например формат метки времени, например «ГГГГ-ММ-ДДTчч: мм: сс», то вскоре вы обнаружите, что сталкиваетесь сperformance issues когда вы пытаетесь взаимодействовать со своим ведром.

Это произойдет, потому что S3 берет префикс файла и сопоставляет его с разделом. Чем больше файлов вы добавите, тем больше будет назначено одному разделу, и этот раздел будет очень тяжелым и менее отзывчивым.

Что вы можете сделать, чтобы этого не случилось?

Самое простое решение - рандомизировать имя файла. Вы можете представить себе множество различных реализаций, но в этом случае вы воспользуетесь доверенным модулемuuid, чтобы помочь с этим. Чтобы упростить чтение имен файлов в этом руководстве, вы возьмете первые шесть символов представления сгенерированного числаhex и объедините их с вашим базовым именем файла.

Приведенная ниже вспомогательная функция позволяет вам передавать количество байтов, которое вы хотите иметь в файле, имя файла и пример содержимого для повторяемого файла, чтобы получить желаемый размер файла:

Создайте свой первый файл, который вы скоро будете использовать:

Добавляя случайность к именам файлов, вы можете эффективно распределять свои данные в своем сегменте S3.

Следующий шаг после создания вашего файла - посмотреть, как его интегрировать в рабочий процесс S3.

Именно здесь классы ресурса играют важную роль, поскольку эти абстракции облегчают работу с S3.

Используя ресурс, вы получаете доступ к классам высокого уровня (Bucket иObject). Вот как вы можете создать один из них:

Причина, по которой вы не заметили ошибок при создании переменнойfirst_object, заключается в том, что Boto3 не обращается к AWS для создания ссылки. bucket_name иkey называются идентификаторами, и они являются необходимыми параметрами для созданияObject. Любой другой атрибутObject, например его размер, загружается лениво. Это означает, что для того, чтобы Boto3 получил запрошенные атрибуты, он должен сделать вызовы в AWS.

Bucket иObject являются подресурсами друг друга. Подресурсы - это методы, которые создают новый экземпляр дочернего ресурса. Идентификаторы родителя передаются дочернему ресурсу.

Если у вас есть переменнаяBucket, вы можете создатьObject напрямую:

Или, если у вас есть переменнаяObject, вы можете получитьBucket:

Отлично, теперь вы понимаете, как генерироватьBucket иObject. Затем вы получите возможность загрузить свой новый файл в S3, используя эти конструкции.

Вы можете загрузить файл тремя способами:

В каждом случае вы должны указатьFilename, то есть путь к файлу, который вы хотите загрузить. Теперь вы исследуете три альтернативы. Не стесняйтесь выбирать то, что вам больше всего нравится, чтобы загрузитьfirst_file_name в S3.

Версия экземпляра объекта

Вы можете загрузить, используя экземплярObject:

Или вы можете использовать экземплярfirst_object:

Версия экземпляра сегмента

Вот как можно загрузить с помощью экземпляраBucket:

Версия клиента

Вы также можете загрузить с помощьюclient:

Вы успешно загрузили свой файл на S3 одним из трех доступных способов. В следующих разделах вы в основном будете работать с классомObject, поскольку операции в версияхclient иBucket очень похожи.

Чтобы загрузить файл с S3 локально, вы будете следовать тем же шагам, что и при загрузке. Но в этом случае параметрFilename будет отображаться на желаемый локальный путь. На этот раз он загрузит файл в каталогtmp:

Вы успешно загрузили свой файл с S3. Далее вы увидите, как скопировать один и тот же файл между корзинами S3, используя один вызов API.

Если вам нужно скопировать файлы из одной корзины в другую, Boto3 предлагает вам такую ​​возможность. В этом примере вы скопируете файл из первой корзины во вторую, используя.copy():

Note: Если вы хотите реплицировать свои объекты S3 в сегмент в другом регионе, обратите внимание наCross Region Replication.

Давайте удалим новый файл из второй корзины, вызвав.delete() в эквивалентном экземпляреObject:

Теперь вы видели, как использовать основные операции S3. Вы готовы поднять свои знания на следующий уровень с более сложными характеристиками в следующих разделах.

Списки контроля доступа (ACL) помогают вам управлять доступом к вашим корзинам и объектам внутри них. Они считаются устаревшим способом администрирования разрешений для S3. Почему вы должны знать о них? Если вам нужно управлять доступом к отдельным объектам, вы должны использовать объект ACL.

По умолчанию, когда вы загружаете объект в S3, этот объект является частным. Если вы хотите сделать этот объект доступным для кого-то другого, вы можете установить ACL объекта как общедоступный во время создания. Вот как вы загружаете новый файл в корзину и делаете его доступным для всех:

Вы можете получить экземплярObjectAcl изObject, так как это один из его подклассов ресурсов:

Чтобы узнать, у кого есть доступ к вашему объекту, используйте атрибутgrants:

>>>

Вы можете снова сделать свой объект приватным, не загружая его повторно:

>>>

Вы видели, как вы можете использовать ACL для управления доступом к отдельным объектам. Далее вы увидите, как вы можете добавить дополнительный уровень безопасности для ваших объектов с помощью шифрования.

Note: Если вы хотите разделить данные на несколько категорий, обратите внимание наtags. Вы можете предоставить доступ к объектам на основе их тегов.

С S3 вы можете защитить свои данные с помощью шифрования. Вы изучите шифрование на стороне сервера с использованием алгоритма AES-256, где AWS управляет как шифрованием, так и ключами.

Создайте новый файл и загрузите его, используяServerSideEncryption:

Вы можете проверить алгоритм, который использовался для шифрования файла, в данном случаеAES256:

>>>

Теперь вы понимаете, как добавить дополнительный уровень защиты к вашим объектам, используя алгоритм шифрования на стороне сервера AES-256, предлагаемый AWS.

Каждый объект, который вы добавляете в корзину S3, связан сstorage class. Все доступные классы хранения предлагают высокую долговечность. Вы выбираете способ хранения своих объектов в зависимости от требований к производительности вашего приложения.

В настоящее время вы можете использовать следующие классы хранения с S3:

Если вы хотите изменить класс хранения существующего объекта, вам необходимо воссоздать объект.

Например, повторно загрузитеthird_object и установите его класс хранения наStandard_IA:

Note: Если вы внесете изменения в свой объект, вы можете обнаружить, что ваш локальный экземпляр их не отображает. Что вам нужно сделать в этот момент, так это вызвать.reload(), чтобы получить самую новую версию вашего объекта.

Перезагрузите объект, и вы увидите его новый класс хранения:

>>>

Note: ИспользуйтеLifeCycle Configurations для перехода объектов между разными классами по мере необходимости. Они автоматически переведут эти объекты для вас.

Вы должны использовать управление версиями, чтобы вести полный учет ваших объектов с течением времени. Он также действует как защитный механизм от случайного удаления ваших объектов. Когда вы запрашиваете версионный объект, Boto3 получит последнюю версию.

Когда вы добавляете новую версию объекта, хранилище, которое занимает этот объект, является суммой размера его версий. Поэтому, если вы храните объект объемом 1 ГБ и создаете 10 версий, вам придется заплатить за 10 ГБ хранилища.

Включить управление версиями для первого сегмента. Для этого вам нужно использовать классBucketVersioning:

>>>

Затем создайте две новые версии для первого файлаObject, одну с содержимым исходного файла и одну с содержимым третьего файла:

Теперь перезагрузите второй файл, который создаст новую версию:

Вы можете получить последнюю доступную версию ваших объектов следующим образом:

>>>

В этом разделе вы узнали, как работать с некоторыми из наиболее важных атрибутов S3 и добавлять их в свои объекты. Далее вы увидите, как легко перемещаться по вашим корзинам и объектам.

Чтобы просмотреть все сегменты в вашей учетной записи, вы можете использовать атрибут ресурсаbuckets вместе с.all(), который дает вам полный список экземпляровBucket:

>>>

Вы также можете использоватьclient для получения информации о сегменте, но код более сложный, так как вам нужно извлечь его из словаря, который возвращаетclient:

>>>

Вы видели, как перебирать корзины, которые есть в вашем аккаунте. В следующем разделе вы выберете один из блоков и итеративно просмотрите объекты, которые в нем содержатся.

Если вы хотите перечислить все объекты из корзины, следующий код сгенерирует для вас итератор:

>>>

Переменнаяobj - этоObjectSummary. Это упрощенное представлениеObject. Сводная версия не поддерживает все атрибуты, которые имеетObject. Если вам нужно получить к ним доступ, используйте подресурсObject(), чтобы создать новую ссылку на базовый сохраненный ключ. Тогда вы сможете извлечь недостающие атрибуты:

>>>

Теперь вы можете итеративно выполнять операции с вашими контейнерами и объектами. Вы почти закончили. На этом этапе вы должны знать еще одну вещь: как удалить все ресурсы, которые вы создали в этом руководстве.

Чтобы иметь возможность удалить сегмент, вы должны сначала удалить каждый отдельный объект в контейнере, иначе возникнет исключениеBucketNotEmpty. Если у вас есть версионное хранилище, вам нужно удалить каждый объект и все его версии.

Если вы обнаружите, что правило LifeCycle, которое будет делать это автоматически для вас, не соответствует вашим потребностям, вот как вы можете программно удалять объекты:

Приведенный выше код работает независимо от того, включили ли вы управление версиями в вашем ведре. Если вы этого не сделаете, версия объектов будет нулевой. Вы можете выполнить пакетное удаление до 1000 удалений за один вызов API, используя.delete_objects() в экземпляреBucket, что более рентабельно, чем удаление каждого объекта по отдельности.

Запустите новую функцию для первого сегмента, чтобы удалить все версионные объекты:

>>>

В качестве финального теста вы можете загрузить файл во второе ведро. В этом сегменте не включена поддержка версий, поэтому версия будет нулевой. Примените ту же функцию, чтобы удалить содержимое:

>>>

Вы успешно удалили все объекты из обеих корзин. Теперь вы готовы удалить ведра.

В завершение вы будете использовать.delete() в экземпляреBucket, чтобы удалить первую корзину:

Если хотите, вы можете использовать версиюclient для удаления второй корзины:

Обе операции были успешными, потому что вы опустошили каждое ведро, прежде чем пытаться удалить его.

Теперь вы выполнили некоторые из наиболее важных операций, которые вы можете выполнять с S3 и Boto3. Поздравляю с этим! В качестве бонуса давайте рассмотрим некоторые преимущества управления ресурсами S3 с помощью инфраструктуры в виде кода.