AWS S3 Service

S3 Service

Dịch vụ S3 (Amazon Simple Storage Service) là một dịch vụ lưu trữ đám mây của Amazon Web Services (AWS). Nó cung cấp khả năng lưu trữ đáng tin cậy, bền bỉ và dễ dàng sử dụng cho các dữ liệu và tệp tin của bạn trên internet.

Dưới đây là một số điểm chính về dịch vụ S3:

S3: Đây là viết tắt của "Simple Storage Service", một dịch vụ lưu trữ đám mây của Amazon Web Services (AWS).
Simply store files on the internet: S3 cho phép bạn lưu trữ các tệp tin như hình ảnh, video, văn bản, file log, vv. trên internet một cách đơn giản và hiệu quả.
Object-based storage: S3 lưu trữ dữ liệu dưới dạng các object và không phải là cấu trúc thư mục như trong hệ thống tệp tin thông thường. Mỗi object trong S3 được xác định bằng một khóa duy nhất.
Infinitely scaling, reliable, durable, secure, inexpensive: Mở rộng linh hoạt và không giới hạn khi có nhu cầu tăng cường lưu trữ hoặc xử lý dữ liệu, đảm bảo độ tin cậy, bền bỉ, an toàn và giá thành thấp.
Many AWS services integration: S3 tích hợp với nhiều dịch vụ khác của AWS, giúp bạn có thể sử dụng dữ liệu trong S3 với các dịch vụ khác một cách dễ dàng.
Global Service: S3 là một dịch vụ toàn cầu, có thể truy cập từ bất kỳ nơi nào trên thế giới với kết nối internet.
Use cases: Sử dụng S3 để lưu trữ các tệp tin, sao lưu dữ liệu, lưu trữ website, và nhiều ứng dụng khác liên quan đến việc lưu trữ và quản lý dữ liệu trên đám mây.

https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html

Components

Bucket

Is a container, or folder to store objects (files):
- Bucket là một không gian lưu trữ dùng để chứa các object (objects), tương tự như các thư mục hoặc thùng chứa để lưu trữ các tệp tin.
Globally unique name (similar to ID in region):
- Tên của bucket phải là duy nhất trên toàn cầu (global) trong Amazon S3. Nó tương tự như một ID và phải là duy nhất trong mỗi khu vực (region).
Naming Rules:
- Có các quy tắc về cách đặt tên cho bucket, bao gồm các ký tự được phép và không được phép, độ dài tối đa và tối thiểu của tên bucket.
- Chỉ chưa ký tự viết thường, số, dấu chấm (.), gạch ngang (-) Độ dài từ 3-63 ký tự Không được có format của IP
Cannot rename bucket:
- Một khi đã tạo bucket, bạn không thể đổi tên cho bucket. Điều này có nghĩa là tên của bucket là cố định và không thể thay đổi sau khi tạo.
Not support nested bucket:
- Amazon S3 không hỗ trợ việc tạo các bucket lồng nhau. Điều này có nghĩa là bạn không thể tạo bucket con trong bucket cha.
Max 100 buckets per account:
- Mỗi tài khoản AWS có thể tạo tối đa 100 buckets trên Amazon S3. Số lượng này có thể được tăng lên nếu cần thiết thông qua yêu cầu đặc biệt.
Region resource:
- Bucket được liên kết với một khu vực cụ thể trong hạ tầng đám mây của AWS. Các object trong bucket sẽ được lưu trữ tại khu vực đó và sẽ truy cập nhanh chóng từ các dịch vụ khác trong cùng một khu vực.

Object

Is a file:
- Đây là một object dữ liệu, tương tự như một tệp tin trong hệ thống tệp tin thông thường.
Size: 0 bytes -> 5 TB:
- object có thể có kích thước từ 0 bytes đến 5 terabytes (TB), cho phép lưu trữ các tệp tin với kích thước lớn.
Format: audio, image, text, file log, .html ...:
- object có thể chứa nhiều loại định dạng dữ liệu khác nhau, bao gồm âm thanh, hình ảnh, văn bản, file log, trang web HTML và nhiều định dạng khác.
Cannot limit file amount:
- S3 không hỗ trợ việc giới hạn số lượng object (file) trong một bucket. Bạn có thể lưu trữ bất kỳ số lượng object nào mà không cần phải đặt một giới hạn cụ thể.
Components: meta data & data:
- Meta Data (Metadata): Đây là thông tin mô tả về đối tượng, bao gồm các thuộc tính như tên file, loại file, kích thước, thời gian tạo và các siêu dữ liệu khác mà bạn có thể đính kèm vào đối tượng. Metadata cho phép bạn tổ chức và quản lý dữ liệu một cách hiệu quả hơn.
- Data: Đây là nội dung thực sự của đối tượng, chẳng hạn như hình ảnh, video, tệp văn bản, hoặc bất kỳ loại dữ liệu nào khác mà bạn lưu trữ trong Amazon S3. Data là phần "thân thể" của đối tượng, và nó được truy cập và xử lý bởi các ứng dụng hoặc dịch vụ khác nhau thông qua các yêu cầu API của Amazon S3.
Key:
1. Đây là một định danh duy nhất cho mỗi object trong Amazon S3.
2. Tiền tố (Prefix): Là một chuỗi ký tự đặc biệt, thường là một thư mục.
3. Tên object (Object Name): Là tên duy nhất của object trong Amazon S3. Nó là phần cuối cùng của "key" và thường là tên của tệp hoặc object dữ liệu.
4. Unique Identity = BucketName + Key + Version (Key = prefix + objectName)
  - Ex: s3://my-bucket/my_folder/another_folder/my_file.txt
5. Object URL : bucketname.s3.[region].amazonaws.com/prefix/objectName
6. S3 is unstructured -> using prefixes to specify objects (Similar to folder)

Object Ownership và ACLs

Trong Amazon S3, "Object Ownership" và "ACLs" (Access Control Lists) là hai khái niệm quan trọng liên quan đến quản lý quyền truy cập vào các object (objects). Dưới đây là ý nghĩa và chức năng của mỗi khái niệm:

Object Ownership:
- Ý nghĩa: Object Ownership đề cập đến quyền sở hữu và quản lý của object trong S3. Nó xác định người hoặc tài khoản AWS có quyền kiểm soát và thực hiện các thao tác trên object đó, chẳng hạn như đọc, ghi, xóa, và thay đổi quyền truy cập.
- Chức năng: Khi Object Ownership được kích hoạt, người sở hữu object (owner) có thể quản lý quyền truy cập vào object bằng cách thiết lập chính sách truy cập, cũng như thực hiện các thao tác khác như sao chép, di chuyển, và xóa object mà không cần sự can thiệp từ bất kỳ ai khác.
Access Control Lists (ACLs):
- Ý nghĩa: ACLs cho phép bạn điều chỉnh quyền truy cập vào object dựa trên các quy tắc và phân quyền cụ thể. Bằng cách sử dụng ACLs, bạn có thể chỉ định các quyền truy cập riêng lẻ cho các người dùng, nhóm người dùng, hoặc tài khoản AWS khác nhau.
- Chức năng: ACLs cho phép bạn quản lý và kiểm soát việc truy cập vào object trong S3. Bạn có thể thiết lập các ACL để cho phép hoặc từ chối quyền truy cập đọc, ghi, và xóa cho người dùng hoặc nhóm người dùng cụ thể.

Sự khác biệt:

ACLs disabled: Khi bạn tắt ACLs cho một bucket, việc quản lý quyền truy cập sẽ dựa vào IAM policies. Bạn sẽ gán quyền truy cập vào bucket thông qua các policies IAM, điều này cung cấp một cách linh hoạt hơn trong việc quản lý quyền truy cập, cho phép bạn áp dụng các quyền cụ thể cho người dùng hoặc nhóm người dùng một cách chi tiết hơn và linh hoạt hơn.
ACLs enabled: Khi bạn bật ACLs cho một bucket, bạn có thể cấp quyền truy cập bucket cho các người dùng hoặc nhóm người dùng với tài khoản AWS khắc bằng cách thêm các mục quyền truy cập cụ thể (như read, write, list) và chỉ định Canonical ID của họ. Điều này thường được sử dụng khi bạn muốn cấp quyền truy cập riêng lẻ cho các object trong bucket, đồng thời giữ cho các quyền mặc định áp dụng.
- Bucket owner preferred (Ưu tiên chủ sở hữu bucket):
  - Lựa chọn này ưu tiên sự ổn định của quyền sở hữu của chủ sở hữu bucket. Nghĩa là, các object được tạo trong bucket sẽ được thiết lập để kế thừa quyền sở hữu của bucket, dù object đó được tạo bởi ai đi nữa.
  - Khi một object mới được tạo trong bucket, nó sẽ được tự động thiết lập để kế thừa quyền sở hữu từ chủ sở hữu của bucket, trừ khi được chỉ định một cách rõ ràng.
  - Điều này giúp đảm bảo rằng chủ sở hữu bucket có quyền truy cập đầy đủ vào tất cả các object trong bucket mà không cần phải áp dụng lại các quyền cụ thể cho mỗi object.
- Object writer (Người ghi object):
  - Lựa chọn này ưu tiên sự ổn định của quyền sở hữu của người tạo ra object (người ghi object). Nghĩa là, khi một object mới được tạo trong bucket, nó sẽ tự động được thiết lập với quyền sở hữu thuộc về người tạo ra object đó.
  - Điều này có nghĩa là người tạo ra object (người ghi object) sẽ có quyền truy cập đầy đủ vào object đó mà không cần phải áp dụng lại các quyền cụ thể sau khi tạo

Block Public Access

"Tùy chọn Block Public Access settings for this bucket" trong Amazon S3 được thiết kế để cung cấp một cách để quản lý và bảo vệ dữ liệu của bạn trước các public access không mong muốn. Điều này rất quan trọng để đảm bảo rằng dữ liệu quan trọng của bạn không bị truy cập hoặc phát tán một cách không kiểm soát.

Dưới đây là các tùy chọn của tính năng Block Public Access settings và ví dụ về cách chúng hoạt động:

Block all public access:
- Tính năng: Ngăn chặn tất cả các public access vào bucket và các object trong bucket.
- Ví dụ: Nếu bạn có một bucket lưu trữ dữ liệu nhạy cảm mà bạn không muốn chia sẻ với bất kỳ ai khác ngoài các tài khoản của mình, bạn có thể bật tính năng này để đảm bảo rằng không ai có thể truy cập vào dữ liệu đó từ bên ngoài.
Block public access to buckets and objects granted through new access control lists (ACLs):
- Tính năng: Ngăn chặn các quyền public access mới được cấp thông qua các Access Control Lists (ACLs).
- Ví dụ: Nếu bạn cấp quyền public access cho một số object trong bucket thông qua ACLs, bạn có thể bật tính năng này để ngăn chặn việc cấp quyền public access trong tương lai thông qua ACLs.
Block public access to buckets and objects granted through any access control lists (ACLs):
- Tính năng: Ngăn chặn tất cả các quyền public access được cấp qua Access Control Lists (ACLs).
- Ví dụ: Nếu bạn muốn đảm bảo rằng không có quyền public access nào được cấp cho bất kỳ object hoặc bucket nào qua ACLs, bạn có thể bật tính năng này.
Block public access to buckets and objects granted through new public bucket or access point policies:
- Tính năng: Ngăn chặn quyền public access được cấp qua chính sách bucket công khai hoặc chính sách điểm public access mới.
- Ví dụ: Nếu bạn không muốn cho phép việc cấp quyền public access thông qua chính sách bucket công khai hoặc chính sách điểm public access, bạn có thể bật tính năng này.
Block public and cross-account access to buckets and objects through any public bucket or access point policies:
- Tính năng: Ngăn chặn quyền public access và truy cập từ tài khoản khác vào các object hoặc bucket thông qua các chính sách bucket hoặc chính sách điểm public access.
- Ví dụ: Nếu bạn muốn hạn chế quyền truy cập từ các tài khoản khác vào dữ liệu của bạn, bạn có thể bật tính năng này để ngăn chặn quyền public access và truy cập từ các tài khoản khác.

Versioning

Trong Amazon S3 (Simple Storage Service), "versioning" là tính năng cho phép bạn lưu trữ nhiều phiên bản của các object (objects) trong một bucket.
Khi bật versioning, S3 sẽ không xoá một object mà chỉ đánh dấu nó đã bị xóa. Điều này giúp ngăn chặn mất mát dữ liệu do sơ xuất hoặc tấn công, và cũng cho phép bạn khôi phục các phiên bản trước đó của một object nếu cần.
Khi versioning được bật, mỗi khi một object được cập nhật hoặc xóa, một phiên bản mới được tạo ra, với một số phiên bản chính là phiên bản hiện tại. Bạn có thể truy cập các phiên bản trước bằng cách sử dụng mã xác định phiên bản hoặc thông qua giao diện người dùng của AWS.
Để bật versioning trên một bucket S3, bạn có thể sử dụng management console, AWS (CLI) hoặc SDK của AWS trong các ứng dụng của mình.

Storage class

Standard Storage:
- Chi phí: Đây là loại lưu trữ có chi phí cao nhất trong các loại, nhưng cung cấp hiệu suất và độ tin cậy cao nhất.
- Đặc điểm: Dữ liệu được lưu trữ ở nhiều khu vực (availability zones) khác nhau để đảm bảo độ sẵn sàng và tin cậy cao.
- Usecases: Phổ biến nhất và được sử dụng rộng rãi cho các mục đích tổng quát như lưu trữ tệp tin, phân tích dữ liệu lớn, ứng dụng di động và trò chơi, phân phối nội dung, và nhiều mục đích khác.
Standard-Infrequent Access (Standard-IA):
- Chi phí: Loại lưu trữ này có chi phí lưu trữ thấp hơn so với Standard Storage, nhưng phí truy cập dữ liệu sẽ cao hơn.
- Đặc điểm: Dữ liệu được lưu trữ ở nhiều khu vực khác nhau, tương tự như Standard Storage.
- Usecases: Sử dụng cho các tệp tin mà truy cập không thường xuyên nhưng cần sự sẵn sàng nhanh chóng khi cần, lưu trữ dữ liệu dành cho phục hồi sau thảm họa, sao lưu và phục hồi dữ liệu.
One zone-IA:
- Chi phí: Thấp hơn so với Standard-IA, nhưng chỉ lưu trữ dữ liệu trong một khu vực duy nhất.
- Đặc điểm: Dữ liệu chỉ được lưu trữ trong một khu vực, giảm chi phí lưu trữ.
- Usecases: Sử dụng cho các tệp tin mà truy cập không thường xuyên, lưu trữ bản sao dự phòng phụ của dữ liệu từ trên nền tảng, lưu trữ dữ liệu lưu trữ phụ.
Intelligent Tiering:
- Tự động di chuyển đối tượng: Intelligent Tiering tự động di chuyển đối tượng giữa hai tier lưu trữ: Standard và Infrequent Access (IA) để tối ưu hóa chi phí lưu trữ.
- Phản hồi linh hoạt: Nếu bạn truy cập đối tượng thường xuyên, nó sẽ được giữ trong tier Standard để đảm bảo thời gian phản hồi nhanh nhất. Nếu đối tượng ít được truy cập, nó sẽ được di chuyển xuống tier IA để tiết kiệm chi phí.
- Giá cả linh hoạt: Intelligent Tiering cung cấp giá cả linh hoạt và tự động điều chỉnh giữa hai tier lưu trữ, giúp bạn tiết kiệm chi phí lưu trữ mà không cần can thiệp thủ công.
- Giảm rủi ro về chi phí: Bằng cách tự động di chuyển đối tượng giữa các tier lưu trữ, Intelligent Tiering giúp giảm rủi ro về chi phí lưu trữ khi bạn không cần phải quản lý việc di chuyển đối tượng thủ công.
- Usecases: Thường ít được sử dụng, nhưng cung cấp một cách tự động và linh hoạt để quản lý chi phí và hiệu suất cho dữ liệu. Đặc biệt hữu ích cho các tệp tin mà mẫu truy cập có thể thay đổi theo thời gian.
Glacier:
- Chi phí: Dịch vụ này có chi phí thấp hơn so với các lựa chọn lưu trữ khác trong Amazon S3.
- Khả năng truy cập: Dữ liệu không thể truy cập ngay lập tức mà cần mất thời gian từ 3 đến 5 giờ, có thể lên đến 12 giờ.
- Lưu trữ dài hạn: Dữ liệu được lưu trữ trong thời gian dài, có thể lên đến vài chục năm.
- Chính sách Lifecycle: Cho phép tự động quản lý việc di chuyển dữ liệu giữa các tầng lưu trữ khác nhau.
- Tùy chọn khôi phục dữ liệu:
  - Bao gồm Expedited (nhanh chóng) (1 to 5 minutes),
  - Standard (tiêu chuẩn) (3 to 5 hours),
  - Bulk (lớn) (5 to 12 hours).
- Thời gian lưu trữ tối thiểu: Có thời gian lưu trữ tối thiểu là 90 ngày, việc xóa dữ liệu trước 90 ngày cũng sẽ bị tính phí.
- Giới hạn lấy ra dữ liệu: Mỗi tháng, bạn có thể lấy ra 5% dung lượng lưu trữ miễn phí, việc lấy ra nhiều hơn sẽ phải trả phí.
- Use cases: Thích hợp cho việc lưu trữ dữ liệu lâu dài như lưu trữ dự phòng, lưu trữ dữ liệu lịch sử, và các nhu cầu lưu trữ dữ liệu dài hạn khác.
- Các thành phần:
  - Vaults (Kho):
    - Là một không gian lưu trữ dành cho các bản lưu trữ (archives), tương tự như các thư mục hoặc thùng chứa trong hệ thống tệp tin.
    - Max 1000 vaults per region
  - Archives (Bản lưu trữ): Là các object dữ liệu được lưu trữ trong Glacier, có thể là hình ảnh, văn bản, tệp tin và dữ liệu khác. Mỗi bản lưu trữ có dung lượng tối đa là 40 TB và không có giới hạn về số lượng.
- Guide
  - https://docs.aws.amazon.com/amazonglacier/latest/dev/amazon-glacier-getting-started.html
Glacier Deep Archive
- Chi phí: Là dịch vụ lưu trữ có chi phí thấp nhất trong các loại lựa chọn của Amazon S3.
- Khả năng truy cập: Dữ liệu có thể mất đến 12 giờ để truy cập.
- Tùy chọn khôi phục dữ liệu: Có hai tùy chọn khôi phục dữ liệu là Standard (12 giờ) và Bulk (48 giờ), tương tự như Glacier nhưng thời gian chờ lâu hơn.
- Thời gian lưu trữ tối thiểu: Có thời gian lưu trữ tối thiểu là 180 ngày.
- Use cases: Thích hợp cho các tệp tin chỉ được truy cập một số lần trong năm, hoặc những dữ liệu mà bạn không cần truy cập thường xuyên nhưng vẫn muốn lưu trữ lâu dài với chi phí thấp nhất.
Reduced Redundancy Storage (RRS)
- Chi phí: Dịch vụ này có chi phí thấp hơn so với các loại lựa chọn lưu trữ khác trong Amazon S3.
- Mức độ đảm bảo: Dữ liệu được lưu trữ với mức độ đảm bảo giảm so với Standard Storage, có nghĩa là có ít bản sao hơn được lưu trữ.
- Usecases: RRS thường được sử dụng cho các tệp tin không quan trọng hoặc dễ dàng tái tạo, như các hình ảnh thumbnail, các bản sao lưu không cần thiết, hoặc dữ liệu tạm thời.
- Deprecated: Dịch vụ này đã bị Deprecated và không được khuyến nghị cho việc sử dụng mới từ tháng 8 năm 2018. Các khách hàng hiện tại được khuyến nghị chuyển sang sử dụng các loại lựa chọn lưu trữ khác trong Amazon S3 như Standard hoặc Standard-IA để đảm bảo tính sẵn sàng và độ tin cậy cao hơn.

https://aws.amazon.com/vi/s3/storage-classes/

Price: https://aws.amazon.com/s3/pricing

Estimate cost: https://calculator.aws/#/createCalculator/S3

Price

Dưới đây là một tóm tắt về giá cả cho các tính năng và dịch vụ khác nhau khi sử dụng Amazon S3:

Storage
- Lưu Trữ (Storage): Các khoản phí cho lưu trữ dữ liệu trong Amazon S3 được tính theo dung lượng dữ liệu bạn sử dụng mỗi tháng. Giá cả có thể thay đổi tùy thuộc vào vùng địa lý và loại lưu trữ được chọn.
Request, delete,... manipulate data
- Yêu Cầu (Request): Chi phí yêu cầu được tính dựa trên số lượng các hoạt động như GET, PUT, DELETE, LIST và các hoạt động khác đối với các object trong S3.
Transfer data in – free (Uploading is free)
- Chuyển Dữ Liệu Vào (Transfer data in): Các khoản phí cho việc tải dữ liệu lên S3 là miễn phí.
Transfer data out – charge (Downloading file will charged fee)
- Chuyển Dữ Liệu Ra (Transfer data out): Chi phí cho việc tải dữ liệu từ S3 xuống máy tính hoặc thiết bị khác sẽ được tính toán dựa trên lượng dữ liệu được truyền ra khỏi Amazon S3. Giá cả cũng phụ thuộc vào vùng địa lý và dung lượng truyền dữ liệu.
Transfer acceleration
- Transfer Acceleration: thường có một chi phí bổ sung so với việc truy cập thông thường vào Amazon S3. Chi phí này được tính dựa trên lượng dữ liệu được truyền qua mạng lưới tối ưu hóa.
Storage management (fee managed by aws)
- Quản Lý Lưu Trữ (Storage management): Chi phí cho các dịch vụ quản lý lưu trữ như S3 Lifecycle, S3 Object Tagging, S3 Analytics và các tính năng quản lý dữ liệu khác được quản lý bởi AWS và có thể được tính theo dịch vụ hoặc số lượng yêu cầu.
Replication
- Sao Chép (Replication): Amazon S3 cung cấp các tính năng sao chép dữ liệu giữa các kho S3 khác nhau. Chi phí cho việc sao chép này cũng phụ thuộc vào lượng dữ liệu được sao chép và các yêu cầu liên quan đến quản lý.
Cross region
- Sao Chép Xuyên Khu Vực (Cross-region Replication): Nếu bạn sử dụng tính năng sao chép xuyên khu vực, bạn sẽ chịu thêm chi phí cho việc sao chép dữ liệu qua các khu vực khác nhau.

Best practices

Frequent Access => Choose Standard
After 1 to 3 months, the traffic decreases a lot => Choose IA
After 3 months, there is almost no access => Choose Glacier
After 6 months, there is almost no access => Choose Glacier Deep Archive
For objects you don’t need in real-time => Choose Glacier

Thực hành

Create Bucket
Upload Objects into bucket

Allow Public Access

Cách 1: Cấu hình thủ công

Cách 2: Sử dụng resource policy

{
    "Version": "2012-10-17",
    "Id": "Policy1710384852296",
    "Statement": [
        {
            "Sid": "Stmt1710384850357",
            "Effect": "Allow",
            "Principal": "*",
            "Action": [
                "s3:GetObject",
                "s3:PutObject"
            ],
            "Resource": "arn:aws:s3:::your-bucket-name/*"
        }
    ]
}

Cả 2 cách đều cho kết quả:

Thực hành versioning
Create folder
- Create folder /13-2-2024
Hosting static website
- Upload 2 file index.html & error.html
- Config Hosting Website:

Có thể bạn chưa biết?

Trong Amazon S3, nếu bạn đang sử dụng cả Identity-Based Policies, Resource-Based Policies và Access Control Lists (ACLs), thì việc xác định cái nào có độ ưu tiên cao hơn phụ thuộc vào cách bạn cấu hình chúng. Tuy nhiên, ở mức độ tổng quan:

Resource-Based Policies (Bucket Policies và Object Policies):
- Resource-based policies có độ ưu tiên cao hơn so với Identity-Based Policies và ACLs. Chính sách này được gắn với bucket hoặc đối tượng cụ thể và ảnh hưởng trực tiếp đến quyền truy cập vào bucket hoặc đối tượng đó.
Identity-Based Policies (IAM Policies):
- Identity-based policies có độ ưu tiên cao hơn so với ACLs. Chính sách này được gắn với tài nguyên IAM như người dùng, nhóm hoặc vai trò, và xác định quyền truy cập của họ đối với tất cả các tài nguyên mà họ có thể truy cập.
Access Control Lists (ACLs):
- ACLs có độ ưu tiên thấp nhất trong ba loại này. Chúng được gắn với từng đối tượng (bucket hoặc đối tượng) riêng lẻ và có thể được sử dụng để thêm hoặc hạn chế quyền truy cập cho một số người dùng hoặc tài khoản cụ thể.