Elastic Block Store (EBS) Chuyên mục EC2 Service - Foundation 2024-04-15 39 Lượt xem 35 Lượt thích 0 Bình luận Sidebar

Storage

Amazon Elastic Block Store (EBS) là một dịch vụ lưu trữ khối được quản lý bởi Amazon Web Services (AWS). Dịch vụ này cung cấp các ổ đĩa khối (block storage) có thể gắn kết với các instance Amazon EC2 (Elastic Compute Cloud) để cung cấp lưu trữ dữ liệu cho các ứng dụng.

Tính năng chính của Amazon EBS

Độ bền cao: EBS được thiết kế để cung cấp độ bền cao cho dữ liệu của bạn, với việc sao chép dữ liệu tự động để bảo vệ khỏi lỗi phần cứng.
Loại khối lưu trữ: EBS cung cấp nhiều loại khối lưu trữ khác nhau như:
- SSD (Solid State Drive): Cung cấp hiệu suất cao và phù hợp với các ứng dụng cần tốc độ truy cập dữ liệu nhanh như cơ sở dữ liệu.
- HDD (Hard Disk Drive): Thích hợp cho việc lưu trữ dữ liệu lớn hoặc lưu trữ lâu dài với chi phí thấp.
Khả năng co giãn: Bạn có thể tăng hoặc giảm dung lượng ổ đĩa EBS theo nhu cầu của ứng dụng mà không cần phải tắt instance EC2.
Sao lưu tự động và thủ công: Bạn có thể tạo các bản sao lưu (snapshots) của ổ đĩa EBS để sao lưu dữ liệu và khôi phục trong trường hợp cần thiết.
Khả năng mã hóa: Bạn có thể mã hóa ổ đĩa EBS để đảm bảo tính bảo mật của dữ liệu.
Khả năng gắn kết: Bạn có thể gắn kết một hoặc nhiều ổ đĩa EBS vào một instance EC2 để mở rộng khả năng lưu trữ.
Tính sẵn sàng cao: EBS cung cấp các tính năng dự phòng và sao lưu để đảm bảo tính liên tục của dịch vụ và độ sẵn sàng của dữ liệu.

Lợi ích của Amazon EBS

Dễ dàng sử dụng: EBS cung cấp giao diện đơn giản và trực quan để quản lý ổ đĩa và dữ liệu.
Khả năng mở rộng: EBS cho phép bạn mở rộng lưu trữ khi cần thiết một cách linh hoạt.
Tích hợp chặt chẽ với EC2: EBS được thiết kế để tích hợp với EC2, giúp quản lý lưu trữ và ứng dụng dễ dàng hơn.
Types
- Amazon EC2 Instance Storage
- Amazon Elastic Block Store (EBS)
- File storage: Amazon EFS, Amazon FSx, S3 (Next Lesson)

Một số thuật ngữ

Một số thuật ngữ:
- Size (GiB):
  - Kích thước (tính bằng gigabyte, GiB) là tham số xác định dung lượng lưu trữ của một volume EBS.
- IOPS:
  - IOPS là viết tắt của "Input/Output Operations Per Second" (Số lần thao tác nhập/xuất trên giây), là một chỉ số đo lường hiệu suất của ổ đĩa lưu trữ. Nó cho biết số lượng hoạt động đọc và ghi mà một ổ đĩa có thể thực hiện trong một giây.
  - VD: 3000 IOPS: Nếu một EBS volume có khả năng Burst IOPS lên tới 3000 IOPS, nó có thể xử lý tối đa 3000 thao tác đọc/ghi trong một giây trong thời gian ngắn.
- Throughput (MiB/s):
  - Tốc độ mà dữ liệu có thể được truyền tải trong một giây, đơn vị MiB/s (megabyte trên giây)
  - Ví dụ: 125 MB/s

Block Device Mapping

Mapping volume to folder into instance

Trong AWS, Block Device Mapping là một tính năng cho phép bạn xác định cách ổ đĩa lưu trữ được gắn vào các instance EC2 khi chúng được khởi động. Điều này bao gồm việc chỉ định loại và cấu hình ổ đĩa cho root volume (ổ đĩa chính) và các ổ đĩa bổ sung (volume) nếu cần. Các khái niệm chính của Block Device Mapping:

Root Volume:
- Là ổ đĩa chính chứa hệ điều hành của instance.
- Bạn có thể chỉ định loại lưu trữ (như EBS hoặc Instance Store) và kích thước của root volume.
- Bạn có thể chọn mã hóa cho root volume để bảo mật dữ liệu.
Lưu trữ bổ sung (Additional Volumes):
- Bạn có thể thêm nhiều ổ đĩa lưu trữ bổ sung vào instance.
- Mỗi ổ đĩa có thể được cấu hình với loại lưu trữ khác nhau (như EBS hoặc Instance Store), kích thước, và mã hóa.
- Bạn có thể đặt các tên thiết bị và điểm gắn kết cho các ổ đĩa bổ sung.
Cấu hình lưu trữ:
- Khi tạo một instance EC2, bạn có thể xác định cấu hình cho từng ổ đĩa bằng cách sử dụng Block Device Mapping.
- Bạn có thể chọn loại ổ đĩa (SSD, HDD), kích thước, và tùy chọn mã hóa.
- Block Device Mapping cung cấp quyền kiểm soát chi tiết về cách lưu trữ được cấu hình cho instance.
Tùy chỉnh:
- Bạn có thể tùy chỉnh cấu hình lưu trữ cho mỗi instance theo nhu cầu của ứng dụng.
- Block Device Mapping có thể được tùy chỉnh trong quá trình khởi tạo instance hoặc trong quá trình tạo hình ảnh (image) từ instance hiện có.
Đặt tên thiết bị:
- Bạn có thể đặt tên thiết bị cho các ổ đĩa lưu trữ, giúp xác định và quản lý chúng dễ dàng hơn.

Ứng dụng của Block Device Mapping:

Tối ưu hóa hiệu suất: Bạn có thể cấu hình các loại ổ đĩa lưu trữ khác nhau theo nhu cầu hiệu suất của ứng dụng.
Bảo mật dữ liệu: Bằng cách mã hóa các ổ đĩa lưu trữ, bạn có thể tăng cường bảo mật cho dữ liệu.
Quản lý lưu trữ linh hoạt: Bạn có thể thêm, xóa hoặc thay đổi các ổ đĩa bổ sung theo yêu cầu của ứng dụng.

Có thể thêm nhiều storage lưu trữ vào instance.

Amazon EC2 Instance Storage

Không phải tất cả các máy chủ EC2 (Amazon Elastic Compute Cloud) đều có instance storage. Instance storage là loại lưu trữ cục bộ, được gắn trực tiếp vào phần cứng vật lý của máy chủ chạy instance EC2. Instance storage chỉ có sẵn cho một số loại instance EC2 nhất định.

Các loại instance khác nhau có thể có hoặc không có instance storage:

Instance có instance storage: Một số loại instance EC2 như các loại instance thuộc họ i3, d3, f1, hoặc m5d có instance storage tích hợp. Đây là các loại instance được tối ưu hóa cho việc xử lý dữ liệu nhanh chóng hoặc sử dụng lưu trữ cục bộ cho mục đích đọc/ghi dữ liệu cao.
Instance không có instance storage: Các loại instance như t2, t3, m5 (phiên bản thông thường) không có instance storage. Thay vào đó, bạn có thể sử dụng Amazon EBS (Elastic Block Store) làm lưu trữ bên ngoài cho các loại instance này.

Vì vậy, việc instance có instance storage hay không phụ thuộc vào loại instance EC2 mà bạn chọn. Khi chọn một loại instance, bạn có thể kiểm tra các thông số kỹ thuật để biết xem loại đó có instance storage hay không. Tóm tắt về Instance Storage như sau:

- Lưu trữ cục bộ
- Là thiết bị vật lý trên máy tính chủ
- Khi instance stop, restart, hibernate, terminated, dữ liệu sẽ bị mất (khởi động lại vẫn lưu dữ liệu)
- Không thể detach volume và gắn vào instance khác.
- Không thể thêm instance storage khi device đang khởi động.
- Các trường hợp sử dụng: Hệ điều hành, dữ liệu tạm thời (bộ đệm, bộ nhớ cache, ...)
- Rất cao IOPS (các hoạt động nhập/xuất mỗi giây)
- 2 loại: HDD, NVMe SSD

Very high IOPS

Amazon Elastic Block Store (EBS)

- Là một ổ đĩa cứng trong đám mây (vì nó cung cấp lưu trữ liên tục và có thể truy cập dữ liệu giống như một ổ đĩa cứng vật lý) (Tương tự như thiết bị USB)
- Có thể gắn nhiều EBS vào 1 instance, nhưng EBS chỉ gắn vào 1 instance vào một thời điểm
  - Gắn vào một instance duy nhất: Một EBS volume không thể được chia sẻ hoặc gắn đồng thời vào nhiều instance EC2 khác nhau. Mỗi EBS volume chỉ được gắn vào một instance duy nhất trong một thời điểm cụ thể.
  - Tránh truy cập xung đột: Quy định này nhằm tránh tình trạng xung đột dữ liệu khi nhiều instance truy cập cùng một volume EBS cùng lúc.
  - Gắn nối tiếp: Nếu bạn muốn gắn một EBS volume vào một instance khác, bạn cần phải tháo volume đó khỏi instance hiện tại trước.
- Khi instance stop, restart, hibernate, terminated, dữ liệu vẫn sẽ available
- Vì nó là Ổ đĩa mạng (Network drive) nên -> có một chút độ trễ
- Có một khả năng cung cấp sẵn (kích thước trong GB, và IOPS)
- Zone resource
- Các trường hợp sử dụng: Dữ liệu dài hạn, dữ liệu quan trọng (Ví dụ: hình ảnh, ...)
- Bạn có thể tăng dung lượng của ổ đĩa theo thời gian. (Video bài tập)
- Types
  - General Purpose SSD (gp3, gp2):
    - Loại ổ đĩa SSD phổ biến nhất.
    - Cung cấp hiệu suất đáng tin cậy cho một loạt các ứng dụng.
    - Có thể thiết lập tùy chỉnh về dung lượng và hiệu suất IOPS (Input/Output Operations Per Second).
    - Thích hợp cho các ứng dụng thông thường như các máy chủ web, cơ sở dữ liệu nhỏ, và máy chủ ứng dụng.
  - Provisioned IOPS SSD (io2, io1):
    - Loại SSD với hiệu suất cao được dành riêng cho các ứng dụng yêu cầu IOPS cao và độ tin cậy cao.
    - Cho phép bạn thiết lập tùy chỉnh dung lượng và IOPS.
    - Được sử dụng cho các ứng dụng đòi hỏi hiệu suất cao như cơ sở dữ liệu lớn, các ứng dụng yêu cầu hiệu suất tối ưu.
    - Duy nhất EBS Provisioned IOPS SSD (io2) có thể hỗ trợ "multi-attach" và được gắn vào hai instance EC2 trong cùng một Availability Zone.
      - Các loại instance type hỗ trợ tính năng "multi-attach" của EBS bao gồm:
        
        Các loại M5d (M5d.4xlarge, M5d.12xlarge, M5d.24xlarge)
        
        Các loại R5d (R5d.4xlarge, R5d.12xlarge, R5d.24xlarge)
        
        Các loại C5n (C5n.4xlarge, C5n.9xlarge, C5n.18xlarge)
  - Throughput Optimized HDD (st1):
    - Loại ổ đĩa HDD được tối ưu hóa cho tốc độ truy cập lớn và các tải khối lớn.
    - Thích hợp cho các ứng dụng có lượng dữ liệu lớn như Data Warehousing, Big Data, và các ứng dụng phát trực tuyến.
  - Cold HDD (sc1):
    - Loại ổ đĩa HDD có chi phí thấp nhưng cung cấp hiệu suất thấp.
    - Thích hợp cho việc lưu trữ dữ liệu ít được truy cập như lưu trữ dữ liệu dự phòng, lưu trữ dữ liệu lâu dài.
  - Magnetic (Standard) (st1):
    - Loại ổ đĩa cũ với hiệu suất thấp và giá thành thấp nhất.
    - Thích hợp cho việc lưu trữ dữ liệu ít được truy cập, backup dữ liệu.

Tham khảo giá và thông tin về các loại:

- https://aws.amazon.com/ebs/pricing/

- https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ebs-volume-types.html

Burst IOPS
- Trong thời gian ngắn, EBS có thể tăng đột ngột IOPS lên (Ví dụ: từ 100 lên 3000 trong 30 phút)
- Tính năng Burst IOPS là mặc định. Đặc biệt, các loại EBS volumes sử dụng lưu trữ theo cách General Purpose SSD (gp2) và General Purpose SSD (gp3) đều có tính năng này.
  
  Dưới đây là một số thông tin về Burst IOPS:
  - Burst IOPS là khả năng tăng cường hiệu suất (IOPS - Input/Output Operations Per Second) tạm thời cho volume khi có nhu cầu truy cập cao.
  - Với General Purpose SSD (gp2), volume sẽ cung cấp một mức cơ bản là 3 IOPS cho mỗi GiB của dung lượng volume (tối đa 10.000 IOPS). Nếu ứng dụng yêu cầu hiệu suất cao hơn, volume có thể tăng cường (burst) IOPS lên một mức cao hơn trong một thời gian ngắn, dựa trên mức tín dụng IOPS có sẵn.
  - Với General Purpose SSD (gp3), volume có thể được cấu hình với mức IOPS cơ bản và mức thông lượng cụ thể. Giống như gp2, gp3 cũng có khả năng tăng cường IOPS khi cần thiết.
  Tuy nhiên, không phải mọi loại EBS volume đều có Burst IOPS. Ví dụ, EBS Provisioned IOPS SSD (io1) và io2 không hỗ trợ Burst IOPS, vì các volume này đã được cấu hình để cung cấp hiệu suất ổn định với mức IOPS được chỉ định.

https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ebs-volume-types.html#EBSVolumeTypes_gp2

Encrypt volume (at-rest)
- Bạn phải thiết lập Encrypt Volume khi tạo Instance.
- Encryption and decryption được xử lý một cách trong suốt (bạn không cần làm gì cả).
- Encryption có tác động tối thiểu đến độ trễ.
- Chuyển đổi volume chưa được mã hóa (unencrypted volume) -> mã hóa volume (encrypt volume): Tạo một bản snapshot của volume -> Encrypt bản snapshot -> Tạo mới encrypt volume đã được mã hóa từ bản snapshot -> Gắn volume đã được mã hóa vào instance gốc.
Delete on Termination
- EBS sẽ bị xóa KHI xóa instance (Mặc định: Ổ root: enabled, ổ EBS bổ sung: disabled)
EBS-optimized (Optional)
- Cải thiện hiệu suất cho các ổ đĩa EBS và cho phép các instance sử dụng đầy đủ IOPs được cung cấp, automatically enable.
Lifecycle
Detach volume
- Phải unmount(tháo gỡ) và ngừng instance trước khi tháo ổ đĩa root.
- Có thể tháo gỡ và tách ổ đĩa bổ sung mà không cần ngừng instance
Snapshot
- Tương tự như việc sao lưu ổ đĩa EBS.
- Có thể sao chép, chia sẻ bản snapshot, public snapshot, encrypt snapshot.
- Lưu trữ trên S3
- Tạo bản snapshot tại một điểm thời gian nhất định (Tạo theo thời gian thực), Dữ liệu vào bản snapshot là lazy loading.
- "lazy loading" có nghĩa là dữ liệu không được sao lưu ngay lập tức mỗi khi tạo một bản snapshot. Thay vào đó, hệ thống chỉ ghi lại các phần của ổ đĩa thực sự đã được sử dụng. Điều này giúp giảm dung lượng lưu trữ được sử dụng cho các bản snapshot và tăng hiệu suất của quá trình sao lưu. Khi cần khôi phục dữ liệu từ snapshot, EBS sẽ tự động tạo ra các phần còn thiếu này từ ổ đĩa gốc trước khi cung cấp dữ liệu cho instance.
- Nên (không nhất thiết phải) ngừng instance trước khi tạo snapshot.
- Các bản snapshot của các volume được mã hóa(encrypted) đều được mã hóa(encrypted).
- Các trường hợp sử dụng: Sao chép EBS sang khu vực mới (new Zone) hoặc khu vực mới(new Region), sao lưu EBS để phòng tránh tai nạn, tạo AMI.
Incremental

Creating snapshot types
- Manual
- Using Amazon Data Lifecycle Manager to automatic create, delete snapshot
  - Lifecycle Manager trong Amazon EBS là một công cụ giúp bạn tự động hóa việc quản lý vòng đời của các snapshots EBS và AMI (Amazon Machine Image). Công cụ này giúp bạn lên lịch và quản lý snapshots và AMI theo các chính sách bạn xác định, từ đó giúp duy trì, sao lưu và xóa dữ liệu một cách tự động. Các tính năng chính của Lifecycle Manager bao gồm:
    1. Lên lịch tự động: Bạn có thể thiết lập các chính sách để tự động tạo snapshots EBS hoặc AMI vào các thời điểm cụ thể trong ngày, tuần hoặc tháng.
    2. Quản lý chính sách lưu trữ: Lifecycle Manager cho phép bạn xác định thời gian giữ lại các snapshots hoặc AMI, sau đó tự động xóa chúng khi không còn cần thiết. Điều này giúp tối ưu hóa việc sử dụng lưu trữ và giảm chi phí.
    3. Theo dõi và quản lý: Bạn có thể theo dõi trạng thái và lịch sử của các chính sách bạn đã tạo thông qua AWS Management Console hoặc API, giúp bạn dễ dàng quản lý và điều chỉnh các chính sách khi cần.
    4. Khôi phục nhanh: Các snapshots được tạo bởi Lifecycle Manager có thể được sử dụng để khôi phục dữ liệu nhanh chóng nếu có sự cố xảy ra.
    5. Tuân thủ quy định: Lifecycle Manager giúp đảm bảo tuân thủ các quy định về lưu trữ dữ liệu và sao lưu bằng cách tự động hóa các quy trình này.
  - Elastic Block Store -> Lifecycle Manager -> Create
    - Count-based Retention (Dựa trên số lượng): Với loại retention này, bạn xác định số lượng snapshots tối đa mà bạn muốn giữ lại. Khi số lượng snapshots vượt quá giới hạn này, các snapshots cũ nhất sẽ được xóa tự động để đảm bảo rằng chỉ có số lượng snapshots tối đa như bạn đã chỉ định.
    - Age-based Retention (Dựa trên thời gian lưu trữ): Với loại retention này, bạn xác định khoảng thời gian mà bạn muốn giữ lại snapshots (ví dụ: 7 ngày, 30 ngày, v.v.). Các snapshots cũ hơn khoảng thời gian này sẽ được tự động xóa để đảm bảo rằng chỉ giữ lại các snapshots trong phạm vi thời gian mà bạn đã chỉ định.
Root storage (root device)
- Khi khởi tạo EC2 từ AMI, một root storage được tạo ra cho instance.
- Có 2 loại: EBS và Instance store