[SAA-C03] AWS 스토리지 추가 기능

AWS Snow Family

 

AWS Snow Family

• 보안성이 뛰어난 휴대용 장치의 모음
• 대용량의 데이터를 안전하고 네트워크 사용할 때 보다 빠르게 전송하기 위해 사용되는 솔루션
  • 엣지에서 데이터를 수집하고 처리하기 위해 사용 - Snowcone, Snowball Edge
  • AWS 안팎으로 데이터를 마이그레이션 할 때 사용 - Snowcone, Snowball, Snowball Edge, Snowmobile
• Snowcone
  • 사이즈가 작은 장치로 이더넷 포트가 있고, 어디서나 컴퓨팅 가능한 작은 휴대용 장치
  • 용량이 작은 경우 (최대 8TB) 에 엣지 컴퓨팅, 스토리지 및 데이터 전송에 사용
  • 2 CPUs, 4GB Memory, 유무선 액세스 Wi-Fi 지원 등으로 엣지 컴퓨팅에 사용
  • 공간의 제약을 받는 환경에서 사용되는데 무게가 가벼워 드론을 이용하여 이송 가능
• Snowball
  • 네트워크가 아닌 물리적인 경로를 이용하여 데이터 전송
  • S3로의 Import / Export 작업
• Snowball Edge
  • TB or PB 크기의 데이터를 AWS 안팎으로 전송
  • 데이터 전송 건마다 비용 청구
  • 블록 스토리지와 S3 호환 객체 스토리지 제공
  • Storage Optimized - 80TB HDD, S3 호환 객체 스토리지, 40 vCPUs, 80GB Memory, 객체 스토리지 클러스터링
  • Compute Optimized - 42TB HDD, S3 호환 객체 스토리지, 52 vCPUs, 208GB Memory, 선택적 GPU
• Snowmobile
  • 실제로 트럭을 이용하여 데이터를 전송하는데 대당 100PB 전송
  • 보안성이 뛰어난 데이터 전송 방법

• OpsHub
  • Snow 장치에서 실행되는 인스턴스 및 리소스를 관리할 수 있는 소프트웨어
  • 기존에는 CLI 방식이었으나 OpsHub는 GUI를 통해 Snow 장치에 연결하여 편의성 제공
• Snowball 내의 자료를 S3에 Import 하고 수명 주기 정책을 생성하여 Amazon Glacier 객체로 전환 가능

---

Amazon FSx

 

Amazon FSx

• 완전 관리형 서비스로 타사 고성능 파일 시스템을 실행하는 서비스
• Amazon FSx for Windows File Server
  • 완전 관리형 Windows File Server 공유 드라이버
  • SMB 프로토콜과 Windows NTFS 지원
  • Microsoft Active Directory 통합을 지원하여 사용자 보안을 추가 및 ACL로 사용자 할당량 추가로 액세스 제어
  • Windows, Linux EC2 인스턴스에서 마운트 가능
  • 프라이빗 연결로 온프레미스 인프라에서 액세스 가능
  • 고가용성 다중 AZ에 대해 구성 가능하고 재해 복구 목적으로 Amazon S3에 매일 백업
• Amazon FSx for Lustre
  
  • Lustre = Linux + Cluster
  • 머신 러닝과 고성능 연산 (HPC) 에 사용되는 것이 Lustre
  • 동영상 처리나 금융 모델링, 전자 설계 자동화 등의 애플리케이션에 활용되고 확장성이 높음
  • Amazon S3와 무결절성 통합이 가능하여 FSx로 S3를 파일 시스템처럼 읽고 연산 출력값을 다시 쓸 수 있음
  • 직접 연결로 온프레미스 인프라에서 액세스 가능
  • FSx for Lustre 의 파일 시스템 배포 옵션
    • 스크래치 파일 시스템 - 임시 스토리지로 데이터가 복제되지 않음, 단기 처리 데이터에 사용
    • 영구 파일 시스템 - 장기 스토리지로 동일한 AZ에 데이터가 복제, 데이터 사본이 두 개가 생김
• Amazon FSx for NetApp ONTAP
  • AWS의 관리형 NetApp ONTAP 파일 시스템
  • NFS, SMB, iSCSI 프로토콜과 호환 가능
  • 온프레미스 시스템의 ONTAP 이나 NAS 에서 실행 중인 워크로드를 AWS로 전송 가능
  • Windows, Linux, MacOS, VMware Cloud on AWS 등 호환 가능한 폭이 넓고 스토리지는 오토 스케일링 가능
  • 복제와 스냅샷 기능 지원
  • 비용이 적게 들고 데이터 압축이나 데이터 중복 제거 가능
  • 지정 시간 복제 기능으로 새 워크로드 등을 테스트할 때 유용
• Amazon FSx for OpenZFS
  • AWS의 관리형 OpenZFS 파일 시스템으로 여러 버전의 NFS 프로토콜과 호환 가능
  • 주로 ZFS 에서 실행되는 워크로드를 내부의 AWS 로 옮길 때 사용
  • Windows, Linux, MacOS 에서 사용 가능
  • 복제와 스냅샷 기능을 지원하지만 데이터 중복 제거 기능은 없음
  • FSx for NetApp ONTAP 처럼 지정 시간 복제 기능으로 새 워크로드 등을 테스트할 때 유용

---

AWS Storage Gateway

 

AWS Storage Gateway

• AWS 내의 Amazon S3 와 온프레미스 인프라를 이어주는 가교 역할
• Amazon S3 File Gateway
  • S3 파일 게이트웨이로 구성한 모든 버킷은 NFS 및 SMB 프로토콜을 이용해서 액세스 가능
  • 사용된 데이터는 신속한 액세스를 위해 파일 게이트웨이에 캐시로 저장
  • S3 의 스토리지 클래스를 지원하고 수명 주기 정책으로 S3 Glacier 사용 가능
  • 버킷에 액세스 하기 위해서는 각 파일 게이트웨이마다 IAM 역할 생성 필요
  • SMB 프로토콜을 사용하는 경우 사용자 인증을 위해 Active Directory 와 통합 필요
• Amazon FSx File Gateway
  • FSx for Windows File Server 에 대해 네이티브 액세스 제공
  • 파일 게이트웨이 생성을 통해 자주 액세스하는 데이터의 로컬 캐시 확보하여 지연 시간 단축
  • SMB, NTFS, Active Directory 와 호환 가능
• Amazon Volume Gateway
  • 블록 스토리지로 S3 가 백업하는 iSCSI 프로토콜 사용
  • 볼륨이 EBS 스냅샷으로 저장되어 필요에 따라 온프레미스 볼륨을 복구할 수 있음
  • 캐시 볼륨 - 최근 데이터 액세스 시 지연 시간이 낮음
  • 저장 볼륨 - 전체 dataset 이 온프레미스에 있고 주기적으로 Amazon S3 에 백업
• Amazon Tape Gateway
  
  • 가상 테이프 라이브러리 (VTL) 를 지원하는 Storage Gateway
  • 물리적 테이프를 테이프 게이트웨이를 통해 클라우드에 연결하여 S3 나 Glacier 에 해당 테이프를 저장하는 방식

 

AWS Storage Cloude Native Options

• Amazon EBS, EC2 Instance 와 같은 블록 단위 스토리지
• Amazon EFS, Amazon FSx 와 같은 파일 시스템
• Amazon S3, Amazon Glacier 같은 객체 단위 스토리지

---

AWS Tranfer Family

 

AWS Transfer Family

• 완전 관리형 서비스로 확장성, 안정성, 가용성이 높음
• AWS Transfer for FTP - 암호화되지 않은 파일 전송 프로토콜
• AWS Transfer for FTPS - TLS 암호화를 사용하는 파일 전송 프로토콜
• AWS Transfer for SFTP - 보안 쉘 (SSL) 을 통한 파일 전송

---

AWS DataSync

 

AWS DataSync

• 데이터를 동기화 하는 서비스로 대용량의 데이터를 한 곳에서 다른 곳으로 옮길 수 있음
• Amazon S3 의 모든 스토리지 클래스에 동기화 가능
• Amazon EFS 로 네트워크 파일 시스템에 저장 가능
• Amazon FSx 의 모든 운영 체제에서 사용 가능
• 복제 작업은 일정 시간을 지정하여 매 시간, 매일 혹은 매주 실행되도록 설정 가능
• 파일 권한과 메타데이터 저장 기능이 있음 (NFS POSIX, SMB 권한 준수)
• NFS 또는 SMB 서버에 연결하기 위해서는 DataSync Agent 필요
• DataSync를 이용하고자 하지만 네트워크 용량이 따라 주지 못하는 경우 → AWS Snowcone 장치 사용