스터디/AWS SAA

섹션 16: AWS 스토리지 추가 기능

blablax5 2024. 1. 6. 16:16

AWS Snow Family

  • AWS에서 물리적인 기기를 받아서 데이터를 넣고 AWS에 보내면 데이터를 넣을 수 있다.
  • 인터넷 연결이 되면 바로 데이터를 보낼 수도 있음
  • 보통 데이터 마이그레이션 할 때 사용 한다.
    • Snowcone
      • 아주 작은 휴대 기기
      • 에지 컴퓨팅, 스토리지, 데이터 전송에 사용
      • 인터넷 연결이 가능하면 데이터 센터에 연결 후 AWS DataSync로 전송 가능
      • 권장 마이그레이션 사이즈: 최대 24TB
    • Snowball Edge
      • 거대한 박스 형태 
      • 테라바이트, 페타바이트 용량 데이터를 옮길 때 사용
      • 블록, S3 호환 객체 스토리지 제공
      • 권장 마이그레이션 사이즈: 최대 페타바이트
    • Snowmobile
      • 실제 트럭
      • 데이터를 옮기는 실제 트럭
      • 엑사바이트급 데이터를 옮길 때 사용
      • 권장 마이그레이션 사이즈: 엑사바이트
  • 에지 컴퓨팅으로도 사용 가능
    • 에지 위치: 도로에 있는 트럭, 바다에 있는 배, 지하 광산 인터넷 연결이 힘든 곳
    • 컴퓨팅이나 데이터 프로세싱 사용 가능
  • OpsHub
    • 기기를 사용 할 때 CLI를 사용해야 했는데 소프트웨어로 AWS에서 만듬
    • 기기에서 실행되는 인스턴스를 시작하고 관리 가능
    • 예시) EC2 인스턴스, DataSync, 네트워크 파일 시스템 가능
  • Snowball에서 S3의 Glacier 불러 올 수 있는가?
    • Snowball은 Glacier에 데이터를 직접 가져올수 없음
    • S3의 수명 주기 정책을 사용해서 가능
    • Snoball -> S3 -> 수명 주기 정책 -> Glacier

Amazon FSx

  • 완전 관리형 서비스로 타사 고성능 파일 시스템을 실행
  • RDS에서 Mysql나 Postgres를 실행하는 것과 같은 개념
  • FSx for Lustre
    • Lustre는 원래 분산 파일 시스템, 대형 연산에 쓰임
    • Lustre는 Linux와 클러스터를 합친 단어
    • 동영상 처리, 금융 모델링 전사 설계 자동화 등에 쓰임
    • S3와 무결절성 통합 가능
      • FSx로 S3를 파일 시스템처럼 읽음
    • 스크래치 파일
      • 임시 스토리지로 데이터 복제 안함
      • 최적화로 영구 파일 시스템보다 성능 6배 높힐 수 있음
    • 영구 파일 시스템
      • 동일한 가용 영역에 데이터 복제
      • 동일한 AZ 내에서만 복제 됨
      • 민감한 데이터의 장기 처리 및 스토리지에 사용
      • 영구 모드에는 데이터 사본의 볼륨이 2개가 생김 (복제본, 원본)
  • FSX for NetApp ONTAP
    • 관리형 NetApp ONTAP
    • NFD, SMB, iSCSI 프로토콜 지원
    • 온프레미스 시스템의 ONTAB
      NAS에서 실행 중인 워크로드를 AWS로 옮길 수 있음
      거의 모든 운영 체제에서 사용 가능
    • 스토리지는 자동으로 오토스케일링이 적용 됨
    • 파일 중복제거 가능
    • 지정 시간 복제 기능
      • 새 워크로드 등을 테스트 할 때 상당히 유용
      • 신속히 복제 가능, 스테이징 파일 시스템을 둘 수 있음
  • FSX for Windows File Server
    • 완전 관리형 Winodws 파일 서버 공유 드라이브
    • SMB, NTFS 프로토콜 지원
    • ACL로 사옹자 할달량을 추가해 액세스 제어
    • EC2 인스턴스에 마운트 가능
    • 기존 파일 서버에 DFS 기능으로 그룹화 가능
  • FDx for OpenZFS
    • 관리형 OpenZFS 파일 시스템
    • 여러 버전에서 NFS 프로토콜 지원
    • 주로 ZFS에서 실행되는 워크로드를 AWS로 옮길 때 사용
    • 성능이 상당히 좋음
    • 스냅샷, 압축 지원
    • 지정 시간 복제 기능

스토리지 Gateway

  • AWS에서는 하이브리드 클라우드를 권장함
    • 일부 인프라는 AWS 클라우드
    • 나머지는 온프레미스에 두는 방식
  • S3 데이터를 온프레미스에 두려면 어떻게 해야할까요?
    • 스토리지 Gateway가 S3와 온프레미스 인프라를 이어주는
      가교 역할을 한다.
  • 스토리지 Gateway를 이용해서 온프레미스 데이터를 클라우드로 이동시키는 것
  • 스토리지 Gateway를 온프레미스 캐시로 사용하는 방법도 있음
  • S3 파일 게이트웨이
    • S3 버킷에 원하는 스토리지 클래스를 사용 가능
    • NFS나 SMB 프로토콜로 요청을 함
    • 애플리케이션 서버 -> S3 File Gateway -> S3 버킷
    • 사용된 데이터는 파일 게이트웨이 캐시에 저장이 됨
  • FSx 파일 게이트웨이
    • 네이티브 액세스 제공
    • Amazon FSx for Windows File Server를 사용중일땐 작업할게 없음
      이미 온프레미스 시스템에서 액세스가 가능 하기 때문
    • 그러면 왜 Amazon FSx 게이트웨이를 쓰나요?
      • 자주 액세스하는 데이터의 로컬 캐시를 확보하기 때문
      • 액세스 시 지연 시간 단축
  • 볼륨 게이트웨이
    • iSCSI 프로토콜 사용
    • 볼륨이 EBS 스냅샷으로 저장 됨
    • 온프레미스 볼륨을 복구 할 수 있음
    • 캐시 볼륨
      • 최근 데이터 액세스 시 지연 시간이 낮음
    • 저장 볼륨
      • 전체 데이터 세트가 온프레미스에 있고 주기적으로 S3에 백업
  • 테이프 게이트웨이
    • 테이프를 사용하는 백업 시스템이 있는 회사가 테이트 대신 클라우드를 사용하게 가능
    • 가상 테이프 라이브러리(VTL)
      • Amazon S3 이용
      • Amzon Glacier 이용
    • iSCSI 인터페이스를 사용하여 백업
    • 테이프 게이트웨어가 클라우드에 연결하여 테이프를 저장함
  • 회사 데이터 센터에 게이트웨이가 없을경우는 어떻게 하나요?
    • AWS의 하드웨어를 사용 하면 된다.
    • 아마존에서 주문이 가능함

AWS 전송 제품군

  • S3또는 EFS에 데이터를 전송 하고싶은데
  • S3 APIs, EFS 네트워크 파일 시스템 사용 안하고 FTP 프로토콜만 쓰고 싶을 때 사용
  • SFTP, FTPS, FTP 이렇게 3개를 지원
  • 기존 인증 시스템과 통합 가능
    • Microsoft Active Direcotry, LDAP, Okta, Amazon Cognito, Custom
  • FTP 서비스의 전송에는 IAM 역할이 있어서
  • S3나 EFS 파일을 보내거나 읽을 수 있음

AWS DataSync

  • 말그대로 데이터 동기화, 메타데이터와 파일 권한 보존을 함
  • DataSync 에이전트를 실행해야함
  • 복제 작업은 계속 이루어지 않고 동기화
  • 온프레미스
    • 1. NFS, SMB, HDFS 또는 다른 프로토콜에 연결 필요
    • 2. AWS DataSync 에이전트 설치
    • 3. 암호화를 거쳐 DataSync 서비스 연결
    • 4. S3 버킷, EFS, FSx 등 동기화를 진행
    • 양방향으로 주고, 받을수 있음
    • 네트워크 용량이 따라 주지 않으면 AWS Snowcone을 구매해서
      Snowcone으로 전달 할 수 있음
      기본적으로 DataSync 에이전트가 설치 되어 있으 
  • AWS
    • S3, EFS, FSx를 S3, EFS, FSx로 다시 동기화 할 경우
    • 1. AWS DataSync 서비스를 사용
    • 2. 데이터 복사본 생성, 메타 데이터 유지 됨

모든 AWS 스토리지 옵션 비교

  • S3: 객체 스토리지 대부분의 AWS와 연결 가능
  • S3 Glacier: 객체 아카이브 할 때 사용
  • EBS 볼륨: 1대1 구조로 EC2 인스턴스 스토리지 연결 때 사용
  • Instance Storage: 고성능 물리 스토리지
  • EFS: 다중 가용 영역 간 마운트해서 사용할시 사용
  • FSx for Windows: 윈도우 서버 파일 시스템이 필요 할때 사용
  • FSx for Lustre: 고성능 연산 리눅스 파일 시스템
  • FSx NetApp ONTAP: 높은 운영 체제 호환성과 네트워크 파일 시스템이 필요 할때 사용
  • FSx for OpenZFS: 관리형 ZFS 파일 시스템이 필요 할때 사용
  • Storage Gateway: S3, FSx 파일 게이트웨이 사용하여 온프레미스와 S3, FSx 동기화 할 때 사용
  • Trnasfer Family: FTP, FTPS, SFTP 인터페이스를 필요 할때 사용
  • DataSync: 일정에 따라 데이터 동기화 할때 사용
  • Snowcone / Snowball / Snowmobile: 데이터를 옮기는 데 쓸 네트워크 용량이 없는데 물리적으로 옮길게 많을때 사용
저작자표시 (새창열림)