섹션 16: AWS 스토리지 추가 기능

AWS Snow Family

• AWS에서 물리적인 기기를 받아서 데이터를 넣고 AWS에 보내면 데이터를 넣을 수 있다.
• 인터넷 연결이 되면 바로 데이터를 보낼 수도 있음
• 보통 데이터 마이그레이션 할 때 사용 한다.
  • Snowcone
    
    • 아주 작은 휴대 기기
    • 에지 컴퓨팅, 스토리지, 데이터 전송에 사용
    • 인터넷 연결이 가능하면 데이터 센터에 연결 후 AWS DataSync로 전송 가능
    • 권장 마이그레이션 사이즈: 최대 24TB
  • Snowball Edge
    • 거대한 박스 형태 
    • 테라바이트, 페타바이트 용량 데이터를 옮길 때 사용
    • 블록, S3 호환 객체 스토리지 제공
    • 권장 마이그레이션 사이즈: 최대 페타바이트
  • Snowmobile
    • 실제 트럭
    • 데이터를 옮기는 실제 트럭
    • 엑사바이트급 데이터를 옮길 때 사용
    • 권장 마이그레이션 사이즈: 엑사바이트
• 에지 컴퓨팅으로도 사용 가능
  
  • 에지 위치: 도로에 있는 트럭, 바다에 있는 배, 지하 광산 인터넷 연결이 힘든 곳
  • 컴퓨팅이나 데이터 프로세싱 사용 가능
• OpsHub
  • 기기를 사용 할 때 CLI를 사용해야 했는데 소프트웨어로 AWS에서 만듬
  • 기기에서 실행되는 인스턴스를 시작하고 관리 가능
  • 예시) EC2 인스턴스, DataSync, 네트워크 파일 시스템 가능
• Snowball에서 S3의 Glacier 불러 올 수 있는가?
  • Snowball은 Glacier에 데이터를 직접 가져올수 없음
  • S3의 수명 주기 정책을 사용해서 가능
  • Snoball -> S3 -> 수명 주기 정책 -> Glacier

Amazon FSx

• 완전 관리형 서비스로 타사 고성능 파일 시스템을 실행
• RDS에서 Mysql나 Postgres를 실행하는 것과 같은 개념
• FSx for Lustre
  • Lustre는 원래 분산 파일 시스템, 대형 연산에 쓰임
  • Lustre는 Linux와 클러스터를 합친 단어
  • 동영상 처리, 금융 모델링 전사 설계 자동화 등에 쓰임
  • S3와 무결절성 통합 가능
    • FSx로 S3를 파일 시스템처럼 읽음
  • 스크래치 파일
    • 임시 스토리지로 데이터 복제 안함
    • 최적화로 영구 파일 시스템보다 성능 6배 높힐 수 있음
  • 영구 파일 시스템
    • 동일한 가용 영역에 데이터 복제
    • 동일한 AZ 내에서만 복제 됨
    • 민감한 데이터의 장기 처리 및 스토리지에 사용
    • 영구 모드에는 데이터 사본의 볼륨이 2개가 생김 (복제본, 원본)
• FSX for NetApp ONTAP
  • 관리형 NetApp ONTAP
  • NFD, SMB, iSCSI 프로토콜 지원
  • 온프레미스 시스템의 ONTAB
    NAS에서 실행 중인 워크로드를 AWS로 옮길 수 있음
    거의 모든 운영 체제에서 사용 가능
  • 스토리지는 자동으로 오토스케일링이 적용 됨
  • 파일 중복제거 가능
  • 지정 시간 복제 기능
    • 새 워크로드 등을 테스트 할 때 상당히 유용
    • 신속히 복제 가능, 스테이징 파일 시스템을 둘 수 있음
• FSX for Windows File Server
  • 완전 관리형 Winodws 파일 서버 공유 드라이브
  • SMB, NTFS 프로토콜 지원
  • ACL로 사옹자 할달량을 추가해 액세스 제어
  • EC2 인스턴스에 마운트 가능
  • 기존 파일 서버에 DFS 기능으로 그룹화 가능
• FDx for OpenZFS
  • 관리형 OpenZFS 파일 시스템
  • 여러 버전에서 NFS 프로토콜 지원
  • 주로 ZFS에서 실행되는 워크로드를 AWS로 옮길 때 사용
  • 성능이 상당히 좋음
  • 스냅샷, 압축 지원
  • 지정 시간 복제 기능

스토리지 Gateway

• AWS에서는 하이브리드 클라우드를 권장함
  • 일부 인프라는 AWS 클라우드
  • 나머지는 온프레미스에 두는 방식
• S3 데이터를 온프레미스에 두려면 어떻게 해야할까요?
  • 스토리지 Gateway가 S3와 온프레미스 인프라를 이어주는
    가교 역할을 한다.
• 스토리지 Gateway를 이용해서 온프레미스 데이터를 클라우드로 이동시키는 것
• 스토리지 Gateway를 온프레미스 캐시로 사용하는 방법도 있음
• S3 파일 게이트웨이
  • S3 버킷에 원하는 스토리지 클래스를 사용 가능
  • NFS나 SMB 프로토콜로 요청을 함
  • 애플리케이션 서버 -> S3 File Gateway -> S3 버킷
  • 사용된 데이터는 파일 게이트웨이 캐시에 저장이 됨
• FSx 파일 게이트웨이
  
  • 네이티브 액세스 제공
  • Amazon FSx for Windows File Server를 사용중일땐 작업할게 없음
    이미 온프레미스 시스템에서 액세스가 가능 하기 때문
  • 그러면 왜 Amazon FSx 게이트웨이를 쓰나요?
    • 자주 액세스하는 데이터의 로컬 캐시를 확보하기 때문
    • 액세스 시 지연 시간 단축
• 볼륨 게이트웨이
  • iSCSI 프로토콜 사용
  • 볼륨이 EBS 스냅샷으로 저장 됨
  • 온프레미스 볼륨을 복구 할 수 있음
  • 캐시 볼륨
    • 최근 데이터 액세스 시 지연 시간이 낮음
  • 저장 볼륨
    • 전체 데이터 세트가 온프레미스에 있고 주기적으로 S3에 백업
• 테이프 게이트웨이
  • 테이프를 사용하는 백업 시스템이 있는 회사가 테이트 대신 클라우드를 사용하게 가능
  • 가상 테이프 라이브러리(VTL)
    • Amazon S3 이용
    • Amzon Glacier 이용
  • iSCSI 인터페이스를 사용하여 백업
  • 테이프 게이트웨어가 클라우드에 연결하여 테이프를 저장함
• 회사 데이터 센터에 게이트웨이가 없을경우는 어떻게 하나요?
  • AWS의 하드웨어를 사용 하면 된다.
  • 아마존에서 주문이 가능함

AWS 전송 제품군

• S3또는 EFS에 데이터를 전송 하고싶은데
• S3 APIs, EFS 네트워크 파일 시스템 사용 안하고 FTP 프로토콜만 쓰고 싶을 때 사용
• SFTP, FTPS, FTP 이렇게 3개를 지원
• 기존 인증 시스템과 통합 가능
  • Microsoft Active Direcotry, LDAP, Okta, Amazon Cognito, Custom
• FTP 서비스의 전송에는 IAM 역할이 있어서
• S3나 EFS 파일을 보내거나 읽을 수 있음

AWS DataSync

• 말그대로 데이터 동기화, 메타데이터와 파일 권한 보존을 함
• DataSync 에이전트를 실행해야함
• 복제 작업은 계속 이루어지 않고 동기화
• 온프레미스
  • 1. NFS, SMB, HDFS 또는 다른 프로토콜에 연결 필요
  • 2. AWS DataSync 에이전트 설치
  • 3. 암호화를 거쳐 DataSync 서비스 연결
  • 4. S3 버킷, EFS, FSx 등 동기화를 진행
  • 양방향으로 주고, 받을수 있음
  • 네트워크 용량이 따라 주지 않으면 AWS Snowcone을 구매해서
    Snowcone으로 전달 할 수 있음
    기본적으로 DataSync 에이전트가 설치 되어 있으 
• AWS
  • S3, EFS, FSx를 S3, EFS, FSx로 다시 동기화 할 경우
  • 1. AWS DataSync 서비스를 사용
  • 2. 데이터 복사본 생성, 메타 데이터 유지 됨

모든 AWS 스토리지 옵션 비교

• S3: 객체 스토리지 대부분의 AWS와 연결 가능
• S3 Glacier: 객체 아카이브 할 때 사용
• EBS 볼륨: 1대1 구조로 EC2 인스턴스 스토리지 연결 때 사용
• Instance Storage: 고성능 물리 스토리지
• EFS: 다중 가용 영역 간 마운트해서 사용할시 사용
• FSx for Windows: 윈도우 서버 파일 시스템이 필요 할때 사용
• FSx for Lustre: 고성능 연산 리눅스 파일 시스템
• FSx NetApp ONTAP: 높은 운영 체제 호환성과 네트워크 파일 시스템이 필요 할때 사용
• FSx for OpenZFS: 관리형 ZFS 파일 시스템이 필요 할때 사용
• Storage Gateway: S3, FSx 파일 게이트웨이 사용하여 온프레미스와 S3, FSx 동기화 할 때 사용
• Trnasfer Family: FTP, FTPS, SFTP 인터페이스를 필요 할때 사용
• DataSync: 일정에 따라 데이터 동기화 할때 사용
• Snowcone / Snowball / Snowmobile: 데이터를 옮기는 데 쓸 네트워크 용량이 없는데 물리적으로 옮길게 많을때 사용