AWS Snow Family
- AWS에서 물리적인 기기를 받아서 데이터를 넣고 AWS에 보내면 데이터를 넣을 수 있다.
- 인터넷 연결이 되면 바로 데이터를 보낼 수도 있음
- 보통 데이터 마이그레이션 할 때 사용 한다.
- Snowcone
- 아주 작은 휴대 기기
- 에지 컴퓨팅, 스토리지, 데이터 전송에 사용
- 인터넷 연결이 가능하면 데이터 센터에 연결 후 AWS DataSync로 전송 가능
- 권장 마이그레이션 사이즈: 최대 24TB
- Snowball Edge
- 거대한 박스 형태
- 테라바이트, 페타바이트 용량 데이터를 옮길 때 사용
- 블록, S3 호환 객체 스토리지 제공
- 권장 마이그레이션 사이즈: 최대 페타바이트
- Snowmobile
- 실제 트럭
- 데이터를 옮기는 실제 트럭
- 엑사바이트급 데이터를 옮길 때 사용
- 권장 마이그레이션 사이즈: 엑사바이트
- Snowcone
- 에지 컴퓨팅으로도 사용 가능
- 에지 위치: 도로에 있는 트럭, 바다에 있는 배, 지하 광산 인터넷 연결이 힘든 곳
- 컴퓨팅이나 데이터 프로세싱 사용 가능
- OpsHub
- 기기를 사용 할 때 CLI를 사용해야 했는데 소프트웨어로 AWS에서 만듬
- 기기에서 실행되는 인스턴스를 시작하고 관리 가능
- 예시) EC2 인스턴스, DataSync, 네트워크 파일 시스템 가능
- Snowball에서 S3의 Glacier 불러 올 수 있는가?
- Snowball은 Glacier에 데이터를 직접 가져올수 없음
- S3의 수명 주기 정책을 사용해서 가능
- Snoball -> S3 -> 수명 주기 정책 -> Glacier
Amazon FSx
- 완전 관리형 서비스로 타사 고성능 파일 시스템을 실행
- RDS에서 Mysql나 Postgres를 실행하는 것과 같은 개념
- FSx for Lustre
- Lustre는 원래 분산 파일 시스템, 대형 연산에 쓰임
- Lustre는 Linux와 클러스터를 합친 단어
- 동영상 처리, 금융 모델링 전사 설계 자동화 등에 쓰임
- S3와 무결절성 통합 가능
- FSx로 S3를 파일 시스템처럼 읽음
- 스크래치 파일
- 임시 스토리지로 데이터 복제 안함
- 최적화로 영구 파일 시스템보다 성능 6배 높힐 수 있음
- 영구 파일 시스템
- 동일한 가용 영역에 데이터 복제
- 동일한 AZ 내에서만 복제 됨
- 민감한 데이터의 장기 처리 및 스토리지에 사용
- 영구 모드에는 데이터 사본의 볼륨이 2개가 생김 (복제본, 원본)
- FSX for NetApp ONTAP
- 관리형 NetApp ONTAP
- NFD, SMB, iSCSI 프로토콜 지원
- 온프레미스 시스템의 ONTAB
NAS에서 실행 중인 워크로드를 AWS로 옮길 수 있음
거의 모든 운영 체제에서 사용 가능 - 스토리지는 자동으로 오토스케일링이 적용 됨
- 파일 중복제거 가능
- 지정 시간 복제 기능
- 새 워크로드 등을 테스트 할 때 상당히 유용
- 신속히 복제 가능, 스테이징 파일 시스템을 둘 수 있음
- FSX for Windows File Server
- 완전 관리형 Winodws 파일 서버 공유 드라이브
- SMB, NTFS 프로토콜 지원
- ACL로 사옹자 할달량을 추가해 액세스 제어
- EC2 인스턴스에 마운트 가능
- 기존 파일 서버에 DFS 기능으로 그룹화 가능
- FDx for OpenZFS
- 관리형 OpenZFS 파일 시스템
- 여러 버전에서 NFS 프로토콜 지원
- 주로 ZFS에서 실행되는 워크로드를 AWS로 옮길 때 사용
- 성능이 상당히 좋음
- 스냅샷, 압축 지원
- 지정 시간 복제 기능
스토리지 Gateway
- AWS에서는 하이브리드 클라우드를 권장함
- 일부 인프라는 AWS 클라우드
- 나머지는 온프레미스에 두는 방식
- S3 데이터를 온프레미스에 두려면 어떻게 해야할까요?
- 스토리지 Gateway가 S3와 온프레미스 인프라를 이어주는
가교 역할을 한다.
- 스토리지 Gateway가 S3와 온프레미스 인프라를 이어주는
- 스토리지 Gateway를 이용해서 온프레미스 데이터를 클라우드로 이동시키는 것
- 스토리지 Gateway를 온프레미스 캐시로 사용하는 방법도 있음
- S3 파일 게이트웨이
- S3 버킷에 원하는 스토리지 클래스를 사용 가능
- NFS나 SMB 프로토콜로 요청을 함
- 애플리케이션 서버 -> S3 File Gateway -> S3 버킷
- 사용된 데이터는 파일 게이트웨이 캐시에 저장이 됨
- FSx 파일 게이트웨이
- 네이티브 액세스 제공
- Amazon FSx for Windows File Server를 사용중일땐 작업할게 없음
이미 온프레미스 시스템에서 액세스가 가능 하기 때문 - 그러면 왜 Amazon FSx 게이트웨이를 쓰나요?
- 자주 액세스하는 데이터의 로컬 캐시를 확보하기 때문
- 액세스 시 지연 시간 단축
- 볼륨 게이트웨이
- iSCSI 프로토콜 사용
- 볼륨이 EBS 스냅샷으로 저장 됨
- 온프레미스 볼륨을 복구 할 수 있음
- 캐시 볼륨
- 최근 데이터 액세스 시 지연 시간이 낮음
- 저장 볼륨
- 전체 데이터 세트가 온프레미스에 있고 주기적으로 S3에 백업
- 테이프 게이트웨이
- 테이프를 사용하는 백업 시스템이 있는 회사가 테이트 대신 클라우드를 사용하게 가능
- 가상 테이프 라이브러리(VTL)
- Amazon S3 이용
- Amzon Glacier 이용
- iSCSI 인터페이스를 사용하여 백업
- 테이프 게이트웨어가 클라우드에 연결하여 테이프를 저장함
- 회사 데이터 센터에 게이트웨이가 없을경우는 어떻게 하나요?
- AWS의 하드웨어를 사용 하면 된다.
- 아마존에서 주문이 가능함
AWS 전송 제품군
- S3또는 EFS에 데이터를 전송 하고싶은데
- S3 APIs, EFS 네트워크 파일 시스템 사용 안하고 FTP 프로토콜만 쓰고 싶을 때 사용
- SFTP, FTPS, FTP 이렇게 3개를 지원
- 기존 인증 시스템과 통합 가능
- Microsoft Active Direcotry, LDAP, Okta, Amazon Cognito, Custom
- FTP 서비스의 전송에는 IAM 역할이 있어서
- S3나 EFS 파일을 보내거나 읽을 수 있음
AWS DataSync
- 말그대로 데이터 동기화, 메타데이터와 파일 권한 보존을 함
- DataSync 에이전트를 실행해야함
- 복제 작업은 계속 이루어지 않고 동기화
- 온프레미스
- 1. NFS, SMB, HDFS 또는 다른 프로토콜에 연결 필요
- 2. AWS DataSync 에이전트 설치
- 3. 암호화를 거쳐 DataSync 서비스 연결
- 4. S3 버킷, EFS, FSx 등 동기화를 진행
- 양방향으로 주고, 받을수 있음
- 네트워크 용량이 따라 주지 않으면 AWS Snowcone을 구매해서
Snowcone으로 전달 할 수 있음
기본적으로 DataSync 에이전트가 설치 되어 있으
- AWS
- S3, EFS, FSx를 S3, EFS, FSx로 다시 동기화 할 경우
- 1. AWS DataSync 서비스를 사용
- 2. 데이터 복사본 생성, 메타 데이터 유지 됨
모든 AWS 스토리지 옵션 비교
- S3: 객체 스토리지 대부분의 AWS와 연결 가능
- S3 Glacier: 객체 아카이브 할 때 사용
- EBS 볼륨: 1대1 구조로 EC2 인스턴스 스토리지 연결 때 사용
- Instance Storage: 고성능 물리 스토리지
- EFS: 다중 가용 영역 간 마운트해서 사용할시 사용
- FSx for Windows: 윈도우 서버 파일 시스템이 필요 할때 사용
- FSx for Lustre: 고성능 연산 리눅스 파일 시스템
- FSx NetApp ONTAP: 높은 운영 체제 호환성과 네트워크 파일 시스템이 필요 할때 사용
- FSx for OpenZFS: 관리형 ZFS 파일 시스템이 필요 할때 사용
- Storage Gateway: S3, FSx 파일 게이트웨이 사용하여 온프레미스와 S3, FSx 동기화 할 때 사용
- Trnasfer Family: FTP, FTPS, SFTP 인터페이스를 필요 할때 사용
- DataSync: 일정에 따라 데이터 동기화 할때 사용
- Snowcone / Snowball / Snowmobile: 데이터를 옮기는 데 쓸 네트워크 용량이 없는데 물리적으로 옮길게 많을때 사용
'스터디 > AWS SAA' 카테고리의 다른 글
섹션 18: AWS의 컨테이너: ECS, Fargate, ECR 및 EKS (1) | 2024.01.09 |
---|---|
섹션 17: 디커플링 애플리케이션: SQS, SNS, Kinesis, Active MQ (1) | 2024.01.08 |
섹션 15: CloudFront 및 AWS 글로벌 액셀러레이터 (1) | 2024.01.05 |
섹션 14: 아마존 S3 보안 (1) | 2024.01.04 |
섹션 13: 고급 Amazon S3 (1) | 2024.01.03 |