What is Amazon FSx?

FSx

• 완전 관리형 서비스로 타사 고성능 파일 시스템을 실행시킨다.
• RDS 에서 MySQL 이나, Postgres 를 실행하는 것과 같은 개념이다 (RDS 가 FSx 로 바뀌었고 파일 시스템을 실행한다는 점이 다르다.)
• FSx 에 Lustre 를 실행한다고 해보면, File Server 를 실행할 수 도 있다. -> NetApp ONTAP 나 OpenZFS 가 될 수 도 있을 것이다.

 

 

 

 

1. FSx for Windows File Server

• 완전 관리형 Windows 파일 서버 공유 드라이브로 Windows 를 사용하기 때문에 SMB 프로토콜과 Windows NFTS 를 지원한다. 또한 Active Directroy 통합을 지원하므로 사용자 보안을 추가할 수 있고 ACL 로 사용자 할당량을 추가해 액세스를 제어할 수 있다.
• 겉보기에는 Windows에서만 사용할 수 있는 것 같지만 EC2 인스턴스에도 마운트 할 수 있다는 것을 기억해야한다.
• 가령 기존에 온프레미스 등에 Windows 파일 서버가 있는 경우 Microsoft 분산 파일 시스템인 DFS 기능을 이용하여 파일 시스템을 그룹화할 수 있다.
• 이렇게 하면 온프레미스의 Wiondows 파일 서버와 FSx for Windows File Server 를 결합할 수 있다.
• 성능 : 초당 수십 GB 에 수백만 IOPS 그리고 수백 PB 의 데이터까지 확장될 수 있으며 FSx for Windows Files Server 의 스토리지 옵션으로는 SSD 로 지연 시간이 짧아야 하는 워크로드를 저장할 수 있다.

 

 

 

 

2. FSx for Lustre

• Lustre 는 원래 분산 파일 시스템으로 대형 연산에 쓰였다.
• Lustre : Linux + Cluster -> 머신러닝 HPC, 즉 고성능 연산에 쓰인다.
• FSx for Lustre 는 동영상 처리나 금융 모델링 전자 설계 자동화 등의 애플리케이션에 쓰이고 확장성이 상당히 높다. 
• 초당 수백 GB 의 데이터에 수백만 IOPS 로 확장되고 밀리초보다 짧은 지연 시간을 자랑한다.
• 스토리지 옵션은 두가지이다. -> 낮은 지연 시간의 SSD 나 워크로드가 많거나, 크기가 작은 무작위 파일 작업이 많으면 IOPS 도 사용 가능
• 처리량이 많은 워크로드나 크기가 큰 시퀀스 파일 작업에는 HDD 를 쓸 수 있으며, SSD 가 HDD 보다 비용은 많이 든다.
• S3 와 무결정성 통합이 가능한데 다시 말하면 FSx 로 S3 를 파일 시스템처럼 읽어들일 수 있다
• 그리고 FSx 의 연산 출력값을 다시 S3 에 쓸 수 있다.
• FSx for Lustre 는 VPN 과 직접 연결을 통해 온프레미스 서버에서 사용할 수 있따.

 

 

 

3. FSx 의 파일 시스템 배포 옵션

(1). 스크래치 파일 시스템

• 스크래치 파일 시스템 : 임시 스토리지로 데이터가 복제되지 않고, 기저 서버가 오작동하면 파일이 모두 유실된다.
  -> 하지만 최적화로 초과 버스트를 사용할 수 있다
  -> 영구 파일 시스템보다 성능을 여섯 배 높일 수 있다.
  -> TiB 처리량당 초당 200MB 의 속도가 나온다, -> 규모가 크다
• 스크래치 파일 시스템은 단기 처리데이터에 쓰이며 데이터 복제가 없어 비용을 최적화할 수 있다.
• FSx 가 있으면 Compute Instance 가 AZ1 과 AZ 2 에 연결하는데 이때 FSx for Lustre 스크래치 파일 시스템을 사용하면 아래 보이는 도식처럼 데이터의 사본이 하나만 존재한다. -> 또한 데이터 저장소에 추가로 S3 버킷을 둘 수도 있다. 

스크래치 파일 시스템

(2) 영구 파일 시스템

• 장기 스토리지로 동일한 가용 영역에 데이터가 복제된다. (AZ 간은 아니라 동일한 AZ 내에서 복제된다.)
  -> 즉, 기저 서버가 오작동했을 때 단 몇분 내에 해당 파일이 대체된다는 것이다.
• 영구 파일 시스템 : 민감한 데이터의 장기 처리 및 스토리지를 들 수 있다.
• 해당 아키텍처를 보면 FSx for Lustre 는 단일 AZ 에만 있다고 했는데, Lustre 파일 시스템의 영구 모드에는 데이터 사본이 두개가 생긴다.
  1. 첫번째 데이터 볼륨에 복제본 하나
  2. 두번째 데이터 볼륨에 하나가 있다.

영구 팡리 시스템

 

 

 

 

4.FSx for NetApp ONTAP

• AWS 의 관리형 NetApp ONTAP 파일 시스템으로 NFS, SMB, iSCSI 프로토콜과 호환 가능
• 온프레미스 시스템의 ONTAP 이나 NAS 에서 실행 중인 워크로드를 AWS로 옮길 수 있따.
• 다양한 운영 체제에서 사용 가능하여 호환 가능한 폭이 매우 넓다.
• 스토리지는 자동 확장 및 축소된다. (Auto Scaling)
• 복제와 스냅샷 기능도 지원
• 비용도 적게 들고 데이터 압축이나 데이터 중복제거도 가능하다.
• 지정 시간 복제 기능 : 새 워크로드 등을 테스트할 때 유용하며, 파일 시스템에서 신속히 복제가 가능하고 스테이징 파일 시스템을 둘 수 있다.

ONTAP

 

 

 

5. FSx for OpenZFS

• 여러 버전에서의 NFS 프로토콜과 호환이 가능하며, 주로 ZFS 에서 실행되는 워크로드를 내부적으로 AWS 로 옮길 때 사용된다.
• 성능이 상당히 좋아서 백만 IOPS 까지 확장 가능하고 지연 시간은 0.5 밀리초 이하이다. 
• 스냅샷, 압축을 지원하고 비용이 적지만 데이터 중복제거 기능은 없다.
• ONTAP 처럼 역시 지정 시간 동시 복제 기능이 있어서 새 워크로드 테스트 시에 유용하다

OpenZFS