Amazon Redshift
- AWS 클라우드에서 완벽하게 관리되는 페타바이트급 데이터 웨어하우스 서비스입니다.
- 데이터 웨어하우스는 노드라는 컴퓨팅 리소스의 모음으로, 노드는 클러스터라는 그룹을 구성합니다.
Amazon Redshift 개념
- 클러스터 – Amazon Redshift 데이터 웨어하우스의 핵심 인프라 구성 요소는 클러스터입니다.
- 클러스터는 하나 이상의 컴퓨팅 노드로 구성됩니다. 컴퓨팅 노드는 컴파일된 코드를 실행합니다.
- 클러스터에 두 개 이상의 컴퓨팅 노드가 제공된 경우 추가 리더 노드가 컴퓨팅 노드를 조정합니다.
- 리더 노드는 비즈니스 인텔리전스 도구 및 쿼리 편집기와 같은 애플리케이션과의 외부 통신을 처리합니다.
- 클라이언트 애플리케이션은 리더 노드와만 직접 상호작용합니다.
- 데이터베이스 – 클러스터에는 하나 이상의 데이터베이스가 포함되어 있습니다.
- 사용자 데이터는 컴퓨팅 노드에 있는 하나 이상의 데이터베이스에 저장됩니다.
- SQL 클라이언트는 리드 노드와 통신하고, 리더 노드는 이어서 컴퓨팅 노드와 쿼리 실행을 조정합니다.
Redshift의 일반적인 데이터 처리 흐름
- Datashare를 사용하여 Redshift 클러스터에서 읽기용으로 라이브 데이터를 비교적 안전하고 쉽게 공유합니다.
- Redshift Spectrum 을 사용하여 데이터를 Redshift 테이블에 로드 하지 않고도 S3 파일에서 데이터를 쿼리합니다.
- 연합 쿼리를 사용하여 RDS 및 Aurora 또는 S3와 같은 관계형 데이터베이스의 데이터를 Redshift DB 데이터와 Join 합니다.
- SageMaker Autopilot과 함께 작동하여 최상의 모델을 자동으로 얻고 Redshift에서 예측 함수를 사용할 수 있도록 합니다.
데이터 웨어하우스 시스템 아키텍처
AWS Resource Access Manager
- AWS RAM을 사용하면 지원되는 리소스 유형에 대해 AWS 계정 전체에서, 조직 또는 조직 단위(OU) 내에서 IAM 역할 및 사용자와 안전하게 리소스를 공유할 수 있습니다.
CloudTrail
- AWS 계정에서 AWS Service가 수행하는 작업들은 CloudTrail에 이벤트로 기록됩니다. 이 때 이벤트는 AWS Management Console, AWS CLI, AWS SDK, API에서 수행하는 모든 작업들을 말한다.
- AWS CloudTrail을 사용해 AWS 인프라 전반에 걸친 계정활동을 확인, 검색, 다운로드, 보관, 응답할 수 있다. 따라서 AWS 계정 활동에 대한 CloudTrail을 통한 가시성 확보는 보안 및 운영에서 매우 중요하다.
Amazon Inspector
- Amazon Inspector는 지속적으로 스캔하는 취약성 관리 서비스입니다.
- Amazon Inspector는 Amazon ECR에 있는 Amazon EC2 인스턴스와 컨테이너 이미지를 자동으로 검색하여 소프트웨어 취약성과 의도하지 않은 네트워크 노출이 있는지 검사합니다.
- 소프트웨어 취약점이나 네트워크 문제가 발견되면 Amazon Inspector에서 검색 결과를 생성해 줍니다.
- 검색 결과는 취약성을 설명하고, 영향을 받는 리소스를 식별하며, 취약성의 심각도를 평가하며, 수정 지침을 제공합니다.
- Amazon Inspector 콘솔을 사용하여 계정에 대한 검색 결과에 대한 세부 정보를 여러 가지 방법으로 분석하거나 다른 항목을 통해 검색 결과를 보고 처리할 수 있습니다.
AWS Shield
- AWS Shield는 AWS에서 실행되는 애플리케이션을 보호하는 관리형 DDoS 보호 서비스입니다.
