데이터 분석 서비스

Amazon Athena

• 표준 SQL을 사용해 Amazon S3에 저장된 데이터를 분석할 수 있는 쿼리 서비스
• Athena로 데이터를 로드 할 필요 없이 s3에 저장된 데이터를 직접 사용
• csv, json , orc ,avro 또는 parquet 과 같은 다양한 종류의 데이터 형식을 지원
• 예) s3에 csv 데이터 파일을 저장하여 athena 를 사용해 sql 쿼리를 하는 비용 효율적인 솔루션 구축
• athena 연합쿼리 (여러가지 데이터소스 로 부터 쿼리를 함) 를 사용하여 amazon cloudwatch logs, amazon dynamodb, amazon documentDB , amazon RDS, JDBC 호환 관계형 데이터베이스 (Apache 2.0 라이선스에 따른 MySQL , PostgreSQL등) 와 같은 데이터 원본에 저장된 데이터에 대해 SQL 쿼리 수행 가능
• amazon quicksight와 통합하여 쿼리된 데이터를 시각화 할 수 있음

 

Amazon Redshift

• 데이터 웨어하우스 서비스
• 데이터 웨어하우스 = 여러 소스로부터 얻은 구조화 되거나 반 구조화된 (정형 및 반정형) 대량의 데이터를 중앙 집중화 및 통합하여 데이터 웨어하우스의 분석 기능을 통해 데이터에서 귀중한 비지니스 통찰력을 도출하여 의사 결정을 개선
• (Amazon) s3, RDS, DynamoDB , Kinesis Data Firehose , EMR, Glue , Data Pipeline ,EC2 또는 온프레미스의 모든 SSH 지원 호스트를 비롯하여 다양한 데이터소스에서 redshift로 데이터를 로드
• BI(Business Intelligent) 도구 (amazon quicksight) , sql client 및 기타 분석 응용 프로그램을 통해 데이터에 액세스

 

Amazon OpenSearch Service (Amazon Elastic Search Service)

• OpenSearch는 ElasticSearch에서 파생된 오픈 소스 분산 검색 및 분석 제품
• 로그 분석, 실시간 앱 모니터링 및 웹사이트 검색 등을 쉽게 수행할 수 있게 해주는 서비스
• 다양한 소스에서 스트리밍 데이터를 amazon opensearch service 도메인으로 로드
  • amazon kinesis data firehose 및 amazon cloudwatch logs 와 같은 일부 소스는 opensearch service 를 기본으로 지원
  • amazon s3, amazon kinesis data streams 및 amazon dynamodb 와 같은 다른 소스는 aws lambda 함수를 이벤트 핸들러로 사용하여 로드

 

Aws QuickSight

• 클라우드 기반의 비즈니스 인텔리전스(BI) 도구
• 대시보드 , 그래프 등의 시각화를 통한 데이터 분석을 통해 의사결정을 도와주는 서비스
• 예) csv 파일 excel 파일을 업로드하고, salesforce와 같은 saas 앱에 연결하고 , sql server, mysql 및 postgreSQL과 같은 온프레미스 데이터베이스에 액세스하고, Amazon Redshift , Amazon RDS , 등등에서도 원할하게 액세스하여 시각화함

 data catalog는 data에 대한 metadata이다.

 

AWS Lake Formation

• 데이터 레이크 서비스
• 데이터 레이크는 조화되거나 반구조화되거나 구조화되지 않은 모든 유형의 대량의 데이터를 저장, 처리, 보호하기 위한 중앙 집중식 저장소

 

Amazon EMR (Elastic MapReduce)

• 클라우드 빅데이터 플랫폼
• MapReduce는 분산 병렬처리 컴퓨팅 모델의 이름
• EMR은 빅데이터 플랫폼인 Hadoop 클러스터를 손쉽게 생성해 주는 서비스
• Apache Spark , Apache Hive 및 Presto 와 같은 오픈소스 프레임워크를 사용
• 데이터 처리를 위한 EMR 클러스터 (여러 EC2인스턴스들) 를 자동으로 구성하고 확장 및 숙소를 하는 기능을 가짐
• 머신러닝, 빅데이터 처리 등에 사용하게됨