Amazon Athena Amazon Athena S3 버킷에 저장된 데이터 분석에 사용하는 서버리스 대화형 쿼리 서비스 데이터 분석을 위해서는 표준 SQL 언어로 파일을 쿼리해야 함 CSV, JSON, ORC, Avro, Parguet 등 다양한 형식 지원 스캔된 데이터의 TB당 고정 가격 지불 형식, 프로비저닝 필요 없음 Athena는 Amazon QuickSight라는 툴과 함께 사용하는 경우가 많음 임시 쿼리 수행이나 BI 분석 및 보고, AWS 서비스에서 발생하는 모든 로그를 쿼리로 분석하는 데 활용 VPC Flow 로그, ELB 로그, CloudTrail 등이 해당 서버리스 SQL 엔진을 사용한 Amazon S3 데이터 분석이라는 말이 나오면 Athena를 떠올릴 것 열 (Column) 기반 ..

Database 데이터베이스 유형 RDBMS - SQL을 사용하거나 온라인 트랜잭션을 처리할 때 사용, RDS, Aurora 등 NoSQL - 유연한 데이터베이스, 일반적으로 SQL 쿼리 언어를 사용하지 않음, DynamoDB, ElastiCache 등 Object Store - 대용량 객체 저장용 Amazon S3나 백업, 아카이브용 Glacier 등이 포함된 데이터베이스 Data Warehouse - SQL 분석이나 비즈니스 인텔리전스를 사용, Redshift, Athena, EMR 등 Search - 자유롭게 텍스트를 입력하거나 비정형 데이터를 검색하는 데이터베이스, OpenSearch 등 Graphs - 데이터 세트 간의 관계를 표시, Amazon Neptune 등 Ledger - 트랜잭션 목록과..

AWS Lambda Serverless 서버리스는 서버가 없는 것이 아니라 서버가 보이지 않게 하거나 서버를 프로비저닝 하지 않는 것을 의미 서버리스 서비스를 사용하는 개발자는 서버 관리할 필요가 없음 Lambda, DynamoDB, Cognito, API Gateway, S3, SNS, SQS, KDF, Aurora, Fargate 등이 서버리스 서비스 AWS Lambda 서버를 구축 및 프로비저닝 하는 과정을 거치지 않고 코드를 실행하는 서비스 Lambda의 핵심 구성 요소는 Lambda 함수와 이벤트 소스로 구성 최대 15분의 실행 제한 시간이 있고 15분을 초과하는 작업에 대해서는 비적합 더 많은 Lambda 함수를 동시에 필요로 하는 경우 AWS 가 자동으로 프로비저닝 해서 스케일링을 진행 La..

Docker Docker 앱 배포를 위한 소프트웨어 개발 플랫폼 표준화된 컨테이너에 앱이 패키징 되어 있어서 어느 운영체제에서도 실행 가능 유지 및 배포가 쉬움 언어, 운영체제, 기술에 상관 없이 실행 가능 마이크로 서비스나 온프레미스에서 클라우드로 앱을 마이그레이션 할 때 등에 사용 쿠버네티스 38일차 리뷰 (Review) 더보기 Playbook 제어 구조 순차 구조 - 명령이 기술된 순서로 순차적으로 수행하는 구조 선택 구조 - 조건에 따라 명령의 실행 순서를 변경할 수 있는 구조 반복 구조 - 특정 명령을 일 jw-coding.tistory.com AWS 에서 Docker 컨테이너를 관리하는 방법 Amazon ECS (Elastic Container Service) Amazon EKS (Elasti..

아쉬움이 많은 회차였다. 60점 합격에 55점이면 한 문제 차이라는 소리인데 또 이 짓을 할 생각하니 속이 쓰리다. 가채점 이후에 떨어졌다 생각하고 3회차를 준비하고 있었어도 속이 쓰린 것은 어쩔 수 없나 보다. 코딩과 SQL의 비중이 점점 더 높아지는 것 같다. 애시당초 비전공자이고 코딩은 거의 해보지 않았기에, 지금껏 나왔던 정처기 기출 문제 수준의 코딩 문제정도만 풀 수 있게 공부를 했다. 그마저도 조금만 복잡해보이면 스킵을 했던 것이 패착이었나보다. '공부를 열심히 했다.'라고는 할 수 없다. 열심히 하지 않았기에 후회하고 있다. 이 부분 조금만 더 봤으면 맞췄을텐데... 하는 생각이 든다. 3회차에는 합격 후기를 작성할 수 있도록 해야겠다.

Amazon SQS Amazon SQS Simple Queue Service SQS는 AWS에서 제공하는 최초의 서비스로 가장 오래된 서비스 완전 관리형 서비스이며 애플리케이션을 분리하는 데 사용 메세지를 보내는 주체를 Producer (생산자), 메세지를 수신하는 대상을 Consumer (소비자) 생산자에 의해 메세지가 작성되면 소비자가 해당 메세지를 읽고 삭제할 때까지 SQS 대기열에 유지 소비자가 SQS 메세지를 폴링 하여 메세지를 확인하고 수행한 후 삭제 Amazon SQS 특징 무제한 처리량 - 처치량에 제한이 없고 대기열에 있는 메세지 수에도 제한이 없음 메세지의 수명이 짧음 - 기본값으로 4일 동안 대기열에 남아있고, 최소 1분부터 최대 14일까지 보존 지연 시간이 짧음 전송 메세지당 256..

AWS Storage 정리 AWS Storage 비교 S3 - 객체 스토리지로 대부분의 AWS 서비스와 연결 가능 S3 Glacier - 객체 아카이브 (보관) EBS - 한 번에 한 개의 EC2 인스턴스에만 스토리지 연결할 때 사용, io1과 io2 볼륨에 다중 연결 기능 지원 EC2 Instance Storage - 고성능 물리 스토리지가 필요한 경우 사용 EFS - 네트워크 파일 시스템이 필요하고, 다중 AZ 간 마운트해야 하고, POSIX 파일 시스템을 사용할 경우 사용 FSx for Windows - Windows 서버 파일 시스템 사용하는 경우 사용 FSx for Lustre - 고성능 연산 Linux 파일 시스템이며 Lustre 클라이언트와 호환 해야하는 경우 사용 FSx NetApp ONT..

AWS Snow Family AWS Snow Family 보안성이 뛰어난 휴대용 장치의 모음 대용량의 데이터를 안전하고 네트워크 사용할 때 보다 빠르게 전송하기 위해 사용되는 솔루션 엣지에서 데이터를 수집하고 처리하기 위해 사용 - Snowcone, Snowball Edge AWS 안팎으로 데이터를 마이그레이션 할 때 사용 - Snowcone, Snowball, Snowball Edge, Snowmobile Snowcone 사이즈가 작은 장치로 이더넷 포트가 있고, 어디서나 컴퓨팅 가능한 작은 휴대용 장치 용량이 작은 경우 (최대 8TB) 에 엣지 컴퓨팅, 스토리지 및 데이터 전송에 사용 2 CPUs, 4GB Memory, 유무선 액세스 Wi-Fi 지원 등으로 엣지 컴퓨팅에 사용 공간의 제약을 받는 환경..

AWS CloudFront Content Delivery Network (CDN, 컨텐츠 전송 네트워크) 시험에서 DNS을 본다면 CloudFront 웹 사이트의 컨텐츠를 서로 다른 엣지 로케이션에 미리 캐싱하여 읽기 성능을 높이는 것 컨텐츠가 분산되어 있어 디도스 공격에서 보호받을 수 있음 OAC - Origin Access Control, S3 버킷에 CloudFront만 접근 가능하게 하는 방법 CloudFront는 사용자 지정 HTTP 백엔드에도 접근 가능 (EC2 인스턴스, ALB) 지리적 제한 사용자의 지역에 따라 배포 객체 접근을 제한하는 기능 접근 가능한 국가 목록이나 접근 불가능한 국가 목록을 만들어서 설정 컨텐츠 저작권법으로 인한 제한 등에 이용 CloudFront 요금 (Pricing..

Amazon S3 S3 수명 주기 규칙 전환 작업 - 예로 객체 생성 60일 후에 Standard-IA 로 이동하거나 6개월 후에 Glacier에 아카이빙 되도록 설정 만료 작업 - 예로 365일 후에 액세스 로그 파일 삭제하거나 버저닝 활성화한 경우 이전 버전 파일을 삭제하도록 설정 규칙에는 특정 접두사를 사용하여 전체 버킷이나 버킷 일부 경로에만 적용 가능하고 특정 객체 태그에만 지정도 가능 S3 요청자 지불 일반적으로 버킷 소유자가 버킷과 관련된 모든 S3 스토리지 및 데이터 전송 비용을 지불 요청자 지불 버킷을 활성화 하여 버킷 소유자가 아닌 요청자가 객체 데이터 다운로드 비용을 지불하는 기능 요청자는 AWS에서 인증을 받아야 함 S3 기능 멀티파트 업로드 100MB 가 넘는 파일은 멀티파트 업로..