관심있는것들

lossi 를 표현한 그래프가 굉장히 보기가 어렵다. plt.plot(lossi) plt.plot(torch.tensor(lossi).view(-1, 1000).mean(1)) (200,1000) 으로 만든후에 row를 기준으로 평균을 내어 loss decay가 일어난곳을 좀 더 명확히 확인 할 수 있다. class Embedding: def __init__(self, num_embeddings, embedding_dim): self.weight = torch.randn((num_embeddings, embedding_dim)) def __call__(self, IX): self.out = self.weight[IX] return self.out def parameters(self): return [se..

Storage Gateway 온 프레미스 데이터 센터의 데이터와 aws 클라우드의 스토리지 서비스를 연결하는 서비스 하이브리드 클라우드 스토리지로도 부름 (온프레미스 + 클라우드) 온프레미스의 데이터를 aws 클라우드로 실시간으로 전송 및 저장 가능 (짧은 지연시간 액세스) 온프레미스에 로컬캐시 기능을 통해 자주 사용하는 데이터 보관 가능 파일 백업, 클라우드 파일 저장소, 재해복구 저장소의 용도로 사용 4가지 유형의 게이트웨이 = s3 파일게이트웨이 , Fsx 파일게이트웨이 ,볼륨 게이트웨이, 테이프 게이트웨이 s3 파일 게이트웨이 온프레미스와 s3 간에 파일 단위로 전송하는 게이트웨이 NFS, SMB(Server message block) 프로토콜을 이용하여 s3에서 객체를 저장하고 검색 가능 Act..

S3 - 개요 및 버킷 생성 데이터 저장 방식 오브젝트 스토리지 = s3 오브젝트라고 불리는 개별 유닛에 데이터를 저장하는 스토리지 포맷 각 유닛에는 고유의 식별자 혹은 키가 있어서 분산된 시스템 내 어디에 저장되어 있든지 상관없이 데이터를 찾을 수 있음 각각의 오브젝트에는 키, 데이터 및 옵션 메타데이터가 포함 블록 스토리지 = EBS 데이터를 고정된 사이즈의 블록으로 나누어 각각 고유한 식별자와 함께 저장하는 방식 각 데이터 블록은 고유 식별자를 부여 받아 스토리지 시스템이 데이터 조각을 원하는 곳에 배치 가능 예) 일부 데이터는 리눅스 환경에 저장하고 일부는 윈도우 장치에 저장 파일 스토리지 = EFS, FSx 데이터는 계층적 파일 디렉터리 내의 폴더에서 파일로 저장 해당 데이터에 액세스 해야하는 ..

Elastic Block Store (EBS) 개요 EC2에 연결하여 사용하는 블록 스토리지 EC2 인스턴스 시작 시 AMI 가 설치되는 EBS 루트(부트) 볼륨이 생성됨 여러 개의 EBS 볼륨을 생성하여 EC2에 추가 연결 가능 EBS와 EC2는 동일한 가용영역에 있어야 연결 가능 snapshot 기능을 통해 EBS 볼륨 백업 가능 수명 주기 관리자 (Data Life Cycle Manager) 정책을 통해 스냅샷 생성 일정을 자동화 가능 EBS 볼륨 유형 볼륨 유형에 따라 제공되는 용량(크기) , IOPS , 최대 처리량이 다름 부트 볼륨은 범용 SSD , 프로비저닝 된 SSD만 지원 EBS 다중연결은 프로비저닝 된 SSD만 지원 EBS 다중연결 (EBS Multi-Attach) 하나의 EBS 볼륨을..

EC2 Auto Scaling 개요 auto scaling group = EC2 인스턴스의 그룹 시작 템플릿 (런치 템플릿) = EC2 서버를 시작하기 위한 AMI , 인스턴스 유형 정보를 가진 템플릿 조정 옵션 (조정 정책) = Auto Scaling을 실행하기 위한 조건 EC2 Auto Scaling - 조정 정책 항상 현재 인스턴스 수준 유지관리 지정된 수의 실행 인스턴스를 항상 유지하도록 Auto Scaling 그룹을 구성 인스턴스가 비정상 상태임을 확인하면 해당 인스턴스를 종료한 다음 새 인스턴스를 시작함 수동 조정 일정을 기반으로 저정 매주 일요일에는 인스턴스 4대 , 평일이에는 2대 온디맨드 기반 조정 (Dynamic Scaling) 수요 변화에 맞춰 Auto Scaling 그룹의 크기를 동..

https://copyconstruct.medium.com/the-method-to-epolls-madness-d9d2d6378642 The method to epoll’s madness My previous post covered the fundamentals of file descriptors as well as some of the most commonly used forms on non-blocking I/O… copyconstruct.medium.com epoll 은 systemcall이 아니라 자료구조이다. 다른 systemcall로 해당 자료구조를 제어하는 것이다. 1. epoll_create #include int epoll_create(int size); size 는 kernel 로 하여..

Elastic Load Balancing(ELB) 개요 Gateway LB는 단순히 라우팅만 해주는것이 아니라 보안적인 요소도 고려해서 패킷들을 처리하게 된다. TargetGroup이 정상인지 주기적으로 헬스 체크하는 역할도 있다. Application LB 는 HTTP 요청을 보냄으로서 확인을 하게 된다. TargetGroup 들의 속성들 속성 (Attribute) -HTTP/HTTPS , 프로토콜에 따라 다 다르다 , Application LB (L7) 등록 취소 지연 (Deregistration delay / Connection Draining) Auto Scaling 축소 등으로 Deregistration 된 인스턴스에 더 이상의 요청을 보내지 않도록 하는 기능 해당 인스턴스에 진행중이 요청이 있..

인스턴스 구매 옵션 온디맨드 = 약정없이 초당 사용한 만큼 비용지불 스팟 = 사용 안하는 인스턴스를 경매 방식으로 구매하여 사용 온디멘드 인스턴스보다 90까지 저렴 하지만 경매 조건에 미달( 누가 더 비싸게 부르거나 ,온디멘드에서 사용하게 되면) 하면 인스턴스가 종료되어버림 앱이 언제든지 종료가능할 때만 사용하게된다. 여러개의 스팟 인스턴스를 하나의 그룹으로 묶어 스팟 집합(spot fleets)으로 구매하여 사용함 예약 + 스팟(급겨하게 사용량이 증가된경우) 예약 = 1~3년 기간 약정하여 사용 , 75까지 저렴 , 수요가 꾸준하고 예측가능한 경우 좋음 표준 예약 인스턴스 = 인스턴스 타입 변경 불가능 전환형 예약 인스턴스 = 중간에 변경 가능 정기 예약 = 지정된 시간, 날짜 동안에 인스턴스가 시작됨..

IAM 개요 AWS 계정 및 권한 관리 서비스 AWS 서비스와 리소스에 대한 엑세스 관리 사용자 , 그룹 , 역할 , 정책 으로 구성 리전에 속하는 서비스가 아닌 글로벌 서비스 계정 보안 강화를 위해 루트 계정(AWS 회원가입시 만들어지는 계정) 은 최초 사용자 계정 생성 이후 가능하면 사용하지 말 것 사용자 계정 (IAM 계정) 으로 서비스를 사용하고 사용자는 필요한 최소한의 권한만 부여 루트 계정 , 개별 사용자 계정에 MFA 적용해야함 IAM 정책 AWS 리소스에 대한 엑세스 권한을 정의 한 것 사용자, 그룹, 역할에 정책을 연결하여 사용 JSON 문서 형식으로 정책이 명시되지 않은 경우 기본적으로 모든 요청이 거부됨 custom 하게 자신이 역할을 만들수도 있음 effect에는 allow, den..

리전 (Region) 데이터 센터를 클러스터링하는 물리적위치 (서울, 홍콩) 1개 AWS 리전 = 2개이상의 가용영역으로 구성 대부분의 AWS 서비스는 리전을 선택하여 시작 (EC2) 리전을 선택하지 않는 글로벌 서비스도 있음 (IAM) 재해복구(DR) 설계 = 2개 이상의 리전에 시스템을 배치 가용영역 (Availability Zone, AZ) 가용영역 = 하나 이상의 개별 데이터 센터 1개의 리전은 2개이상의 가용영역으로 구성 (보통 3~4개) 가용영역끼리는 물리적으로 떨어져 있고 고속 네트워크로 연결됨 고가용성 설계 = 다중 AZ, 2개 이상의 가용영역에 시스템 배치 엣지 로케이션 (Edge Location) 엣지 로케이션에 콘텐츠를 캐싱하여 사용자에게 더 짧은 지연 시간으로 콘텐츠를 전송 글로벌 ..