AWS 관련해서 최대의 희소식은 한국에 Resion이 설립 된다는 사실!!!
이미 Edge는 존재하지만 Resion은 설립되지 않았으나 2016년 설립 예정 이것은 이미 기사화 됐었다.
그런데 추가적으로 영국 , 중국의 2번째 Resion, 미국의 오하이오 주, 인도 , 한국까지
포함하여 2017년까지 총 17개의 Resion이 운용 될 계획이다.
우천 관계로 지연되어 AWS 한국 사용자 모임에 대해 이야기를 먼저 들었습니다.
식량도 증정해줍니다...ㅋㅋㅋ 꿀이득
AWS 테크 에반젤리스트 윤석찬님 오오~
slideshare에서 태권 혹은 차니로 유명하시죠.
라스베가스에서 열렸던 re:invent에서 실제 연사하신 IGAworks의 배정상님의 연사였습니다.
쿠키런으로 유명하죠? 데브시스터즈의 안재만님
메가존 팀장님과 GS neo 차장님? 이름을 제가 까먹었습니다. 죄송합니다.
사용자 그룹 모임의 운영진이기도 하시죠.
연사 내용
윤석찬 AWS 테크 에반젤리스트
먼저 기초적인 설명을 해주셨다.
새로 신설 된 Resion 과 Resion에는 AZ가 존재하고, 각 AZ에는 실제 물리적으로
존재하는 인스턴스가 존재한다.
Tokyo의 경우에는 3개의 인스턴스가 클러스터로 구성 된다.
AZ는 Availity Zone 맞나? 그렇게 들었다.
즉, 아마존이 서버 가상화 기술을 사용하지만 실제 물리적인 센터를 운영해야 하는데,
전쟁 상황시가 아닌 이상 데이터에 대한 고 가용성을 보장하기 위해
Resion 마다 하위로 세부적인 인스턴스를 가지는 것 같다.
그리고 이제 앞으로의 기술은 컴퓨터의 모든 어플리케이션이 클라우드 환경에서
동작하는 것 그것이 클라우드의 최대 지향점이라고 볼 수 있을 것 같다.
이번 re:invent에서는 빅데이터 분석/ IoT / Mobile 관련 새로운 서비스가 런칭 되었고, 혹은 런칭 될 예정이다.
특히나 AWS Firehose 같은 경우는 kenesis가 실시간 기능에는 약했지만, 새로운 Firehose 서비스를 제공하면서
실시간 수집 후 S3 / 혹은 RDS로 저장하는 형태의 서비스가 되었고, 기존 Kenesis와는 다르게
확장성까지도 지원하게 되었다.
AWS Migration 서비스 / AWS elasticsearch 서비스
엘라스틱 서치의 최대 장점은 ELK 스택으로 하여 수집 - 검색 - 시각화까지 하나의 Term으로 제공한다는 점.
많은 요청으로 인해 AWS에서도 지원하게 되었다.
AWS Kenesis Analysis 서비스의 경우는 내년 서비스 런칭 예정이다.
사실 최대의 빅데이터 주된 주제는 데이터를 가지고 어떻게 무엇을 할 것인가?
그래서 나온 데이터 기반 예측 서비스.
Business Inteligence 같은 서비스 툴이 마케팅 기획 영역분야에 제공 된다.
그런데 BI 같은 경우는 가격이 비싸고, 구현이 오래걸림
그래서 Amazon Quicksight를 제공하게 됨. 기존 AWS 서비스 저장 데이터를 이용가능하다.
특히나 최대의 핫한 기술 인메모리 기반으로 병렬연산 엔진 (SPICE)를 가지고 60초 이내에 분석 완료 - 샘플로 시각화 - 분석 스토리 및 스냅샷을 공유 가능하다.
- 기존 BI보다 저렴한 비용.
데이터 소스 자동 탐색 - 데이터형식과 관계를 인지 - 시각화라는 점이고도의 기술력인 것 같다.
Super-Fast Parallel In-memory Computation Engine
특히나 고도의 연산은 스파이스 엔진으로 한다고 했는데 그것은 고속 병렬 메모리 기반 계산 엔진이라고 할 수 있다.
행렬 연산을 주로 한다고 얼핏 들었다.
어떻게 1분 이내에 연산을 하지 ? 나의 최대 궁금증...
시각화 할 당시에 클릭하는 순간 마다 바로 동적으로 생성한다는 점.
나의 사견이지만 인메모리 기반 연산 - 시각화 기술이라고 할 수 있을 것 같다.
월 9달러 ( 싸다...)
클라우드 기반 모바일 앱
인증 - 분석 - 푸시 - 커넥커 - API 게이트 웨이 - 테스트 팜 빌딩 블럭 지원
그래서 Mobile hub 서비스 신설
기존 서비스를 종합적으로 연계하는 서비스를 구성하였다.
안드로이드 경우 페이스북 연동까지 10분 정도 소요 된다.
IoT
IoT는 클라우드가 필수적이다.
장비, 네트워크, 보안, 수집, 스마트 등을 한 번에 제공하는 서비스에 AWS 또한 IOT 서비스 신설 작년에도 많은 투자를 했다.
컴퓨터 사이 / 장비 간 장비도 지원 IoT 에 관한 지원 커버리지가 높다.
Device Gatewy + Rule engine + 등록 + shadow = IoT를 구성하게 된다.
디바이스 쉐도우를 클라우드상에서 복제 하고 인터넷 연결이 안되어있을 경우 복제 디바이스에 연동 추후 실제 장비에 동기화하는 방식으로 실제 디바이스의 제한된 연결 상황에서도 데이터 유실의 문제가 없다.
현재 IoT파트너사는 10여곳 정도이며 IoT 키트를 생산하기도 했다.
비트패킹 컴퍼니 - 정민영님
AWS 히어로 사용자 그룹 멤버 ( 전 세계 20명 )
instance - container - serverless
instance 관련
T2 instance
성능티어로 구분 되었다. 메모리 R 계열 , C / CC 계열 (CPU) / G계열 (gpu 관련 )
T2는 burstable performance 라고 불림
기본 성능을 넘어가면 크레딧을 소모, 그렇지 않으면 적립 최대 24시간.
즉, 저렴하게 사용하면서도 필요한 순간에는 최대 퍼포먼스를 사용 할 수 있다.
T2.nano 신설. 기존 사이즈별로 존재.
in-memory DB 제품이 나온다는 루머 = 과연?
X1 인스턴스 클래스가 추가
최대 2TB 메모리 , 최대 4개의 인텔 제온 E7 100개 이상의 vCPU
sap hana, SQL server, spark, presto 등
dedicated host - 잘 몰라서 추가 검색이 필요 할듯 하다.
기존 MS 라이센스를 활용
EC2 spot block
spot instance = AWS 에서 남는 자원을 경매방식으로 저렴하게 사용하는 방식이었다.
AWS 측에서는 물리 자원을 노느니 싸게 제공하는게 나아서 현재 유휴자원에 따라서 경매방식으로 제공
단, 그런데 예측하지 못하게 종료가 가능하다.
높은 경매에 낙찰되면 2분 정도 시간만 부여하고 메시지를 전달 해줌 그래서 잘 사용 안하려고 함.
spot block 은 최대 6시간 이용 가능, on demand 대비 50% 저렴 60분 단위 지속시간 설정 가능.
spot 보다는 덜 저렴하긴 하다.
container 변화
Docker / ECS
서버 위에 게스트 os 그리고 어플리케이션을 올리게 됨. 대신 그 무수히 많은 셋팅이 필요하다.
그래서 개념을 바꾸게 됨. 어플리케이션 + 라이브러리를 컨테이너로 결합
도커 기반의 클러스터
새롭게 출시 된 것들
ECS CLI
ECR 아마존 EC2 컨테이너 레지스트리
Az aware scheduler
- 기존 서비스 스케쥴러 개선
- AZ에 task를 균형있게 배치
- 가용성 향상과 좀 더 효율적인 분산
new docker contianer configuration options
- 도커 고급 사용자 옵션 추가
- 실행 권한 , MLS 추가
serverless
논리적인 컨테이너에서 더 나아간 개념
AWS lambda
서버 설정 없이 원하는 코드만 업로드
- 자체 백엔드 인프라에서 수행 .
- 이벤트 기반 동작 방식으로 수행.
- 백밀리세컨드 시간당 과금
이미지 섬네일 같은 경우 많이 사용.
새로 추가 된 기능
- VPC 지원
- python 지원 공식, node,js, java
실행시간 증가
- 최대 실행 시간이 1분에서 5분으로 증가 됨. 현재 적용중.
versioning
- 코드 수정하는 즉시 바로 버젼 부여.
스케쥴링 ( CRON ) - 리눅스에서 사용하던 기능
API Gateway Lambda
게이트웨이가 람다 결합.
접점 - endpoiont 제공 서비스 + 람다 연결
ClouNoa의 박상욱님
Amazone WAF - 웹 방화벽
CDN 서비스와 같이 동작해야 함.
Rule 을 적용할 수 있고, 설정 시간은 5분정도면 사용 가능 하다.
Amazione inspector - 취약성 분석 툴
- 자동 어플리케이션 보안 진단 서비스
EC2 서버에 에이전트를 설치하고, role 를 추가 / tag 설정
시작 하면 자동으로 분석.
Config Rule
기존 config 툴이 있음.
AWS 각 리소스의 설정을 가시화 해주는 서비스.
리소스에 대한 관련성을 보여줌.
이 기능에 Rule을 추가 될 수 있도록 서비스를 확장함.
Rule 추가는 Lambda 함수를 이용하여 추가하면 된다.
SecDevOps 라는 개념이 대두되고 있고, DevOps에 보안 관련 까지 같이 추가해서 서비스하자.
스노우 볼 ( Snow Ball )
렌탈 스토리지. 하나는 22키로 용량은 50TB 내구성/방수 지원 256비트 암호화 지원
GPS kindle 탑재
Job 하나에 $200 배송료 부가세 별도 / 10일 이후부터는 $15 추가 된다.
RDS에 MariaDB 추가
MySQL RDB와 가격은 동일함.
Aurora RDS
10기가 - 64테라까지 자동 확장.
성능은 MySQL에 5배 빠름. 3개의 리전이 필요로함
데이터는 6개로 복제되고 한 AZ가 죽어도 장애 복구 가능.
DB 마이그레이션 서비스
최소 다운 타임으로 데이터 베이스 이전 가능하다. 리플리케이션 하면서 이전하는 방식이며, 이기종 DBMS간에도 가능하다.
오라클 - 오로라. 오라클 - 오라클 / SQL 서버 - MYSQL
schema conversion tool도 제공
CloudWatch dashboard
대쉬보드 기능이 추가되고 , 멀티 리전이 가능 해졌다.
CloudFormation Desinger
GUI로 클라우드 포메이션 템플릿 생성 하고, JSON 에디터 지원하며, 드래앤 드랍으로 디자인 가능.
IGAworks의 배정상님
Mobile business 서비스를 제공하는 회사.
-Adbrix
-Adpopcon
-Jiver
외 다수
초기에는 작은 규모의 인프라로 구성 했으나 성장세에 따른 인프라 구조가 따라오지 못해 인프라 재구성 작업을 시작 하는데 AWS를 선정하여 개발자들은 서비스 개발에만 집중하고자 하는 목적으로 AWS를 선택했다.
초기 Adbrix의 경우 EBS에 그냥 저장 했는데, 고가용성의 문제와 EBS 저장시 size가 커질 경우 문제가 됨.
그래서 AWS MapReduce와 Hive 사용하여 Time 분석을 하게 되고 Lambda 사용.
RDS , DynamoDB, ElastiCache, RedShift : 최고의 서비스라며 극찬하셨다.
RedShift의 경우 Apache Tajo보다 좋고, Hive Query로 4시간이 넘는 것이 분단위 처리가 가능해졌다.
현재 2억 4천만대의 Device에 서비스를 제공중이라고 한다.
결과적으로 40% 비용 절감효과를 누리게 되었다고 함.
데브 시스터즈의 안재만님
쿠키런의 경우 서버 개발자가 1명!
서버는 Java Spring
그외 Python Django
한달 안에 개발 완료 되었으나 문제가 발생.
쿠키런의 하트 주고 받는 Size가 MySQL에서 문제가 된다. (1억 Row 이상 저장시 문제가 됨)
그래서 CouchBase 도입하고, MySQL과 이원화 관리를 하게 된다.
ELK stack으로 log system을 개편하게 된다.
게임 패치
- 리소스 자원은 CDN을 활용
Log가 10TB가 넘어 서면서 Hadoop / scalding / Spark로 분석 함.
Ranking System 도입하면서
Redis의 Sorted Set과 ElastiCache를 튜닝하여 사용함.
AutoScaling의 경우 급격히 User의 수가 증가하면 장애가 발생한다.
AWS의 Instance 생성 시간이 2분 ~ 3분 소요하므로 그 사이에 장애로 서비스의 타격이 있을 수 있다.
쿠키런의 경우 Auto Scaling 최소 Instance는 4대로 설정하고(2대여도 문제 발생), 단일 AZ에서 Instance를 생성하지 않고,
Multi - AZ에서 생성하고, 같이 ELB 옵션도 같이 선택 해준다.
Scale - out (in)
2분간 Latency가 증가하면 Instance + 4 증가
2분간 CPU 유휴시간이 증가하면 Instance - 2 감소
이렇게 했으나 , 12시간 장애 발생과 함께 Couchbase의 일주일 데이터가 사라져서
일주일전 Backup 과 일주일간의 Reqeust 메시지로 Data 복원을 하였고, Relication의 중요성이 아주 막대하다고 함.
한국 - 일본간 네트워크의 Packet Loss가 증가시에는 AWS에 전화하면 알아서 처리 해준다고 한다.
| - 무단 수정 및 배포는 금지합니다.
- 모든 내용은 본 블로그 운영자가 정리한 내용입니다.
- 참조한 정보에 대해서는 출처를 남기고 있습니다.
- 틀린 내용 / 오류가 포함된 내용은 댓글로 남겨주세요.
- choiseungho0822@gmail.com 보내주셔도 됩니다.
- Seungdols Wiki 운영중입니다.
|