AWS ECS 는 관리형 컨테이너 서비스다. ECS를 기반으로 3가지 유형의 컨테이너 서비스들을 실행 할 수 있다. 1. EKS 1. ECS 1. EC2 Linux 타입 1. Fargate 타입 EC2 Linux 타입과 구성에 별 차이 없을 것으로 생각한다.ECS Fargate 서비스를 위해서는 3개의 구성요소가 필요하다. ECS Fargate Cluster ECR Task Definition ECS Fargate Cluster 는 도커 컨테이너를 실행하기 위한 클러스터 자원이다. 컴퓨터 클러스터라고 보면 되겠다. ECS Fargate의 경우에는 이 클러스터를 구성하기 위한 서버도 필요 없는 서버리스 서비스다.
fintech라고 부르기도 하는 Financial technology는 전통적인 금융 방법과 경쟁하여 경쟁우위를 가지는 것을 목표로 기술혁신을 달성하기 위한 일련의 활동을 의미한다. 모바일 뱅킹, 인터넷을 이용한 투자 서비스, 암호화폐 서비스 등을 스마트폰으로 사용 할 수 있게 함으로서 대중이 금융 서비스를 보다 쉽게 이용 할 수 있도록 하는 것들이 핀 테크의 예가 될 수 있다. 핀 테크 회사는 신생 기업과 기존 금융회사로서 자신들이 제공하던 금융 서비스를 대체하거나 향상시키려는 기술 회사로 구성된다.
MySQL도 JSON을 지원합니다. SELECT, INSERT, 색인하는 법, JSON PATH 표현식을 살펴봅니다. 그리고 JSON_ARRAY, JSON_EXTRACT, JSON_OBJECT, JSON_SET, JSON_INSERT, JSON_REPLACE, JSON_VALID 등의 주요 함수 사용법도 확인합니다. NoSQL의 수평확장이 아닌 스키마리스와 유연함을 얻을 수 있는 좋은 방법입니다.
2020년 3월 10일 부터 Apache Spark를 공부한다. Udemy의 로 시작한다.Apache Spark는 오픈 소스 기반의 범용 분산 클러스터링 컴퓨팅 프레임워크다. Spark는 병렬처리 기능 및 내결함성과 전체 클러스터에서 작동하는 애플리케이션을 프로그래밍하기 위한 인터페이스를 제공한다. 버클리 대학의 AMPLab에서 처음 개발 된 Spark는 이 후 Apache Software Foundation에 기증됐다.Spark의 핵심은 읽기 전용의 데이터 항목 세트인 RDD(Resilient Distributed Dataset) 이다. RDD는 불변의 분산 개체 컬랙션으로 RDD의 각 데이터 세트는 논리적인 파티션으로 나누어지며 클러스터의 여러 노드에서 계산될 수 있다. RDD는 사용자 정의 클래스를 포함하며, Java, Python, Scala객체를 포함 할 수 있다.
가트너는 글로벌 클라우드 시장이 매년 15% 이상 성장을하여 2021년에는 3025억 달러의 시장을 형성할 것으로 예측하고 있다.이제 퍼블릭 클라우드는 전통적인 인터넷 서비스 영역 뿐만 아니라 금융/보험/제조 영역으로 확대되고 있다. 국내의 경우에도 금융권의 클라우드 서비스 활성화를 위해서 2018년 7.13일 금융분야 클라우드 이용 확대방안을 제시한다. 이전에는 비중요정보만 클라우에 올리는게 가능 했으나 이 방안으로 개인신용정보와 고유식별정보를 클라우드에 저장 할 수 있게 됐다. 실질적인 클라우드 사용이 가능해진 것이다.
Apache Spark 개발 환경을 세팅한다. 나는 우분투 리눅스를 사용하고 있다. 모든 내용은 우분투 리눅스를 기준으로 한다. 우분투 리눅스 19.04를 사용하고 있다.# cat /etc/issueUbuntu 19.04 \n \l# uname -aLinux yundream 5.0.0-40-generic #44-Ubuntu SMP Wed Jan 15 02Spark 프로그래밍 언어로 python을 사용한다. 내 리눅스 운영체제에는 Python 2.7.16과 Python 3.7.3 버전이 설치돼 있다. 이 강의는 python 3를 기준으로 한다. 를 이용해서 spark 개발 환경을 세팅했다.
Spark의 최신 버전은 "Spark 3"다. Spark의 역사를 대략 정리했다.Spark는 2009년 UC Berkeley AMPLab에서 빅 데이터 분석을 위한 시스템 개발을 목표로 시작했다. 2014년 Spark 1.0 이 릴리즈 되고 같은해 탑-레벨 아파치프로젝트가 된다. 들을 둘러보자. 기술을 선택하는데 큰 도움이 될 것이다. 2018년 Spark에서 분산 ML 프레임워크 기능을 제공하기 위한 Project Hydrogen가 활동을 시작한다.2019년 Spark 3 preview 버전이 릴리즈 된다. 올해(2020년)에는 Spark3가 정식 릴리즈되지 않을까 싶다. Spark 3에서 달라지는 점들을 정리했다.
많은 Golang 초보자들이 struct를 json으로 마샬링하면서 실수를 하곤한다. 이 문서는 이 문제를 어떻게 해결했는지를 담고 있다. golang에서 정의된 필드를 사용하지 않는 비어있는 struct를 json으로 마샬링하면, 각 필드가 기본 값을 가진체 마샬링 된다. 때때로 이는 개발자를 혼란스럽게 한다. 아래 코드를 보자. package mainimport ( "encoding/json" "fmt")type User struct { Name string Age int}func main() {
19 POSTS HERE
ECS FarGate 애플리케이션 개발
AWS ECS 는 관리형 컨테이너 서비스다. ECS를 기반으로 3가지 유형의 컨테이너 서비스들을 실행 할 수 있다. 1. EKS 1. ECS 1. EC2 Linux 타입 1. Fargate 타입 EC2 Linux 타입과 구성에 별 차이 없을 것으로 생각한다.ECS Fargate 서비스를 위해서는 3개의 구성요소가 필요하다. ECS Fargate Cluster ECR Task Definition ECS Fargate Cluster 는 도커 컨테이너를 실행하기 위한 클러스터 자원이다. 컴퓨터 클러스터라고 보면 되겠다. ECS Fargate의 경우에는 이 클러스터를 구성하기 위한 서버도 필요 없는 서버리스 서비스다.
Financial technology
fintech라고 부르기도 하는 Financial technology는 전통적인 금융 방법과 경쟁하여 경쟁우위를 가지는 것을 목표로 기술혁신을 달성하기 위한 일련의 활동을 의미한다. 모바일 뱅킹, 인터넷을 이용한 투자 서비스, 암호화폐 서비스 등을 스마트폰으로 사용 할 수 있게 함으로서 대중이 금융 서비스를 보다 쉽게 이용 할 수 있도록 하는 것들이 핀 테크의 예가 될 수 있다. 핀 테크 회사는 신생 기업과 기존 금융회사로서 자신들이 제공하던 금융 서비스를 대체하거나 향상시키려는 기술 회사로 구성된다.
Mysql JSON - SELECT, INSERT, UPDATE, 색인
MySQL도 JSON을 지원합니다. SELECT, INSERT, 색인하는 법, JSON PATH 표현식을 살펴봅니다. 그리고 JSON_ARRAY, JSON_EXTRACT, JSON_OBJECT, JSON_SET, JSON_INSERT, JSON_REPLACE, JSON_VALID 등의 주요 함수 사용법도 확인합니다. NoSQL의 수평확장이 아닌 스키마리스와 유연함을 얻을 수 있는 좋은 방법입니다.
Spark
2020년 3월 10일 부터 Apache Spark를 공부한다. Udemy의 로 시작한다.Apache Spark는 오픈 소스 기반의 범용 분산 클러스터링 컴퓨팅 프레임워크다. Spark는 병렬처리 기능 및 내결함성과 전체 클러스터에서 작동하는 애플리케이션을 프로그래밍하기 위한 인터페이스를 제공한다. 버클리 대학의 AMPLab에서 처음 개발 된 Spark는 이 후 Apache Software Foundation에 기증됐다.Spark의 핵심은 읽기 전용의 데이터 항목 세트인 RDD(Resilient Distributed Dataset) 이다. RDD는 불변의 분산 개체 컬랙션으로 RDD의 각 데이터 세트는 논리적인 파티션으로 나누어지며 클러스터의 여러 노드에서 계산될 수 있다. RDD는 사용자 정의 클래스를 포함하며, Java, Python, Scala객체를 포함 할 수 있다.
Taming Big Data with Apache Spark and Python - Hands On!
문서로 spark 학습을 시작한다.이 강의는 6개의 섹션으로 이루어진다. 로 이동로 이동
Security on AWS
가트너는 글로벌 클라우드 시장이 매년 15% 이상 성장을하여 2021년에는 3025억 달러의 시장을 형성할 것으로 예측하고 있다.이제 퍼블릭 클라우드는 전통적인 인터넷 서비스 영역 뿐만 아니라 금융/보험/제조 영역으로 확대되고 있다. 국내의 경우에도 금융권의 클라우드 서비스 활성화를 위해서 2018년 7.13일 금융분야 클라우드 이용 확대방안을 제시한다. 이전에는 비중요정보만 클라우에 올리는게 가능 했으나 이 방안으로 개인신용정보와 고유식별정보를 클라우드에 저장 할 수 있게 됐다. 실질적인 클라우드 사용이 가능해진 것이다.
Taming big data with apache spark hands-on : Getting Started
Apache Spark 개발 환경을 세팅한다. 나는 우분투 리눅스를 사용하고 있다. 모든 내용은 우분투 리눅스를 기준으로 한다. 우분투 리눅스 19.04를 사용하고 있다.# cat /etc/issueUbuntu 19.04 \n \l# uname -aLinux yundream 5.0.0-40-generic #44-Ubuntu SMP Wed Jan 15 02Spark 프로그래밍 언어로 python을 사용한다. 내 리눅스 운영체제에는 Python 2.7.16과 Python 3.7.3 버전이 설치돼 있다. 이 강의는 python 3를 기준으로 한다. 를 이용해서 spark 개발 환경을 세팅했다.
Taming big data with apache spark hands-on : What's new in Spark 3
Spark의 최신 버전은 "Spark 3"다. Spark의 역사를 대략 정리했다.Spark는 2009년 UC Berkeley AMPLab에서 빅 데이터 분석을 위한 시스템 개발을 목표로 시작했다. 2014년 Spark 1.0 이 릴리즈 되고 같은해 탑-레벨 아파치프로젝트가 된다. 들을 둘러보자. 기술을 선택하는데 큰 도움이 될 것이다. 2018년 Spark에서 분산 ML 프레임워크 기능을 제공하기 위한 Project Hydrogen가 활동을 시작한다.2019년 Spark 3 preview 버전이 릴리즈 된다. 올해(2020년)에는 Spark3가 정식 릴리즈되지 않을까 싶다. Spark 3에서 달라지는 점들을 정리했다.
Marshal structs the right way: Golang
많은 Golang 초보자들이 struct를 json으로 마샬링하면서 실수를 하곤한다. 이 문서는 이 문제를 어떻게 해결했는지를 담고 있다. golang에서 정의된 필드를 사용하지 않는 비어있는 struct를 json으로 마샬링하면, 각 필드가 기본 값을 가진체 마샬링 된다. 때때로 이는 개발자를 혼란스럽게 한다. 아래 코드를 보자. package mainimport ( "encoding/json" "fmt")type User struct { Name string Age int}func main() {