🚀 **이 문서는 보다 쉽게 이해할 수 있도록 정리되었습니다.**
아래는 GCP 자격증 준비하면서 정리해본 Summary입니다. 이거으로 충분한 설명은 안되니 공부하시다가 참고하시면 좋겠습니다.
What is cloud computing ?
1. On-demand self-service : No human intervention needed to get resources
2. Broad network access : Access from anywhere
3. Resource pooling : Provider shares resources to customers
4. Rapid elaticity : Get More resources quickly as needed
5. Meausred service : Pay only for what you consume
Physical -> Virtualized -> Serverless
IaaS Compute Engine
Hybrid Kubernates Engine
PaaS App Engine
Serverless logic Cloud Functions
Automated elastic resources Managed services
Cloud DataStore NoSQL, Terabytes 1MB/entity – App Engine applications
Bigtable NoSQL, Petabytes, ~10MB/cell, ~100M/row – Financial and IoT data
Cloud Storage Blobstore, Petabytes, 5TB/object – Images, large media files
Cloud SQL Relational SQL, Terabytes, Determined by DB engine – User credentials customer orders
Cloud Spanner Relational SQL, Petabytes 10240Mib/row – Whenerver high I/O,
BigQuery Relational SQL, Petabytes, 10MB/row – Data warehouse
Global > Multi-Region > Region > Zone
Zone : VM을 켜면 바로 Zone
Regional : 단일 지역의 여러 영역에 걸쳐 복제되는 것을 말함.
MultiRegional : 다중 지역 서비스 일종의 재해가 발생해도 최소한의 중단 시간
Global : 멀티 클라우드, 전세계 영역 커버
gsutil을 이용하여 스트리밍 업로드를 수행하고자 한다면 데이터 파이프라인 비디오 파일은? Cloud Storage Cloud Pub/Sub – 관리형 메시징 시스템
을 gsutil cp 명령으로 연결하고 복사할 파일 대상을 “-”로 대체하면 된다. 다음
예는 collect_measurements라는 프로세스의 출력을 클라우드 스토리지의
data_measurements라는 파일로 스트리밍 전송하는 경우다.
collect_measurements | gsutil cp – gs://my_app_bucket/data_measurements
이와 비슷하게 다운로드는 다음과 같이 적용할 수 있다.
gsutil cp gs://bucket/object – |
장기 보관하는 스토리지 옵션이 있는 것은? Cloud Storage
센서 데이터, 스크림 데이터 ? Cloud Bigtable
Stream, ETL 처리하는 것은? Cloud Dataflow
Data Warehose 성격을 가진 것은? BigQuery
Hadoop, Spark 서비스 제공하는 것은? Cloud Dataproc
Game realtime analytics는 보통 어떤 처리로? Cloud Pub/Sub
bigdata
Cloud Dataproc = Managed Hadoop MapReduce, Spark, Pig and Hive service
Cloud Dataflow = Stream and batch processing; unified and simplified pipelines
BigQuery