Uncategorized

데이터 처리 관련 기술

Written by

개인정보 비식별 기술
: 개인 정보가 데이터 베이스에 저장되더라도 식별되지 않게 하는 방법들이다.
데이터 마스킹 – 글자나 숫자에 개인정보에 해당하는 부분을 ‘*’이나 특수 문자등으로 바꿔 저장한다.
가명처리 – 이름 자체를 익명성이 보장되도록 바꾼다.
총계처리 – 개인별의 데이터가 아니라 전체 평균이라든가 합으로 바꿔서 저장한다.
데이터값 삭제 – 일부 데이터만 저장한다. 요즘 국내에서는 주민번호 같은 경우는 저장하지 않는다.
위치 정보 – 위치 정보도 개인 정보의 일종이다. 그래서 위도, 경도 정보를 저장할 때 한쪽 데이터만 저장한다.데이터가 필요한 경우는 개인정보 사용 동의를 받고 저장 내지 사용한다.

데이터 무경설과 레이크
데이터 무결성 – 무결 하다는 것은 결점이 없다는 의미로 데이터 베이스 내에 있는 데이터가 일관성, 유효성, 신뢰성을 보장한다는 의미임.
데이터 레이크 – 데이터 저장하는 시스템이고, 정형, 비정형 데이터 저장을 하는 곳이다. 하둡 같은 솔루션으로 저장한다.

하둡은 주로 비정형 데이터를 모아 처리하는 플랫폼인데, 이곳에 실시간성 데이터가 모이고, 데이터 처리를 고속으로 할 수 있다. 대용량 처리, 고속 처리를 위한 빅데이터 플랫폼의 주요 기술이다.
Spark는 데이터를 빠르게 수집하고, 내부적인 처리를 하고 조회할 수 있게 만든 시스템이다. In-memory방식으로 인해서 빠른 처리가 가능하고, 스칼라, 자바, R 언어등으로 상용할 수 있다.
Smart Factory 공장 자동화 수준을 넘어 데이터들을 실시간성으로 수집하고, 문제 여부 또는 업무 처리등을 더욱 인텔리젼스하게 만든 공장 자동화임. 디바이스가 IoT 같은 기술로 엮여 있음.

머신러닝과 딥러닝
머신러닝은 기계학습이라는 말이고, 과거에 오토마타와 같이 기계 자동화가 진화된 것으로 기계에게 학습을 시키다 보면 또 다른 문제를 기계 스스로 판단하고 풀 수 있다는 의미이고, 기술이다.
딥 러닝은 기계학습의 진화된 분야이고, 아주 많은 데이터를 인공지능에 해당하는 (ANN) 같은 기술을 이용해서 문제를 풀고자 하는 것이다.

블록체인
블록체인은 비트 코인의 기반 기술인데, 블록체인의 표현대로 블록이 여러개 연결된 것으로 생각하면서
금융 거래등을 중앙에서 데이터로 관리하지 않고, 거래 당사자들이 모두 보유하는 방식의 거래이다. 그래서 변조를 하게 되면 위변조에 걸리게 된다. 현재의 방식보다 더 안전할 수 있다고 사용하여 많이 채택하고 있는 기술이다.

개발자, 기술사, 삼성, 외국계 IT기업 20년차 기술노트 알렉이 직접 작성한

IT기업 기술 면접을 위한 CS + 면접 노하우 PDF
[https://kmong.com/self-marketing/539751/LUA54VnQsP](https://kmong.com/self-marketing/539751/LUA54VnQsP)
자주 나오는 CS 질문과 답변 그리고 100번 이상 면접관으로 참여하면서 느꼈던

면접자가 알아야 할 팁 13가지 포함

백엔드 개발자를 위한 클라우드 강의, AWS

[https://inf.run/o1NX](https://inf.run/o1NX)

이제는 비전공자도, 일반이도 개발할 수 있다.
ChatGPT를 이용한 누구나 앱개발 with 알렉
[https://inf.run/rpX4](https://inf.run/rpX4)

백엔드 직접 번역한 도서
[https://www.yes24.com/Product/Goods/122536127](https://www.yes24.com/Product/Goods/122536127)

IT기술의 거의 모든 것을 다루는 기술노트with알렉 유투브

[https://www.youtube.com/c/%EA%B8%B0%EC%88%A0%EB%85%B8%ED%8A%B8with%EC%95%8C%EB%A0%89](https://www.youtube.com/c/%EA%B8%B0%EC%88%A0%EB%85%B8%ED%8A%B8with%EC%95%8C%E

Leave a Comment