아키텍처1 [AA][리포트] 빅데이터 아키텍처 대량의 데이터를 관리하고 방대한 데이터에 대해 복잡한 작업을 수행하려면 관련 도구와 기술을 사용해야 함 Layer 역할 데이터 소스 (Data Source) 빅 데이터 파이프라인의 시작점이 있는 곳 - RDBMS, 데이터 웨어하우스, 클라우드 기반 데이터 웨어하우스, SaaS 애플리케이션, IoT 장치 센서 실시간 데이터 등 데이터 저장소 (Data Storage) 분산되어 있고 다양한 형식 기반의 큰 파일을 저장할 수 있는 파일 저장소 (데이터의 저장의 안정성과 속도가 중요) - HDFS, Microsoft Azure, AWS storage GCP storage 일괄 처리 (Batch Processing) 각 데이터 청크는 분석을 위해 데이터를 필터링 및 집계하고 준비하는 실행 작업을 사용하여 여러 범.. 2023. 4. 26. 이전 1 다음
