Cloud/BigData2 빅데이터 기술의 이해 ▶ 빅데이터 기술을 분류하면 순서에 따라 다음과 같이 분류할 수 있다. ①빅데이터 수집 ▶ ②빅데이터 저장 ▶ ③빅데이터 분석 ▶ ④빅데이터 시각화 ① 빅데이터 수집 - 내부 데이터의 수집 : 자체적으로 보유한 내부 파일 시스템이나 데이터베이스 관리 시스템, 센서 등에 접근하여 정형 데이터를 수집함 - 외부 데이터의 수집 : 인터넷으로 연결된 외부에서 (주로)비정형 데이터를 수집함 - 데이터 수집 : 주로 툴이나 프로그래밍으로 자동 진행됨 ☞ 로그 수집기, 웹 크롤링 툴, 오픈 API, ETL(Extraction[추출], Transformation[변환], Loading[적재]) 등의 수집 방법을 사용함 ②빅데이터 저장 - 추후 사용될 수 있도록 데이터를 안전하고 효율적으로 저장하는 기술 - 대량의 데이.. 2023. 10. 11. Introduction to Hadoop Apache HADOOP은 분산 컴퓨팅 환경에서 실행되는 데이터 처리 애플리케이션을 개발하는 데 사용되는 프레임워크입니다. 개인용 컴퓨터 시스템의 로컬 파일 시스템에 상주하는 데이터와 유사하게, 하둡에서 데이터는 분산 파일(Distributed File)이라고 불리우는 분산 파일 시스템에 상주합니다 프로세싱 모델은 (특이하게도) 빅데이터/분산처리를 위한 연산 로직이 데이터를 포함하는 클러스터 노드(서버)로 전송되어 그 서버에서 동작하게됩니다. 이러한(분산 처리되는) 컴퓨팅 로직은 Java와 같은 고급 언어로 작성된 프로그램의 컴파일된 버전의 소프트웨어일 뿐입니다. 이러한 프로그램은 Hadoop HDFS에 저장된 데이터를 처리합니다. HADOOP은 오픈 소스 기반의 소프트웨어 프레임워크입니다. HADOOP.. 2023. 10. 9. 이전 1 다음
