반응형 하둡2 HDFS 하둡 분산 파일 시스템 소개HDFS(Hadoop Distributed File System)는 범용 하드웨어에서 분산 처리 파일 시스템을 운용하기 위한 기술이다. 기존의 존재하던 분산처리 파일 시스템들과 기술적으로 거의 동일하다. 특징은 특정 하드웨어를 의한 시스템이 아닌 범용 시스템에서 동작하도록 설계되었다는 것이다. 이러한 기능은 분산 처리를 위한 하둡의 기본 중 하나이다. 네임 노드와 데이터 노드HDFS는 마스터와 슬레이브 아키텍쳐를 가지고 있다. HDFS는 하나의 네임노드와 여러 개의 데이터노드로 구성된다. 네임 노드는 마스터 서버로서 파일 시스템의 네임 스페이스를 관리하고 클라이언트의 권한 등을 체크에 데이터의 접근을 관리한다. 데이터 노드는 네임 노드의 명령에 따라 이 블록을을 생성하거나 삭제, 복제하는 기능을 수행.. 2018. 9. 24. 하둡(Hadoop) 이란? 하둡(Hadoop)이란? 아파치 하둡은 대량의 데이터를 처리하기 위한 분산 처리 프레임워크이다. 하둡이라는 이름은 개발자인 더크 커팅의 아이가 가지고 놀던 코끼리 인형의 이름이었다. 그래서 하둡의 로고 역시 코끼리 모양이다. 아파치 하둡은 여러 패키지로 구성되어 있다. 대표적으로 HDFS(하둡 파일 시스템), MapReduce 등이 있다. 또한 Spark와 같은 하둡 프레임워크에 접근을 도와주는 프로젝트도 있다. Spark는 이전에는 하둡의 하위 프로젝트였으나 현재는 독립된 프로젝트이다. 이에 대해서는 나중에 따로 다뤄보도록 하겠다. 하둡 프로젝트에 포함되어 있는 기본 모듈은 다음과 같다.Hadoop Common: 하둡의 다른 프로젝트들을 지원하기 위한 공통 유틸리티Hadoop Distributed Fi.. 2018. 4. 16. 이전 1 다음 반응형
