데이터
-
데이터 저장 용량의 단위Computer Science/OS 2024. 8. 4. 15:01
데이터 저장 용량의 단위는 바이트를 기본 단위로 하여 위계적으로 증가합니다. 여기서 각 단위가 하나씩 증가할 때마다 일반적으로 1,024배씩 증가합니다.데이터 저장 용량 단위바이트(Byte, B)가장 작은 기본 단위로, 1바이트는 보통 8비트로 구성됩니다.킬로바이트(Kilobyte, KB)1 KB = 1,024 B메가바이트(Megabyte, MB)1 MB = 1,024 KB = 1,048,576 B기가바이트(Gigabyte, GB)1 GB = 1,024 MB = 1,073,741,824 B테라바이트(Terabyte, TB)1 TB = 1,024 GB = 1,099,511,627,776 B페타바이트(Petabyte, PB)1 PB = 1,024 TB = 1,048,576 GB = 1,125,899,906,..
-
하둡(Hadoop)으로 데이터 저장 추출해보기Back-End/Hadoop 2024. 7. 25. 13:28
하둡을 사용하여 데이터를 저장하고 추출하는 과정은 여러 단계로 나뉘며, 각 단계는 비교적 직관적입니다. 아래에서는 하둡을 사용하여 데이터를 저장하고 추출하는 과정을 단계별로 쉽게 설명하겠습니다.1. 데이터 저장1.1 데이터 준비먼저 저장할 데이터를 준비합니다. 예를 들어, 로컬 파일 시스템에 저장된 로그 파일이나 CSV 파일 등을 준비합니다.1.2 HDFS에 데이터 업로드하둡 분산 파일 시스템(HDFS)에 데이터를 저장하기 위해, 로컬 파일 시스템에 있는 데이터를 HDFS로 업로드합니다. 이를 위해 hdfs dfs -put 명령어를 사용합니다.# 로컬 파일 system_logs.csv를 HDFS의 /data 디렉토리에 업로드hdfs dfs -put /path/to/local/system_logs.csv ..