본문 바로가기
Analytics/Data Lake

파일시스템 (특징, 제약사항, 성능 지표)

by Write the Story of Your Life 2023. 2. 12.

파일 시스템은 컴퓨터에서 데이터를 구성, 저장 및 검색하는 시스템입니다. 디스크 또는 기타 저장 장치에 있는 데이터의 물리적 저장을 관리하고 쉽게 액세스하고 조작할 수 있는 구조화된 형식으로 데이터를 구성하는 역할을 합니다.

파일 시스템은 디스크에 저장된 데이터의 논리적 보기를 제공하며 운영 체제가 데이터가 트리 구조와 유사한 파일 및 디렉토리의 계층 구조에 저장된 것처럼 데이터와 상호 작용할 수 있도록 합니다. 각 파일과 디렉토리는 파일 시스템 내에서 고유한 이름과 위치를 가지며 필요에 따라 읽고 쓰고 삭제할 수 있습니다.

파일 시스템은 또한 생성 시간과 날짜, 마지막 수정 및 액세스, 액세스 권한 및 소유권 정보와 같은 각 파일 및 디렉토리에 대한 메타데이터를 제공합니다.

다양한 유형의 파일 시스템이 있으며 각각 고유한 기능과 이점이 있습니다. 가장 일반적으로 사용되는 파일 시스템에는 NTFS, FAT32, exFAT, ext2/ext3/ext4 및 HFS+가 포함됩니다. 파일 시스템의 선택은 운영 체제 및 저장 장치의 특정 요구 사항은 물론 저장되는 데이터 유형과 원하는 수준의 성능 및 안정성에 따라 달라집니다.

--

기존 파일 시스템에는 다음과 같은 몇 가지 제한 사항과 문제가 있습니다.

확장성: 파일 시스템에 저장된 데이터의 양이 증가함에 따라 파일 시스템은 다루기 힘들고 관리하기 어려워질 수 있습니다. 이로 인해 파일 시스템이 요구 사항을 따라잡기 위해 고군분투하므로 성능이 저하되고 대기 시간이 증가할 수 있습니다.

안정성: 파일 시스템은 특히 하드웨어 오류나 정전 시 데이터 손실 및 손상에 취약합니다. 이로 인해 중요한 데이터가 손실될 수 있으며 복구가 어렵고 시간이 오래 걸릴 수 있습니다.

보안: 파일 시스템은 데이터 유출 및 해킹 공격에 취약할 수 있으며, 이로 인해 중요한 정보가 손실되거나 도난될 수 있습니다.

복잡성: 파일 시스템은 특히 대규모 다중 노드 환경에서 설정하고 관리하기가 복잡할 수 있습니다. 이로 인해 관리자가 시스템에 대한 요구 사항을 따라잡기 위해 고군분투하므로 비용이 증가하고 효율성이 감소할 수 있습니다.

성능: 파일 시스템에 저장된 데이터의 양이 증가함에 따라 파일 시스템의 성능이 저하되어 대기 시간이 증가하고 처리량이 감소할 수 있습니다.

스토리지 공간 관리: 파일 시스템이 스토리지 공간을 효율적으로 관리하도록 최적화되지 않아 스토리지 공간이 충분히 활용되지 않거나 과도하게 활용될 수 있습니다.

이러한 제한과 문제에도 불구하고 파일 시스템은 최신 컴퓨팅 시스템의 중요한 구성 요소이며 데이터 관리 및 저장에서 계속해서 중요한 역할을 합니다. 파일 시스템 설계 및 기술의 새로운 개발은 이러한 제한 사항과 문제를 해결하고 파일 시스템의 전반적인 성능, 안정성 및 효율성을 개선하는 것을 목표로 합니다.

--

파일시스템의 주요 성능 요소. IOPS, Throught, latency

IOPS(Input/Output Operations Per Second), 처리량 및 대기 시간은 파일 시스템의 성능을 측정하는 데 사용되는 세 가지 중요한 지표입니다.

IOPS는 파일 시스템이 1초 동안 수행할 수 있는 입출력 작업의 수를 나타냅니다. 이 메트릭은 주어진 시간 프레임에서 수행할 수 있는 읽기 및 쓰기 작업의 수를 측정하므로 파일 시스템의 전반적인 성능을 나타내는 좋은 지표입니다.

반면 처리량(Throughput)은 주어진 시간 프레임에 전송할 수 있는 데이터의 양을 말하며 일반적으로 MB/s(초당 메가바이트) 또는 GB/s(초당 기가바이트)로 측정됩니다. 처리량은 데이터가 파일 시스템 안팎으로 얼마나 빨리 이동할 수 있는지에 대한 척도이며 시스템의 전체 속도를 나타내는 좋은 지표입니다.

최종 메트릭인 대기 시간(latency)은 단일 I/O 작업이 완료되는 데 걸리는 시간을 나타내며 일반적으로 밀리초 단위로 측정됩니다. 대기 시간은 파일 시스템이 개별 I/O 요청에 얼마나 빨리 응답하는지를 측정한 것으로 시스템의 전반적인 응답성을 결정하는 중요한 요소입니다.

일반적으로 세 가지 메트릭은 모두 상호 연관되어 있으며 서로 영향을 미칩니다. 예를 들어 IOPS 수를 늘리면 처리량이 증가할 수 있지만 파일 시스템이 증가하는 I/O 작업 요구를 따라잡기 어려울 수 있으므로 대기 시간도 증가할 수 있습니다. 따라서 IOPS, 처리량 및 대기 시간 사이의 균형은 종종 주어진 사용 사례에 대해 최상의 성능을 달성하기 위해 모색됩니다.

반응형