Analytics/Data Lake6 파일시스템 (특징, 제약사항, 성능 지표) 파일 시스템은 컴퓨터에서 데이터를 구성, 저장 및 검색하는 시스템입니다. 디스크 또는 기타 저장 장치에 있는 데이터의 물리적 저장을 관리하고 쉽게 액세스하고 조작할 수 있는 구조화된 형식으로 데이터를 구성하는 역할을 합니다. 파일 시스템은 디스크에 저장된 데이터의 논리적 보기를 제공하며 운영 체제가 데이터가 트리 구조와 유사한 파일 및 디렉토리의 계층 구조에 저장된 것처럼 데이터와 상호 작용할 수 있도록 합니다. 각 파일과 디렉토리는 파일 시스템 내에서 고유한 이름과 위치를 가지며 필요에 따라 읽고 쓰고 삭제할 수 있습니다. 파일 시스템은 또한 생성 시간과 날짜, 마지막 수정 및 액세스, 액세스 권한 및 소유권 정보와 같은 각 파일 및 디렉토리에 대한 메타데이터를 제공합니다. 다양한 유형의 파일 시스템이.. 2023. 2. 12. S3 호환 스토리지(S3 compatible storage) S3 호환 스토리지는 Amazon S3(Simple Storage Service) 애플리케이션 프로그래밍 인터페이스(API)와 상호 작용할 수 있는 스토리지 시스템을 의미합니다. S3 API는 스토리지 시스템 내에서 객체(즉, 파일)를 생성, 검색, 업데이트 및 삭제하는 데 사용되는 일련의 작업 및 프로토콜을 정의합니다. S3 호환 스토리지 시스템은 S3 API와 함께 작동하도록 설계되어 Amazon S3의 대체품으로 사용할 수 있습니다. 즉, Amazon S3와 함께 작동하도록 구축된 애플리케이션 및 서비스는 수정 없이 이러한 호환 가능한 스토리지 시스템에서도 작동할 수 있습니다. S3 호환 스토리지 시스템은 두 가지 유형으로 분류할 수 있습니다. 1. 오브젝트 스토리지: 이 유형의 스토리지는 이미지,.. 2023. 1. 28. 정형(structured) 및 비정형(unstructured) 데이터의 의미 구조화된 데이터(structured data)는 관계형 데이터베이스의 데이터와 같이 구성되고 특정 형식을 따르는 데이터를 의미합니다. 일반적으로 데이터가 열과 행으로 구성되고 각 행에 특정 필드 집합이 있음을 의미하는 잘 정의된 스키마가 있습니다. 이 데이터는 SQL과 같은 도구를 사용하여 쉽게 검색, 정렬 및 분석할 수 있습니다. 구조화된 데이터의 예로는 CRM 시스템의 고객 정보, 은행 시스템의 금융 거래 또는 제조 시스템의 재고 수준이 있습니다. 반면, 비정형 데이터(unstructured data)는 특정 형식이나 구조가 없는 데이터를 말합니다. 일반적으로 조직화되지 않았으며 기존의 관계형 데이터베이스에 적합하지 않습니다. 비정형 데이터의 예로는 텍스트 문서, 이미지, 비디오, 오디오 파일 및 소.. 2023. 1. 28. K8S CSI Developer Document > Drivers This is a clone page. The original page => Link Name CSI Driver Name Compatible with CSI Version(s) Description Persistence (Beyond Pod Lifetime) Supported Access Modes Dynamic Provisioning Other Features Alicloud Disk diskplugin.csi.alibabacloud.com v1.0 A Container Storage Interface (CSI) Driver for Alicloud Disk Persistent Read/Write Single Pod Yes Raw Block, Snapshot Alicloud NAS nasplugin.c.. 2022. 1. 20. Mellanox Adapters - Comparison Table This is a clone page. The original page => Link Class Feature ConnectX-3 ConnectX-3 Pro ConnectX-4 ConnectX-4 Lx ConnectX-5 ConnectX-6 Interface Port/Speed options 2 ports of 10/40/56GbE 2 ports of 10/40/56GbE 2 ports of 100/56/50/40/25/10GbE 2 ports of 10/25GbE 1 port of 40/50GbE 2 ports of 100/56/50/40/25/10GbE 2 ports of 200/100/56/50/40/25/10GbE Interface PCIe x8 Gen3 x8 Gen3 x8, x16 Gen3 x8.. 2022. 1. 20. 용어정의 - Data Lake (DW, ODS, ELT, Data Mesh) 데이터레이크 라는 용어는 Pentaho의 CTO였던 Jame Dixon이 2010년에 자신의 블로그에 개념을 설명하면서 시작되었습니다.(링크) 그는 Pentaho의 Hadoop 지원 릴리스를 소개하며 기존 DW에서 정제된 데이터는 이미 정의된 질문에만 답변할 수 있어서 다양한 정보를 알기위한 가시성을 해친다고 기술합니다. 그러면서, 아래와 같은 얘기로 마무리 합니다. If you think of a datamart as a store of bottled water – cleansed and packaged and structured for easy consumption – the data lake is a large body of water in a more natural state. The conten.. 2020. 12. 9. 이전 1 다음 반응형
