분류 전체보기65 LLM 이란 무엇이고, 그 활용사례는? 최근에 고객사에서 LLM(Large Language Model)의 요건으로 project가 진행되거나 계획중입니다. 이것은 OpenAI에서 제공한 ChatGPT라는 서비스가 준 파급력으로 보입니다. ChatGPT는 GPT-3.5 아키텍처를 기반으로 한 Large Language Model (LLM)입니다. LLM은 다양한 자연어 처리(NLP) 작업을 수행할 수 있는 딥러닝 알고리즘 입니다 . 대규모 언어 모델은 변환기 모델을 사용하며 대규모 데이터 세트를 사용하여 학습됩니다. 이를 통해 자연어 이해 및 생성 작업에 탁월한 성능을 가지게 되며, 다양한 언어 관련 작업을 수행할 수 있는 능력을 가지고 됩니다. 사용자의 입력에 따라 자연스러운 대화를 생성하고 응답하는 데 사용될 수 있습니다. LLM(Large.. 2023. 8. 31. PCI Express gen5 고성능 컴퓨팅(HPC) 영역에서는 최대성능치를 끌어쓰는 영역이라서 다양한 제품에 성능이 다 중요합니다. 그중에서도 고성능을 사용하는 부품들이 고속 인터페이스로 PCI Express(이하 PCIe)를 사용합니다. AI분석 영역에서 GPU, NVME SSD, 네트워크 카드 등의 고성능 데이터 전송에 큰 영향을 주고 있습니다. PCI Express(PCIe)는 일반적으로 GPU, 네트워크 카드 및 저장 장치와 같은 주변 장치를 컴퓨터의 마더보드에 연결하는 데 사용되는 고속 직렬 인터페이스입니다. PCIe Gen 5는 PCIe 인터페이스의 최신 버전이며 이전 버전에 비해 크게 개선되었습니다. PCIe Gen 5는 PCIe Gen 4의 레인당 16GT/s에 비해 레인당 32GT/s(초당 기가전송)의 원시 데이터 .. 2023. 2. 26. 고성능 네트워크 연결 기술 - InfiniBand AI모델 학습을 위한 고성능 컴퓨팅 기능에 대해서 연재를 하려고 합니다. HPC라고 하는 영역에서 고성능을 내기위해서는 다양한 기술들이 받쳐줘야 합니다. CPU, GPU, 메모리, 저장장치 그리고, 오늘 얘기하려는 네트워크 기술입니다. AI환경에서는 NVIDIA가 주도하면서 InfiniBand를 권장하고 있습니다. InfiniBand는 AI 및 기계 학습 워크로드에 사용되는 것을 포함하여 고성능 컴퓨팅(HPC) 환경에서 자주 사용되는 고속 상호 연결 기술입니다. InfiniBand가 이더넷 또는 파이버 채널과 같은 다른 상호 연결 기술보다 선호되는 몇 가지 이유가 있습니다. - 높은 대역폭: InfiniBand는 방향당 포트당 최대 200Gbps의 속도를 지원하는 최신 세대의 InfiniBand(HDR).. 2023. 2. 26. AI모델 개발을 위한 GPU서버 GPU 집약적인 AI 모델의 경우 이상적인 GPU 서버는 데이터 세트의 크기, 모델 아키텍처의 복잡성 및 원하는 교육 시간과 같은 모델의 특정 요구 사항에 따라 달라집니다. GPU 집약적인 AI 모델을 위해 GPU 서버를 선택할 때 고려해야 할 몇 가지 일반적인 지침은 다음과 같습니다. - GPU 성능: GPU는 AI 모델 훈련에 가장 중요한 구성 요소입니다. NVIDIA A100(최신 모델은 H100) 또는 AMD Radeon Instinct MI100과 같이 고성능을 제공하는 최신 GPU가 장착된 서버를 찾으십시오. 이 GPU는 메모리 대역폭이 높고 고정밀 계산을 지원하므로 딥 러닝 애플리케이션에 이상적입니다. - 메모리: 많은 메모리가 필요한 AI 모델은 메모리 용량이 큰 서버가 유리할 수 있습니다.. 2023. 2. 26. 왜 NVIDIA가 AI시장을 리딩하는가? 이런 질문을 받아왔습니다. GPU 컴퓨팅 파워를 통한 AI분석 시장에서 다른 벤더들도 많은데 왜 NVIDIA에 줄 서있는가? 다른 대안 GPU서버는 무엇인가? 현재 여러 GPU서버들이 존재하지만 public cloud 기준으로 서비스하는 GPU 종류는 NVIDIA와 AMD가 대표적입니다. 물론 산업군 안으로 들어가면 GPU가 아닌 ASIC로 자체 설계하는 회사들은 더 많아집니다. Tesla도 Google도 자체 설계하니까요. 왜 NVIDIA가 이 AI분석 시장을 리딩할까요? OpenCL, AMD ROCm 및 Intel oneAPI와 같은 GPU 컴퓨팅용 프로그래밍 모델과 라이브러리가 다른 공급업체와 유사하지만 NVIDIA의 CUDA는 GPU 컴퓨팅 및 딥 러닝을 위한 최고의 플랫폼으로 널리 알려져 있습니.. 2023. 2. 26. SpaceX 그들은 무엇을 하려하는가? SpaceX는 기업가 Elon Musk가 2002년에 설립한 민간 항공 우주 회사입니다. 이 회사의 목표는 재사용 가능한 로켓과 우주선을 개발하여 우주 탐사를 보다 접근하기 쉽고 저렴하게 만드는 것입니다. 그들의 전략에는 자체 로켓 엔진과 우주선을 자체적으로 설계 및 제조하는 것뿐만 아니라 재사용 가능한 로켓 및 로켓 착륙을 위한 자율 무인 항공기와 같은 혁신적인 기술을 구현하는 것이 포함됩니다. Starlink는 특히 전통적인 인터넷 인프라가 제한적인 농촌 및 외딴 지역에서 전 세계 사람들에게 고속 인터넷 액세스를 제공하는 것을 목표로 SpaceX에서 개발 중인 위성 인터넷 서비스입니다. Starlink는 지구 궤도를 도는 수천 개의 작은 위성으로 구성되어 있으며 인터넷 신호를 지상의 수신기로 전송합니.. 2023. 2. 14. 이전 1 2 3 4 5 6 ··· 11 다음 반응형
