[4주차 study] AI DC의 Scale-Up vs Scale-Out 비교 및 발전 전망 등 1. AI DC의 Scale-Up vs Scale-Out 비교 및 발전 전망AI 모델(LLM 등)의 파라미터가 수천억~수조 개로 커지면서 단일 GPU의 메모리 크기를 넘어섰습니다. 이를 해결하기 위해 컴퓨팅 자원을 확장하는 두 가지 축이 존재합니다.구분Scale-Up (수직 확장 / 노드 내부)Scale-Out (수직 확장 / 노드 간)개념단일 서버(노드) 내부에서 GPU 간의 연결성과 메모리 대역폭을 극대화하는 방식여러 대의 GPU 서버를 초고속 네트워크 스위치로 묶어 거대한 클러스터를 만드는 방식주요 영역Intra-Chassis (GPU to GPU, GPU to CPU)Inter-Chassis (Node to Node, Rack to Rack)연결 방식독자 버스 프로토콜 (NVLink, UALink.. [Youtube 요약] 쿠버네티스 기반의 인공지능/머신러닝 워크로드를 위해 CPU와 다른 GPU의 하드웨어적 특성을 이해하고, 이를 효율적으로 분할·공유(멀티테넌시)하는 다양한 기술적 방법론과 트레이드오프 분석 https://www.youtube.com/live/eBbjSfxwL30?si=_VL76bpSDoJqChJ2 Youtube 영상 링크 1. GPU가 CPU와 근본적으로 다른 이유 (패러다임의 변화) [14:37]CPU의 특징: 컨텍스트 스위칭(Context Switching)이 유연하고 가벼우며, 정교한 제어 로직(예측 연산 등)을 통해 여러 프로세스가 CPU 자원을 잘게 나누어 쓸 수 있습니다 [15:55].GPU의 특징: 제어 로직이 거의 없는 대신 수많은 연산 코어(ALU)가 병렬로 단순 매트릭스 곱셈을 수행합니다 [18:02]. 이 때문에 실행 중인 연산(커널)을 중간에 멈추거나 쫓아내는(Evict/Preempt) 하드웨어적 스위칭이 불가능합니다. 하나의 연산이 시작되면 완료될 때까지 GPU .. [Cisco Catalyst Center with adding AP] 1. 천장 부착 AP의 Azimuth, Elevation https://app.notion.com/p/392b5feefbff803dbc41f05234199100?source=copy_link2. 벽 부착 AP의 Azimuth, Elevation https://app.notion.com/p/392b5feefbff803dbc41f05234199100?source=copy_link Notion | The connected workspace with site publishingHosted by Notion Sites — The easiest way to get a website up and running.app.notion.comhttps://www.celestis.com/resources/faq/what-ar.. [Remind] InfiniBand vs RoCEv2 1. 서버 내부 GPU ↔ GPU 간 통신에서 PCIe나 CPU-CPU 소켓간 통신을 피하려는 이유?- in my opinion : HOP이 증가할수록 통신에 지연이 발생할수 있고, GPU 간 NVLink(900GB/S~1.8TB/s) 를 통해 통신을 하는 것보다 대역폭이 작기 때문에, PCIe나 CPU를 통신을 지양한다. 최신 NVLink는 최대 3.6TB/s(If NVIDIA Rubin Plaform)가능하고, 이전세대 NVLink보다 2배 더 빠르다.(이전모델 Up to 1.8TB/s) Also PCIe 최신 세대보다 14배 빠르다. 2. NUMA 관련 - NUMA 가 나오게 된 배경은?- Let's Watching related to NUMA : https://www.youtube.com/wa.. [Youtube 요약] NVIDIA Blackwell && The 3nm Wall: Is AL Scaling Broken? https://youtu.be/uu1ldkCwQGg?si=yGzhHZkeT1pqgKXA1. 하드웨어가 직면한 물리적 한계발열 문제 (Dark Silicon): 엔비디아의 최신 블랙웰(Blackwell) 서버가 랙 단위에서 과열되는 문제가 발생했습니다 [00:16]. 트랜지스터가 3nm 수준으로 작아지면서 전류가 누출되는 현상(Leakage current)이 발생해 칩의 전력 밀도가 극도로 높아졌기 때문입니다 [02:08]. 이로 인해 칩의 모든 회로를 동시에 켜면 물리적으로 녹아내리기 때문에, 칩의 상당 부분을 휴지 상태(Dark Silicon)로 두어야 하는 한계에 봉착했습니다 [02:49].전력 및 그리드 한계 (제번스의 역설): 기술이 발전해 칩의 효율이 좋아졌음에도 불구하고, 모델의 크기가 수만 .. How to configure MFA feature into my Ubuntu Server keunuk@keunuk:~$ sudo yum install google-authenticator -y [sudo] password for keunuk: sudo: yum: command not foundkeunuk@keunuk:~$ sudo apt install yum Reading package lists... Done Building dependency tree... Done Reading state information... Done E: Unable to locate package yum keunuk@keunuk:~$ sudo apt update Hit:1 http://kr.archive.ubuntu.com/ubuntu jammy InRelease Hit:2 http://kr.archive.ub.. Difference 2.4Ghz and 5Ghz 2.4Ghz와 5Ghz는 사용할수 있는 channel이 정해져 있다. 차이점은 2.4Ghz의 경우 wavelength가 길기 때문에 channel간 중첩이 발생한다. (참고로 channel 간 5Mbz 간격이 있다. )channel 마다 중심 주파수가 있고,보통 대역폭이 20Mhz임. 중심주파수에서 왼쪽으로 -10Mhz, 오른쪽으로 +10Mhz로 계산을 함.channel 1의 중심주파수는 2.412Ghz이며, 왼쪽으로 -10Mhz는 2.402Ghz, 오른쪽으로 +10Mhz를 하게되면 2.422Ghz가 됨 channel 1부터 ~ 11까지 그림을 그려보면, channel 1,6,11번은 서로 중첩되지 않는 것을 볼수 있음. How to connect External device to pnet on EVE-NG If you are EVE-NG user, you may need to connect to External Device to Pnet on EVE-NG.Also I need to connect to. Here you are. You will succeed if you are followed by this blog. First, Check your brctl on EVE-NG(Ubuntu). I have 2 interfaces. Pnet0 is to connect eth0 and pnet1 is to connect eth1.root@eve-ng:~# brctl show bridge name bridge id STP enabled interfaces pnet0 .. 이전 1 2 3 4 ··· 15 다음
