H100 아레나 모니터

불러오는 중…

토큰 속도 — 생성 tok/s(왼쪽 축) · 입력 tok/s 60초 평균(오른쪽 축)

CPU % · load

GPU별 사용률 %

GPU별 메모리 %

GPU별 전력 W

GPU별 온도 °C

네트워크 MB/s

동시 요청 · 대기 · 선점(retract)

KV 캐시 % — GPU · 호스트(HiCache) · Mamba 상태

프리픽스 캐시 적중 % (합계 = GPU + KV 오프로딩) · 추측 디코딩 수락 %

메모리 %

디스크 MB/s

상위 프로세스 (CPU)



docker