Status
Free Memory
—
GPU Usage
—
Loaded Models
—
Memory Pressure
—
Swap Usage
—
Unified Memory
표로 보기
GPU Usage
최근 10분
표로 보기
Memory Usage
최근 10분
표로 보기
Models in Memory
Model Availability
받아 둔 모델별 예상
| 모델 | 형식 | 디스크 | 필요 메모리 | 지금 호출하면 |
|---|
How to Use
같은 네트워크(daislab Wi-Fi) 또는 Tailscale에서
—
curl (Ollama API)
Python (OpenAI 호환)
- 이미 올라온 모델을 쓰면 로딩 없이 바로 응답해요. 다른 모델을 부르면 올라와 있던 모델이 내려갈 수 있어요.
- 모델 하나가 동시에 처리하는 요청 수에는 한도가 있어요. 넘치는 요청은 순서를 기다려요.
- 긴 배치 작업은 GPU가 쉬고 있을 때(Status가 ‘Ready’ 또는 ‘Idle’일 때) 돌려 주세요.