GARDEN
태그: Ollama
총 2편 ·
11-07Ollama의 숨은 장부와 aria2의 다중 실 답안: 모델 디렉터리의 SQLite 재기록, 17GB 모델의 삼선 실측, 그리고 ollama pull 무가속의 반증
다운로드와 저장의 두 소사건이 같은날 결안되었고, 공통의 교훈은 이렇다. 앱의 진짜 행동은 문서가 아니라 자기 데이터베이스 속에 잠들어 있다. 첫째, Ollama 모델 디렉터리를 F 드라이브로 옮기는 건. 환경 변수를 바꿨는데도 효력이 없었다. 데스크톱판 0.40.15가 모델 디렉터리 설정을 자기 SQLite(db.sqlite의 settings.models)에 저장하며 기동 때 환경 변수를 덮어쓰는 숨은 행동이 파졌다. 두 층을 모두 고치고 재시작하자 서버 로그가 OLLAMA_MODELS=F:\OllamaModels를 확인했고, 일곱 모델이 모두 정상 인식되었다. 둘째, 17GB 모델의 다운로드 경로 삼선 실측. HuggingFace 공식 직결은 단일 연결 약 1.8MB/s에 병렬 무효(공식 CDN의 스트림별 제한), hf-mirror.com 미러는 병렬로 선형 확장(8~16실로 10MB/s+ 도달), ollama pull은 같은 공식 CDN을 걸어 가속이 전혀 없고 이어받기도, 미러 교체도 못한다. 반증되었다. 결론: 미러 더하기 aria2 열여섯 접속 직하 후 Ollama에 도입한다.
전체 읽기 › 10-03삼 급 파이프라인과 VRAM의 반환
태그 달기 기계가 모델이 VRAM에 눌러앉아 돌려주지 않는 것을 발견했을 때——keep_alive: -1의 은과 벌. Ollama에는「모델 기동」이라는 조작이 없으며, 적재는 모두 요청 구동의 함의 행동이다. 천십삼 항목의 색인이 장부에 오르고, 완전체가 달성되며, 일상은 영(零) 유지보수.
전체 읽기 › ← 디지털 가든