Svyatoslav Kryukov skryukov

[[GPT]] Гайд для тех, кто не хочет делиться своими данными при общении с AI чатами или сэкономить 20 баксов на подписку, а тратить не больше 5 в крипте. То есть с LLM моделя можно работать как полностью локально (важна оперативка), либо через провайдера OpenRouter. Сначала немного теории. Что такое [[LLM]] модели https://www.youtube.com/watch?v=zjkBMFhNj_g

Private local LLM

Для работа offline с [[LLM]] модели вам нужно следующее:

Устанавливаем Ollama сервер. Это как Docker, только для моделей
- Скачиваем сервере с https://ollama.com/
- Выбираем модель https://ollama.com/library и скачиваем ее. Если у вас не более 16Gb RAM, то я рекомендую wizardlm2:7b. Это неплохая модель, немного хуже, чем chatGPT 3.5.
- Команда следующая: ollama run wizardlm2:7b-q5_K_M. После скачивания запуститься промт, в котором можно проверить модель, ну либо сразу закрыть. На верхней панели должна появиться иконка с запущенной ламой.

Remote LLM

├── bin
│   └── console
├── config
│   └── evil_martians_api.yml
├── lib
│   ├── evil_martians_api
│   │   ├── api
│   │   │   └── developers.rb
│ │ ├── client

	# frozen_string_literal: true

	# A VCR trick to include preparation and cleanup phases for external services
	# directly within the test files (the phases run ONLY when recording cassettes):
	#
	# RSpec.describe EvilMartiansAPI::Client, vcr: true do
	# let(:client) { described_class.new }
	#
	# let(:developer_team_number) { 42 }
	#