Skip to content

Instantly share code, notes, and snippets.

@mateolafalce
Created May 15, 2026 22:14
Show Gist options
  • Select an option

  • Save mateolafalce/13c6dcba9092e7c5f462fab087b2e2dc to your computer and use it in GitHub Desktop.

Select an option

Save mateolafalce/13c6dcba9092e7c5f462fab087b2e2dc to your computer and use it in GitHub Desktop.
Seleccion de modelos de IA para correr localmente usando el motor de inferencia Ollama en la placa RTX 3070 (8 GB VRAM)

Modelos 2026 (Ollama)

  • Selección de modelos de IA para correr localmente en una RTX 3070 (8 GB de VRAM).
  • Se verificó que todos los modelos listados a continuación pueden ejecutarse en nuestro hardware.
  • La carpeta /modelos contiene los archivos docker-compose correspondientes a cada modelo para su despliegue.
  • El motor de inferencia utilizado es Ollama.

Listado

  1. Qwen3.5-9B
  2. Llama 3.1 8B
  3. Gemma 4 E4B
  4. Qwen 3 8B
  5. Mistral 7B Instruct v0.3
  6. DeepSeek-R1-Distill-Llama-8B
  7. Qwen 2.5 7B Instruct
  8. Phi-4 Mini
  9. Granite 4.1 8B Instruct
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment