Skip to content

Instantly share code, notes, and snippets.

@pppppyamaP
pppppyamaP / gradio_llm.py
Created May 2, 2024 05:57 — forked from kohya-ss/gradio_llm.py
gradioでLLMを利用する簡易クライアント
# Apache License 2.0
# 使用法は gist のコメントを見てください
import argparse
from typing import List, Optional, Union, Iterator
from llama_cpp.llama_chat_format import _convert_completion_to_chat, register_chat_completion_handler
import llama_cpp.llama_types as llama_types
from llama_cpp.llama import LogitsProcessorList, LlamaGrammar
from llama_cpp import Llama, llama_chat_format
import gradio as gr