Quiero crear un asistente virtual para mi universidad usando Llama 3
0 vistas6 respuestashace 2 mesessirdoras
Debor realizar un proyecto para la universidad y he pensado en crear un chatbot el cual maneje datos de la universidad, como nombre de los profesores, aulas y cosas por el estilo, para ello he pensado en realizar el front end con react, para le backend pienso usar flask, desde donde se harán las peticiones al llm.
Para el LLM he pensado en usar LLAMA3 de 7B para hacerle fine tuning con los datos que haga del scrap de la pagina de universidad, y desplegarlo en hugginface.
Mi duda es que tan viable consideran esa manera de hacer el proyecto, si hacerle fine tuning es lo mas efectivo o si hay otras alternatias.
1284573886230429706
6 respuestas
Depende de que tanta potencia tenga tu tarjeta grafica, es un martirio estar entrenando modelos si el hadware no tiene tanta potencia, pero si tienes una buena grafica no le veo ningún problema, yo en un proyecto que hice para evitar estar entrenando el modelo le pasaba el contexto con toda la data, pero no siempre daba buenas respuestas, tenias que ajustar el prompt para que pudiera hacer tareas especificas
erikgiovanihace 2 meses
tambien pensé en usar un RAG asi no entreno el modelo, y le paso la petición con el contexto, pensé en esa alternativa debido a que los datos de la u varian cada semestre
sirdorashace 2 meses
Suena mas viable 👍
erikgiovanihace 2 meses
Hola Erik que tal, una duda, para el RAG pensaba usar la api de GPT, pero se me acabo el mensual :/ sabes de alguna api de algun modelo gratuito?
sirdorashace 2 meses
Iba por LLAMA 3 al principio pero mucho embole en hacerle el deploy, o me recomiendas nomas hacerle un deploy al llm desde algun servicio gratuito?
sirdorashace 2 meses
Los Workers AI de cloudflare, te dan 10,000 neuronas gratis al día y tiene varios modelos para elegir.
https://developers.cloudflare.com/workers-ai/
erikgiovanihace 2 meses
Hola Erik mil disculpas, si nuevamente paso a molestarte, muchas gracias por el dato de los Workers AI, ya lo estoy utilizando, termine realizando el proyecto con FLASK, y Langchain, te queria preguntar como podria setear para que las respuestas del chatbot sean en español? el modelo que uso es un worker AI con el modelo de llama 3.1 8b
he puesto como inicio de prompt que responda en español, pero en ocaciones sigue respondiendo en ingles.