Update app.py

app.py

@@ -1,63 +1,83 @@
-from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline
-from langchain_community.llms import HuggingFacePipeline
-from langchain_core.output_parsers import StrOutputParser
-from langchain_chroma import Chroma
+import os
+import subprocess
+import gradio as gr
+from langchain.text_splitter import RecursiveCharacterTextSplitter
+from langchain_community.document_loaders import WebBaseLoader
+from langchain_community.vectorstores import Chroma
 from langchain_huggingface import HuggingFaceEmbeddings
+from langchain.document_loaders import PyPDFLoader
+import requests
+from rerankers import Reranker
+from langchain_community.chat_models import ChatOllama
 from langchain import hub
-import gradio as gr
+from langchain_core.output_parsers import StrOutputParser
 
-# Modelo compatible (T5-style)
-model_id = "google/flan-t5-large"
+# Paso 1: Instalar ollama
+subprocess.run("curl -fsSL https://ollama.com/install.sh | sh", shell=True, check=True)
+subprocess.run("ollama serve &", shell=True, check=True)
+subprocess.run("ollama pull llama3.2:1b", shell=True, check=True)
 
-tokenizer = AutoTokenizer.from_pretrained(model_id)
-model = AutoModelForSeq2SeqLM.from_pretrained(model_id)
+# Paso 2: Descargar el documento PDF
+URL = "https://gruposdetrabajo.sefh.es/gefp/images/stories/documentos/4-ATENCION-FARMACEUTICA/Nutricion/Manual_basico_N_clinica_y_Dietetica_Valencia_2012.pdf"
+response = requests.get(URL)
+with open("Manual_de_nutrición_clinica.pdf", "wb") as f:
+    f.write(response.content)
 
-pipe = pipeline(
-    "text2text-generation",
-    model=model,
-    tokenizer=tokenizer,
-    max_new_tokens=512,
-    temperature=0.7
-)
+# Paso 3: Inicializar el modelo y los embeddings
+local_llm = "llama3.2:1b"
+llm = ChatOllama(model=local_llm, temperature=0, top_k=50, top_p=0.95)
+chain = llm | StrOutputParser()
 
-llm = HuggingFacePipeline(pipeline=pipe)
-parser = StrOutputParser()
+# Cargar y procesar el PDF
+loader = PyPDFLoader("Manual_de_nutrición_clinica.pdf")
+documents = loader.load()
+text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=20)
+all_splits = text_splitter.split_documents(documents)
 
-# Cargar vectores y embeddings
-embedding_function = HuggingFaceEmbeddings(
-    model_name="sentence-transformers/paraphrase-multilingual-mpnet-base-v2",
-    model_kwargs={"device": "cpu"}
-)
+# Crear embeddings y la base de datos vectorial
+model_name = "sentence-transformers/paraphrase-multilingual-mpnet-base-v2"
+embeddings = HuggingFaceEmbeddings(model_name=model_name)
+vectordb = Chroma.from_documents(documents=all_splits, embedding=embeddings, persist_directory="chroma_db")
 
-vectordb = Chroma(
-    persist_directory="chroma_db",
-    embedding_function=embedding_function
-)
+# Inicializar el reranker
+ranker = Reranker("answerdotai/answerai-colbert-small-v1", model_type='colbert')
 
-# RAG
-def responder_pregunta(query):
-    docs = vectordb.similarity_search_with_score(query, k=5)
-    prompt = hub.pull("rlm/rag-prompt")
-    rag_chain = prompt | llm | parser
+# Paso 4: Definir la función RAG con reranking
+def format_docs(docs):
+    return "\n\n".join(doc[0].page_content for doc in docs)
 
+def test_rag_reranking(query, ranker):
+    docs = vectordb.similarity_search_with_score(query)
+    prompt = hub.pull("rlm/rag-prompt")
+    rag_chain = prompt | llm | StrOutputParser()
     context = []
     for doc, score in docs:
         if score < 7:
-            context.append(doc.page_content)
-
-    if context:
-        context_text = "\n".join(context)
-        result = rag_chain.invoke({"context": context_text, "question": query})
-        return result
+            doc_details = doc.to_json()['kwargs']
+            context.append(doc_details['page_content'])
+    if len(context) > 0:
+        # Aplicar reranking
+        ranking = ranker.rank(query=query, docs=context)
+        # Tomar el contexto más relevante
+        useful_context = ranking[0].text
+        # Generar la respuesta
+        generation = rag_chain.invoke({"context": useful_context, "question": query})
+        return generation
     else:
-        return "No tengo información suficiente para responder a esta pregunta."
-
-# Interfaz Gradio
-gr.Interface(
-    fn=responder_pregunta,
-    inputs=gr.Textbox(label="Pregunta sobre nutrición"),
-    outputs="text",
-    title="Asistente de Nutrición Clínica",
-    description="Sistema RAG para responder sobre el manual clínico de Nutrición."
-).launch()
+        return "No tengo información para responder a esta pregunta"
+
+# Paso 5: Crear una interfaz con Gradio
+def answer_query(query):
+    return test_rag_reranking(query, ranker)
+
+interface = gr.Interface(
+    fn=answer_query,
+    inputs=gr.Textbox(label="Ingresa tu pregunta sobre nutrición:"),
+    outputs=gr.Textbox(label="Respuesta:"),
+    title="Respuesta a Preguntas sobre Nutrición",
+    description="Haz preguntas sobre nutrición basadas en el Manual Básico de Nutrición Clínica y Dietética (Valencia, 2012)."
+)
+
+# Lanzar la interfaz
+interface.launch()