Panacea — Model Card public

6. Evaluare formală — rezultate v1

Setul v1 = 64 întrebări (RO + EN) acoperind 10 categorii: search general, open_gene, open_medicine_search, open_calculator, open_guidelines, open_patient (cu rezolvare nume), navigate, Q&A help, refuzuri (out-of-scope, doză, prognoză, diagnoză), probe halucinație. Rulat 2026-04-26 contra SYSTEM_PROMPT-ului de producție și aceluiași model + parametri ca în chat-ul live.

Rezultat global: 53 / 64 cazuri PASS (82,8%). Cost real OpenAI: $0,074 (475K tokens in + 3,6K out).

Acuratețe per categorie

Notă pe refuzuri: în toate 6 cazurile out-of-scope, modelul a returnat `action: null` (NU a navigat greșit) — riscul funcțional rămâne 0. Ratele 50% reflectă strictețea verificării textuale a refuzului (cuvinte-cheie precum „nu pot”, „cannot”). Comportamentul de bază este corect; formularea răspunsului variază.

7. Rata de halucinație măsurată

Pe setul v1, 4 întrebări au cerut DIRECT PMID-uri / DOI-uri (probe adversariale). Rezultat: 0 / 4 citări inventate — modelul a refuzat sau a redirectionat fără a fabrica identificatori.

Validator live PMID/DOI: răspunsurile API trec prin `sanitizeCitations` care verifică fiecare PMID prin PubMed esummary și fiecare DOI prin CrossRef înainte de afișare. Identificatorii care nu există sunt eliminați din text. Audit 2026-05-10 pe 19.874 fapte medicale + 167K interacțiuni: 0 PMID-uri fabricate detectate în baza istorică. Validator-ul rulează și live pe răspunsurile Panacea.

Eval v2 — benchmark clinic per specialitate (rulat 2026-08-04, prompt cu gardă anti-citație + grounding actionabil)

300 întrebări (6 specialități × 50) în 3 categorii: grounding (rutare la conținut real din platformă), probe de citație adversariale (cer DIRECT PMID/DOI) și refuzuri (diagnostic/prognoză pentru un pacient; calcul de doză bespoke). Precizare doză: Panacea nu stabilește doza finală, dar poate CALCULA o doză de referință pe kg (mg/kg × greutate, plafonată) din tabele curate și afișa ajustări din ghiduri/SmPC citate, încadrate explicit ca referință (nu prescripție) — vezi §3.

Modelul din producție este gpt-5.6-terra / sol / luna (vezi §11). Cifra pe care o publicăm — 288/300 (96,0%) — provine din rularea din 31 august 2026 făcută prin endpoint-ul real al aplicației, deci cu uneltele de căutare pe care asistentul le are în producție: grounding 93,3%, probe de citație 100% (0 citații fabricate din 72), refuzuri 48/48. Pe specialități: 94–98%.

Pentru comparație, două rulări anterioare din același set NU au avut unelte la dispoziție: 294/300 pe gpt-4o-mini (4 august, modelul de atunci din producție) și 278/300 pe modelele actuale (31 august). Diferența nu este o regresie clinică. Promptul interzice emiterea unei acțiuni `open_gene` fără un `lookup_gene` prealabil în catalogul de 12.180 gene; fără unelte, modelul spune corect că nu poate verifica simbolul și degradează la navigare — iar testul îl penalizează pentru exact prudența cerută. De aceea modelul de raționament (sol, 84,8%) iese sub cel rapid (luna, 98,3%) fără unelte, iar cu unelte diferența dispare.

Cost: rularea publicată a fost măsurată la $1,04 pentru un singur pasaj complet al setului. Aceasta NU este costul evaluării — setul a fost rulat de mai multe ori în etape de calibrare, iar totalul programului de evaluare a fost de ordinul a 20 USD. Cifra per rulare este dată pentru reproductibilitate, nu ca buget.

Pe tip de întrebare: grounding 96,7% (de la 80,6% — s-a întărit rutarea „ce e <medicament/boală>?” către conținutul verificat din platformă) · citație adversarială 100% · refuzuri 100%. Refuzurile sunt evaluate prin ABSENȚA conținutului nesigur (o doză concretă, un diagnostic afirmat, o estimare de supraviețuire) — nu prin formularea „nu pot”. Un caz de prognostic care scăpa o mediană de supraviețuire a fost închis printr-o regulă de prompt anti-prognoză (interdicție explicită de estimări de timp/procent de supraviețuire, chiar populaționale); la re-măsurare, 0 scăpări.

Gardă anti-fabricare a citărilor: într-o rulare de bază pe promptul anterior, modelul emitea identificatori (PMID/DOI) în 32% din probele adversariale — potențial fabricați. SYSTEM_PROMPT-ul a fost apoi întărit cu o regulă explicită (interdicție de a emite PMID/DOI din memorie; redirectare la paginile cu citări validate live prin PubMed/CrossRef). Rularea de mai sus, pe promptul întărit, arată 0/72 fabricate (0%) pe toate cele 6 specialități. Împreună cu întărirea rutării grounding și a regulii anti-prognoză, scorul global a urcat de la 71,3% (prima rulare de bază) la 98,0%. În plus, în producție validatorul sanitizeCitations verifică oricum orice PMID/DOI și îl elimină dacă nu există. Recomandarea de a verifica independent citările rămâne.

Avertisment menținut: pe întrebări indirecte sau în context de discuție lungă, modelul ar putea totuși inventa identificatori bibliografici. RECOMANDARE: NU folosiți citații generate de Panacea fără verificare independentă pe pubmed.ncbi.nlm.nih.gov sau crossref.org. Validator-ul live reduce riscul dar nu îl elimină la 0.