Valutazione dell’impatto della ricerca biomedica e sanitaria: revisione sistematica di letteratura

Rita Banzi, Vanna Pistotti, Lorenzo Moja, Andrea Facchini, Alessandro Liberati

1Centro Cochrane Italiano, Istituto Mario Negri, Milano; 2Istituto Ortopedico Rizzoli, Bologna; 3Università degli Studi di Bologna; 4Università degli Studi di Modena e Reggio Emilia; 5Agenzia Sanitaria e Sociale Regionale,
Regione Emilia-Romagna

Riassunto. Questa revisione sistematica ha l’obiettivo di descrivere i modelli teorici, la metodologia e gli approcci empirici alla valutazione delle ricadute della ricerca biomedica e sanitaria e di identificare le principali dimensioni e indicatori d’impatto. Sono state analizzate le iniziative condotte a livello internazionale e italiano riportate in 4 revisioni sistematiche e 14 studi primari. I modelli teorici sono numerosi e la metodologia di ricerca utilizzata comprende analisi bibliometrica e citazionale, economica e case study disegnati ad hoc. L’ambito di ricerca appare piuttosto ‘giovane’ e disomogeneo. Il modello payback emerge come quello maggiormente completo e convincente e comprende cinque categorie d’impatto per ognuna delle quali sono disponibili specifici indicatori: a) avanzamento delle conoscenze, b) sviluppo delle conoscenze e delle infrastrutture, c) influenza a livello decisionale, d) miglioramento della salute pubblica, e) benefici economico-sociali.

Parole chiave. Bibliometria, impatto della ricerca, indicatori, programmazione e finanziamento della ricerca.


Abstract. Research impact evaluation is of growing interest to funders, policy makers and researchers, mainly to understand the value of investments and to increase accountability. Broadly speaking the term “research impact” refers to the contribution of research activities in the achievements of desired societal outcomes. To identify the most common categories of impact and their respective indicators, we systematically searched the relevant literature (PubMed, the Cochrane Library 1990-2009, and funding agency websites) and assessed the approaches proposed to evaluate research return. We included systematic reviews, theoretical and methodological papers, and empirical case-studies on how to evaluate research impact. Twenty-two reports belonging to four systematic reviews and 14 primary studies were identified. Several theoretical frameworks and methodological approaches (bibliometrics, econometrics, ad hoc case-studies) were identified. The “payback model” emerged as the most widely used. Five broad categories of impact were identified: a) knowledge advances, b) development of research capacity, c) informing decision-making, d) health improvements, e) broad socio-economic benefits. A set of indicators for each proposed category of impact is presented and briefly discussed.

Key words. Bibliometrics, health research, research governance, research impact.


Introduzione
Esiste un consenso crescente nel considerare la ricerca come un investimento necessario al progresso delle conoscenze e allo sviluppo sociale ed economico della società. Nel campo della ricerca biomedica e di base il progresso è identificabile in un miglioramento delle conoscenze a sua volta capace di tradursi, nei tempi ragionevolmente più brevi possibile, in miglioramento dello stato di salute di una popolazione. Più recentemente è andata crescendo la consapevolezza dell’importanza della ricerca sui e nei sistemi sanitari ( health service research, health technology assessment), spesso direttamente sostenuta dagli stessi sistemi sanitari. L’obiettivo è quello di favorire l’innovazione (o meglio la selezione tra quelle che sono le vere e le false innovazioni assistenziali) e migliorare l’appropriatezza intesa come capacità del sistema di fornire ai cittadini ciò che realmente è utile, escludendo interventi superflui e/o dannosi (Agenzia sanitaria e sociale regionale dell’Emilia-Romagna, 2009; AIFA research & development working group, 2010; Institute of medicine, 2009).
Per sua natura la ricerca è un’attività il cui ritorno in termini di beneficio è incerto e quindi la preoccupazione di migliorare l’‘efficienza’ del sistema, oltre che di monitorarne la qualità, è comprensibilmente crescente (Chalmers, 2009). Esiste poi una pressione competitiva su risorse economiche limitate e contese tra diverse potenziali modalità di allocazione. Dalle poche informazioni sistematiche disponibili, l’investimento appare sbilanciato a favore della ricerca di base e biomedica che, per definizione, richiede tempi più lunghi per il trasferimento dei risultati e quindi anche per la valutazione delle ricadute (UK clinical research collaboration, 2006). Data la limitatezza dei fondi destinati alla ricerca scientifica, si rende necessario razionalizzare e prioritarizzare i finanziamenti basandosi sulla capacità di produrre risultati utili, rilevanti e trasferibili.
Tracciare e misurare l’impatto della ricerca scientifica è quindi un obiettivo al tempo stesso condiviso e tuttavia assai complesso da raggiungere.
Negli ultimi due decenni l’attenzione crescente sulla valutazione dell’impatto della ricerca biomedica ha permesso lo sviluppo di numerosi modelli teorici di riferimento, approcci metodologici alla valutazione e dimensioni di beneficio valutabili. Il modello del payback (Wooding, 2005), l’approccio monetario costo-benefici (Australian society for medical research, 2008; Funding first, 2000), e la focalizzazione sul target (Lavis, 2003) sono solo alcuni esempi di modelli teorici descritti e applicati in diverse esperienze internazionali. Un elenco, non esaustivo, e una descrizione qualitativa dei principali modelli teorici sono riportati nel riquadro a pagina 223. Caratteristica comune a tutti gli schemi valutativi è la struttura multidimensionale, cioè la definizione di categorie d’impatto che analizzano aspetti diversi della possibile ricaduta della ricerca stessa (Hanney, 2007). Ad ogni categoria d’impatto sono associati specifici esiti e indicatori misurabili o stimabili. Se è facile utilizzare esiti diretti (ma ‘surrogati’) della ricerca, quali ad esempio il numero di pubblicazioni, più difficile è ragionare riguardo agli esiti indiretti (ma più ‘robusti’) quali benefici per la salute della popolazione o impat­to socio-economico complessivo (Williams, 2009). 
Obiettivo di questa revisione sistematica è descrivere quanto è stato fatto nel campo della valutazione delle ricadute della ricerca biomedica e sanitaria. In particolare, attraverso l’analisi qualitativa delle principali iniziative a livello internazionale e, laddove disponibili, italiane saranno analizzati i modelli teorici più diffusi, la metodologia di ricerca e gli indicatori d’impatto più comunemente utilizzati. Il quesito principale di questa revisione è quindi definire se esiste un modello teorico di riferimento per valutare l’impatto della ricerca e, di conseguenza, se sono disponibili indicatori robusti e condivisi in grado di fornire informazioni quali-quantitative sulla dimensione di questo impatto.
Non vengono invece affrontate in questo articolo le problematiche più generali del rapporto pubblico/privato nel finanziamento alla ricerca, dei pro e contro di attività specifiche di prioritarizzazione nelle diverse fasi del sostegno e finanziamento alla ricerca e, più in generale, dei fattori facilitanti o di ostacolo al trasferimento dei risultati della ricerca. Questi temi, oggetto di un’ampia letteratura e rilevanti per la valutazione complessiva dell’impatto dell’attività di ricerca, non potevano esser qui affrontati in modo adeguato.

Metodi
Nel contesto di questa revisione, per ‘impatto della ricerca’ si intende qualunque forma di output dell’attività di ricerca che sia classificabile come potenziale ritorno (positivo) per la comunità scientifica, i sistemi sanitari e la società in generale. Inoltre, con il termine ‘ricerca’ viene fatto riferimento sia alla ricerca di base e biomedica più tradizionale, ad esempio sviluppo di nuovi farmaci, tecnologie, modelli, sia alla ricerca sanitaria e clinico-assistenziale che comprende studi clinici, di implementazione, valutazioni delle tecnologie, etc.
Seguendo un approccio simile a quello utilizzato in altri campi della valutazione degli interventi sanitari (Higgins, 2008) e partendo dalla constatazione che la letteratura disponibile in questo settore è eterogenea e costituita soprattutto da critical appraisal report realizzati a partire da specifiche esperienze valutative, questa revisione è stata concepita come ‘overview di revisioni’. Specificamente sono state ricercate e valutate pubblicazioni che riportavano revisioni sistematiche condotte per costruire e definire modelli concettuali, testare specifiche metodologie, valutare l’impatto di programmi di ricerca attivati da specifiche agenzie/associazioni. Sono inoltre stati considerati studi primari (case study) non inclusi in queste revisioni, o pubblicati successivamente.
Sono state incluse due tipologie principali di studi:
a) studi che hanno considerato approcci valutativi dell’impatto della ricerca scientifica da un punto di vista concettuale o metodologico;
b) studi empirici intesi a produrre informazioni sull’impatto di uno specifico programma di ricerca.

In entrambi i casi, lo studio doveva rendere espliciti gli indicatori utilizzati per la valutazione e/o proporre indicatori di impatto della ricerca potenzialmente rilevanti.
Per identificare gli studi rilevanti è stato seguito un approccio sistematico alla ricerca delle fonti informative (vedi Appendice a pag. 239). Come primo step è stata condotta una ricerca bibliografica su Medline e sulla Cochrane Library modificando la strategia di ricerca sviluppata dal gruppo di Buxton (Hanney, 2007). La ricerca è stata limitata alle revisioni pubblicate tra il 1990 e il 2009. Nel secondo step, al fine di recuperare studi rilevanti non compresi nelle revisioni sistematiche, sono stati ricercati gli studi primari pubblicati tra il 2007-2009 e quelli pubblicati in francese, italiano e spagnolo (le revisioni incluse sono state prevalentemente condotte nei paesi anglosassoni e riportate su letteratura in lingua inglese). Consapevoli che documenti rilevanti potessero non essere pubblicati nelle riviste indicizzate, alla ricerca bibliografica ‘classica’ è stata affiancata un’approfondita analisi dei siti web delle principali agenzie nazionali (Ministero della salute, Miur) e internazionali (UK health technology assessment programme, Canadian academy of health sciences, RAND corporation, Lasker foundation, etc.) che supportano e finanziano la ricerca scientifica. Infine, è stata analizzata la letteratura già a conoscenza degli autori e sono state controllate le referenze citate dalle principali revisioni sistematiche incluse. Non è stato avviato nessun contatto diretto con gli autori degli articoli considerati.
Due revisori, lavorando in modo indipendente, hanno selezionato le pubblicazioni potenzialmente rilevanti attraverso l’analisi del titolo e dell’abstract. Le informazioni pertinenti sono state estratte dopo il reperimento della pubblicazione completa e di eventuali pubblicazioni correlate d’interesse. Per ogni revisione sistematica e studio primario incluso sono state estratte le seguenti informazioni: obiettivi, nazione, setting, finestra temporale di valutazione, modello teorico di riferimento, metodologia utilizzata, risultati e conclusioni principali. Attraverso l’analisi delle esperienze valutative considerate e facendo riferimento ai modelli teorici più diffusi e consolidati (modello canadese e modello del payback) sono state costruite ed elaborate specifiche dimensioni di impatto per le quali sono stati identificati i principali indicatori.
Data l’eterogeneità delle revisioni sistematiche, dei report e dei case study considerati, non è stata condotta una formale valutazione della qualità metodologica dei singoli studi inclusi.







Risultati
Attraverso le fonti indicate sono stati individuati 1064 record bibliografici (figura 1). Da queste sono state selezionate 38 pubblicazioni potenzialmente rilevanti che hanno fornito 22 pubblicazioni analizzabili. Tra i 16 report esclusi in questa fase si trovano articoli descrittivi e non valutativi (Soper, 2008), o riguardanti aspetti di prioritarizzazione della ricerca piuttosto che le sue ricadute (Fleurence, 2007; Townsend, 2003).



Le 22 pubblicazioni selezionate corrispondono a 18 studi diversi, tra cui 4 revisioni sistematiche (Buxton, 2004; Canadian Academy of Health Sciences, 2009; Coryn, 2007; Frank, 2009; Hanney, 2007) e 14 studi primari (Australian society for medical research, 2008; Cutler, 1999; Grant, 2000; Gutman, 2009; Hanney, 2006; Johnston, 2006; Kalucy, 2007; Kalucy, 2009; Kwan, 2007; Linee Guida CIVR, 2006; Ottoson, 2009; Raftery, 2009; Ruch-Ross, 2008; Santori, 2008; Shah, 2001; Stryer, 2000; Wooding, 2005). I risultati principali estratti dalle revisioni sistematiche e dagli studi primari inclusi sono riassunti rispettivamente nelle tabelle 1 e 2 a pag 183 e seguenti. Per ogni revisione e studio primario incluso sono stati riassunti l’obiettivo e l’ambito scientifico in esame, la nazione, il setting e la finestra temporale di valutazione. In particolare, le revisioni sistematiche incluse sono valutazioni comparative di modelli ed esperienze pratiche sviluppate in diversi paesi dal 1990 ad oggi ed utilizzano il punto di vista del ‘pubblico finanziatore’ (governi centrali e regionali, Oms). Tutte le revisioni includono, oltre alla valutazione di specifici programmi di ricerca, anche una trattazione teorica dei modelli di riferimento e un’indicazione più o meno esplicita e pragmatica degli indicatori più adatti alla misurazione dell’impatto. Sia la revisione di Hanney che quella prodotta dalla Canadian academy of health science, sebbene su una tematica specifica la prima (programmi di health technology assessment finanziati dall’N hs nel Regno Unito) (Hanney, 2007) e più in generale la seconda (Canadian academy of health sciences, 2009) rispondono alla domanda generale “come deve essere misurato l’impatto della ricerca”. Includono infatti studi teorici utili a definire i modelli di riferimento, valutazioni empiriche che testano diverse metodologie valutative (desk analysis, interviste, case study, etc.) e strumenti di misurazione dell’impatto (metriche ed indicatori). La revisione di Buxton pubblicata nel 2004 valuta invece la ricerca come investimento e i suoi ‘ritorni’ in termini d’impatto economico e sociale (riduzione del numero di pazienti trattati e quindi di spesa, sviluppo di nuove imprese e dell’occupazione) (Buxton, 2004). Infine Coryn et al riportano un’analisi dei modelli valutativi sulla base dei modelli di finanziamento alla ricerca (Coryn, 2007). Gli studi primari coprono una vasta gamma di iniziative che, con rare eccezioni (Kwan, 2007; Santori, 2008), sono state condotte nei paesi anglosassoni dai principali enti pubblici e privati di finanziamento alla ricerca. Si evidenzia un’ampia eterogeneità sia in termini di modello teorico che di soluzione valutativa adottati. Le unità di analisi valutate sono molteplici: dall’attività del singolo ricercatore o di un team di ricercatori o di un’istituzione fino alla valutazione della ricerca relativa ad una determinata disciplina o ad una specifica fonte di finanziamento (ad esempio, finanziamenti da parte di agenzie pubbliche, charity o fondazioni). La maggioranza degli studi analizzati utilizza un approccio nel quale le informazioni fluiscono dai ricercatori agli utilizzatori, cioè un approccio definito bottom up (Shiel, 2009). Un assetto più di tipo econometrico in senso stretto, che analizza cioè l’impatto della ricerca a partire dai benefici economico-sociali (approccio top down), è identificabile solo in due dei report inclusi (Australian society for medical research, 2008; Cutler, 1999). Gli strumenti più frequentemente utilizzati per raccogliere dati d’impatto, oltre all’analisi della documentazione amministrativa relativa ai progetti (desk analysis), sono revisioni tra pari, interviste e questionari somministrati ai responsabili di progetto o ai potenziali destinatari della ricerca e del suo utilizzo nei processi decisionali sociali e sanitari.
Come illustrato dalla tabella 3 (pag. 191 e seguenti), l’impatto della ricerca viene valutato su diverse dimensioni che possono essere in ultima analisi ricondotte a cinque categorie. Le tre più spesso citate in letteratura sono l’avanzamento delle conoscenze, lo sviluppo delle competenze, la disseminazione dei risultati della ricerca con l’inserimento degli stessi nei processi decisionali (linee guida o protocolli di comportamento, documenti di indirizzo). Le altre due categorie che racchiudono i potenziali benefici sulla salute pubblica e sul benessere sociale ed economico sono citate meno frequentemente, perché, sebbene rappresentino il fine ultimo che ogni progetto di ricerca dovrebbe avere, pongono grandi difficoltà di analisi e valutazione. Queste cinque categorie rappresentano un gradiente che va da esiti surrogati (per esempio, dati bibliometrici e citazionali, avanzamento di carriere) ma più facilmente riconducibili ad uno specifico progetto di ricerca, fino ad esiti ‘robusti’ come dati di incidenza, prevalenza, mortalità, QALYs, ma di più difficile misurazione ed attribuzione. Analogamente, seguono questo gradiente anche gli indicatori utilizzati per aggregare questi esiti e fornire un’informazione quali-quantitativa dell’impatto. Gli indici bibliometrici e citazionali (numero di pubblicazioni, impact factor, etc.) sono i più frequentemente riportati perché sono relativamente semplici da misurare, facilmente attribuibili e, in una certa misura, condivisi. Solo le valutazioni di tipo più strettamente economico (Buxton, 2004) o le analisi di progetti in ambiti quali la medicina generale (Kalucy, 2007; Kalucy, 2009) o l’efficienza dei sistemi sanitari (Stryer, 2000) non li riportano o li riportano con meno enfasi.

























Discussione
Considerazioni generali
Questa revisione di letteratura indica chiaramente l’esistenza di un crescente interesse internazionale, soprattutto nei paesi anglosassoni, per la valutazione delle ricadute della ricerca scientifica in campo biomedico. La grande maggioranza degli studi è stata infatti pubblicata dall’inizio del 2000 ad oggi. Tre sono i livelli sui quali si concentra la ricerca:
i) costrutti teorici che permettano di condurre un’analisi dell’impatto della ricerca su più dimensioni integrate tra loro;
ii) metodologia di valutazione trasparente;
iii) indicatori d’impatto affidabili e generalizzabili.

Tutte le esperienze illustrate ribadiscono come solo approcci multidimensionali siano in grado di garantire una valutazione adeguata delle ricadute della ricerca. I modelli teorici più diffusi definiscono categorie d’impatto relative ad aspetti conoscitivi, di salute pubblica e di benessere sociale ed economico. La metodologia ideale in questo campo dovrebbe permettere una flessibilità delle definizioni e degli indicatori capace di adattarsi a tipologie di ricerca molto diverse tra loro. La semplice analisi bibliometrica, citazionale e delle documentazioni viene spesso affiancata da valutazioni da parte di peer reviewer e da interviste e indagini ai responsabili dei progetti o a figure chiave nello sviluppo e nella implementazione dei programmi (per esempio, direttori delle strutture di ricerca). La metodologia utilizzata nella valutazione deve inoltre garantire una sufficiente qualità dei dati raccolti. Dal punto di vista più strettamente euristico e qualitativo, alcuni case study inclusi sono interessanti in quanto rappresentano tentativi di convogliare differenti tipologie d’indagine in un unico schema valutativo che considera campioni rappresentativi di grandi programmi di ricerca e codifica con estremo rigore le misurazioni dell’impatto. L’utilizzo di una valutazione sviluppata ad hoc si contrappone a una “raccolta dati” basata su sistemi informativi correnti; in un certo senso, si tratta di decidere se si privilegia la natura esplicita e standardizzata delle valutazioni (che pone comunque di per sé dei limiti) ad una più flessibile ed adattabile alle diverse situazioni, ma, per questo, anche più suscettibile all’influenza di una autoreferenzialità da parte del committente, che è spesso lo stesso soggetto istituzionale che viene valutato.
Il modello del payback, concettualizzato originariamente da Buxton e colleghi (Buxton, 1996; Buxton, 1998; Buxton, 1999; Hanney, 2004) e la sua espansione e rielaborazione nel modello canadese (Canadian academy of health sciences, 2009), sono quelli maggiormente utili per un approccio globale al tema della valutazione dell’impatto delle attività di ricerca. Le principali motivazioni alla base di questa affermazione derivano dalla natura esplicita dello schema concettuale proposto (ivi compresa la esplicitazione delle sue assunzioni positive e negative), e dalla disponibilità di applicazioni empiriche, comprendenti l’elaborazione di specifici indicatori d’impatto, dell’applicabilità e delle limitazioni del modello.
In linea generale, la mancanza di una terminologia standard, la natura multidimensionale della tematica e le differenze tra i setting delle diverse esperienze internazionali rendono complessa l’estrapolazione di un ‘modello unico’ di riferimento. Dall’analisi della letteratura raccolta, è però possibile fornire indicazioni piuttosto precise su quali sono le ‘dimensioni di impatto’ più comunemente riportate e per ognuna definire gli specifici indicatori, il loro ambito di applicazione e la metodologia necessaria per la loro valutazione (tabella 3, pag 191 e seguenti). Gli indicatori di impatto rappresentano la maggiore criticità, perché l’obiettivo è quello di avere un set di pochi indicatori (robusti, validati, condivisi, trasferibili, confrontabili e semplici da costruire, etc.) in grado di sintetizzare un complesso fenomeno come le globali ricadute dell’attività di ricerca. Nessun indicatore da solo è in grado di fornire un’indicazione affidabile e anche ragionando su set di indicatori, appaiono evidenti numerose criticità, dalla loro definizione alla metodologia di raccolta dei dati su cui l’indicatore viene costruito e al campo di applicazione. Anche gli indicatori bibliometrici, largamente citati e utilizzati, vanno considerati con estrema cautela perché poco adatti a cogliere la reale ricaduta sulle conoscenze. In particolare ciò è vero per la ricerca sanitaria a prevalente contenuto organizzativo gestionale i cui risultati sono spesso pubblicati su riviste a basso impact factor o nella cosiddetta ‘letteratura grigia’.







Considerazioni di carattere metodologico
È noto che un presupposto fondamentale per un buon lavoro di revisione sistematica è rappresentato dalla strategia di ricerca delle fonti. Nella pianificazione di questa revisione la difficoltà di impostazione della strategia di ricerca è stata sostanziale ed è stato quindi preferito un approccio in grado di massimizzare la sensibilità della ricerca della letteratura di interesse. Crediamo che ciò ci abbia permesso di identificare le pubblicazioni maggiormente rilevanti a livello nazionale e internazionale anche se è difficile stimare il livello di publication bias o di report selettivo che può verificarsi in questo tipo di letteratura. È interessante notare infatti che solo una quota relativamente bassa delle pubblicazioni incluse in questa revisione proviene dalle classiche banche dati biomediche (circa il 30%). Non sono state sistematicamente esplorate banche dati relative a scienze sociali ed economiche, che avrebbero potuto fornire pubblicazioni potenzialmente rilevanti. La terminologia e i meccanismi di indicizzazione di questi articoli e report, ancora poco definiti, hanno inoltre reso complessa l’identificazione sistematica delle pubblicazioni potenzialmente rilevanti. Si aggiunga a ciò il fatto che l’argomento ‘valutazione dell’impatto della ricerca’ è stato fino a poco tempo fa considerato di prevalente interesse ‘amministrativo’ o ‘burocratico’ ed è probabile che pregevoli analisi di carattere teorico ed empirico non siano state pubblicate su riviste scientifiche, ma nella cosiddetta ‘letteratura grigia’ (per esempio, report documenti disponibili presso agenzie governative). Questa situazione è probabilmente destinata a cambiare nel prossimo futuro visto il crescente interesse da parte di ricercatori, editori e finanziatori per questo tipo di ricerca.
Questa revisione ha poi evidenziato una serie di importanti limiti negli studi primari. La maggior parte delle analisi effettuate sono retrospettive, basate su interviste ai responsabili di progetto e mirate a verificare l’avanzamento dei progetti stessi. Possono quindi essere soggette a diversi tipi di distorsioni, tra cui quelli legati alla ‘memoria selettiva’ (recall bias) degli intervistati e al reporting selettivo (reporting bias): in altre parole, casi di impatto favorevole si ricordano e vengono pubblicati assai più facilmente di quelli sfavorevoli. Inoltre, il periodo (‘finestra temporale’) nel quale viene valutato un progetto di ricerca è fondamentale e la sua appropriatezza è strettamente legata al tipo di valutazione (è intuitivo che l’impatto conoscitivo sia più immediato dell’impatto sociale) e al tipo di ricerca in esame (una scoperta nella ricerca di base può impiegare anni per generare ricadute tangibili).
I due problemi metodologici centrali relativi alla valutazione dell’impatto della ricerca rimangono comunque legati all’attribuzione di ciò che si sta misurando (‘attribution issue’) e alla controfattualità (‘counterfactual issue’). Il primo termine si riferisce alla difficoltà di attribuire alla ricerca, piuttosto che ad altri fattori, un particolare obiettivo raggiunto, un beneficio per i pazienti, un miglioramento sociale o un guadagno economico (Frank, 2009). Il secondo è invece dovuto alla mancanza di un gruppo di controllo che consenta di predire ciò che sarebbe successo in assenza dello specifico programma di ricerca. A ciò è legata anche la impossibilità di valutare eventuali “effetti negativi” dovuti alla scelta di sostenere o non sostenere determinati filoni di ricerca, alla mancata identificazione di aree orfane e prioritarie da bilanciare nei finanziamenti e ai ritardi nel progresso conoscitivo causati da ritardi o distorsioni nella produzione di risultati.

Conclusioni
La prima considerazione che si può trarre da questa revisione è che l’area di ricerca che abbiamo qui preso in esame è molto ‘giovane’ ed è caratterizzata da metodologie e approcci molto disomogenei. L’impianto valutativo appare debole non tanto nei suoi singoli componenti (epidemiologico, micro e macro-economico, sociale), quanto nell’integrazione interdisciplinare che spesso non è in grado di mantenere la robustezza e riproducibilità dei singoli strumenti. A parziale dimostrazione di questo, è possibile notare che molto spesso le principali agenzie di finanziamento rendono disponibili i dati relativi all’impatto di un programma di ricerca attraverso dati parziali e potenzialmente fortemente autoreferenziali, quali liste di pubblicazioni scientifiche o di acquisizioni sul piano dello sviluppo commerciale (per esempio, brevetti, ‘ spin off industriali’) e interviste ad opinion leader ed esperti del settore. La seconda considerazione è relativa a come l’esigenza di valutare l’impatto della ricerca sia nata largamente al di fuori del mondo delle scienze mediche e sanitarie e come, per questo motivo, abbia spesso caratteristiche di analisi economica e sociale. Se questo da un lato può dare vantaggi perché riduce il rischio di autoreferenzialità, potrebbe essere opportuno porre l’attenzione sull’analisi dell’impatto e dell’implementazione dei possibili risultati già nelle fasi di progettazione della ricerca, predisponendo per esempio piani di monitoraggio prospettico e coinvolgendo i ricercatori stessi in questo esercizio. Ciò garantirebbe una qualità migliore nella raccolta dei dati d’impatto ad oggi prevalentemente retrospettiva. Infine, il termine stesso di ‘valutazione dell’impatto della ricerca’ evoca, in una parte degli addetti ai lavori, l’idea che dietro la (innegabile) necessità di capire come le risorse vengono utilizzate, si nascondano approcci normativi volti principalmente a limitare la ‘libertà di ricerca’ e a favorire una sua eccessiva costrizione dentro binari di ‘finalizzazione esasperata’. In realtà l’esercizio valutativo non può prescindere da importanti fattori di contesto e deve basarsi su ragionevoli aspettative da parte di chi commissiona la valutazione d’impatto, sia esso un decisore politico o un finanziatore.
Il costrutto di valutazione ideale dovrebbe essere sufficientemente robusto e flessibile per adattarsi a diversi tipi di valutazione, di ricerca e di finanziatore. In altre parole, dovrebbe considerare diversi punti di vista nella valutazione e quindi essere in grado di captare una vasta gamma di potenziali ricadute. La possibilità d’implementazione nel setting considerato e il valore relativo che diverse dimensioni di impatto possono assumere rispetto ad esso sono di primaria importanza. In linea con la crescente enfasi sulla ‘ricerca traslazionale’ e con la necessità di costruire modelli di ‘trasferimento e trasferibilità dei risultati della ricerca’, un sistema di valutazione adeguato dovrebbe prestare particolare attenzione alla capacità di descrivere i percorsi e le traiettorie che possono agire da facilitatori e/o barriere a un efficace trasferimento (Canadian academy of health sciences, 2009).





Bibliografia
Agenzia sanitaria e sociale regionale dell’Emilia-Romagna (2009), La ricerca come attività istituzionale del Servizio sanitario regionale: principi generali e indirizzi operativi, Dossier ASSR, n. 182. Disponibile online al seguente indirizzo: http://asr.regione.emiliaromagna.it/wcm/asr/collana_
dos­sier/doss­182.htm. Ultima consultazione: luglio 2010.
Aifa research & development working group (2010), Feasibility and challenges of independent research on drugs: the Italian medicines agency (AIFA) experience, Eur J Clin Invest, 40 (1): 69-86.
Australian society for medical research (2008), Access economics. Exceptional returns: the value of investing in health R&D in Australia II, Canberra (Australia), Australian Society for Medical Research. Disponibile online al seguente indirizzo: www.asmr.org.au/ExceptII08.pdf. Ultima consultazione: luglio 2010.
Buxton M, Hanney S (1996), How can payback from health services research be assessed?, J Health Serv Res Policy, 1 (1): 35-43.
Buxton M, Hanney S (1998), Evaluating the NHS research and development programme: will the programme give value for money?, J R Soc Med, 91 (Suppl 35): 2-6.
Buxton M, Hanney S, Jones T(2004), Estimating the economic value to societies of the impact of health research: a critical review, Bull World Health Organ, 82 (10): 733-739.
Buxton M, Hanney S, Packwood T et al (1999), Assessing the benefits from North Thames R&D, HERG Report 25, Uxbridge, Brunel University.
Canadian academy of health sciences (2009), Making an impact: a preferred framework and indicators to measure returns on investment in health research. Disponibile online al seguente indirizzo: www.cahs-acss.ca/pdfs/ROI_full­Report.pdf. Ultima consultazione: luglio 2010.
Chalmers I, Glasziou P (2009), Avoidable waste in the production and reporting of research evidence, Lancet, 374: 86-89.
Coryn CLS, Hattie JA, Scriven M et al (2007), Models and Mechanisms for Evaluating Government-Funded Research: An International Comparison, American Journal of Evaluation, 28: 437-457.
Cutler DM, Kadiyala S (1999), The economics of better health: the case of cardiovascular disease, New York (NY), The Lasker Foundation.
Fleurence RL (2007), Setting priorities for research: a practical application of ‘payback’ and expected value of information, Health Econ, 16: 1345-1357.
Frank C, Nason E (2009), Health research: measuring the social, health and economic benefits, CMAJ, 180: 528-534.
Funding First (2000), Exceptional returns: the economic value of America’s investment in medical research, New York (NY), The Lasker Foundation.
Grant J, Cottrell R, Cluzeau F et al (2000), Evaluating ‘payback’ on biomedical research from papers cited in clinical guidelines: applied bibliometric study, BMJ, 320: 1107-1111.
Gutman MA, Barker DC, Samples-Smart F et al (2009), Evaluation of active living research progress and lessons in building a new field, Am J Prev Med, 36 (2 Suppl): S22-33.
Hanney S, Buxton M, Green C et al (2007), An assessment of the impact of the NHS health technology assessment programme, Health Technol Assess, 11: iii-iv, ix-xi, 1-180.
Hanney SR, Gonzalez-Block MA, Buxton MJ et al (2003), The utilisation of health research in policy-making: concepts, examples and methods of assessment, Health Res Policy Syst, 1: 2.
Hanney SR, Grant J, Wooding S et al (2004), Proposed methods for reviewing the outcomes of health research: the impact of funding by the UK’s’ Arthritis Research Campaign’, Health Res Policy Syst, 2: 4.
Hanney SR, Home PD, Frame I et al (2006), Identifying the impact of diabetes research, Diabet Med, 23: 176-184.
Higgins J, Altman D (eds) (2008), Chapter 22: Overviews of reviews, in Higgins JPT, Green S (eds), Cochrone Handbook for Systematic Reviews of Interventions Wiley.
Institute of medicine (2009), National priorities for comparative effectiveness research report brief, http://www.iom.edu/Re­ports/2009/ComparativeEffectivenessResearchPriorities.aspx
Jacob R, McGregor M (1997), Assessing the impact of health technology assessment, Int J Technol Assess Health Care, 13 (1): 68-80.
Johnston SC, Rootenberg JD, Katrak S et al (2006), Effect of a US National Institutes of Health programme of clinical trials on public health and costs, Lancet, 367: 1319-1327.
Kalucy L, Jackson-Bowers E, McIntyre E (2007), Primary health care research impact project. Final report stage 1. Disponibile online al seguente indirizzo: http://www.phcris. org.au/activities/rip/index.php. Ultima consultazione: luglio 2010.
Kalucy L, Jackson-Bowers E, McIntyre E et al (2009), Exploring the impact of primary health care reserach. Final report stage 2. Disponibile online al seguente indirizzo: http://www.phcris.org.au/activities/rip/index.php. Ultima consultazione: luglio 2010.
Kaplan R, Norton D (1992), The balanced scorecard-measures that drive performance, Harvard Business Review, January-February: 71-79.
Kwan P, Johnston J, Fung AY et al (2007), A systematic evaluation of payback of publicly funded health and health services research in Hong Kong, BMC Health Serv Res, 7 (121).
Lafortune L, Farand L, Mondou I et al (2008), Assessing the performance of health technology assessment organizations: a framework, Int J Technol Assess Health Care, 24 (1): 76-86.
Landry R, Amara N, Lamari M (2001), Climbing the ladder of research utilization: evidence from social science research, Science Communication, 22 (4): 396-442.
Lavis J, Ross S, McLeod C et al (2003), Measuring the impact of health research, J Health Serv Res Policy, 8 (3): 165-170.
Linee Guida CIVR (2006), Comitato di indirizzo per la valutazione della ricerca, CIVR linee guida per la valutazione della ricerca. Disponibile online al seguente indirizzo: http://vtr2006.cineca.it/documenti/linee_guida.pdf.
Mollas-Gallart J, Tang P, Sinclair T et al (1999), Assessing research impact on non-academic audiences. Report to the Economic and social research council, Brighton, SPRU, University of Sussex.
Mushkin S (1979), Biomedical research: costs and benefits, Cambridge, MA Ballinger.
NIH (1993), Cost savings resulting from NIH research support, seconda edizione, Bethesda (MD), United States Department of health and human services, National institute of health.
Ottoson JM, Green LW, Beery WL et al (2009), Policy-contribution assessment and field-building analysis of the Robert Wood Johnson Foundation’s Active Living Research Program, Am J Prev Med, 36 (2 Suppl): S34-43.
Raftery J, Hanney S, Green C et al (2009), Assessing the impact of England’s national health service R&D Health technology assessment program using the ‘payback’ approach, Int J Technol Assess Health Care, 25 (1): 1-5.
Royal Netherlands Academy of Arts and Sciences (2002), The social impact of applied research towards a quality assessment system, Amsterdam.
Ruch-Ross H, Keller D, Miller N et al (2008), Evaluation of community-based health projects: the healthy tomorrows experience, Pediatrics, 122 (3): e564-572.
Santori G, Valente R, Ghirelli R et al (2008), Evaluation of research products released during a national project funded by the Italian Ministry of Health, Transplant Proc, 40 (6): 1820-1822.
Shah S, Ward JE (2001), Outcomes from NHMRC public health research project grants awarded in 1993, Aust N Z J Public Health, 25 (6): 556-560.
Shiel A, Di Ruggiero E (2009), Assessing the return on Canada’s public investment in population and public health research: methods and metrics, in Canadian academy of health sciences, Return on investments in health research. Disponibile online al seguente indirizzo: www.cahs-acss.ca/e/assessments/completedprojects.php. Ultima consultazione: luglio 2010.
Soper B, Buxton M, Hanney S et al (2008), Developing the protocol for the evaluation of the health foundation’s ‘engaging with quality initiative’: an emergent approach, Implement Sci, 3 (46).
Stryer D, Tunis S, Hubbard H et al (2000), The outcomes of outcomes and effectiveness research: impacts and lessons from the first decade, Health Serv Res, 35 (5 Pt 1): 977-993.
Townsend J, Buxton M, Harper G (2003), Prioritisation of health technology assessment. The PATHS model: methods and case studies, Health Technol Assess, 7 (20): iii, 1-82.
UK Clinical Research Collaboration (2006), UK health research analysis. Disponibile online al seguente indirizzo: http://www.ukcrc.org/publications/reports/. Ultima consultazione: luglio 2010.
Van Ark G (2007), Societal impact evaluation of research groups. The communication metaphor, Presentation to the Swedish research council workshop on economic returns of medical research. Disponibile online al seguente indirizzo: http://www.vr.se/download/18.34261071168fe6a62080001004/ZonMw+van+Ark+2.pdf. Ultima consultazione: luglio 2010.
Weiss AP (2007), Measuring the impact of medical research: moving from outputs to outcomes, Am J Psychiatry, 164 (2): 206-214.
Williams V, Eiseman E, Landree E et al (2009), Demonstrating and communicating research impact. Preparing Niosh programs for external review, RAND Monograps. Disponibile online al seguente indirizzo: www.rand.org. Ultima consultazione: luglio 2010.
Wooding S, Hanney S, Buxton M et al (2005), Payback arising from research funding: evaluation of the arthritis research campaign, Rheumatology (Oxford), 44 (9): 1145-1156.