Capitolul 8 - 8. MONITORIZAREA ŞI EVALUAREA PROGRAMELOR PNCDI IV - Plan National din 2022 de Cercetare, Dezvoltare şi Inovare - 2022-2027
M.Of. 969 bis
În vigoare Versiune de la: 12 Decembrie 2023
CAPITOLUL 8:8. MONITORIZAREA ŞI EVALUAREA PROGRAMELOR PNCDI IV
SUBCAPITOLUL 1:8.1. Monitorizarea şi evaluarea Planului
(1)Fiecare conducător de program are responsabilitatea de a avea/adopta/dezvolta un sistem de gestiune electronică a proiectelor de la depunere, evaluare proiect, contractare, monitorizare, până la evaluarea pe parcurs, la finele perioadei de implementare şi post-implementare.
(2)Sistemele de gestiune electronică a proiectelor, considerate sisteme de colectare primară a datelor, vor fi interconectate şi interoperabile cu Sistemul Registrelor Naţionale CDI. Acest sistem coordonat de către autoritatea de stat pentru cercetare - dezvoltare include, dar nu este limitat la: Registrul Rezultatelor, Registrul Organizaţiilor CDI, Registrul Cercetătorilor, Inovatorilor şi Antreprenorilor (componente ale platformei www.brainmap.ro) şi Registrul Infrastructurilor de Cercetare (https://eertis.eu/).
(3)Sistemele de colectare primară a datelor vor fi concepute astfel încât să integreze minimal raportarea indicatorilor de rezultat aferenţi PNCDI IV, precum şi a indicatorilor relevanţi din nomenclatorul indicatorilor SNCISI 2022-2027.
(4)Evaluarea intermediară a PNCDI IV se va realiza în anul 2025, iar evaluarea finală după finalizarea perioadei de implementare 2030. Evaluarea se va realiza independent, pornind de la rapoartele de autoevaluare şi evaluare ale coordonatorilor de program.
SUBCAPITOLUL 2:8.2. Monitorizarea şi evaluarea programelor
(1)Evaluarea fiecărui program din cadrul PNCDI IV se realizează în două forme:
a)evaluare internă anuală şi finală, realizate de către conducătorul de program, în corelare cu procedurile de monitorizare anuală a proiectelor;
b)evaluare anuală şi, respectiv, finală, realizate de către autoritatea de stat pentru cercetare-dezvoltare, cu expertiză independentă, contractată pe bază de licitaţie.
(2)Prin rapoartele de evaluare ale programelor, se stabilesc:
a)gradul de realizare efectivă a scopului şi obiectivelor propuse, prin indicatorii de rezultate şi de performanţă ai programului, comparativ cu prevederile planificate;
b)rezultatele obţinute şi impactul ştiinţific, economic şi social produs prin derularea programului;
c)corectitudinea şi eficienţa utilizării resurselor alocate programului.
(3)Evaluarea programelor şi subprogramelor se face în corelare cu SNCISI, precedă fazele de evaluare ale PNCDI IV conform calendarului (anuală, intermediară, finală) şi asigură înţelegerea modului în care acesta contribuie la atingerea ţintelor stabilite prin SNCSI.
(4)Procesele de monitorizare la nivel de proiecte, subprograme şi, respectiv, programe, de către conducătorul de program se planifică, se organizează şi se desfăşoară pe baza procedurilor proprii specifice, elaborate de acesta şi aprobate de autoritatea de stat pentru cercetare-dezvoltare. Aceste proceduri se elaborează cu respectarea prevederilor stabilite prin prezentul plan, completate cu:
a)prevederile stabilite prin pachetele de informaţii aprobate;
b)prevederile Normelor metodologice privind contractarea, finanţarea, monitorizarea şi evaluarea programelor, proiectelor de cercetare-dezvoltare şi inovare şi a acţiunilor cuprinse în Planul naţional de cercetare-dezvoltare şi inovare, aprobate prin Hotărârea Guvernului nr. 1.265/2004, cu modificările şi completările ulterioare;
c)pilotarea, validarea si adoptarea, după caz, a bunelor practici existente la nivel internaţional în ceea ce priveşte noi metode, abordări, metrici şi instrumente de evaluare a cercetării, la nivel de program/subprogram şi tip de proiect.
SUBCAPITOLUL 3:8.3. Monitorizarea şi evaluarea proiectelor
I.Evaluarea propunerilor de proiecte
1.Evaluarea propunerilor de proiecte se realizează conform procedurii de evaluare descrise în pachetul de informaţii al competiţiei şi parcurge următoarele etape:
a)fiecare propunere de proiect declarată eligibilă, de regulă, este evaluată din punct de vedere al calităţii, în mod independent, on-line, de cel puţin trei experţi evaluatori care formează comitetul/panelul de evaluatori;
b)criteriile de selecţie a experţilor evaluatori se stabilesc cu consultarea consiliului consultativ al autorităţii de stat pentru cercetare-dezvoltare în a cărui arie de responsabilitate se află coordonarea ştiinţifică a programului, respectiv competiţia organizată, şi se regăsesc în Pachetul de informaţii asociat competiţiei;
c)lista evaluatorilor care urmează a fi selectaţi în cadrul competiţiilor este elaborată de către conducătorul de program din baza de date privind experţii existentă în platforma Brainmap şi se înaintează spre aprobare autorităţii de stat pentru cercetare-dezvoltare, după avizarea de către consiliul consultativ în a cărui arie de responsabilitate se află coordonarea ştiinţifică a programului, respectiv competiţia;
d)fiecare expert evaluator îşi va declara în scris imparţialitatea, confidenţialitatea şi competenţa în domeniul căruia aparţine propunerea de proiect supusă evaluării şi se va angaja ca în orice moment, pe parcursul procesului de evaluare, dacă constată că una dintre aceste condiţii nu este satisfăcută sau că se găseşte în conflict de interese, va anunţa conducătorul de program;
e)procedura de evaluare, criteriile de selecţie, grila de punctare şi pragurile de finanţare se stabilesc prin pachetul de informaţii al competiţiei;
f)procedura de evaluare prevede etapele: verificarea eligibilităţii, evaluare individuală, răspunsul aplicantului, stabilirea consensului, evaluarea în panel. Pachetul de informaţii al unei competiţii stabileşte etapele procesului de evaluare;
g)propunerile de proiecte sunt evaluate din punct de vedere ştiinţific şi tehnic, în conformitate cu criteriile de evaluare stabilite prin Pachetul de informaţii al competiţiei. Criteriile de evaluare, fără a se limita la acestea, vizează calitatea ştiinţifică/tehnică a propunerii de proiect; relevanţa temei de cercetare propusa în conformitate cu obiectivele stabilite pentru competiţie; modalitatea de implementare; potenţialul impact prin dezvoltarea, diseminarea şi utilizarea rezultatelor proiectului;
h)procedura de evaluare a propunerilor de proiecte va include, în mod obligatoriu, oportunitatea transmiterii de către aplicanţi a unor observaţii la argumentele evaluatorilor. Acestea sunt revăzute ulterior de către experţii evaluatori şi pot fi luate, dacă este cazul, în considerare la acordarea punctajului final;
i)în cazul existenţei unor diferenţe de cel puţin 10% din punctajul maxim care poate fi acordat unei propuneri de proiect între punctajele stabilite de doi dintre evaluatorii iniţiali după analizarea răspunsului aplicantului şi dacă nu se poate stabili consensul între aceştia, vor fi cooptaţi evaluatori suplimentari şi pot fi eliminate anumite raporturi de evaluare în condiţiile descrise în Pachetul de Informaţii al competiţiei.
j)raportul final de evaluare, elaborat pentru fiecare propunere de proiect, va conţine argumente justificative pentru punctajele acordate fiecărui criteriu de evaluare, şi dacă este cazul, recomandări privind ajustarea finanţării solicitate;
k)procesul de evaluare are drept rezultat ierarhizarea preliminară a propunerilor de proiecte, în ordinea descrescătoare a punctajelor obţinute. Rezultatele sunt publicate în pagina web a conducătorului de program, odată cu anunţarea termenului pentru depunerea contestaţiilor;
l)contestaţiile privind rezultatele procesului de evaluare pot avea ca obiect, de regulă, viciile de procedură pe care aplicanţii le consideră neconforme cu prevederile Pachetului de informaţii. Dacă este cazul, contestaţiile pot avea ca obiect conformitatea justificării acordării punctajelor, în situaţii menţionate explicit în Pachetul de Informaţii.
m)listele finale cu proiectele propuse pentru finanţare şi cu cele de rezervă, rezultate în urma primirii şi rezolvării eventualelor contestaţii, cu avizul consiliului consultativ, sunt înaintate autorităţii de stat pentru cercetare-dezvoltare de către conducătorul de program, spre aprobare;
n)pentru a permite finanţarea unui număr suplimentar de proiecte, conducătorul de program, cu avizul consiliului ştiinţific, poate propune o ajustare de buget pentru fiecare proiect din listele finale şi cele de rezervă, de maxim 10% din valoarea solicitată;
o)anual, fiecare conducător de program face publică, pe pagina web proprie, lista cuprinzând numele experţilor folosiţi pentru evaluarea proiectelor de la competiţiile din anul precedent, fără a se indica proiectele evaluate.
II.Negocierea şi contractarea proiectelor câştigătoare
Finanţarea proiectelor de cercetare se face în baza unui contract de execuţie proiecte încheiat între conducătorul de program şi instituţia în care implementează proiectul.
În urma aprobării de către autoritatea de stat pentru cercetare-dezvoltare a listei proiectelor propuse pentru finanţare, conducătorul de program asigură negocierea şi încheierea contractelor pentru proiectele declarate câştigătoare, în limita bugetului aprobat pentru competiţia respectivă.
Conducătorul de program poate să sisteze negocierea dacă aplicantul propune schimbări privind obiectivele, conţinutul ştiinţific/tehnologic, structura parteneriatului, şi alte aspecte care determină modificarea majoră a propunerii de proiect iniţiale, evaluată şi acceptată la finanţare.
Negocierea şi contractarea au loc în intervalul de timp stabilit prin Pachetul de informaţii. Ulterior, coordonatorul de program poate decide excluderea de la finanţare a proiectelor care nu respectă termenele de negociere şi contractare stabilite.
În situaţia în care există fonduri disponibile ca urmare a contractării sau diminuării bugetului propus pentru proiecte, ori ca urmare a suplimentării bugetului alocat competiţiei, cu acordul prealabil al autorităţii de stat pentru cercetare-dezvoltare, conducătorul de program va iniţia procedura de negociere şi contractare a propunerilor de proiecte aflate în lista de rezervă, în ordinea punctajelor obţinute, până la concurenţa sumei aprobate pentru competiţia respectivă.
III.Monitorizarea şi evaluarea implementării proiectelor
Activitatea de monitorizare constă în colectarea informaţiilor privind implementarea proiectelor, analiza îndeplinirii obiectivelor şi realizării indicatorilor/rezultatelor asumate, identificarea, evaluarea şi adoptarea măsurilor de diminuare a riscurilor şi luarea deciziilor de aplicare a unor activităţi corective (dacă este cazul).
Procesul de monitorizare începe la data semnării contractului de finanţare execuţie proiecte şi se desfăşoară pe întreaga perioadă de implementare a proiectului.
Pentru fiecare proiect, conducătorul de program desemnează un responsabil tehnic proiect care urmăreşte buna desfăşurare a acestuia, pe întreaga perioadă de implementare.
Responsabilul tehnic proiect asigură monitorizarea activităţilor derulate în cadrul proiectului.
Monitorizarea unui proiect implică analiza activităţilor ştiinţifice/tehnice şi a cheltuielilor efectuate în cadrul proiectului, în baza rapoartelor (ştiinţifice şi financiare) transmise de coordonatorul proiectului către conducătorul de program.
Pe parcursul derulării proiectului, monitorizarea ştiinţifică/tehnică a proiectelor de CDI aflate în derulare, implică şi evaluări periodice a stadiului de atingere a obiectivelor şi rezultatelor asumate.
Rezultatul evaluării periodice efectuate poate conduce la: continuarea finanţării, sistarea finanţării cu recuperarea totală sau parţială a fondurilor alocate şi sistarea finanţării fără recuperarea fondurilor, în situaţia proiectelor pentru care s-a identificat eşecul în cercetare, conform art. 87 din Ordonanţa Guvernului nr. 57/2002 aprobată cu modificări şi completări prin Legea nr. 324/2003, cu modificările şi completările ulterioare.
Calendarul evaluării periodice este stabilit prin Pachetul de informaţii şi ţine cont de obiectivele competiţiei, perioada de implementare şi bugetul alocat.
Monitorizarea financiară este realizată anual, de către responsabilul tehnic proiecte, în baza rapoartelor financiare transmise de către coordonatorul de proiect, şi urmăreşte modul în care cheltuielile efectuate sunt încadrate în tipurile de cheltuieli eligibile şi în perioada de derulare a contractului şi sunt efectuate în scopul realizării proiectului.
La finalizarea proiectului, are loc evaluarea finală atât financiară, cât şi ştiinţifică/tehnică, în baza raportului final transmis de contractor. În funcţie de rezultatul evaluării, conducătorul de program asigură plata ultimei tranşe din bugetul total al proiectului.
Pentru evaluările periodice şi finale, conducătorul de program desemnează experţi evaluatori independenţi, specialişti în domeniul proiectului.
În cazul în care finanţarea proiectelor contractate nu poate fi asigurată la nivelul prevăzut iniţial, ca urmare a reducerii bugetului alocat autorităţii de stat pentru cercetare-dezvoltare pentru finanţarea PNCDI IV faţă de nivelul prevăzut la data contractării proiectelor, selecţia proiectelor care continuă să fie finanţate şi redimensionarea bugetelor se fac conform unei metodologii aprobate în acest scop, în funcţie de unul sau mai multe dintre următoarele criterii: (i) punctajul obţinut în urma evaluării iniţiale din cadrul competiţiei de proiecte; (ii) rezultatele obţinute în cadrul proiectului, conform raportului de evaluare anuală.
Metodologia de evaluare a proiectelor şi a rezultatelor acestora în vederea redimensionării bugetelor se elaborează de către conducătorul de program şi se înaintează spre aprobare de către autoritatea de stat pentru cercetare-dezvoltare, după avizarea de către consiliul consultativ în a cărui arie de responsabilitate se află coordonarea ştiinţifică a programului respectiv.
În cazul în care, la evaluarea finală, se constată îndeplinirea parţială sau neîndeplinirea obiectivelor prevăzute prin contract, conducătorul de program va analiza situaţia de realizare a obiectivelor, în concordanţă cu prevederile Ordonanţei Guvernului nr. 57/2002, aprobată cu modificări şi completări prin Legea nr. 324/2003, cu modificările şi completările ulterioare.
În funcţie de cele constatate, conducătorul de program va analiza măsura în care responsabilitatea revine realizatorilor proiectului şi va face, după caz, propuneri concrete privind obligativitatea şi modul de recuperare parţială sau integrală a fondurilor cheltuite de la bugetul programului. Perioada de urmărire ex-post va fi mai lungă pentru proiectele de finanţare a infrastructurilor de cercetare, întinzându-se pe toată durata de exploatare a infrastructurii. În situaţia în care se decide recuperarea integrală a fondurilor cheltuite, alocate unui proiect, aplicantul nu mai are dreptul să solicite finanţare într-o nouă competiţie de proiecte din cadrul PNCDI IV, pentru o perioadă de 3 ani de la momentul respectivei constatări.
Contractorii au obligaţia de publicare on-line a rezumatelor propunerilor acceptate, a datelor de referinţă, a referinţelor la principalele rezultate publicate sau brevetate ale proiectelor, împreună cu o informare în termeni generali asupra stadiului proiectului, a principalelor rezultate obţinute şi a impactului cognitiv şi socio-economic.
IV.Evaluarea impactului proiectelor finalizate
Evaluarea ex-post se poate face după o perioadă de maximum 3 ani de la predarea finală sau la sfârşitul perioadei de urmărire (dacă prin contract s-a prevăzut o perioadă diferită). Contractele de finanţare a proiectelor vor conţine obligaţii privind raportarea post implementare proiect.