Când (nu) putem să citim cât am vrea dar trebuie să publicăm cât mai bine

Context

S-a discutat recent chiar aici pe blog despre situația accesului la reviste academice în cadrul universităților din România. Prezentul text analizează situația de la ASE. Constat că față de acum 10-15 ani există îmbunătățiri destul de mari. Mă refer mai ales la faptul că acum avem acces la publicațiile Elsevier prin Science Direct. Este demn de precizat însă, că pentru unele reviste (via Science Direct), la care avem acces la numerele recente, nu putem accesa numere mai vechi (de 20-30 ani). Avem acces și la JSTOR (Business Collection I & II) din păcate doar pentru titluri, în general, mai vechi de anul 2000.

Metodologie și date

Trebuia sa fac un eșantion de reviste. Urmare a faptului că s-a adus în discuție lista revistelor de la Tilburg University pentru zona Economics am pornit de la această listă care include 70 de reviste. Am adăugat o variabilă binară prin care am ilustrat dacă în ASE avem (codificare 1) sau nu (codificare 0) acces la respectiva revistă. Ierarhii ale revistelor au fost și vor mai fi. Așa că am căutat să evidențiez puțin categoria revistelor. Astfel am adăugat o coloană suplimentară marcând revistele considerate (aproape unanim) ca fiind Top5. Am mai adăugat încă două coloane marcând poziția în unele ierarhii realizate în Germania (Kiel Institute – 2012) sau Franța – Hautes Études Commerciales de Paris – HEC – 2011 ). După ce am marcat manual clasificările din cele două liste am descoperit și o treabă foarte bună făcută de Prof. Anne-Wil Harzing în care deja exista o listă destul de lungă și categorii din diverse ierarhii integrate. Deși munca Prof. Harzing trebuie apreciată la adevărata valoare există mici inexactități în document. De exemplu Economics Letters apare sub denumirea Economic Letters și nu are categorie din partea HEC 2011 deși conform verificărilor mele are categoria B. Ca o notă personală (ne-metodologică) mie cel mai mult (oare de ce?!) mi-a plăcut abordarea nemțească.

Rezultate

În tabelul următor disponibilă informația culeasă cu ajutorul metodologiei evidențiate mai sus.

Nr. Revista Acces (ASE) Top5 Germania (Kiel) Franța (HEC)
1 Advances in Applied Probability 0 0 B
2 American Economic Review 0 1 A+ A
3 Annals of Probability 0 0 A
4 Annals of Statistics 0 0 A
5 Bernoulli 0 0
6 Brookings Papers on Economic Activity 1 0 A B+
7 Econometric Theory 0 0 A B+
8 Econometrica 0 1 A+ A
9 Econometrics Journal 0 0 B+
10 Economic Inquiry 0 0 B+ B
11 Economic Journal 0 0 A
12 Economic Policy 0 0
13 Economic Theory 0 0 A B+
14 Economica 0 0 B+ B+
15 Economics Letters 1 0 B+ B
16 European Economic Review 1 0 B+ B+
17 Explorations in Economic History 1 0 B+
18 Games and Economic Behavior 1 0 A A
19 International Economic Review 0 0 A+ A
20 International Journal of Industrial Organization 1 0 B+
21 Journal of Applied Econometrics 0 0 B+ B+
22 Journal of Banking and Finance 1 0 B+ B+
23 Journal of Business and Economic Statistics 0 0 A B+
24 Journal of Comparative Economics 1 0 B+ B
25 Journal of Development Economics 1 0 B+ A
26 Journal of Econometrics 1 0 A A
27 Journal of Economic Behavior and Organization 1 0 B+ B+
28 Journal of Economic Dynamics and Control 1 0 B+ C
29 Journal of Economic Growth 0 0 A B+
30 Journal of Economic History 1 0 B+
31 Journal of Economic Literature 0 0 A A
32 Journal of Economic Perspectives 1 0 A A
33 Journal of Economic Theory 1 0 A A
34 Journal of Environmental Economics and Management 1 0 B+ B
35 Journal of Finance 0 0 A+
36 Journal of Financial Economics 1 0 A A
37 Journal of Financial Intermediation 1 0 B+ B+
38 Journal of Financial and Quantitative Analysis 0 0 B+
39 Journal of Health Economics 1 0 B+
40 Journal of Human Resources 0 0 B+ A
41 Journal of Industrial Economics 0 0 B+ B+
42 Journal of International Economics 1 0 A A
43 Journal of Labor Economics 0 0 A A
44 Journal of Law and Economics 0 0 B+
45 Journal of Law, Economics and Organization 0 0 B+
46 Journal of Mathematical Economics 1 0 B+
47 Journal of Monetary Economics 1 0 A+ A
48 Journal of Money, Credit and Banking 0 0 A B+
49 Journal of Political Economy 0 1 A+ A
50 Journal of Public Economics 1 0 A A
51 Journal of Risk and Uncertainty 1 0 A B+
52 Journal of Urban Economics 1 0 B+
53 Journal of the American Statistical Association 0 0 B+ A
54 Journal of the European Economic Association 0 0 A A
55 Journal of the Royal Statistical Society Series A – Statistics in Society 0 0
56 Journal of the Royal Statistical Society Series B – Statistical Methodology 0 0 A
57 Land Economics 0 0
58 Oxford Bulletin of Economics and Statistics 0 0 B+
59 Oxford Economic Papers – New Series 0 0 B+ B
60 Public Choice 0 0
61 Quarterly Journal of Economics 0 1 A+ A
62 Rand Journal of Economics 0 0 A A
63 Review of Economic Dynamics 1 0 B+ B+
64 Review of Economic Studies 0 1 A+ A
65 Review of Economics and Statistics 0 0 A A
66 Review of Financial Studies 0 0 A A
67 Scandinavian Journal of Economics 0 0 B+ B
68 Stochastic Processes and their Applications 1 0
69 World Bank Economic Review 0 0 B+ B
70 World Development 1 0 B+ B+

 

Practic din 70 de reviste avem acces la 28 nici una dintre ele nefiind în Top5. Dintre cele 28 la care avem acces marea majoritate sunt editate de gigantul Elsevier. Din clasamentul german avem acces la o revistă de categoria A+, la 9 de categoria A și la 17 de categoria B+. Conform clasamentului francez avem acces la 9 reviste de categoria A, 8 din categoria B+, 3 de categoria B și una de categoria C.

Concluzii și recomandări

Deși suntem pe un trend ascendent din punct de vedere al accesului la reviste (mulțumită Science Direct) revistele de top ne sunt încă inaccesibile. Pe cale de consecință adaptarea și sincronizarea cercetării noastre cu ceea ce contează se poate realiza ceva mai greu. Știu, există diverse metode prin care se pot obține punctual anumite articole (îmi place mult tutorialul următor relativ la acest subiect). Știu, ar trebui întâi să vrem să citim și pe urmă poate vom găsi și o cale de a o face. Știu, trebuie schimbate mentalități și format un grup critic performant. Însă, cu toate acestea, nedumerirea mea din titlu rămâne.

Bibliografie

http://www.harzing.com/download/jql_journal.pdf

https://www.ifw-kiel.de/forschung/internal-journal-ranking

http://www.hec.fr/Media/Files/FR/Bibliotheque/bases-de-donnees/Classement-des-revues-academiques-HEC-Paris-2011

http://svpow.com/2010/11/09/tutorial-9-how-to-get-copies-of-academic-papers/

 

23 thoughts on “Când (nu) putem să citim cât am vrea dar trebuie să publicăm cât mai bine”

    1. Spre exemplu, numarul minim de articole mi se pare o chestie foarte prost gandita:

      “Profesor minimum 15 articole, din care
      minimum 4 indexate ISI cu factor de impact
      mai mare ca 0; Conferentiar minimum 8 articole”

      Nu cred ca la nivel de associate/full professor are cineva 15 articole in minim B+. Cu 2-3 publicatii bune si cateva working paperuri solide primesti tenure mai oriunde.

      Chiar daca factorul de impact conteaza, cineva cu 8 publicatii in jurnale cu factor de impact 0.1 (8*0.1*30=24) este promovat inaintea cuiva cu 7 econometrica (7*7*30=1470), desi a doua persoana are un punctaj de 50 de ori mai mare.

      Ca sa nu mai vorbim de exprimarea “factor de impact mai mare ca zero” — as opposed to what, “mai mare sau egal cu zero”?

      1. Formularea criteriilor vine de la CNATDCU. Informatia impartasita de mine mai devreme si solicitata de Ghita Silaghi era cea legata de punctajele suplimentare. Astfel chiar daca pe criteriile de la minister cineva poate aduna puncte destule din largi cantitati de stiinta nesemnificativa cei care publica in reviste bune si foarte bune pe termen mediu au de castigat.
        Da treaba cu numarul minim de articole e discutabila. Cineva cu 7 Top5 probabil va fi incurajat sa publice si un Arici Pogonici pentru a avea astfel minimum 8 si a i se lua in considerare punctajul.
        Partea mai grea insa pentru cineva care e focalizat pe articole e sectiunea cu punctele pentru carti.
        Opusul lui “factor de impact mai mare ca zero” e factor de impact egal cu zero (e vorba de revistele indexate ISI in zona Arts&Humanities sau de revistele recent indexate care n-au inca IF calculat).

      2. Sunt multe alte chestii neclare, intre tragicomic si aberant (si nu doar aici, ci in multe alte documente, de oriunde din RO, care stabilesc “criterii de performanta”… mioritice).
        De asta de mai bine de 10 ani eu tot le zic (exemplu mai recent) sa nu se mai osteneasca sa inventeze ei lucruri, ci sa foloseasca structuri de evaluare a performantei/ excelentei care functioneaza, din afara.
        Daca nu credeti ca puteti aspira la cele folosite in Ivy League, Anglia– sau top institutes de oriunde– tintiti macar la cele folosite in Europa de Vest continentala in genere. Sau macar cele din Europa Centrala care se respecta, e.g. vecinii de la CEU in Budapesta, Charles in Praga, etc…

        🙂

    2. Am vazut criteriile.
      ele aduna puncte , deci se pot face echivalari intre diverse categorii
      de asemenea, criteriile folosesc factorul de impact cu problemele inerente ale acestuia.
      referitor la factorul de impact, care factor de impact se foloseste in ASE? cel istoric, de la data publicarii articolului sau cel de la momentul evaluarii?

        1. Daca se considera factorul de impact de la data publicarii, asta inseamna ca fiecare candidat isi considera factorul de impact cand a publicat (deci din 2010, 2011, 2012 samd), indiferent daca, intre timp revista a fost declasata sau nu.
          Deci, in concluzie, la ASE, revistele Amfiteatru Economic si (poate chiar si Metalurgia) sunt cat se poate de valabile si se considera !!!! nimeni nu pierde! doar unii colegi de la ASE (care au reusit sa “isi” publice articolele) au fost mai norocosi decat altii!!

          si asta chiar daca ISI a declasat aceste reviste tocmai pe considerente de proasta-purtare!

          cu parere de rau, prin acest exemplu si printr-o astfel de atitudine (in primul rand manageriala), ASE-ul face foarte mult rau stiintelor economice de la noi.

          1. Ai dreptate cu ceea ce spui relativ la fatelete negative ale acestei decizii. Exista mai multe voci si mai multe pozitii relativ la aceast tip de situatii (mai ales legat de revistele romanesti):
            (i) argumentul de citire a ceea ce spune CNATCU strict literal (pana la urma ASE a decis asa cu partile negative expuse de tine);
            (ii) argumentul celor care au publicat in reviste in primii ani dupa indexare (uneori chiar in anii anteriori indexarii) care spun ca pe baza acelor articole s-a obtinut indexarea revistelor si/ sau obtinerea IF;
            (iii) argumentele celor care spun ca poate ar trebui sa se ia in considerare cea mai favorabila pentru candidat situatie; cu posibile trimiteri atat la (i) cat si la (ii).
            Pana la urma asta se intampla pentru ca se utilizeaza aproape mecanic criteriile. Exista cam la orice dosar (de concurs/ abilitare/ evaluare) o lista cu cele mai reprezentative (din punct de vedere a persoanei care a elaborat dosarul) 10 publicatii din dosar. Cu siguranta ca s-ar putea da o importanta mai mare (ca acum nu stiu ca asta sa conteze in vreun fel) acestei sectiuni care ar putea fi un filtru pentru restul dosarului.

  1. voi continua postarea mea cu un exemplu concret, combinat ASE + UBB

    deci in proiectul POSDRU http://excelenta.ase.ro/ gestionat de ASE si in care UBB este partener, s-au acordat premii de cate 10000 RON pentru “REZULTATE REMARCABILE ale cercetarii in cadrul proiectului” (asa apare in fisa de premiere).

    La UBB, premiul de 10 000 RON a fost acordat unei colege a carei principala publicatie este un (pseudo-)articol stiintific, care mentioneaza in el ca nici macar nu a fost inceputa cercetarea. nicidecum sa existe rezultate (de orice fel) ale cercetarii.
    dupa cum se vede pe site-ul publisherului, autoarea si-a raportat publicatia pe proiect, deci putem considera ca aceasta publicatie e inclusa in punctajul cu care autoarea a castigat premiul.

    mai jos sunt linkurile relevante
    http://excelenta.ase.ro/Media/Default/Page/PremiiUBB.pdf
    http://onlinelibrary.wiley.com/doi/10.1111/acfi.12115/abstract

    in aceste conditii, cum putem solicita colegilor mai tineri decat noi sa cerceteze si sa publice in mod decent cand criteriile dupa care sunt evaluati si dupa care li se da premii nu tin cont in nici un fel de relevanta si calitatea rezultatelor efective realizate de ei?

    majoritatea acestor sute de puncte raportate la astfel de concursuri, promovari, abilitari provin din BDI-uri locale si Amfiteatre Economice; deci de ce un tanar ar trebui sa se concentreze sa realizeze stiinta relevanta, cand el este comparat cu altii si evaluat pe astfel de puncte?

    in exemplul de mai sus, comisia de evaluare nici macar nu si-a aplicat propria metodologie din proiect, pentru ca aceasta spune ca se acorda premii pentru “Articole care prezintă
    contributii stiintifice originale, in extenso”, iar articolul mentionat mai sus nu are nici un fel de contributie stiintifica efectiv realizata.
    http://excelenta.ase.ro/Media/Default/Page/Metodologie_de_premiere_pr%20142115.pdf

    deci, doar simpla impunere a unor criterii presupus oneste si corecte nu este suficienta, cat timp comisiile care evalueaza nu pot sa respecte aceste criterii, in primul rand pornind de la esenta si realitatea stiintifica.

    1. Tragicomic.
      Ne intoarcem intotdeauna la cum sunt selectati/ evaluati evaluatorii din asemenea comisii insisi. Cum pestele de la cap se impute, pana nu rezolvati problema acestor comisii de evaluare (o prima solutie ar fi: folositi doar evaluatori din afara Romaniei, validati international), degeaba se cer fonduri, acces la reviste stiintifice etc etc.

    2. Sa inteleg ca aceasta introducere a trecut de un peer review?

      “This pitch letter applies the template developed by Faff (2015a) to an academic research topic based in the accounting discipline. In terms of mypersonal academic background , I recently graduated with a PhD (2013) in accounting at Babes-Bolyai University, Cluj-Napoca, Romania. I am now a postdoctoral researcher at Babes-Bolyai University, but still very new to research. I feel that I a m going upwards on a big learning curve, which I owe entirely to the guidance and support of my research mentor.”

      1. In aceeasi lucrare apare urmatorul paragraf (credeti-ma!!!):

        “My five-year-old son and I are fond of Disney characters. Mickey Mouse is one of his favourites and watching it together I understand why Mickey is an iconic character and why people of all ages find him so lovable. Faff’s use of
        Mickey works very nicely – indeed, I had the occasion to use this device in my PhD thesis defence, though I never referred to it as ‘Mickey Mouse’. I have, however, used this ‘title’ in later presentations and I am pleased that my
        audience always finds it more appealing/catchy. I find Mickey Mouse a simple but effective way to think about how I can position my work as representing something new to the relevant literature.”

        Ce-i asta???

        In acelasi numar al revistei este o lucrare a Luisei Anda Unda, scrisa dupa acelasi calapod.
        Cele 2 lucrari se citeaza reciproc (ele fiind publicate in acelasi numar).

        A inteles cineva ce-i cu numarul acesta al revistei??

    3. Pana la urma prin aceste criterii se urmareste externalizarea problematicii (adica se considera ca daca s-a trecut printr-un filtru de tip peer review la o terta entitate – in cazul de fata revista academica) lucrurile sunt in regula. Dupa cum comenteaza si Marius Zoican, insa, uneori incepi sa-ti pui intrebari cum de un anume text a reusit sa treaca printr-un astfel de filtru?

      1. Dar stii deja raspunsul, Claudiu. Exista reviste stiintifice si reviste mickey-mouse. In Romania cei mai multi se fac ca nu vad diferenta. Stii cum e treaba aia cu va trageti singuri glontele in picior?…

  2. Salut Claudiu,

    pe tabelul publicat de tine, situatia in UBB sta in felul urmator: avem acces full text la 52 dintre revistele enumerate in tabelul tau. accesul il realizam prin intermediul site-ului anelis.ro/summon/ care este extraordinar.
    intre cele 18 reviste pe care nu am reusit sa le accesez sunt cele de pe Oxford Journals, MIT Press si JStor. din cate stiu eu, la UBB JStor functioneaza exclusiv de pe calculatoarele din biblioteca – nu am mers la biblioteca sa verific acest lucru.

    probabil ca UBB-ul (la nivel global) investeste mai mult in accesul la infrastructura de cercetare decat ASE-ul.

    deci din punctul meu de vedere, accesul la infrastructura de cercetare in Romania este ok.

    problema nu este acest acces, care oricum, este sub-utilizat. problema este ca membrii corpului academic din Romania (din facultatile de economice) nu au incentives sa faca cercetare adevarata si sa publice in reviste decente, deoacere conducerea generalizata a stiintelor economice (CNATDCU, rectori, decani, directori de departament etc) promoveaza un alt fel de “calitate” academica prin formularea criteriilor de promovare, prin modul in care se dau salariile de merit, premiile acordate, prin modul in care se desfasoara si acorda abilitarile, doctoratele etc.

    practic, in general, la noi in tara va trece inca ceva timp pana sa facem promovari pe meritocratie reala si astfel sa ii stimulam pe colegii nostri sa faca cercetare adevarata.

    1. Salut Ghita,
      Ma bucur sa ne reintalnim (macar asa virtual). Accesul prin ANELIS este posibil cam pentru orice cercetator afiliat la un institut de cercetare sau universitate din Romania. Eu cand am verificat eram in Intranet-ul ASE.
      Foarte probabil resursele sunt subutilizate (din moment ce inca mai exista obiceiul sa se publice mai mult decat se citeste).
      Acum legat de criterii, ca o persoana care a promovat foarte recent ma abtin sa comentez criteriile. La noi la ASE insa si pentru promovare si pentru evaluarea periodica exista niste punctaje suplimentare care vin din citari din reviste sau publicari in reviste cu factor mare de impact. Crede-ma ca nu-i chiar asa cum se vorbea ca un articol intr-o revista tare publicat in coautorat primeste 4 puncte sa spunem. Practic cel putin in sistemul folosit de noi se adauga inca 30 puncte inmultite cu factorul de impact (impartite, ce-i drept la numarul de autori). La fel la citari unde se inmulteste cu 25 factorul de impact pe 5 ani. Astfel daca esti citat intr-o revista tare (IF>3) face cat 12 articole de unic autor in BDI. Mi s-a intamplat intr-o saptamana din prima parte a anului 2015 sa am 3-4 citari din astea. Crede-ma ca se vede foarte tare la punctaj. Si din momentul in care ai publicat intr-o revista (foarte) buna probabilitatea de a fi citat in reviste asemanatoare creste foarte tare. Cred ca pe termen mediu nici nu se compara situatia de a publica mai rar in reviste tari cu a publica mai des in reviste mai slabe.
      La noi si pentru gradatii de merit se aplica aproape aceeasi grila (ce-i drept e un filtru in care este evidentiata implicarea in viata departamentului/ facultatii dar daca treci de el in final conteaza punctele din cercetare).

      1. Singurul lucru pe care ar trebui sa il faceti e sa folositi standardele internationale in evaluare (de la institutiile la calibrul carora aspirati, setati-va tinta), nu sa re-inventati voi roata (sa nu mai vorbim de folosirea IF-ului crud…). Déjà dit, déjà vu…

      2. Salut Claudiu,

        poti sa ne indici (printr-un link) criteriile interne ale ASE cele despre care vorbesti in postarea de mai sus?

        multumesc mult,
        Ghitza

  3. Draga cititorule,
    Atrag atentia asupra faptului ca domnul coleg Herteliu nu trebuie si nu va fi luat in seama, dansul e solitar: nu vorbeste in numele colectivului de tovarasi colegi de la ASE! Doar avem din belsug ce citi si scrie: Amfiteatru Economic, Management and Marketing si alta maculatura premiata!

  4. Claudiu, un post binevenit.
    Cateva observatii, deocamdata aleatoare:
    – fara sa incerc sa minimizez problema de infrastructura universitara, la modul practic, cum zici si tu la final, problema e de multe ori o non-problema. Eu sunt absolut sigur ca, mai ales la revistele de top 5, vei gasi oricand o versiune online cu un simplu search google, uneori pe paginile web ale autorilor, alteori ale universitatii (e.g., U. of California tocmai a facut publice TOATE publicatiile faculty-ului, pentru oricine vrea sa le acceseze online, fara exceptie) si, in cel mai rau caz, ca working paper deja in forma finala, deci suficient pentru scopul de consultare (si chiar de citare) a lucrarii. Problema e ceva mai mare la revistele stiintifice mai putin cunoscute, mai putin citate… si mai putin importante. Adica, focus on what you need to focus as research 🙂 , sa facem putin haz de necaz.
    – evident, sa ma intorc la minimul de infrastructura academica in cercetare, e ironic ca universitatile din Romania pretind ca asigura minimul de conditii pentru cercetarea de calitate, insa nu asigura “painea si cutitul”, sa zic asa. Da, din pacate, accesul la full JStor (plus, alternativ sau complementar, Proquest, ScienceDirect etc etc) costa, si costa mult. Din cate stiu insa, universitatile din tari precum Romania ar putea avea niste reduceri acolo. Ar fi interesant aici si de precizat daca problema de la voi, la ASE, e asemanatoare si la alte universitati si, daca sunt diferente, de ce exista aceste diferente, i.e. sunt generate de manageri mai (in)competenti, e vorba, inter alia, de asimetrie informationala etc. etc.
    – la final, niste observatii pe ierarhiile tale (care sunt tangentiale subiectului tau, dar comentez pentru ca totusi ai facut si un tabel, etc): cele mai folosite in Europa (si implicit si in alte parti) nu sunt cele de care zici si in mod categoric nu cea de la HEC, de care nici nu stiam si care pare extrem de puternic distorsionata (e.g., cum poti sa pui Brookings Papers sau JBES intr-o categorie sub “A” (a doua), si impreuna acolo cu EER, JEBO & the like? sunt multe alte anomalii…); cele mai folosite/ mentionate oficial, in afara celor bazate pe AIS (cum e cea actuala a Tinbergen Institute, de exemplu), sunt cea a CNRS (vezi aici ultima ierarhie din iulie 2015 pe economie si business) sau cea anterioara a Tinbergen Institute (conservata, de exemplu, aici ). Evident, am mai discutat si cu alte ocazii despre eterogenitatea opiniilor in materie de ierarhii, ce e important si ce nu e important de retinut de acolo, etc, deci nu mai intram acum in acele discutii.

    1. Nu stiu exact situatia din alte universitati importante. Pe alocuri ei pareau sa stea mai bine decat ASE. Asta pentru ca mi se pare ca resursele au fost achizitionate centralizat apoi accesul acordat in functie de profilul universitatii.
      Insa pana la urma cam orice membru al comunitatii academice din Romania poate sa-si faca un cont individual ANELIS si sa aiba acces la tot ce e achizitionat centralizat.
      Las insa loc colegilor de prin alte parti sa dea mai multe detalii locale.

Leave a Reply

Your email address will not be published. Required fields are marked *