Ce s-a întâmplat cu americanul Donald Kirkpatrick este destul de rar. În urmă cu jumătate de secol, el a propus o abordare conceptuală a evaluării programelor de formare devenită clasică. Orice evaluator de astăzi trebuie pur și simplu să cunoască cele patru niveluri de evaluare „după Kirkpatrick”.
Interesant este că încă există controverse în jurul abordării propuse de Kirkpatrick, dar modelul său de evaluare a pregătirii rămâne unul dintre cele de bază, iar cărțile sale sunt cele mai citate. Clasicul este încă în viață și astăzi, deși s-a retras deja din afacerile active. A avut o carieră strălucitoare; a scris mai multe cărți care au devenit bestselleruri și i-au adus faima în întreaga lume; a fost președintele uneia dintre cele mai autorizate asociații profesionale de formatori și consultanți din lume - Societatea Americană de Cercetare și Dezvoltare (ARSD). Astăzi, Donald Kirkpatrick continuă să se angajeze în asistență socială și menține contacte cu comunitatea profesională. El continuă să publice articole și să susțină prelegeri și seminarii la forumuri importante.
Deci, ce a sugerat Kirkpatrick?...
Kirkpatrick consideră evaluarea ca parte integrantă a ciclului de pregătire, care include 10 etape :
- Determinarea nevoilor.
- Stabilirea obiectivelor.
- Definirea continutului subiectului.
- Selectarea participanților la formare.
- Formarea unui program optim.
- Alegerea spațiilor adecvate.
- Alegerea profesorilor potriviți.
- Pregătirea mijloacelor audiovizuale.
- Coordonarea programului.
- Evaluarea programului.
- Justificați existența unui departament de formare arătând modul în care acest departament contribuie la atingerea scopurilor și obiectivelor organizației.
- Decideți dacă continuați sau opriți programul de formare.
- -Obțineți informații despre cum să îmbunătățiți programul de formare în viitor.
Kirkpatrick însuși crede că, în majoritatea cazurilor, evaluarea este efectuată pentru a înțelege cum să creșteți eficacitatea antrenamentului, ce moduri poate fi îmbunătățit. În acest sens, se propune să se răspundă la următoarele 8 întrebări:
- În ce măsură conținutul instruirii răspunde nevoilor participanților?
- Este alegerea profesorului (Kirkpatrick folosește aici cuvântul „lider”, care are un înțeles complet diferit în rusă) optimă?
- Folosește profesorul cele mai eficiente metode pentru a menține interesul participanților, a transmite cunoștințe și a dezvolta abilități și atitudini?
- Sunt condițiile de pregătire satisfăcătoare?
- Participanții sunt confortabili cu programul de clasă?
- Ajutoarele audiovizuale îmbunătățesc comunicarea și mențin interesul participanților?
- Coordonarea programului a fost satisfăcătoare?
- Ce altceva se poate face pentru a îmbunătăți programul?
Rețineți că toate întrebările, cu excepția primei și ultimei, sunt formulate de autor ca fiind închise (care necesită răspunsuri „da” sau „nu”). Din punctul de vedere al formulării întrebărilor de sarcină pentru evaluare, această formă de întrebări nu este întotdeauna bună. Cu toate acestea, aderăm la textul autorului.
Kirkpatrick consideră că, în majoritatea cazurilor, evaluarea se limitează la utilizarea chestionarelor post-formare - studiind reacția imediată a participanților la instruire. El numește aceste chestionare „fișe de zâmbet”, ceea ce înseamnă că participanții folosesc cel mai adesea chestionarele pentru a-și exprima recunoștința. O evaluare mai complexă și mai aprofundată nu se realizează deoarece
- nu este considerat urgent sau important,
- nimeni nu știe cum să o facă,
- managementul nu cere acest lucru
- oamenii se simt în siguranță și nu văd nevoia de a „săpa” mai adânc,
- sunt multe lucruri care sunt mai importante pentru ei sau pe care preferă să le facă.
Patru niveluri Patru niveluri, conform lui Kirkpatrick, determină succesiunea evaluării antrenamentului (antrenamentului). El scrie: „Fiecare nivel este important și influențează nivelul următor. Pe măsură ce treci de la un nivel la altul, procesul de evaluare devine mai dificil și consumatoare de timp, dar oferă și informații mai valoroase. Niciun nivel nu poate fi sărit doar pentru că te concentrezi asupra ceea ce antrenorul consideră cel mai important” (de remarcat că mulți experți nu sunt de acord cu această afirmație a lui Kirkpatrick). Iată celebrele patru niveluri conform autorului:
- Nivelul 1 – Reacție
- Nivelul 2 – Învățare
- Nivelul 3 – Comportament
- Nivelul 4 – Rezultate
Reacţie
Evaluarea la acest nivel determină modul în care participanții la program răspund la program. Kirkpatrick însuși îl numește evaluarea satisfacției clienților. Când instruirea se desfășoară în interior, răspunsul participanților nu este întotdeauna interpretat ca satisfacție a clienților. Cert este că participarea la astfel de instruiri este obligatorie. Oamenii pur și simplu nu au de ales. Conducerea companiei determină necesitatea acestei instruiri și obligă angajații să participe la ea. S-ar părea că, în acest caz, trebuie să vorbim despre reacția conducerii. Kirkpatrick subliniază că și în acest caz reacția participanților este un criteriu foarte important pentru succesul instruirii din cel puțin două motive .
- În primul rând, oamenii într-un fel sau altul își împărtășesc impresiile despre training cu managementul lor, iar aceste informații merg mai sus. În consecință, influențează deciziile privind formarea continuă.
- În al doilea rând, dacă participanții nu răspund pozitiv, nu vor fi motivați să învețe. Potrivit lui Kirkpatrick, o reacție pozitivă nu garantează dezvoltarea cu succes a noilor cunoștințe, abilități și abilități. O reacție negativă la antrenament înseamnă aproape sigur o scădere a probabilității de a învăța.
Învăţare
Învățarea este determinată ca schimbarea atitudinilor, îmbunătățirea cunoștințelor și îmbunătățirea abilităților participanților ca urmare a finalizării programului de formare. Kirkpatrick susține că schimbările în comportamentul participanților ca rezultat al antrenamentului sunt posibile numai atunci când are loc învățarea (atitudinile se schimbă, cunoștințele se îmbunătățesc sau abilitățile se îmbunătățesc).
Comportament
La acest nivel, se face o evaluare a măsurii în care comportamentul participanților s-a schimbat ca urmare a antrenamentului. Kirkpartick subliniază că lipsa schimbărilor în comportamentul participanților nu înseamnă că instruirea a fost ineficientă. Sunt posibile situații când reacția la instruire a fost pozitivă, a avut loc învățarea, dar comportamentul participanților nu s-a schimbat în viitor, deoarece nu au fost îndeplinite condițiile necesare pentru aceasta. Prin urmare, lipsa schimbării în comportamentul participanților după antrenament nu poate fi un motiv pentru a lua o decizie de încheiere a programului. Kirkpartick recomandă ca în aceste cazuri, pe lângă evaluarea reacției și a învățării, să verifice prezența următoarelor condiții :
- Dorința participanților de a schimba comportamentul.
- Participanții au cunoștințe despre ce și cum să facă.
- Prezența unui climat socio-psihologic adecvat.
- Recompensați participanții pentru schimbarea comportamentului.
Vorbind despre climatul socio-psihologic, Kirkpatrick se referă în primul rând la supervizorii imediati ai participanților la formare. El identifică cinci tipuri de „climat”: prohibitiv, descurajator, neutru, susținător, solicitant. Poziția managerului, în consecință, se schimbă de la o interdicție de a schimba comportamentul la o cerință de a schimba comportamentul după terminarea formării. Kirkpatrick consideră că singura modalitate de a crea un climat pozitiv este implicarea liderilor în dezvoltarea curriculumului.
rezultate
Rezultatele includ schimbări care au avut loc pe măsură ce participanții au finalizat formarea. Ca exemple de rezultate, Kirkpatrick citează creșterea productivității, îmbunătățirea calității, scăderea accidentelor, creșterea vânzărilor și scăderea fluctuației angajaților.
Kirkpatrick insistă că rezultatele nu trebuie măsurate în bani. El crede că modificările enumerate mai sus ar putea, la rândul lor, să ducă la creșterea profiturilor. Kirkpatrick scrie: „Râd când aud că trainerii profesioniști trebuie să fie capabili să demonstreze beneficiul clientului în ceea ce privește rentabilitatea investiției în formare. Cred că același lucru este despre relația dintre programele de antrenament și profit. Imaginează-ți toți factorii. care influențează profiturile! Și le puteți adăuga la lista de factori care influențează randamentul investiției."
Potrivit lui Kirkpatrick, evaluarea la acest nivel este cea mai dificilă și mai costisitoare. Iată câteva sfaturi practice care vă pot ajuta să vă evaluați rezultatele:
- dacă este posibil, utilizați un grup de control (fără antrenament)
- efectuați evaluarea după ceva timp, astfel încât rezultatele să devină vizibile,
- efectuează evaluări înainte și post-program (dacă este posibil),
- efectuați evaluarea de mai multe ori în timpul programului,
- comparați valoarea informațiilor care pot fi obținute prin evaluare și costul obținerii acestor informații (autorul consideră că efectuarea unei evaluări la nivelul 4 nu este întotdeauna recomandabilă din cauza costului ridicat al acesteia).
Cum este organizată cartea lui Kirkpatrick Kirkpatrick, D. L. (1998). Evaluarea programelor de formare: cele patru niveluri. San Francisco: Berrett-Koehler Publishers, Inc.
Cartea este împărțită în două părți inegale. Prima este o descriere a modelului pe 4 niveluri, teorie (aproximativ 70 de pagini). A doua parte (aproximativ 200 de pagini) este o analiză detaliată a mai multor studii de caz și exemple de instrumente utilizate pentru a efectua evaluări la diferite niveluri.
Pe baza materialelor din buletinul informativ al companiei Process Consulting (processconsulting.ru/bulletin1.pdf)
Tipul termenului: Definiție
Termen: model Kirkpatrick
Termeni alternativi: -
Scurta descriere: Modelul Kirkpatrick - un model pe patru niveluri pentru evaluarea eficacității antrenamentului
Descriere lungă:
model Kirkpatrick- model pe patru niveluri pentru evaluarea eficacității instruirii:
Reacție (nivel emoțional)
Stăpânire (nivel de cunoștințe)
Comportament (nivel de calificare)
Rezultat
Reacție (nivel emoțional)- evaluarea emoțională a învățării de către participanți . Pe de o parte, o reacție pozitivă ca atare nu este de mare importanță, deoarece „antrenamentul plăcut” nu înseamnă deloc „antrenament eficient”. Nu poate schimba participanții în niciun fel. Pe de altă parte, acest factor nu trebuie subestimat: satisfacția față de formare este interesul, atenția și atitudinea pozitivă a participanților, necesare pentru succesul antrenamentului.
Stăpânire (nivel de cunoștințe) arată ce cunoștințe, aptitudini, tehnici și metode au fost dobândite de către participanții la formare. Dobândirea de noi cunoștințe este un rezultat important, dar insuficient al instruirii. Pentru a dobândi cunoștințe, nu este necesar să urmați un training - doar citiți o carte sau participați la o prelegere. În plus, dobândirea de noi cunoștințe în sine, fără capacitatea și dorința de a le aplica, adesea nu afectează eficacitatea muncii unei persoane. Un rezultat mai valoros al instruirii poate fi acela că participanții primesc „realizări”, așa-numitele „perspective”, atunci când participantul la formare primește anumite cunoștințe nu de la formator, ci ca rezultat al analizei experienței dobândite în timpul unui exercițiu.
Comportament (nivel de calificare) - modificarea comportamentului participantului într-o situație de muncă, aplicarea abilităților dobândite în condiții de muncă. Schimbarea comportamentului arată că participanții pun în practică cunoștințele și abilitățile dobândite în timpul instruirii. Acesta este un indicator critic de performanță, deoarece scopul principal al instruirii este de a îmbunătăți performanța afacerii prin îmbunătățirea comportamentului participanților. La urma urmei, noile cunoștințe și abilități sunt inutile dacă nu sunt aplicate.
Rezultat- Sunt identificate rezultate măsurabile (de exemplu, îmbunătățirea calității serviciilor, reducerea deșeurilor etc.). Companiile au de obicei date despre indicatori cheie, integrali de afaceri, cum ar fi volumul vânzărilor, profitul, costurile. Este clar că instruirea oferită nu este singurul factor care influențează acești indicatori, există mulți alți factori, atât externi, cât și interni. Și este destul de greu de măsurat cu exactitate contribuția formării, de exemplu, la creșterea volumului vânzărilor, mai ales dacă a fost vorba de formare pe abilități de conducere sau abilități de autoorganizare. Costurile cercetării acestui indicator pot fi de multe ori mai mari decât costul antrenamentelor în sine, astfel încât acest nivel de evaluare este recomandat doar în cazul programelor pe termen lung și costisitoare.
Fără evaluarea eficienței procesului de învățare, este imposibil să se construiască un sistem de formare și dezvoltare care să ofere rezultatele necesare în afaceri. Din păcate, potențialul celui mai comun model de evaluare - cel al lui D. Kirkpatrick - nu a fost încă utilizat pe deplin de către practicieni. Și majoritatea managerilor noștri de resurse umane nu sunt deloc familiarizați cu caracteristicile ultimei sale versiuni.
În 1954, Donald Kirkpatrick și-a susținut teza de doctorat la Universitatea din Wisconsin (SUA) pe tema „Evaluarea eficienței managementului programelor”. El a propus o scurtă formulă pentru a descrie ciclul de învățare: reactie - invatare - comportament - rezultate. Împărțirea procesului de învățare în etape a ajutat la explicarea modului de a asigura că noile abilități sunt aplicate la locul de muncă, fără de care rezultatele dorite nu pot fi obținute. În plus, practicienii au primit instrumente pentru a evalua eficacitatea fiecărei etape de formare. În 1959, D. Kirkpatrick a scris o serie de articole pentru ASTD Journal*, în care a formulat clar criteriile pentru toate cele patru niveluri de evaluare ( masa).
Patru niveluri de evaluare a învățării de D. Kirkpatrick
|
Niveluri |
Ce se evaluează |
Întrebări cheie |
|
Nivelul 1: |
Cum reacționează participanții la un eveniment de învățare | Participanților le-a plăcut procesul de învățare? Ce intenționează să facă cu noile lor cunoștințe și abilități? |
|
Nivelul 2: |
În ce măsură participanții au dobândit cunoștințe, abilități și au format relațiile necesare la finalizarea evenimentului de formare | Ce aptitudini, cunoștințe, atitudini s-au schimbat după antrenament? Cât de semnificative sunt aceste schimbări? |
|
Nivelul 3: |
Modul în care participanții aplică ceea ce au învățat în timpul formării la locul de muncă | Participanții și-au schimbat comportamentul la locul de muncă după formare? |
|
Nivelul 4: |
În ce măsură au fost atinse rezultatele scontate ca urmare a instruirii? | Schimbările în comportamentul membrilor au un impact pozitiv asupra organizației? |
Primele lucrări ale lui Kirkpatrick au stimulat cercetări suplimentare în evaluarea eficienței antrenamentului (în principal la nivelurile 1 și 2). În anii 1970, cele patru niveluri ale lui Kirkpatrick erau deja utilizate pe scară largă de multe organizații din întreaga lume, de-a lungul timpului au fost formalizate într-un model de evaluare holistică (Four Levels TM Evaluation Model) și adoptate ca standard pentru evaluarea învățării profesionale. De-a lungul anilor 1980, au fost dezvoltate multe metode și instrumente de evaluare diferite, dar atenția practicienilor a rămas concentrată pe nivelurile 1 și 2.
Abia în 2005, Donald Kirkpatrick a propus un instrument de evaluare de nivel 3 (comportament), pe care l-a descris în cartea sa Transfering Learning to Behavior, în colaborare cu fiul său, Dr. James D. Kirkpatrick. Asigurarea aplicării eficiente a rezultatelor învățării în activități reale (transferul de cunoștințe și abilități) continuă să fie una dintre cele mai importante sarcini pentru multe organizații de formare astăzi.
|
Schimbări din ultimii ani:
|
În 2006, cu cea de-a treia ediție a Evaluării Programelor de Formare, Kirkpatrick a extins foarte mult domeniul de aplicare al modelului pe patru niveluri. Accentul său este acum pe Nivelul 4 (Rezultate), astfel încât modelul poate fi utilizat pentru a evalua eficiența atât a programelor de formare, cât și a procesului de management al schimbării și, în plus - pentru a demonstra valoarea de afaceri a funcției de formare în ansamblu. Ceea ce este important, algoritmul de lucru cu modelul a fost revizuit: acum se propune să începem evaluarea „de sus” - de la nivelul 4, apoi să trecem în mod constant „în jos” - la niveluri mai puțin complexe ( orez. 1). Potrivit autorului, acest lucru va permite specialiștilor de formare să își concentreze eforturile pe obținerea rezultatelor planificate de afaceri și susținerea comportamentului necesar.
Faceți clic pe imagine pentru o vedere mai mare
Orez. 1. Modelul modificat al lui Kirkpatrick: „Sfârșitul este începutul”
În 2007, Donald și Jim Kirkpatrick și-au dezvoltat ideile în Implementarea celor patru niveluri, în care au oferit practicienilor o abordare fundamental nouă: formarea unui „lanț de dovezi”(lanț de dovezi) pentru manageri. Acest algoritm permite profesioniștilor din învățământ să adune dovezi convingătoare pentru a le arăta directorilor cum este creată valoare pentru afacere.
Algoritmul „lanț de dovezi”:
- concentrează atenția managerilor pe nivelurile 3 și 4, unde este vorba despre impactul instruirii asupra obținerii rezultatelor planificate și a creării de valoare a afacerii;
- ajută la utilizarea modelului cu patru niveluri pentru măsurare rezultatul obtinut, și în toate etapele, începând din momentul în care ia naștere inițiativa de formare.
Aceasta este diferența sa fundamentală față de abordarea tradițională, care evaluează în mare măsură eficacitatea proces de invatare(deoarece este concentrat pe nivelurile 1 și 2, atenția managerilor este concentrată în principal asupra costuri de formare).
Potrivit dezvoltatorilor noului concept, pentru a garanta rezultate, este încă necesar înainte de începerea antrenamentului defini:
- Rezultate asteptate;
- indicatori cheie;
- metode de măsurare și evaluare.
Și asta nu sunt toate schimbările! Autorii au adăugat un alt al cincilea nivel de evaluare modelului (Nivelul 5: „Rentabilitatea investiției”). Evaluarea eficienței formării la acest nivel vă permite să obțineți un răspuns la o întrebare cheie de afaceri: „A meritat să cheltuiți bani pentru formare”?
|
Punctele forte ale modelului Kirkpatrick(din punctul de vedere al experților):
Limitări ale modelului:
|
Modelul Kirkpatrick funcționează cu succes de peste 50 de ani. Dar schimbări semnificative în metodele de management și organizarea afacerilor au fost necesare regândirea rolului funcţiei de învăţare In organizatie. În același timp, așa cum subliniază familia Kirkpatrick, mulți profesioniști în formare nu sunt încă dispuși să accepte responsabilitatea pentru nimic dincolo de proiectarea și implementarea programelor de formare (în special rezultatele pe care oamenii instruiți le demonstrează la locul de muncă).
Continuând să-și dezvolte abordarea în mod creativ, Jim Kirkpatrick, acum co-autor împreună cu soția sa Wendy (Wendy Kayser Kirkpatrick), a scris cartea Training on Trial: How Workplace Learning Must Reinvent Itself to Remain Relevant. De fapt, acesta este un „ghid pentru schimbare” pentru formatorii corporativi și specialiștii companiei de formare. Experții recomandă insistent ca practicienii în perioade de criză:
- regândește-ți rolul;
- extindeți activ domeniile de competență prin dobândirea de experiență în unitățile de afaceri;
- crește-ți influența dincolo de sala de clasă - oferind soluții care aduc rezultate tangibile (măsurabile) în afaceri.
Dar până acum, schimbarea în șefii formatorilor interni și externi are loc foarte lent: mulți dintre ei încă încearcă să-și demonstreze indispensabilitatea folosind indicatori de „nivel de prezență” și „date de evaluare” (nivelul 1), precum și „testare”. rezultate” (nivelul 2). În același timp, studiile de benchmarking demonstrează în mod convingător că cei care încep de la nivelul 1 ating foarte rar cele mai înalte niveluri de evaluare.
Autorii consideră că această persistență a formării profesioniștilor ilustrează în mod clar persistența mitului că simpla participare la un eveniment de formare îmbunătățește automat rezultatele afacerii (Nivelul 4). Dar astăzi părțile interesate consideră o astfel de „naivitate” ca o dovadă a inadecvării, ceea ce îi provoacă literalmente să pună întrebări: „Cât costă această plăcere? Ce beneficii aduce?
Jim și Wendy Kirkpatrick cred că reputația funcției de formare în ochii managerilor este foarte serioasă. Pentru a îmbunătăți situația, profesioniștii din formarea nu se mai mulțumesc să „doar” să dezvolte noi programe și metode de formare; astăzi trebuie să schimbe modul în care funcționează, să învețe cum să creeze valoare reală de afaceri și să demonstreze în mod convingător importanța acestor valori.
Autorii propun un nou principiu care va ajuta la reconsiderarea radicală a abordării planificării și dezvoltării programelor de formare: „Sfârșitul este începutul!” Ca punct de plecare, ei sfătuiesc antrenorilor să discute cu managerii:
1) așteptările liderilor de afaceri;
2) înțelegerea lor asupra succesului (cum „va arăta” rezultatul dorit);
3) ce indicatori observabili și măsurabili de succes vor fi utilizați pentru a evalua rezultatul (nivelul 4).
Rezultatul muncii în această etapă ar trebui să fie un set de metrici HR, pe baza cărora se calculează un nou indicator: rentabilitatea așteptărilor, ROE (similar cu ROI - return on investment). Profesioniștii în formare ar trebui apoi să discute cu managerii de linie care comportamente sunt esențiale pentru obținerea rezultatelor scontate (Nivelul 3). Abia atunci pot începe să conceapă activități de formare (Nivelele 1 și 2) care vor oferi angajaților comportamentele critice necesare pentru a îmbunătăți eficiența angajaților la locul de muncă.
Doar pe această bază ne putem asigura:
- aplicarea eficientă a noilor abilități și consolidarea schimbărilor comportamentale la locul de muncă (Nivelul 3);
- atingerea obiectivelor de afaceri (nivel 4);
- implementarea sarcinilor în domeniul managementului talentelor (nivel 4).
Astfel, valorile de nivel 4 devin piatra de temelie în determinarea sferei de responsabilitate a tuturor părților interesate. La rândul său, o delimitare clară a domeniilor de responsabilitate este o condiție de bază pentru implementarea cu succes a modelului de parteneriat de afaceri.
O altă îmbunătățire a lui D. Kirkpatrick este dezvoltarea unui nou „Model de realizare a obiectivelor”. Un loc special în el este ocupat de „driver” (sau „amplificatoare”). Driverele sunt toate procesele și sistemele ( orez. 2), care:
- consolidarea acțiunilor (comportamentului);
- proceduri de control (monitorizare);
- Recompensați demonstrarea unui comportament critic la locul de muncă.
Orez. 2. Drivere („amplificatoare”) – încurajează sau împiedică consolidarea de noi modele comportamentale
Efectuarea eficientă a sarcinilor de lucru este susținută de impactul combinat al procesului de evaluare a comportamentului (Nivelul 3) și al șoferilor. Fără acest sprijin, doar aproximativ 15% din noile cunoștințe, abilități și atitudini sunt puse în practică cu succes, reducând valoarea învățării pentru afaceri.
Noul model de realizare al lui Kirkpatrick permite, de asemenea, practicienilor să meargă dincolo de formarea propriu-zisă. Ajută oamenii să dezvolte planuri pentru atingerea obiectivelor care includ activități/acțiuni specifice (și măsurarea performanței la toate cele patru niveluri). Planificarea pas cu pas, o înțelegere clară a obiectivelor/rezultatelor finale, monitorizarea atentă a implementării activităților planului și evaluarea obiectivă a fiecărei etape a procesului cresc probabilitatea de succes.
În plus, modelul Kirkpatrick oferă consultanților de formare și furnizorilor de servicii de consultanță o metodologie și instrumente astfel încât aceștia să poată demonstra în mod convingător clienților lor ce rezultate vor fi obținute din implementarea programelor de training și dezvoltare propuse.
Noile dezvoltări din familia Kirkpatrick oferă profesioniștilor din HR instrumente eficiente care le permit să facă cu adevărat deveni partenerii de afaceri, demonstrează în mod clar puterea parteneriatelor de afaceri dintre antrenori, manageri de linie și manageri de top. (Chestionar de D. Kirkpatrick „Parteneriat de afaceri”, vezi aplicarea).
|
Aplicație Chestionar pentru parteneriat de afaceri (Kirkpatrick SM) Scara de evaluare:
Interpretarea rezultatelor Pentru a evalua cât de bine departamentul (specialist) responsabil de formare îndeplinește interesele afacerii, utilizați scara:
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
O viziune simplistă a învățării este larg acceptată în rândul profesioniștilor și managerilor din domeniul învățării. Această abordare a dat naștere unui număr de mituri care circulă constant printre manageri: Mitul 1:„Oricine a învățat vreodată ceva este un expert în învățare.” De fapt:
Mitul 2:„Experții pot identifica nevoile de formare.” De fapt:
Mitul 3:„Răspuns la învățare = învățare.” De fapt:
Mitul 4:„Învățarea directă (de la sine) duce la schimbarea comportamentului.” De fapt:
|
De ce să evaluăm învățarea?
În articolul „Tehnici pentru evaluarea programelor de formare”, a scris Don Kirkpatrick, „aș încuraja directorii de formare să fie proactivi în evaluarea programelor de formare înainte de a veni ziua socotirii”. Ceea ce este surprinzător este că articolul ASTD Journal a fost scris în noiembrie 1959! În ultima jumătate de secol, teza că procesul de învățare, costurile și rezultatele acestuia ar trebui evaluate, s-ar părea, a devenit o banalitate. Dar, în ciuda acestui fapt, evaluările de formare în etape, din păcate, nu au schimbat „modus vivendi” al formatorilor corporativi.
- îmbunătățirea programelor de formare;
- creșterea eficienței instruirii angajaților;
- demonstrând pentru managerii superiori valoarea funcției de formare.
În mod tradițional, eforturile profesioniștilor de formare s-au concentrat pe rezultatele cele mai evidente: răspunsul emoțional al participanților după finalizarea unui program de formare. Din păcate, multe practici existente sunt inadecvate și necesită îmbunătățiri.
|
Pentru a analiza opiniile participanților cu privire la programul de formare (Nivelul 1: Reacție), formatorii au dezvoltat o varietate de instrumente. Ele sunt numite diferit: „chestionare de comentarii”, „chestionare de reacție”, „fișe de zâmbet” sau „fișe de fericire”, etc. Care ar trebui să fie formularul care să vă permită să obțineți maximum de informații și, în același timp, să necesitați un minim de resurse ? Oferim câteva sfaturi.
Puteți începe cu recenzii negative sau pozitive - nu contează.
De ce este necesar să se dezvolte o formă specială? in primul rand, vorbim de clienți (nu contează, interni sau externi), deci este important ca aceștia să fie mulțumiți de program. Unii colegi, manageri sau viitori participanți la programe de formare probabil îi vor întreba pe cei care au finalizat deja formarea: „Ce părere ai despre acest curs?” E greu de imaginat. Ce prejudicii vor fi aduse funcției de învățare dacă oamenii oferă feedback negativ despre experiența dobândită: „Tocmai mi-am pierdut timpul!”, „Nimic care ar fi util în muncă” sau „Renunțați la asta dacă puteți”... În al doilea rând, cel mai probabil, zvonurile negative vor ajunge la unul dintre managerii de top. Consecințele acestui lucru pot fi tragice pentru departamentul de formare: cel mai probabil, managerul nu se va obosi să analizeze opinia generală despre curs, dar va concluziona că este ineficient (cu toate consecințele care decurg). Prin urmare, solicitarea părerilor participanților este importantă, în primul rând, pentru formatorii înșiși! Extras din cartea „Four Steps to Successful Training”, Donald L. Kirkpatrick și James D. Kirkpatrick, M. - HAR Media, 2008. |
Odată cu complexitatea tot mai mare a condițiilor de afaceri (concurență în creștere, rolul din ce în ce mai mare al factorului uman, criza financiară etc.), întreprinderile se străduiesc din ce în ce mai mult să reducă costurile și să finanțeze activități care produc rezultate previzibile și cel mai mare randament. Pana la urma:
- Managerii de top necesită evaluarea eficienței formării la niveluri superioare - Nivelul 3: „Comportament” și Nivelul 4: „Rezultate”.
- Multe companii abandonează programele de formare a căror valoare nu poate fi justificată din punct de vedere financiar (și, din păcate, specialiști în pregătirea focului „până când situația se îmbunătățește”).
Acest lucru sugerează că astăzi nu mai sunt formatorii individuali/companiile de formare care sunt în pericol grav - în multe cazuri este pusă sub semnul întrebării necesitatea funcției de formare în sine! Prin dezvoltarea unei „strategii de salvare”, familia Kirkpatrick sugerează ca antrenorii să-și schimbe urgent înțelegerea lumii afacerilor și să stăpânească noi roluri în organizație. Cele mai importante condiții pentru schimbare:
- identifica nevoile afacerii;
- obțineți rezultate practice (!), nu doar remarcabile (!), ci depășind așteptările (!);
- Măsurați (în cifre) contribuția dumneavoastră la succesul și dezvoltarea companiei și demonstrați-o în mod convingător tuturor părților interesate cheie.
Cel mai important lucru pentru formatori este să învețe să acționeze într-un „cadru de proiect”, așa cum se întâmplă în alte funcții: să ofere o justificare economică pentru obținerea de fonduri (investiții) pentru proiecte, să planifice și să bugeteze implementarea lor în avans.
__________
* Jurnalul ASTD- Jurnalul Societății Americane pentru Formare și Dezvoltare (ASTD)
După cum s-a menționat de mai multe ori mai sus, problema evaluării eficacității instruirii rămâne încă relevantă pentru multe companii implicate în dezvoltarea personalului lor.
Este interesant că există încă controverse în jurul abordării propuse de Kirkpatrick; la sfârșitul anilor 1950, el a formulat acum celebrele 4 niveluri de evaluare a performanței, dar modelul său de evaluare a pregătirii rămâne unul dintre cele de bază, iar cărțile sale sunt cele mai importante. citat. Kirkpatrick vede evaluarea ca parte integrantă a ciclului de instruire, care include 10 etape:
1. Determinarea nevoilor.
2. Stabilirea obiectivelor.
3. Definirea continutului subiectului.
4. Selectarea participanților la training.
5. Formarea unui program optim.
6. Alegerea spațiilor adecvate.
7. Selectarea cadrelor didactice adecvate.
8. Pregătirea mijloacelor audiovizuale.
9. Coordonarea programului.
10. Evaluarea programului.
Kirkpatrick consideră că, în majoritatea cazurilor, evaluarea se limitează la utilizarea chestionarelor post-formare - studiind reacția imediată a cursanților la formare. El numește aceste chestionare „fișe de zâmbet”, ceea ce înseamnă că participanții folosesc cel mai adesea chestionarele pentru a-și exprima recunoștința.
Cele patru niveluri ale lui Kirkpatrick definesc secvența în care sunt efectuate evaluările învățării. El scrie: „Fiecare nivel este important și afectează nivelul următor. Pe măsură ce treceți de la un nivel la altul, procesul de evaluare devine mai dificil și consumator de timp, dar oferă informații mai valoroase.”
· Nivelul 1 - Reacție
· Nivelul 2 - Învățare
· Nivelul 3 - Comportament
· Nivelul 4 - Rezultate
1. Reacție
Evaluarea la acest nivel determină modul în care participanții la program răspund la program. Kirkpatrick însuși numește acest lucru un scor de satisfacție a clienților. Când instruirea se desfășoară în interior, răspunsul participanților nu este întotdeauna interpretat ca satisfacție a clienților. Adesea, managementul determină necesitatea de a participa la un program educațional. Kirkpatrick subliniază că, în acest caz, reacția participanților este un criteriu foarte important pentru succesul antrenamentului, din cel puțin două motive.
· În primul rând, oamenii într-un fel sau altul își împărtășesc impresiile despre training cu managementul lor, iar aceste informații merg mai sus. În consecință, influențează deciziile privind formarea continuă.
· În al doilea rând, dacă participanții nu răspund pozitiv, ei nu vor fi motivați să învețe. O reacție pozitivă nu garantează dezvoltarea cu succes a noilor cunoștințe, abilități și abilități. O reacție negativă la antrenament înseamnă aproape sigur o scădere a probabilității de a învăța.
2. Învățare
Învățarea este definită ca schimbarea atitudinilor, îmbunătățirea cunoștințelor și îmbunătățirea abilităților participanților ca urmare a finalizării unui program de formare. Schimbarea comportamentului participanților ca urmare a instruirii este posibilă numai atunci când are loc învățarea (atitudinile se schimbă, cunoștințele se îmbunătățesc sau abilitățile se îmbunătățesc).
3. Comportament
La acest nivel, se face o evaluare a măsurii în care comportamentul participanților s-a schimbat ca urmare a antrenamentului. Kirkpartick subliniază că lipsa schimbării în comportamentul participanților nu înseamnă că antrenamentul a fost ineficient. Sunt posibile situații când reacția la instruire a fost pozitivă, a avut loc învățarea, dar comportamentul participanților nu s-a schimbat în viitor, deoarece nu au fost îndeplinite condițiile necesare pentru aceasta. Prin urmare, lipsa schimbării în comportamentul participanților după antrenament nu poate fi un motiv pentru a lua o decizie de încheiere a programului. În aceste cazuri, pe lângă evaluarea reacției și a învățării, se recomandă verificarea următoarelor condiții:
· Dorința participanților de a schimba comportamentul.
· Participanții au cunoștințe despre ce și cum să facă.
· Disponibilitatea unui climat socio-psihologic adecvat.
· Recompensați participanții pentru schimbarea comportamentului.
Vorbind despre climatul socio-psihologic, Kirkpatrick se referă în primul rând la supervizorii imediati ai participanților la formare. El identifică cinci tipuri de „climat”: prohibitiv, descurajator, neutru, susținător, solicitant. Poziția managerului, în consecință, se schimbă de la o interdicție de a schimba comportamentul la o cerință de a schimba comportamentul după terminarea formării. Kirkpatrick consideră că singura modalitate de a crea un climat pozitiv este implicarea liderilor în dezvoltarea curriculumului.
4. Rezultate
Rezultatele includ schimbări care au avut loc pe măsură ce participanții au finalizat formarea. Ca exemple de rezultate, Kirkpatrick citează creșterea productivității, îmbunătățirea calității, scăderea accidentelor, creșterea vânzărilor și scăderea fluctuației angajaților. Rezultatele nu trebuie măsurate în bani.
Potrivit lui Kirkpatrick, evaluarea la acest nivel este cea mai dificilă și mai costisitoare. Iată câteva sfaturi practice care vă pot ajuta să vă evaluați rezultatele:
· dacă este posibil, utilizați un grup de control (cei care nu au primit instruire),
· efectuați evaluarea după ceva timp, astfel încât rezultatele să devină vizibile,
Efectuați evaluări înainte și post-program (dacă este posibil),
Efectuați evaluarea de mai multe ori în timpul programului,
· comparați valoarea informațiilor care pot fi obținute prin evaluare și costul obținerii acestor informații (autorul consideră că efectuarea unei evaluări la nivelul 4 nu este întotdeauna recomandabilă din cauza costului ridicat al acesteia).
Dezavantajele fundamentale ale acestei abordări includ faptul că blocurile de informații selectate nu sunt interconectate; în plus, nu există mecanisme de feedback pentru a gestiona procesul de generare și transfer de cunoștințe. Alte dificultăți sunt asociate cu nivelul procedural nedezvoltat de colectare a informațiilor și a acestuia. prelucrare. Prin urmare:
1) caracteristicile numerice generalizate nu reflectă în mod obiectiv stări și relații în sistemul empiric măsurat;
2) tehnicile de măsurare utilizate nu au proprietăţile de validitate, sensibilitate şi fiabilitate;
3) influența factorilor externi nu este luată în considerare;
4) nu este clar cum să izolați „efectul net” al antrenamentului.”
1Acest articol este dedicat unei analize comparative a diferitelor modele de eficacitate a pregătirii personalului, inclusiv cele mai comune modele: Kirkpatrick, Berne, Stufflebeam și Phillips. Modelele în cauză au fost studiate pe baza unor informații secundare, inclusiv a unui studiu realizat de compania britanică Embrion, precum și a unui studiu al companiei americane ASTD din punct de vedere calitativ: compoziția, caracteristicile, limitările și avantajele cu au fost analizate dezavantajele fiecăreia dintre ele. Rezultatele comparației au fost verificate cu ajutorul unui sondaj de experți realizat de autori cu privire la acuratețea și prevalența fiecărei abordări de evaluare a eficacității instruirii.Pe baza rezultatelor obținute s-au tras concluzii cu privire la aplicabilitatea fiecărui model în practica companiilor rusești. . În plus, autorii oferă câteva recomandări cu privire la utilizarea acestor abordări pentru a obține beneficii economice mai mari.
model Philipps
Model Berna
Model Stufflebeam
model Kirkpatrick
dezvoltarea personalului
evaluarea eficacității antrenamentului
1. Kirkpatrick D.L., Kirkpatrick D.D. „Patru pași pentru formarea de succes: un ghid practic pentru evaluarea eficienței formării” Moscova 2008. pp. 50-51.
2. Mironov V. Evaluarea pregătirii conform lui Kirkpatrick: testul timpului [Resursa electronică]. – Mod de acces: http://www.top-personal.ru/issue.html?2185 (data accesului: -01.12.14).
3. Oparina N.N. Evaluarea eficacității formării și dezvoltării managerilor de top [Resursă electronică]. – Mod de acces: http://istina.msu.ru/media/publications/articles/e4f/7fc/422942/Otsenka_effektivnosti.pdf (data accesului: 10/11/14).
4. Skiba E. Tema 06 martie: evaluarea eficacității antrenamentului. Rezumat pe nouă modele principale de evaluare [Resursă electronică]. – Mod de acces: http://www.trainings.ru/library/articles/?id=6328 (data acces: 12/5/14).
5. Casebourne I., Downes A. Evaluarea învățării – o afacere de familie? [Resursă electronică]. – Mod de acces: http://epiclearninggroup.com/uk/files/2013/10/WP_Evaluation_of_-learning.pdf (data acces: 22/11/14).
6. Passmore J., Velez M.J. SOAP-M: Un model de evaluare a instruirii pentru HR // Industrial & Commercial Training, 2012. Vol.6, Nr. 44. P. 315-326.
7. Topno N. Evaluarea formării și dezvoltării: o analiză a diverselor modele // Journal of Business and Management, 2012. Vol. 5, nr 2. P. 16-22.
În condițiile moderne de globalizare și concurență acerbă pe piețele naționale și internaționale, unul dintre factorii de creștere a competitivității este îmbunătățirea calității personalului organizației. Cu toate acestea, valoarea totală a investiției în recalificarea personalului, sau diverse training-uri care vizează dezvoltarea calităților unui angajat individual necesare companiei, nu pot servi ca o evaluare exactă a efectului obținut. Astfel, o parte semnificativă a problemei este întrebarea cum să evaluăm eficiența investițiilor în dezvoltarea personalului. În acest scop, au fost dezvoltate modele separate de evaluare a eficacității antrenamentului, care au folosit în principal abordarea Kirkpatrick.
model Kirkpatrick
Fără evaluarea eficienței instruirii, este imposibil să se construiască un sistem de formare și dezvoltare care să ofere rezultatele necesare în afaceri. În 1954, Donald Kirkpatrick și-a susținut teza de doctorat la Universitatea din Wisconsin (SUA) pe tema „Evaluarea eficienței managementului programelor”. El a propus o scurtă formulă pentru a descrie ciclul de învățare: reacție - învățare - comportament - rezultate (vezi Figura 1). Această schemă este necesară pentru pregătirea eficientă a personalului companiei, precum și pentru obținerea rezultatelor de afaceri necesare.
Fig.1 Modelul Kirkpatrick
Primul nivel de învățare este reacția. Feedback-ul vă permite să știți ce cred clienții despre program, pe baza răspunsurilor, trainerul trebuie să facă unele modificări programului pentru a-l îmbunătăți. Evaluarea de la primul nivel, „Reacția”, este foarte importantă, trainerul trebuie să cunoască părerile participanților despre programul său, iar ascultătorii trebuie, de asemenea, să se asigure că trainerul nu este indiferent față de opinia lor.
Al doilea nivel: cunoștințe dobândite. Este bine dacă participantul este mulțumit de antrenament, dar asta nu înseamnă că a învățat ceva. Pentru a evalua cunoștințele dobândite, testele sunt folosite pentru a testa cunoștințele despre materialul studiat și sunt folosite și liste de verificare a aptitudinilor. Testarea este după cum urmează: la ceva timp după finalizarea cursului, participanții sunt invitați la o conversație cu un coleg sau supervizor cu experiență pentru a afla ce cunoștințe au învățat în urma cursului.
Al treilea nivel: comportament. Kirkpatrick identifică acest nivel ca fiind cel mai important și dificil. La acest nivel se face o evaluare a modului în care comportamentul participanților s-a schimbat ca urmare a instruirii și în ce măsură cunoștințele și abilitățile dobândite sunt aplicate la locul de muncă.
Nivelul patru: rezultate.
Principalul lucru în evaluarea celui de-al patrulea nivel este să vă imaginați rezultatul final. Sarcina formatorului este de a realiza așteptările părților interesate, de ex. rambursare.
Metoda lui Donald Kirkpatrick ne arată cum să transformăm procesul de formare într-un instrument eficient de afaceri și să integrăm formarea individuală într-o organizație, făcând formarea specific corporativă. Acesta explică în detaliu cum să planificați, cum
stabiliți obiective, cum să discutați cu managerii pentru necesitatea instruirii și, foarte important, cum să eliminați pregătirea inutilă dacă nu rezolvă problemele enunțate.
În practică, însă, nu se folosesc toate cele patru niveluri, ci cel mai adesea doar două, în ordinea descrescătoare a importanței (pe baza unui studiu realizat de ASTD - Societatea Americană pentru Training și Dezvoltare) (vezi Fig. 2).
Fig. 2 Utilizarea de către organizații a nivelurilor modelului Kirkpatrick
Astfel, evaluarea eficacității procesului de învățare trebuie abordată din perspectiva managementului financiar și cuantificarea rezultatelor unei astfel de investiții. O soluție la această problemă a fost propusă în 1997 de Jack Phillips.
Model de Jack Phillips
La începutul anilor '90, celebrul expert în resurse umane Jack Phillips a dezvoltat o metodologie de evaluare a eficienței investițiilor în formarea angajaților. În lucrarea sa, publicată în 1975, Kirkpatrick a exprimat un gând neașteptat: „În niciun caz nu trebuie să vă gândiți să traduceți al patrulea nivel (rezultatul afacerii) în bani. Nu este necesar, nu poți.” Și în 1991, o altă persoană, Jack Phillips, nu numai că a declarat că acest lucru este posibil, dar a propus și un algoritm de calcul. La cele patru niveluri deja menționate li s-a adăugat altul - rentabilitatea investiției, sau calculul raportului dintre profitul din proiect și costurile acestuia.
Acest indicator vă permite să evaluați eficacitatea antrenamentului. Metodele lui Phillips funcționează bine în companiile cu management regulat.
ROI ajută la obținerea unui număr de beneficii, în special pentru managerii companiei: evaluarea eficienței financiare a investițiilor în angajați; obține un instrument clar și de încredere pentru determinarea eficienței activităților de HR; face „factorul uman” și impactul acestuia asupra rezultatelor de afaceri ale companiei măsurabile. În primul rând, un model ROI este necesar pentru a calcula rentabilitatea investiției în resurse umane și programe de personal, atunci când managementul investește în oameni, ei trebuie să înțeleagă care este rentabilitatea acestei investiții.
Model Stufflebeam (CIPP)
Abrevierea Stufflebeam (vezi Fig. 3) este descifrată după cum urmează:
Orez. 3 Model Stufflebeam (CIPP)
Modelul vă permite să evaluați atât rezultatele, cât și procesul de învățare și dezvoltare. Prin urmare, acest model poate fi aplicat cu succes pentru programe de formare modulară pe termen lung pentru managerii de top.
model Berna (CIRO)
Similar cu modelul Stufflebeam este schema CIPO (vezi Fig. 4), dezvoltată de Berna. Modelul include următorii pași de evaluare:
Orez. 4 model Berna (CIRO)
Acest model poate fi folosit și pentru a evalua eficiența formării pentru managerii de top, mai ales în contextul lansării de programe modulare pe termen lung.
Avantajele și dezavantajele modelelor de predare eficiente
|
Avantaje |
Defecte |
||
|
Kirkpatrick |
Prezența a patru niveluri de evaluare: prin reacția participanților, prin rezultatele controlului final, prin modificări ale comportamentului de producție și prin modificări ale indicatorilor de afaceri ai companiei. Posibilitatea de alegere pentru a evalua eficacitatea formării managerilor de top. |
Dificultatea de a măsura nivelul al treilea, lipsa de dorință a managerilor de top de a se supune procedurii de evaluare sau de a lucra cu antrenorii. Refuzul de a evalua pe baza indicatorilor financiari. |
|
|
Dezvoltarea modelului Kirkpatrick. Introducerea celui de-al cincilea nivel de instruire și evaluare a eficienței dezvoltării. Capacitatea de a utiliza un randament financiar al investiției în formare și dezvoltare. |
Calcularea rentabilității investiției este posibilă numai dacă în organizație se menține o contabilitate financiară de gestiune cu drepturi depline. Este folosit în principal pentru a calcula eficacitatea acelor programe care sunt lungi, costisitoare și complexe. |
||
|
Stufflebeam |
Capacitatea de a evalua atât procesul, cât și rezultatele formării și dezvoltării în strânsă legătură cu obiectivele companiei. |
Metode și proceduri neclare pentru evaluarea rezultatelor formării și dezvoltării managerilor de top. |
|
|
Dezvoltarea modelului Stufflebeam și parțial Kirkpatrick. Stabilirea obiectivelor, identificarea oportunităților, identificarea opiniilor participanților cu privire la formare și dezvoltare, evaluarea rezultatelor. |
Dificultatea de a menține o procedură constantă de evaluare a eficienței formării și dezvoltării managerilor de top, aplicarea pentru programe pe termen lung. |
||
Tabelul prezintă o comparație a celor mai populare modele și metode de evaluare a eficienței dezvoltării și formării personalului în ceea ce privește avantajele și dezavantajele, inclusiv financiar, complexitatea calculului și așa mai departe.
Este de remarcat faptul că astăzi nu există un model ideal de formare eficientă care să includă toți parametrii necesari de evaluare. Fiecare dintre modelele prezentate are avantajele și dezavantajele sale, care sunt prezentate clar mai sus.
Autorii au realizat un sondaj la 7 experți din domeniul HR asupra celor mai precise modele de evaluare a eficacității instruirii (fiecare expert trebuia să aleagă cele mai precise modele, în opinia sa, din lista propusă). Datele sondajului sunt prezentate mai jos (vezi Figura 5):
Figura 5. Rezultatele sondajului privind acuratețea modelelor de antrenament
Acest sondaj a arătat că cele mai precise modele de învățare sunt modelul Kirkpatrick și modelul Phillips, iar cele mai puțin precise sunt modelul Stufflebeam și modelul Berne.
Concluzie
În concluzie, putem spune că este necesar să se țină cont de diferențele dintre cultura de învățare occidentală și a noastră. În Occident, instruirea corporativă a devenit de mult o condiție indispensabilă și o parte a vieții de afaceri; nu este nevoie să le explic multe lucruri angajaților. În Rusia, atitudinea față de formarea în afaceri a început acum să se schimbe spre interes, iar tehnologiile în sine abia încep să fie introduse. Astfel, respondenții intervievați au arătat că în principal companiile occidentale folosesc cel mai des modele eficiente de formare. Cele mai precise modele sunt cele ale lui Kirkpatrick și Phillips. Cele mai puțin precise modele includ modelele Stufflebeam și Berna; potrivit respondenților, aceste modele sunt mai puțin utilizate atât în Occident, cât și în Rusia.
Modelul lui Kirkpatrick arată cum să transformi procesul de formare într-un instrument eficient de afaceri și să integrezi formarea individuală într-o organizație. Modelul lui Phillips ajută o organizație să evalueze rezultatele financiare ale formării și dezvoltării. Modelul Stufflebeam vă permite să evaluați atât rezultatele, cât și procesul de învățare în sine. Modelul lui Berne ne ajută să stabilim obiectivele, oportunitățile și opiniile participanților la formare. Astfel, putem spune că fiecare dintre modelele prezentate are propriile avantaje și dezavantaje. În prezent, nu există un model ideal care să includă toți parametrii pentru evaluarea antrenamentului eficient simultan.
Recenzători:
Putilov A.V., doctor în științe tehnice, profesor, decan al Facultății de Management și Economie a Înaltei Tehnologii, Ministerul Educației și Științei din Federația Rusă, Instituția Autonomă de Învățământ de Învățământ Profesional Superior „Universitatea Națională de Cercetare Nucleară „MEPhI” Moscova;
Tupchienko V.A., Doctor în Economie, Profesor, Profesor al Departamentului „Managementul Proiectelor de Afaceri”, Ministerul Educației și Științei al Federației Ruse, Instituția Federală Autonomă de Învățământ de Învățământ Profesional Superior „Universitatea Națională de Cercetare Nucleară „MEPhI”, Moscova.
Link bibliografic
Udovidchenko R.S., Kireev V.S. ANALIZA COMPARATĂ A MODELELOR DE EVALUAREA EFICACĂȚII DE PREGĂTIRE A PERSONALULUI // Probleme moderne ale științei și educației. – 2014. – Nr 6.;URL: http://science-education.ru/ru/article/view?id=16909 (data accesării: 24 noiembrie 2019). Vă aducem în atenție reviste apărute la editura „Academia de Științe ale Naturii”