Proces realizacji projektu...

blank

...jako gwarancja efektywności działań rozwojowych. Ocena efektywności jest ostatnio fetyszem projektów związanych z rozwojem ludzi. Nie podpisujemy się pod tym trendem. Dla nas priorytetem jest wzmacnianie i podtrzymywanie efektów projektu oraz uczynienie wszystkiego, by projekt przełożył się na codzienną pracę uczestników.Dlatego też zaplanowaliśmy projekt zgodnie z logiką działania odbiorców i możliwościami klienta, nie zawsze purytańsko trzymając się postulatów teoretycznych D. Kirkaptricka, czy J.Phillipsa. Opis niniejszego projektu służy jako wstęp do dyskusji o konstruowaniu projektów rozwojowych, które przenoszą siłę ciężkości ze szkoleń jako wydarzeń samych w sobie w kierunku rozciągniętych w czasie działań poprawiających jakość lub efektywność pracy. Tutaj dzięki użyciu podejścia kompetencyjnego i zaangażowaniu interesariuszy projektu zrealizowaliśmy projekt, którego efektywność dało się łatwo zmierzyć. Prezentujemy go w przekonaniu, że te dwa czynniki zapośredniczają sukces.

Ocena efektywności szkolenia, czy ocena uczestników

Niewątpliwą trudnością w prowadzeniu oceny efektywności projektu jest fakt, że działaniom testowym poddawani są pracownicy firmy klienta. Nieuchronnie rodzi to w nich przeświadczenie, że cały szum wokół efektywności projektu jest tylko przykrywką do weryfikacji ich kompetencji i podejmowania decyzji kadrowych. O ile nie pozwala to oszukiwać narzędzi testowych, o tyle utrudnia współpracę w ramach szkolenia. Po pierwsze uczestnicy są nieufni i niekoniecznie pozytywnie nastawieni do prowadzących. Dlatego też jednym z naszych dylematów było czy ujawniać, że to prowadzący są autorami niskich ocen jakości listów uczestników. Nieufność uczestników przekłada się też na niechęć do ujawniania własnych braków lub uporczywe powtarzanie, że realia szkoleniowe są odmienne od codzienności pracy. Dodatkowe utrudnienie stanowi też obecność na sali szkoleniowej przedstawicieli działu szkoleń klienta, czy przełożonych uczestników. Pomimo, że jest przydatne dla wspierania wdrażania wiedzy zdobytej na szkoleniu, to należy zauważyć, ze zmiany w nastawieniu uczestników nie nadążają za oczekiwaniami zleceniodawców. Choć, kto z nas nie poczułby się podobnie…

Etapy przebiegou projektu i ich znaczenie dla jego efektywności

  1. Spotkanie z interesariuszami jako wstęp do planowania projektu. Na spotkaniu omówiono strukturę działu, którego pracownicy będą uczestnikami szkolenia i zakresu ich obowiązków zawodowych. Generalnie rzecz biorąc uczestnikami szkolenia miały być osoby pracujące w dziale obsługi klienta i zajmujące się pisemnymi odpowiedziami na reklamacje składane przez abonentów. Interesariusze projektu (grono mogłoby poszerzone o przedstawicieli działu sprzedaży, działu prawnego) przedstawili swojej oczekiwania związane z projektem. Były to postulaty skrócenia czasu odpowiedzi z jednoczesnym jej zindywidualizowaniem. Interesariusze sformułowali też uwagi dotyczące jakości i długości listów.
  2. Przegląd listów pisanych przez pracowników Działu - poznanie treści pracy. Konsultanci zewnętrzni otrzymali 90 listów pochodzących z działu obsługi klientów indywidualnych i korporacyjnych. Listy te były częścią korespondencji prowadzonej z klientami firmy. Na prośbę konsultantów do listów dołączono listy/zgłoszenia od klientów (nie zawierające danych osobowych).
  3. Ustalenie kryteriów oceny korespondencji – ustalenie wskaźników ważnych dla pomiaru efektywności. W konsultacji z interesariuszami projektu ustalono, że ocenie będzie podlegać:
    • Adekwatność odpowiedzi w stosunku do listu klienta.
    • Wydźwięk listu niezależny od merytoryki.
    • Konstrukcja odpowiedzi.
    • Długość odpowiedzi.
    • Poprawność językowa.
    Ustalono też, że oceny będą miały charakter punktowy jak i opisowy. Opisowość oceny wynikała z przyjęcia założenia, że szczególnie ważne jest, by dostarczyć nazwać dobre i słabe elementy listów. Dlatego też uznano, ze standardowe opisy poziomów kompetencji mogą być niewystarczające.
  4. Test kompetencyjny – sprawdzenie kompetencji uczestników. Równocześnie skonstruowany został test diagnozujący poprzez pytania kompetencyjne pięć powyższych kryteriów. Miało to uniezależnić ocenę pism od subiektywizmu oceniających. Co ważne test został zweryfikowany przez przedstawicieli Klienta. Średnie wyniki testu nie były niskie, jednak pokazywały różnice między poszczególnymi osobami, oraz pomiędzy kryteriami, które były sprawdzane. Największą trudność sprawiało uczestnikom sformułowanie komunikatów adekwatnych do grupy docelowej i sformułowanie odpowiedzi adekwatnej do listu klienta.
  5. Cele szkolenia – ustalenie wynikajaće z podsmowania diagnozy potrzeb. Przykłady celów zajęć podamy w czasie wystąpienia. Na podstawie zebranych danych konsultanci przygotowali zestaw celów edukacyjnych dla szkolenia. W czasie spotkania intersariusze projektu dokonali rangowania celów (układali kartki z celami według ważności). Doprecyzowaliśmy tez rozumienie celów i wymieniliśmy pomysły na ćwiczenia i elementy przydatne w trakcie warsztatu. Na tym etapie wyraźny wydawał się podział na potrzeby zespołu obsługującego klientów indywidualnych i zespołu zajmującego się klientami korporacyjnymi. Przyjęto założenie, że pierwsze szkolenie będzie w całości dedykowane zespołowi ds. klientów.
  6. Program zajęć – przełożenie celów na moduły edukacyjne i ćwiczenia. Na podstawie spotkania konsultanci przygotowali program zajęć, który został zweryfikowany przez interesariuszy projektu. Różnice między programem dla zespołu klientów indywidualnych i dla klientów korporacyjnych sprowadziły się do rozłożenia akcentów w programie i długości poszczególnych bloków. Program zakładał cele w trzech aspektach zmiany:
    • Oddziaływanie na postawy uczestników - w szczególności na stosunek do klientów i chęć zrozumienia jego perpspektywy. Ważny aspekt szkolenia stanowiło promowanie tezy, że korespondencja stanowi element komunikacji marketingowej z klientem, a komunikacja reklamacyjna jest szczególnie ważna dla obrazu firmy. Pierwsze zajęcia pokazały też, że niedocenionym aspektem programu było przekonanie uczestników, że nowe sposoby udzielania odpowiedzi klientowi zajmują tyle samo czasu a i często skracają kontakt z klientem.
    • Dostarczenie i usystematyzowanie wiedzy – dotyczyło to zarówno usystematyzowania procesu pracy uczestników z listem klienta jak i wiedzy z zakresu psychologii społecznej, retoryki i gramatyki języka polskiego.
    • Ćwiczenie umiejętności – w trakcie prowadzenia prac poprzedzających przygotowanie programu konsultanci nabrali przekonania, że istnieje zestaw umiejętności zapośredniczających skuteczność w pisaniu dobrych odpowiedzi na listy klientów. Jedną z nich okazała się być umiejętność analizy informacji, czy zdolność decentracji. Hipotezy na ten temat postawione w czasie przygotowań i częściowo potwierdzone w testach i analizie pism, znalazły odzwierciedlenie w ćwiczeniach polegających np. na tworzeniu równoległych opisów zdarzeń, czy analizie informacji zawartych w skomplikowanym tekście. Ćwiczona też była umiejętność pisania odpowiedzi na konkretne listy specjalne spreparowane na szkolenie. Na tej podstawie analizowano umiejętności przydatne na poszczególnych etapach udzielania odpowiedzi klientowi.
  7. Szkolenie Pierwsze. Zwyczajowo przyjęto, że szkolenie będzie dwudniowym warsztatem. Lokalizacja zajęć w siedzibie Klienta miała swoje mocne strony i ograniczenia. Niewątpliwie "uzadaniowiła" proces pracy szkoleniowej. W zajęciach brali udział przedstawiciele działu szkoleń oraz jedna z przełożonych uczestników.
  8. Szkolenie Drugie. Po modyfikacjach programu związanych z uczestnictwem osób z działu obsługi klientów korporacyjnych (okazało się że nie będą stanowili samodzielnej grupy), oraz doświadczeniach poprzedniego szkolenia przeprowadzono zajęcia starając się jeszcze mocniej wyakcentować aspekt praktyczny warsztatu. Oznaczało to zwiększenie liczby ćwiczeń polegających na pisaniu listów. Przebieg obu szkoleń pokazał adekwatność zaproponowanego programu do treści pracy uczestników. Znalazło to wyraz w ocenach szkolenia zawartych w ankietach ewaluacyjnych wypełnianych przez uczestników, jak i ocenach sformułowanych przez przedstawicieli Klienta.
  9. PostTest Kompetencyjny. Przeprowadzony w tydzień po szkoleniu zawierał pytania analogiczne do pretestu. Zawierał jedynie drobne modyfikacje treści użytych przykładów (tak by nie było efektu uczenia się odpowiadania na pytania). Posttest wykazał zauważalną pozytywną zmianę we wszystkich ocenianych kryteriach. Największa zmiana dotyczyła wskaźnika, który w preteście wypadł najsłabiej. W kryteriów "Poprawność językowa" uczestnicy uzyskali 97 procent punktów (wobec 71 procent w preteście) co może świadczyć o wzroście koncentracji w czasie wypełniania testu. W pozostałych kryteriach również odnotowano postęp, a wyniki oscylowały na poziomie 70-80 procent wykonania.
  10. Coaching. W ramach podsumowania szkoleń uzgodniono, że bardzo przydatne dla uczestników szkolenia może być wsparcie ze strony osoby, która jest biegła w konstruowaniu pism. Klient podjął decyzje, że coachem będzie jeden z pracowników firmy, a nie zewnętrzny konsultant, co sugerowali konsultanci.
  11. Poufność wyników indywidualnych, a potrzeby klienta

    Moment wyboru coacha był jedny z bardziej niebezpiecznych w czasie projektu. Niemożność ujawnienia wyników indywidualnych kłóciła się z potrzebą klienta, by wybrać osobę, która dobrze poradziła sobie w testach. W wyniku kompromisu ujawniono trzy najlepsze wyniki testów i trzy osoby o największej zmianie między pretestem i postestem.
  12. Analiza 45 pism – sprawdzenie efektów szkolenia w treści pracy. Przyjęto, że analiza powinna odbyć się w mniej więcej dwa miesiące po szkoleniach. Z jednej strony chciano dać czas uczestnikom na oswojenie się ze zmodyfikowanym sposobem pracy, z drugiej postanowiono przeczekać moment "słomianego zapału poszkoleniowego". Ponieważ planowano jeszcze półdniowe szkolenie podsumowujące zdecydowano, że początkowa pula 90 pism zostanie podzielona na dwie części. Analiza drugiej części miała nastąpić po zajęciach podsumowujących. Na prośbę klienta, inaczej niż poprzednio pozostawione dane osobowe autorów odpowiedzi i dokonano podsumowania również w kategoriach indywidualnych. Analiza pism była w części prowadzona przez osoby, które nie prowadziły szkoleń, a całość krytycznie weryfikowana przez kierownika projektu. Analiza wykazała znaczącą poprawę wyników. W każdym kryteriów wynosiła ona około jednego punktu. Jednocześnie analiza ta pokazał, że proces edukacyjny nie jest skończony i kolejny planowany element projektu będzie przydatny.
  13. Szkolenie follow up – podsumowanie i rozszerzenie szkolenia. W wyniku ustaleń z Klientem przybrało ono formę półdniowych konsultacji dla uczestników projektu. Byli oni zainteresowani skonsultowaniem używanych scenariuszy odpowiedzi, bądź analizą szczególnie trudnych przypadków. Część osób była zainteresowana potwierdzeniem słuszności swojego postępowania, część rozwiązaniem problemów pojawiających się w trakcie pracy.
  14. Analiza drugiej części pism – sprawdzeni utrzymania zmiany w treści pracy. Analiza wykazała niewielkie zmiany wyników. We wszystkich kryteriach utrzymała się wysoka średnia wyników, spadło odchylenie standardowe pokazujące różnice między wynikami. W większości kryteriów wyniki nieznacznie wzrosły w porównaniu z pierwszą częścią pism. Jednocześnie widać tendencje ograniczające dalsze możliwości porównań. Są to m.in. wysoki poziom pism, przy którym nie da się uchwycić istotnych różnic, jednostkowe błędy osób rozpatrujących pisma, czy powtarzające się sformułowanie w pismach, które wpływa na ocenę, a które raz wyeliminowane przestanie rzutować na przekaz listów.

Wnioski końcowe – do dyskusji

Wnioski te skłaniają do sugestii, iż w celu podtrzymania pozytywnego efektu projektu przydatne jest stałe monitorowanie pism wysyłanych przez dział obsługi klienta. Może też sugerować sensowność udziału konsultantów zewnętrznych, którzy wolni od naleciałości i rutyny są w stanie wychwycić newralgiczne elementy przekazu. Dla podtrzymania efektu można też zasugerować okresowe przekazywanie pism na zewnątrz w celu analizy, lub badanie metodą ukrytego klienta. Dokonane pomiary i analizy pokazują skuteczność projektu w przeprowadzonym kształcie. Ciekawi jesteśmy Państwa sugestii dotyczących możliwych modyfikacji tak prowadzonego projektu.

Zagadnienia: szkolenia, project management, analiza potrzeb print