Ewaluacja projektu

Celem ewaluacji była:

• ocena skuteczności i efektywności działań przeprowadzonych w ramach projektu,

• ocena stopnia realizacji założonych celów

• analiza i ocena rzeczywistych efektów przeprowadzonych działań

• sprawdzenie oczekiwań grupy docelowej. Określony poziom oczekiwań grup pozwala określić metody pracy w projekcie

• sprawdzenie prawidłowości realizacji projektu zgodnie z założeniami

• badania uczestników projektu, zadowolenia z udziału w projekcie

• trwałości rezultatów.

Na potrzeby badania zostały zastosowane następujące kryteria ewaluacyjne:

1. Kryterium trafności - relevance (cele a potrzeby) - rozumiane jako zbadanie, czy działania odpowiadają na rzeczywiste potrzeby grupy docelowej

2. Kryterium efektywności - (effectiveness) (nakłady a efekty) - zbadanie, czy działania są bardziej efektywny, wydajne finansowo od dotychczas stosowanych rozwiązań,

3. Kryterium skuteczności - (utility) (plan a wykonanie) - zbadanie, czy podejmowane działania są skuteczne

4. Kryterium użyteczności - (efficiency) - (efekty a potrzeby) - zbadanie, czy istnieje możliwość praktycznego wykorzystania zdobytej wiedzy / umiejętności

5. Kryterium trwałości - (durability) - zbadanie, w jakim stopniu oraz pod jakimi warunkami prawdopodobne jest utrzymanie rezultatów po zakończeniu projektu

Badanie ewaluacyjne realizowane było przy wykorzystaniu istniejących danych i dokumentów (dane zastane), a także poprzez badania empiryczne, w trakcie których gromadzone są dodatkowe dane ilościowe i jakościowe (dane wywołane). Pozwoliło to na uzyskanie komplementarności danych, ich wzajemne uzupełnianie się i wewnętrzną weryfikację uzyskiwanych odpowiedzi. Zastosowana technika triangulacji metodologicznej umożliwiło uzyskanie bardziej obiektywnego i pełnego obrazu badanych zjawisk. W badaniu ewaluacyjnym stosowano:

• triangulacja źródeł danych - analizowano zarówno dane zastane, jak i dane wywołane,

• triangulacja metod badawczych - łączenie różnych metod badawczych (badania ilościowe oraz jakościowe) po to, by wyeliminować ograniczenia każdej z nich.

W niniejszej ewaluacji wykorzystywano różne źródła danych:

• dane zastane - analizie desk research poddane zostają dokumenty programowe, określające warunki zewnętrzne realizacji projektu, dokumentacja wewnętrzna zgromadzona przez zespół projektowy w trakcie realizacji poszczególnych działań, wyniki monitoringu,

• dane wywołane

• dane pozyskane

• wyniki ankiet i wywiadów standaryzowanych. Wykorzystano m.in. następujące narzędzia:

• tabela ewaluacji projektu

• ankiety ex ante i ex post dla uczniów (w polskiej i angielskiej wersji językowej).

• ankiety sprawdzające przyrost wiedzy

• ankiety dotyczące udziału w konferencjach, warsztatach upowszechniających (dot. m.in. ogólnej oceny konferencji, stopnia spełnienia oczekiwań, zainteresowania wykorzystaniem rezultatów projektu).

Każdy z partnerów dostosował narzędzia ewaluacyjne do swoich potrzeb. Szczegółowy związane z wynikami ewaluacji zawarte są w raporcie z ewaluacji. Poniżej zawarto najważniejsze wnioski związane z wpływem projektu na proces dydaktyczny.

Badania przeprowadzone wśród uczniów 2 AZSO w Chorzowie

Ankieta ex post została przeprowadzona na wszystkich uczestnikach ostatniego rocznika projektu iCSE4school, realizujących fizykę rozszerzoną na poziomie rozszerzonym (16 osób). W ostatnich miesiącach trwania projektu (lato 2017) byli uczniami drugiej klasy o profilu matematycznym. Cały oddział liczy 34 osoby - pozostali wybrali rozszerzenia z innych przedmiotów przyrodniczych. W klasie pierwszej wszyscy zostali przeszkoleni z podstaw programowania w języku Python. W klasie drugiej uczestniczyli w dodatkowych zajęciach dotyczących zastosowań języka Python na matematyce i fizyce.

Na pytanie: Jakiego narzędzia użyłbyś do rozwiązania złożonego problemu matematycznego lub fizycznego? najwięcej osób wybrało Sage, Python i Geogebra (po 9 głosów) oraz C/C++ (7 osób). Oznacza to, że że ponad połowa ankietowanych przekonała się do języka Python w środowisku SageMath.

Na pytanie Czy wykorzystujesz oprogramowanie otwarte (Open Source)? 8 osób odpowiedziało, że tak, jedna nie, a pozostali przyznali, że nie wiedzą, co to jest otwarte oprogramowanie.

Kolejne pytanie brzmiało “Do czego można zastosować komputer podczas lekcji matematyki lub fizyki?” 16 osób wskazało narysowanie funkcji, 15 - graficzne przedstawienie danych pomiarowych, 13 - wykonanie obliczeń arytmetycznych na podstawie wzoru, 11 - do udowodnienia twierdzenia, 8 - do wyprowadzenia wzoru. Nikt nie wybrał odpowiedzi do niczego. Wynika z tego, że uczniowie widzą w SageMath dobre narzędzie do rozwiązywania wielorakich problemów.

Na pytanie „Czy napisanie algorytmu może się przydać na lekcji fizyki?” kilkanaście osób wskazało przydatność algorytmów w rozwiązywaniu równań ruchu, w upraszczaniu wyrażeń oraz w automatyzowaniu zbierania danych eksperymentalnych. Nikt nie zaznaczyła żadnej z dwóch możliwych odpowiedzi negatywnych. Niemal wszyscy prawidłowo rozumieją pojęcie system algebry komputerowej. Większość uczniów prawidłowo definiuje metody numeryczne.

Niemal wszyscy wiedzą, jaki język programowania jest podstawą systemu SageMath.

Posługiwanie się środowiskiem SageMath uczniowie określili jako średnio trudne.

Czy komputer (z Sage) był dla Ciebie przydatny na lekcji matematyki w …? W rysowaniu funkcji, rysowaniu wykresów danych i algorytmicznym badaniu zjawisk nierozwiązywalnych klasycznie większość uczniów zaznaczało Bardzo przydatny. W przekształceniach algebraicznych, obliczeniach numerycznych i podstawianiu liczb do wzorów najwięcej głosów zebrała opcja Trochę przydatny.

Na analogiczne pytanie dotyczące fizyki, uczniowie we wszystkich kategoriach zaznaczali najczęściej opcję Bardzo przydatny. Wszyscy korzystali ze źródeł internetowych podczas posługiwania się SageMath, przy czym 13 osób korzystało ze źródeł polskich i angielskich, a 3 tylko z polskich.

Prawie wszyscy odkryli samodzielnie jakieś nowe możliwości SageMath. Prawie wszyscy korzystają z SageMath w domu. Za najważniejsze cechy SageMath ankietowani uważają: darmowość (16 głosów), możliwość tworzenia wykresów (14), dostępność przez przeglądarkę internetową (13), otwartość (Open Source) (12), dostępność algebry komputerowej (11), możliwość programowania w Python (10). Najmniej osób wybrało łatwość tworzenia @interact (7). 11 osób deklaruje, że będzie korzystać z SageMath przy rozwiązywaniu zadań domowych z matematyki i fizyki, 5 osób jest przeciwnego zdania. Na pytanie Czy Twoim zdaniem Sage powinien być powszechnie stosowany w szkołach na lekcjach przedmiotów ścisłych? 14 osób odpowiedziało tak, 1 nie i 1 nie wiem. Ostatnie pytanie brzmiało: Oceń w skali 1-6 przydatność Sage dla Ciebie teraz i w przyszłości. Większość osób (11) zaznaczyło cyfrę 4, 2 osoby cyfrę 5 a po jednej: cyfry 1, 3 i 6.

Z przedstawionych danych wynika, że uczniowie poznali wszechstronne narzędzie, z którego potrafią zrobić wieloraki użytek i doceniają jego wartość w wielu aspektach.

Zdecydowana większość uczniów sądzi, że będzie korzystała z oprogramowania SageMath do rozwiązywania zadań z prac domowych z matematyki i fizyki oraz, że narzędzie to powinno być powszechnie stosowane w szkołach na lekcjach przedmiotów ścisłych. O korzyściach, jakie uczniowie wynieśli z realizacji projektu, można się też dowiedzieć z ich wypowiedzi przed kamerą podczas kręcenia filmu podsumowującego projekt (Youtube: https://www.youtube.com/embed/BAUCbMXWceI). Uczniowie wskazywali, że dzięki programowaniu, nauczanie przedmiotów ścisłych było mniej “suche” i abstrakcyjne, bardziej namacalne, łatwiej było pewne rzeczy zobaczyć lub sobie je uzmysłowić. SageMath zdejmował z uczniów żmudny obowiązek wykonywania czynności mało twórczych i powtarzalnych (takich jak obróbka danych i rysowanie wykresów) na rzecz myślenia koncepcyjnego, szybkiego przeprowadzania symulacji poprzez odpowiedni dobór parametrów i sposobu działania algorytmu. Dzięki Pythonowi matematyka i fizyka “ożyły”, pojawiła się na przykład możliwość usłyszenia funkcji jako wykresu fali dźwiękowej, a czynności, które tradycyjnie zajmowałyby dużo czasu, udało się zredukować do napisania kilku linijek prostego kodu programu.

Podsumowując, realizacja projektu przyniosła korzyści zaangażowanym w projekt nauczycielom. Wzbogacili oni swój warsztat pracy, nauczyli się nowego języka programowania i z pewnością będą wykorzystywać nabyte umiejętności w kolejnych latach. Dzięki projektowi wzrasta prestiż szkoły w środowisku lokalnym. Zakupione pomoce naukowe będą służyć długie lata. Filmy nakręcone w ramach projektu i opublikowane na Youtube stanowią trwały dorobek intelektualny szkoły, udostępniony do wykorzystania ogółowi zainteresowanych.

Badania przeprowadzone wśród uczniów XXXIII LO im. Mikołaja Kopernika

W ramach projektu icse4school zostały przeprowadzone lekcje pilotażowe, pokazy, warsztaty i zajęcia problemowe.

W celu opracowania metodyki prowadzenia zajęć z wykorzystaniem metody projektów zostały zaplanowane i przeprowadzone badania w czterech grupach uczniów z klas trzecich matematyczno-fizycznych. Projekt obejmował cykl zajęć podczas zajęć pozalekcyjnych oraz pracę własną (pracę domową). Wybrane grupy były objęte w klasie drugiej nauką algorytmiki i programowania w języku C++. Były to grupy o zrównoważonym poziomie wiedzy i zainteresowania w zakresie matematyki i informatyki. Każda z grup – A, B, C, D przeszła nieco inny rodzaj zajęć i otrzymała nieco inne zadanie.To pozwoliło przeprowadzić ewaluację i zbadać wpływ zmienionych warunków na rezultaty zajęć czyli umiejętności uczniów i poziom wykonanych przez nich prac. Ewaluacja pozwoliła także zmodyfikować materiały na podstawie uwag uczniów. Nauczyciele wnikliwie obserwowali zajęcia, formułowali wnioski i spostrzeżenia, obserwowali pracę uczniów i przeprowadzali z nimi wywiady. Na początku i na końcu kolejnego cyklu zajęć były prowadzone anonimowe ankiety, które posłużyły do opracowania kolejnych wersji materiałów i metod prowadzenia zajęć. Na podstawie wywiadów z uczniami, oceny ich zaangażowania podczas zajęć, oceny przyrostu umiejętności uczniów posługiwania się funkcjami SAGE, kreatywności i pomysłowości uczniów, radzenia sobie z postawionymi problemami, poziomu wykonanych prac, ankiet anonimowych wypełnionych przez uczniów przed rozpoczęciem zajęć i po zakończeniu zajęć wprowadzano modyfikację do wytworzonych rezultatów pracy intelektualnej.

Obserwacje podczas ewaluacji zajęć dotyczyły m.in.: stopnia zainteresowania i zaciekawienia uczniów tematem, pytań, jakie zadawali uczniowie, formy pracy wybranej przez nauczyciela, na jakie pytania nauczyciela uczniowie nie potrafili odpowiedzieć, czy uczniowie byli kreatywni, jakie mieli pomysły rozwiązania postawionych problemów, czy uczniowie sami potrafili odnaleźć w źródłach internetowych czy materiałach od nauczyciela elementy pomocne do rozwiązania problemów, czy poziom trudności wybranych zagadnień był odpowiedni, czy uczniowie wysnuli dobre wnioski z badania i rozwiązywania postawionych problemów, jakie było tempo wzrostu poziomu umiejętności uczniów po przeprowadzeniu cyklu zajęć według scenariusza, czy ilość zajęć była wystarczająca wg zaplanowanego przez nauczyciela materiału do realizacji, jakie narzędzia SageMath okazały się najczęściej wykorzystywane, o jakie warto rozszerzyć materiały dla ucznia, czy uczniowie dokonali „odkryć” jak i do czego wykorzystać inne polecenia SageMath, jeśli były zróżnicowane zajęcia dla zdolnych i mniej zdolnych uczniów, to czy były odpowiednie, czy uczniowie dzielili się wiedzą z kolegami, czy uczniowie dyskutowali między sobą na temat wyników rozwiązań zadań.

Z kolei wywiady z uczniami podczas ewaluacji zajęć dotyczyły m.in. : opinii uczniów co do przydatności dla nich narzędzi SAGE i Python (do rozwiązywania prac domowych, samokształcenia, przygotowania do konkursów przedmiotowych, rozwijania zainteresowań, przygotowania do matury); co było najbardziej interesujące, co zmieniliby, co można dodać, stopnia trudności ćwiczeń; intuicyjności w posługiwaniu się narzędziem SageMath, łatwości znalezienia materiałów i pomocy w Internecie, korzystania np. ze smartfonów do wyszukiwania informacji czy wykonywania obliczeń w SAGE, korzystania ze zdobytej wiedzy na innych przedmiotach, czy użyliby SAGE jako pierwszego wyboru do obliczeń w matematyce, fizyce czy chemii.

Ważniejsze wnioski:

Przed rozpoczęciem zajęć uczniowie w ankiecie anonimowej “przed” pisali, że posługują się jedynie arkuszem kalkulacyjnym do wykonywania wykresów i obliczeń a także, że wcześniej nie słyszeli o SageMath. Tylko kilku uczniów w każdej z grup korzystało ze strony wolframalpha.com.

Wszyscy uczniowie wykazali zainteresowanie nowym narzędziem podczas pokazów możliwości SageMath, zainteresowały ich inżynierskie zastosowania SageMath, zastosowania w fizyce, do wykonywania symulacji i animacji. Zaciekawili się projektem, który został omówiony, dostrzegli potencjał do wykorzystania SageMath w pracach domowych i projektach, na studiach. Uczniowie z grupy A, w której zostały omówione i zastosowane podczas warsztatów funkcje SAGE, takie, które mogą zostać użyte w projekcie wykazali najmniejsze zainteresowanie innymi możliwościami SAGE. Ich praca była najmniej twórcza, podeszli do projektu zadaniowo.

Uczniowie z grupy B i C nie otrzymali wsparcia w postaci omówienia niezbędnych do wykorzystania w projekcie funkcji. Samodzielnie musieli ich poszukać w internetowej dokumentacji i przykładach. Ich praca była najbardziej kreatywna, nauczyli się najwięcej. Grupa C przygotowała opisy projektu z języku angielskim.

Uczniowie z grupy D tylko częściowo otrzymali wsparcie w postaci omówienia i prezentacji potrzebnych do projektu funkcji, dodatkowo zostali objęci cyklem zajęć z tworzenia dokumentów w formacie PDF z wykorzystaniem pakietów Latex (darmowy program, system Tex do składu komputerowego).

Poziom prac uczniów obrazował ich zaangażowanie. Wszystkie grupy poradziły sobie z projektami. Część uczniów podczas badania funkcji zmieniała jej postać z powodu zbyt skomplikowanej postaci pochodnej. Ocena prac: grupa A - mało opisów lub ich brak, nie wykorzystane parametry niektórych funkcji np. plot, limit. Prace najmniej kreatywne.

Grupa B i C prace na podobnym wysokim poziomie, nie wszyscy uczniowie dokonali odkryć, ale w większości prac pojawiło się dużo elementów unikalnych. Uczniowie znacznie lepiej posługiwali się SAGE, niż pozostali. Było więcej zabawy i odkryć podczas zajęć. Opisanie badania funkcji w języku angielskim nie sprawiło uczniom trudności.

W ankiecie ewaluacyjnej “po” wszyscy uczniowie byli zadowoleni, że poznali nowe “fajne” darmowe narzędzia do codziennego wykorzystywania. Uznali, że wiele jest do odkrycia, “na pewno przyda się na studiach”. Uznali, że czują się bezpiecznie, bo zawsze można sprawdzić wyniki. Niektórzy poddawali w wątpliwość, czy nauczyciel matematyki będzie zadowolony z tego, że uczeń rozwiąże prawie każdą pracę domową z pomocą komputera.

Wszyscy uczniowie wyrazili zadowolenie, że poznali SageMath że mogą z telefonu komórkowego szybko rozwiać swoje wątpliwości podczas wykonywania obliczeń i rozwiązywania zadań. Wszyscy uczniowie docenili potencjalne możliwości zastosowania SageMath do wizualizacji rozwiązań, wykonywania symulacji eksperymentów.

Badania przeprowadzone wśród nauczycieli biorących udział w warsztatach

1. Jaka jest Pani/a zdaniem użyteczność narzędzi wypracowanych w projekcie „Zintegrowane nauczanie przedmiotów ścisłych z perspektywą obliczeniową - iCSE4school” dla ucznia od 16. do 19. roku życia zainteresowanego przedmiotami ścisłymi? Ocenę wyraź w punktach na skali 1 - 10, przy czym 10 oznacza ocenę najwyższą. średnia arytmetyczna 8,3

2. Prosimy o uzasadnienie oceny:

• Język Python nie jest znanym językiem programowania wśród nauczycieli.

• W warsztatach uczestniczyła bardzo mała liczba osób (mając do wyboru więcej opcji uczestnicy konferencji wybierali inne warsztaty). Pełne obłożenie miały w Warszawie (ogółem ponad 500 uczestników) warsztaty dotyczące podstaw programu Scratch.

• Propozycję nauki programowania i wykorzystania języka Python w nauczaniu przedmiotów ścisłych uznano za pozytywną, jednak widać że nauczyciele mają pewne obawy (nie spotkali się, więc trzeba się Pythona nauczyć; Geogebra jest lepiej znana więc uważana za bardziej przydatną; trzeba włożyć wiele pracy w przygotowanie się do zajęć).

• W warsztatach uczestniczyli w większości nauczyciele szkół ponadgimnazjalnych.

• Według stażu pracy nauczycieli zainteresowanie programowaniem w szkole rozkłada się mniej więcej równomiernie.

Podsumowując: warto zwrócić uwagę na fakt, że zdaniem badanych w działaniach iCSE4school tkwi dwutorowy potencjał - generowania współpracy nauczycieli matematyki, fizyki, informatyki oraz odniesienia się do licealnych zainteresowań (np. klas matematyczno-informatycznych). Oba te czynniki stanowią jednak swego rodzaju trudność: działania międzyprzedmiotowe uchodzą za wymagające dużego zaangażowania, a nawiązanie do uczniowskiego hobby może nauczyciela postawić w sytuacji niewiedzy. Nikt z badanych nie uczestniczył w tego typu projekcie - istotne jest zatem upowszechnianie jego idei. Zgodnie z zasadą, że zajmowanie się problemami (pozornie?) trudnymi daje satysfakcję z pracy: i uczniowskiej, i nauczycielskiej.