Arkusze oceny

Arkusze Oceny

WEKTOR CONSULTING SP. Z O.O.

[Rok]

1. ARKUSZ OCENY TESTU WIEDZY

Nagłówek

ARKUSZ OCENY TESTU WIEDZY Kwalifikacja: „Wykorzystanie dużych modeli językowych” Instytucja certyfikująca: Wektor Consulting sp. z o.o. Adres: ul. Adama Mickiewicza 29, 40-085 Katowice KRS: 0000758279, NIP: 8171960828

Metryczka arkusza testowego

1. Dane uczestnika walidacji

Imię i nazwisko: ........................................................................

Identyfikator (PESEL / inny): ....................................................

2. Informacje o przebiegu testu

Data i miejsce walidacji (w tym forma: stacjonarnie / zdalnie): .........................

Numer wersji testu: ...................................................................

Osoba nadzorująca test: ..........................................................

Tabela wyników zadań testowych

Nr zadania	Zestaw	Efekt uczenia się (nr)
1	1	1.1
2	1	1.1
3	1	1.2
4	1	1.2
5	1	1.3
6	1	1.3
7	1	1.3
8	1	1.4 (wiedza)
9	2	2.1
10	2	2.2
11	2	2.2
12	2	2.2
13	2	2.3 (wiedza)
14	2	2.3 (wiedza)
15	2	2.4 (wiedza)
16	2	2.4 (wiedza)
17	3	3.1 (wiedza)
18	3	3.1 (wiedza)
19	3	3.2 (wiedza)
20	3	3.3
21	3	3.3
22	4	4.1
23	4	4.1
24	4	4.2
25	4	4.2
26	4	4.3
27	4	4.3
28	4	4.4
29	4	4.4
30	4	4.5
30	4	4.5
32	4	4.5

Typ zadania (opcjonalnie): J – jednokrotnego wyboru, W – wielokrotnego wyboru, D – dopasowanie, P – porządkowanie, F – prawda/fałsz.

Podsumowanie punktów

Liczba zadań w teście:
Maksymalna liczba punktów: 32
Liczba punktów uzyskanych przez kandydata: …… / 32

Zestawienie potwierdzenia osiągnięcia zestawów efektów uczenia się:

Nr Zestawu	Nazwa Zestawu Efektów Uczenia Się	Status zaliczenia wszystkich kryteriów
1	Podstawy wykorzystywania dużych modeli językowych ³	□ TAK / □ NIE
2	Wykorzystanie dużych modeli językowych w ramach zadania lub domeny ⁴	□ TAK / □ NIE
3	Wykorzystywanie dużych modeli językowych w środowisku pracy ⁵	□ TAK / □ NIE
4	Etyka i odpowiedzialność ⁶	□ TAK / □ NIE

Próg zaliczenia części teoretycznej: 19/32 punktów (60%)

☐ Część teoretyczna ZALICZONA ☐ Część teoretyczna NIEZALICZONA

Uwagi komisji (dot. przebiegu testu, incydentów, ewentualnych zastrzeżeń): ............................................................................................................. .............................................................................................................

Podpis(y) członków komisji / osoby oceniającej:

............................................................... Data: ........................
............................................................... Data: ........................

2. ARKUSZ OCENY CZĘŚCI PRAKTYCZNEJ

Nagłówek

ARKUSZ OCENY CZĘŚCI PRAKTYCZNEJ Kwalifikacja: „Wykorzystanie dużych modeli językowych” IC: Wektor Consulting sp. z o.o.

Dane kandydata

Imię i nazwisko: .............................................................
Identyfikator: .................................................................
Data części praktycznej: ................................................
Forma: ☐ stacjonarna ☐ zdalna / hybrydowa
Zadanie praktyczne nr / nazwa: ........................................

2.1. Tabela oceny – zadanie złożone (4 kroki)

Krok 1 – Wybór modelu i parametrów

Krok	Wskaźniki oceny	Powiązane efekty
1	Kandydat poprawnie wybiera model LLM adekwatny do opisanego zadania/domeny (z dostępnych: komercyjny / open-source).	2.1
1	Kandydat ustawia podstawowe parametry modelu (np. temperatura, długość odpowiedzi) zgodnie z celem zadania.	2.4
1	Kandydat potrafi uzasadnić wybór modelu i ustawień parametrów (ustnie lub pisemnie).	2.1, 2.4, 3.1

Krok 2 – Przygotowanie promptu i wygenerowanie tekstu

Krok	Wskaźniki oceny	Powiązane efekty
2	Kandydat tworzy prompt, który jasno określa cel zadania.	1.4, 2.2
2	Prompt zawiera wymagany format odpowiedzi (np. lista, tabelka) i styl (np. formalny).	1.4, 2.2
2	Kandydat uruchamia LLM i generuje odpowiedź.	1.4
2	Kandydat potrafi poprawić prompt (co najmniej jedna iteracja) w reakcji na nieadekwatny wynik.	2.2

Krok	Wskaźniki oceny	Powiązane efekty
3	Kandydat stosuje uzgodnione kryteria (np. adekwatność, kompletność, spójność, poprawność językowa) do oceny tekstu.	2.3
3	Kandydat wypełnia arkusz oceny zgodnie z instrukcją (skala, zaznaczenie obszarów do poprawy).	2.3
3	Kandydat formułuje krótką konkluzję na podstawie własnej oceny (np. „nadaje się / wymaga dopracowania w obszarze X”).	2.3, 3.1

Krok 3 – Ocena jakości wygenerowanego tekstu („stosuje metryki”)

Krok 4 – Zastosowanie w środowisku pracy / automatyzacja

Krok	Wskaźniki oceny	Kryteria weryfikacji	Powiązane efekty	Ocena*	Uwagi
4	Kandydat przedstawia prosty schemat workflow z wykorzystaniem LLM (wejście → LLM → weryfikacja → wynik).		3.1, 3.2
4	Kandydat wskazuje, które czynności mogą być zautomatyzowane przy użyciu LLM, a gdzie konieczny jest udział człowieka.		3.2, 4.1–4.3 (pośrednio)

Ocena – proponowana legenda:
2 – spełnione,
1 – częściowo spełnione,
0 – niespełnione.

(Albo: ☐ spełnione ☐ częściowo ☐ niespełnione – możesz wybrać wariant.)

2.2. Podsumowanie części praktycznej

Zgodnie z zasadami walidacji, dany efekt uczenia się uznaje się za osiągnięty wyłącznie w przypadku pozytywnego potwierdzenia wszystkich przypisanych do niego kryteriów weryfikacji. Poniższa tabela służy do zbiorczego zestawienia wyników kryteriów sprawdzanych w części praktycznej (metodą obserwacji lub analizy dowodów)².

Zestaw	Efekt uczenia się (EU)	Kryterium weryfikacji (KW)	Status KW (Zaliczony/Nie)
Zestaw 2	Wykorzystuje wstępnie trenowane LLM	KW 01: Dostosowuje LLM do zadania/domeny ³³	□ TAK / □ NIE
		KW 02: Generuje tekst przy użyciu LLM ⁴⁴	□ TAK / □ NIE
Zestaw 2	Wykorzystuje prompt engineering	KW 03: Tworzy efektywną instrukcję (prompt) ⁵⁵	□ TAK / □ NIE
		KW 04: Wykorzystuje PE w analizie/generowaniu ⁶⁶	□ TAK / □ NIE
Zestaw 2	Ocenia jakość LLM	KW 05: Interpretuje wyniki metryk ⁷⁷	□ TAK / □ NIE
Zestaw 2	Dostosowuje parametry LLM	KW 06: Konfiguruje parametry LLM ⁸⁸	□ TAK / □ NIE
Zestaw 3	Wykorzystuje LLM do automatyzacji	KW 07: Demonstruje użycie LLM do zadań NLP ⁹⁹	□ TAK / □ NIE
Zestaw 3	Wspomaga proces analizy danych	KW 08: Demonstruje analizę i wnioskowanie ¹⁰¹⁰	□ TAK / □ NIE

Wynik zbiorczy części praktycznej:

Czy wszystkie kryteria sprawdzane w części praktycznej są spełnione? □ TAK / □ NIE
Uwagi ogólne komisji: ...................................................................................................................

Decyzja dot. części praktycznej:

□ Część praktyczna ZALICZONA (Potwierdzono wszystkie wymagane kryteria)

□ Część praktyczna NIEZALICZONA

Podpisy członków Komisji Walidacyjnej:

............................................................ (Przewodniczący)
............................................................ (Członek)

3. ARKUSZ OBSERWACJI

To arkusz pomocniczy dla komisji – zapis obserwacji zachowania kandydata, sposobu pracy, problemów technicznych itd.

Nagłówek

ARKUSZ OBSERWACJI – CZĘŚĆ PRAKTYCZNA Kwalifikacja: „Wykorzystanie dużych modeli językowych” IC: Wektor Consulting sp. z o.o.

Dane kandydata

Imię i nazwisko: .............................................................
Identyfikator: .................................................................
Data: ...........................................
Forma: ☐ stacjonarna ☐ zdalna
Członek komisji dokonujący obserwacji: .................................

Tabela obserwacji

Efekt uczenia się (EU) i Kryteria weryfikacji (KW)	Opis zachowania kandydata / przebieg zadania	Ocena (0-2 pkt)
EU: Wykorzystuje wstępnie trenowane duże modele językowe ²²
KW: Dostosowuje duży model językowy do wskazanego zadania lub domeny
KW: Generuje tekst przy użyciu dostosowanego modelu
EU: Wykorzystuje techniki inżynierii instrukcji (prompt engineering)
KW: Tworzy efektywną instrukcję (prompt)
KW: Wykorzystuje prompt engineering do analizy tekstu lub automatyzacji
EU: Ocenia jakość i dostosowuje parametry modeli
KW: Stosuje metryki do oceny jakości wygenerowanych tekstów
KW: Konfiguruje parametry modelu (np. temperatura) w celu poprawy wyników
EU: Wykorzystuje LLM do automatyzacji i analizy danych
KW: Demonstruje użycie LLM do analizy zbiorów danych tekstowych
KW: Demonstruje użycie LLM do zadań NLP (np. tłumaczenie, podsumowanie)

Zasady punktacji i oceny (zgodnie ze wzorem IBE):

2 pkt – kryterium wypełnione całkowicie / działanie w pełni poprawne.
1 pkt – kryterium wypełnione częściowo / działanie częściowo poprawne.
0 pkt – kryterium niewypełnione / działanie niepoprawne lub brak działania.
Warunek zaliczenia kryterium: Uzyskanie minimum 1 punktu dla każdego sprawdzanego kryterium^.

Uwagi ogólne obserwatora

......................................................................................................... .........................................................................................................

Podpis obserwatora: ..................................................... Data: ......................

(Ten arkusz NIE musi być bezpośrednio załączany do decyzji, ale jest bardzo pomocny przy sporach / odwołaniach.)

4. ARKUSZ ANALIZY DOWODÓW

Do użycia, gdy kandydat przynosi dodatkowe dowody uczenia się / doświadczenia (portfolio, projekty, raporty itp.).

Nagłówek

ARKUSZ ANALIZY DOWODÓW UCZENIA SIĘ Kwalifikacja: „Wykorzystanie dużych modeli językowych” IC: Wektor Consulting sp. z o.o.

Dane kandydata

Imię i nazwisko: .............................................................
Identyfikator: .................................................................
Data analizy dowodów: .............................................

Tabela analizy dowodów

Lista przedstawionych dowodów (np. projekty, portfolio, raporty):

Lp.	Rodzaj dowodu (np. projekt, raport)	Opis / zakres	Data powstania	Weryfikacja autentyczności / autorstwa	Uwagi
1
…

Ocena dowodów w odniesieniu do efektów uczenia się:

Lp.	Efekt uczenia się (skrót)	Dowody powiązane (Lp. z tabeli wyżej)	Ocena (spełniony / częściowo / niespełniony)	Komentarz
1
…

Ocena przydatności dowodu – np.:
A – istotnie wspiera potwierdzenie efektów,
B – częściowo przydatny,
C – mało przydatny / nieistotny.

Wnioski z analizy dowodów

Dowody mogą być wykorzystane pomocniczo do potwierdzenia następujących efektów: ......................................................................................
Dowody nie zastępują testu ani części praktycznej.
Uwagi dodatkowe: ......................................................................................

Podpis(y) członków komisji analizujących dowody:

............................................................... Data: ........................
............................................................... Data: ........................

5. ARKUSZ OCENY CAŁOŚCIOWEJ EFEKTÓW UCZENIA SIĘ

To arkusz „zbiorczy”, na którym komisja odhacza każdy efekt 1.1–4.5 i wskazuje, z jakich źródeł go potwierdziła.

Nagłówek

ARKUSZ OCENY CAŁOŚCIOWEJ EFEKTÓW UCZENIA SIĘ Kwalifikacja: „Wykorzystanie dużych modeli językowych” IC: Wektor Consulting sp. z o.o.

Dane kandydata

Imię i nazwisko: .............................................................
Identyfikator: .................................................................
Data walidacji (test + praktyka): ..................................

Tabela efektów uczenia się

Zestaw	Efekt uczenia się (nr)	Źródło potwierdzenia**	Wynik: efekt spełniony?*
1	1.1	☐ test	☐ TAK ☐ NIE ☐ WĄTPLIWY
1	1.2	☐ test	☐ TAK ☐ NIE ☐ WĄTPLIWY
1	1.3	☐ test	☐ TAK ☐ NIE ☐ WĄTPLIWY
1	1.4	☐ test (wiedza) ☐ praktyka	☐ TAK ☐ NIE ☐ WĄTPLIWY
2	2.1	☐ test ☐ praktyka ☐ dowody	☐ TAK ☐ NIE ☐ WĄTPLIWY
2	2.2	☐ test ☐ praktyka	☐ TAK ☐ NIE ☐ WĄTPLIWY
2	2.3	☐ test (wiedza) ☐ praktyka (stosowanie metryk)	☐ TAK ☐ NIE ☐ WĄTPLIWY
2	2.4	☐ test ☐ praktyka	☐ TAK ☐ NIE ☐ WĄTPLIWY
3	3.1	☐ test ☐ praktyka	☐ TAK ☐ NIE ☐ WĄTPLIWY
3	3.2	☐ test ☐ praktyka	☐ TAK ☐ NIE ☐ WĄTPLIWY
3	3.3	☐ test	☐ TAK ☐ NIE ☐ WĄTPLIWY
4	4.1	☐ test	☐ TAK ☐ NIE ☐ WĄTPLIWY
4	4.2	☐ test	☐ TAK ☐ NIE ☐ WĄTPLIWY
4	4.3	☐ test	☐ TAK ☐ NIE ☐ WĄTPLIWY
4	4.4	☐ test	☐ TAK ☐ NIE ☐ WĄTPLIWY
4	4.5	☐ test	☐ TAK ☐ NIE ☐ WĄTPLIWY

Możesz przyjąć skalę: „TAK / NIE” albo „spełniony / niespełniony / wymaga dodatkowej weryfikacji”.

Wynik łączny walidacji

Część teoretyczna: ☐ ZALICZONA ☐ NIEZALICZONA
Część praktyczna: ☐ ZALICZONA ☐ NIEZALICZONA

Decyzja komisji o nadaniu kwalifikacji:

☐ Kwalifikacja ZOSTAŁA nadana ☐ Kwalifikacja NIE ZOSTAŁA nadana

Uzasadnienie decyzji (krótko): ............................................................................................................. .............................................................................................................

Podpisy członków komisji:

........................................................................... Data: ................
........................................................................... Data: ................