Sercem systemu jest model Llama-OpenReviewer-8B, czyli zaawansowana sieć neuronowa o 8 miliardach parametrów. W przeciwieństwie do ogólnych modeli językowych, OpenReviewer został poddany procesowi specjalistycznego dostrajania (fine-tuning) na bazie 79 000 eksperckich recenzji pochodzących z najważniejszych konferencji naukowych. Dzięki temu narzędzie lepiej rozumie specyficzny język akademicki oraz rygorystyczne wymagania stawiane przed autorami publikacji.
Działanie systemu jest intuicyjne: użytkownik przesyła plik PDF z pracą oraz szablon recenzji. OpenReviewer automatycznie ekstrahuje pełną treść dokumentu, w tym skomplikowane elementy techniczne, takie jak równania matematyczne czy tabele z danymi. Na tej podstawie generuje ustrukturyzowaną recenzję, która ściśle przestrzega wytycznych danej konferencji.
Skuteczność w ocenie krytycznej
Twórcy systemu, Maximilian Idahl i Zahra Ahmadi, przeprowadzili testy na 400 pracach naukowych, porównując wyniki OpenReviewer z popularnymi modelami ogólnego przeznaczenia, takimi jak GPT-4 czy Claude-3.5. Wyniki badań wskazują na wyraźną przewagę specjalistycznego modelu:
Warto podkreślić, że OpenReviewer nie został stworzony jako zamiennik dla ludzkich recenzentów. Jego głównym celem jest wsparcie autorów w procesie doskonalenia prac oraz usprawnienie wstępnej weryfikacji tekstów. Narzędzie jest obecnie dostępne jako projekt open-source oraz w formie demonstracji online, co umożliwia szerokiej społeczności badawczej korzystanie z jego możliwości w codziennej pracy naukowej.