Программа чтобы проверить работу на плагиат

Система antiplagit онлайн для проверки текстов была создана в 2005 году. В этом году в России гремели громкие скандалы, когда видные государственные деятели были уличены в своих научных трудах в плагиате.
В системе высшего образования творилась вакханалия: фейковые ВУЗы без обучения (даже посещения), за финансовое вознаграждение, ставили зачеты и выдавали дипломы; в других учебных заведениях студенты скачивали из интернета готовые работы и сдавали их тысячи раз. Требовались срочные меры по исправлению ситуации, ведь Россия всегда имела отличную научную репутацию, а выпускники легко находили работу даже за границей. О необходимости таких мер заявляли даже первые лица страны.
Такое решение было создано – онлайн система проверки текстов на заимствования – Антиплагиат, который работает онлайн бесплатно. При этом была разработана версия программы, которая работала на компьютере без подключения к сети интернет. На тот момент это был прорыв. Владельцем была компания «Forecsys», позже переименованная в АО «Антиплагиат».

КАК ПРОВЕРИТЬ УНИКАЛЬНОСТЬ ТЕКСТА НА АНТИПЛАГИАТ ВУЗ: ЛУЧШИЕ СОВЕТЫ ОТ ANTIPLAGIAT.KILLER

Преподаватели и студенты получили возможность поиска заимствований в своих текстах, что самое примечательное, первые и вторые находились в равных условиях так как базы были одни для всех. Студенты и преподаватель проверяя одну научную работу имели один результат. Конечно качество пока еще было низким, но ничего лучше на тот момент не было. Проверка текста в антиплагиат была быстрой, простой, без ограничений по языку.
Тем самым проблема с плагиатом в научной сфере начала решаться. ВУЗы стали вводить обязательное требование о проверке в антиплагиат с предоставлением отчета о полученном результате. Тогда это не составляло проблем, загружаешь файл по результату исследования можешь скачать отчет. Разработчики даже придумали специальную программу для чтения отчетов, но со временем отказались от нее в пользу pdf документа, что было явно верным решением.
Но создатели уже тогда совершили ряд ошибок, которых до сих пор не хотят признавать. Учебные методички, при написании работ, заставляют студентов опираться на материалы, которые невозможно перефразировать:
— Всевозможные законы, кодексы;
— Однотипная литература, в которой редко появляется что-то новое (не факт, что это «новое» уже не позаимствовано где-то);
— Множество теорем, различных аксиом;
— Специализированный сленг.
Из-за чего учащиеся имеют высокий процент плагиата в своих работах. Но об этом немного ниже.
Антиплагиат сконцентрировались на создании различных баз и пополнении их. Появились первые базы: Коллекция LEXPRO, Коллекция диссертаций РГБ, Коллекция eLIBRARY.RU, которые подключались платно. Сейчас список баз у них обширный: Интернет, Диссертации НББ, Интернет плюс, Кольцо вузов (общая база ВУЗов участников проекта), eLIBRARY.RU, Цитирование, Шаблонные фразы, Сводная коллекция ЭБС, Издательство Wiley, Библиография и множество других баз, которых порядка 20 штук.
Скриншот из того, уже далекого времени.

Как проверить текст на уникальность БЕСПЛАТНО! — Детальный разбор Антиплагиат.ру

Стали придумывать различные варианты коммерциализации в виде подписок, покупки количества проверок.
Скриншот с вариантами платного использования.

Параллельно создатели стали развивать полностью коммерческий проект Антиплагиат ВУЗ. О нем вы можете узнать перейдя по ссылке.
Благодаря популярности, стали выявляться проблемы. Сайт постоянно падал (не работал), поиск плагиата иногда длился сутками.
Владельцы стали урезать функционал для бесплатной проверки на плагиат. Так все лишились полных отчетов, было увеличено время ожидания, урезаны возможные для загрузки форматы файлов. Но были явные улучшения: появился новый удобный дизайн, сделали регистрацию через имеющиеся соц. сети (хотя у них всегда была простая и быстрая регистрация).

Главная ошибка системы проверки Антиплагиат

Но главная ошибка заключается в том, что они разделили версии системы для преподавателей и студентов. У преподавателей для выявления плагиата существует закрытая коммерческая система Антиплагиат ВУЗ, а студенты остались на стандартной версии. Такая проверка текста на плагиат и полученные результаты стали сильно отличаться.

Тем самым владельцы создали измеритель плагиата, но без единого критерия для всех, а для каждого свой. Это как в 1 сантиметре у одних 10 мм, у других 11, а у третьих 9. В один «прекрасный» для создателей момент, они пришли к выводу забросить бесплатную версию, но оставили ее для привлекательности, вроде бы как есть, а по сути ее и нет. А с 2022 года можно считать что проверка антиплагиат онлайн бесплатно полностью закрытым проектом, они объявили о полной приостановке обновления единственной бесплатной базы.
Видимо осознав, что у них получилась «кривая линейка», они пошли другим путем. Так при коммерческом использовании вам по сути дают возможность проверить текст по многим существующим у них базам. Результат такой проверки на плагиат будет примерно тем же, что и в вашем ВУЗе.

Проверка антиплагиат с отчетом о полученном результате, который можно скачать бесплатно (но мы думаем, скоро за отчет придется отдельно платить) пока осталась. Аппетит же приходит во время еды… Как заставить пользователей оставлять больше денег? Давайте придумаем несуществующий плагиат и назовём базу «перефразирования», тем самым нивелируя работу студентов и авторов по самостоятельному исправлению плагиата. Теперь, благодаря этой базе, авторы и студенты которые самостоятельно исправляют плагиат в тексте вынуждены проверять и править текст ни несколько раз, а десятки раз, конечно же по платному тарифу, который ограничен по времени действия.
А чтобы с юридической позиции было все гладко, они придумали такое заявление:

Пользователи поражены такому отношению владельцев сервиса. Они прекрасно осознают, что результат полученный при проверке antiplagiat в учебных заведениях принимается как истина. Часто, наличие большого объема плагиата по мнению именно этой системы, несет последствия для студентов.

Получается, что не имеющий никакой юридической силы результат, вполне себе реально создает проблемы для студентов. Тогда не понятна позиция ВУЗов, которые с большим желанием используют именно эту систему. Почему они доверяют абсолютно ничего не значащему (сами владельцы об этом пишут прямо) результату?
Но выхода у студентов и авторов нет, большинство учебных заведений требуют уникальность текста именно по результату исследования антиплагиата.
Хорошо одно, теперь авторам и студентам не нужно искать где проверить работу с приближенным результатом к тому, что будет получен студентом в ВУЗе, платная проверка теперь дает практически идентичный результат. При этом проверить текст на антиплагиат бесплатно все также можно, но точность вам владельцы точно не гарантируют!

Для авторов и студентов, которые имеют проблемы с плагиатом в своей научной работе.

Антиплагиат исходного кода: гибридный подход с использованием парсера ANTLR

Работая при университете, недавно столкнулся с интересной задачей, связанной с поиском академического плагиата во внутренней системе контестов по программированию, ставшей основой для преподавания основ алгоритмики студентам первого курса. Позже, начав поиск русскоязычных материалов, я был очень расстроен отсутствием каких-либо обобщающих статей на эту тему, поэтому незамедлительно решил восполнить этот пробел и рассказать о своем опыте создания модуля антиплагиата.

Введение

Академический плагиат — это очень распространенное явление, особенно если дать студентам много свободы в создании своих программ. По некоторым источникам, больше половины студентов технических специальностей хотя бы раз нечестно сдавали задания по программированию. Разумеется, с такой проблемой столкнулся и мой институт.

Преподаватели и их ассистенты для большей части решений, прошедших проверку в системе автоматического тестирования, вынуждены открывать последние сданные исходники других студентов в рамках этой же задачи с целью выявить потенциальное наличие в них плагиата. Когда на потоке мало студентов и преподаватель условно знает «кто с кем дружит», то эта проверка не занимает длительного времени, но если на первый курс приходит более сотни студентов, то данную проблему быстро решить уже не получится. К счастью, этот процесс можно автоматизировать.

Начнём с того, что уже существует великое множество открытых и проприетарных решений, так или иначе решающих данную задачу: из опенсурсных популярны, например, MOSS и JPlag. Однако ни одно из них не удовлетворяет нашим требованиям: одни из них работают с лимитированным количеством языков программирования, другие сканируют половину интернета на наличие похожестей частей кода и прочее. Вот же краткий список требований к модулю, составленный нашей командой разработки:

1. Поддержка языков программирования платформы для контестов (C++, Python, Java, C# и Pascal);
2. Скоринг решений учеников, прошедших автоматическую проверку, в рамках одной задачи (то есть должна быть реализована push- или pull-модель взаимодействия с платформой);
3. Выдача преподавателю списка решений, наиболее похожих на целевое, для дальнейшего вынесения собственного вердикта о наличии списывания.

Как можно заметить, система просто должна автоматически выполнять ту работу, которую на данный момент вручную проделывает преподаватель. Остаётся лишь главный вопрос: как будет проходить непосредственно сам скоринг решений? И это уже детали реализации, которые мы сейчас разберем.

Типы заимствований исходного кода

Для начала стоит определиться, а что вообще считается академическим плагиатом? Существует прекрасная монография под названием A Survey on Software Clone Detection Research*, написанная ещё в 2007 году, и в дальнейшем повествовании я буду практически полностью опираться на неё, потому что она покрывает все необходимые нам темы. В ней описывается 4 основных типа заимствования исходного кода:

1. Программный код скопирован без каких-либо изменений (иными словами, идентичен оригиналу с точностью до комментариев);
2. Код скопирован с «косметическими» заменами идентификаторов (имен функций и переменных, типов данных, строковых литералов);
3. Код может включать заимствования второго типа, а также модификации скопированного оригинала путем добавления, редактирования или удаления его фрагментов или изменение порядка их исполнения, не влияющие на логику самой программы;
4. Программа некоторым образом переписана с общим сохранением логики работы и функциональности, однако синтаксически она может абсолютно отличаться от оригинала.

Качественная система антиплагиата должна хорошо определять первые три типа плагиата из классификации выше. Заимствования четвертого типа крайне затруднительны для выявления (см. статью) и часто представляют собой копирование самого алгоритма, а не частей кода оригинальной программы, что не является плагиатом как таковым.

Другой проблемой является то, что любой алгоритм антиплагиата будет давать ложноположительный результат на коротких и простых задачах (например, алгоритм Евклида или сортировка пузырьком), ведь если студент в здравом уме, то он явно не напишет что-то оригинальное и отличное от других решений. С этим недоразумением можно справиться несколькими способами: либо не запускать алгоритм на коротких задачах в принципе, либо использовать какой-то алгоритм «с пенальти» на короткие программы, либо вообще не решать данную проблему: преподаватель сам понимает, что задача простая, поэтому, вероятнее всего, сразу проставит ей нужную оценку.

Методы сравнения исходных кодов

В литературе встречается множество способов сравнения программ. Вот пять наиболее универсальных и распространенных подходов, которые в дальнейшем были успешно применены в нашей системе:

1. Text-based метод заключается в сравнении текстовых представлений программ на основе некоторой метрики, например, расстояния Левенштейна или Джаро-Виклера. Данный способ отличается своей скоростью и простотой, но результативность быстро снижается даже на простейших «косметических» модификациях.
2. Token-based метод основан на преобразовании ключевых слов программы в последовательность лексем языка программирования (далее просто токенов). Полученные токены сравниваются любым доступным способом. Этот алгоритм гораздо точнее предыдущего, так как игнорирует все изменения второго типа, однако он всё ещё не справляется со структурными изменениями.
3. Metric-based метод определяет на полученных в предыдущем методе токенах некоторые метрики (например, кол-во используемых циклов и условных конструкций), а далее считает схожесть программ на основе количества совпадающих метрик. В целом, алгоритм отлично дополняет другие методы антиплагиата, однако он часто даёт ошибочный результат (в частности, метод успешно отрабатывает на программах с переименованием переменных и изменением условий и циклов, но моментально деградирует при добавлении в код NO-OPов по типу объявления пустого цикла или инициализации неиспользуемых значений).
4. Tree-based подход требует представления кода в виде абстрактного синтаксического дерева (далее просто AST, Abstract Syntax Tree). В таком формате программы сравниваются любым доступным способом: от «наивного» подсчёта совпадающих узлов до продвинутых методов на основе расстояния Zhang-Shasha. Часто данный способ считается наиболее эффективным, но в то же время его сложнее внедрить: помимо построения самих AST, нужна реализация алгоритма для их сравнения.
5. Binary-based метод требует прохождения кодом этапа компиляции (или интерпретации). Полученное бинарное представление (ассемблерный листинг или байткод) служит основой для дальнейшего сравнения программ. Помимо высокой точности на заимствованиях 1-2 типа (мелкие структурные изменения часто оптимизируются компилятором, а разные реализации одного функционала, дают одинаковый ассемблерный листинг), алгоритм может дать неплохой результат на модификациях третьего типа, но в то же время может и легко ломаться. Было выявлено, что банальное изменение типов данные может уронить коэф. схожести на несколько десятков процентов.

Конечно же, это не все существующие алгоритмы. Есть множественные модификации каждого из методов, так или иначе повышающие эффективность скоринга (в этом плане может быть интересен метод Шинглов), а также совершенно другие подходы, которые могут основываться, например, на поведении программы во время исполнения (behavior-based метод) ини на графе её зависимостей (PDG-based метод). Кстати, упомянутая выше монография наполнена сравнительными таблицами как самих методов, так и их модификаций, что очень интересно для изучения.

В дополнении приведу ещё один интересный подход: если вы знаете специфику действий своего пользователя (например, с каким среднем промежутком времени сдаются задачи на платформе или сколько попыток нужно потратить для успешной сдачи), то сможете выделить ряд метрик, на основе которых можно будет определять подозрительность поведения конкретного пользователя. Например, если студент сдаёт к ряду несколько задач и они проходят все тесты, то это отличный триггер на жульничество с его стороны. К сожалению, такой подход не является универсальным, а результат зависит от выделенных для использования метрик.

Очевидно, что каждый из рассмотренных выше методов имеет свои преимущества и недостатки и некоторые из них могут быть эффективнее на определенных модификациях условного кода. Так что же мешает нам использовать лучшие стороны каждого из них? Алгоритм антиплагиата на основе нескольких подходов называется гибридным, и данный подход действительно значительнее устойчивее каждого из методов по отдельности. Для вынесения итогового вердикта можно использовать либо максимальный, либо средний скоринг для каждого из примененных алгоритмов. Второй вариант как раз таки и был применен в нашей дальнейшей реализации модуля антиплагиата.

Разработка алгоритма антиплагиата

Гибридный алгоритм антиплагита может быть реализован следующими простыми шагами:

1. Форматирование и нормализация (в т.ч. удаление комментариев) исходного кода для повышения точности текстовых сравнений;
2. Получение промежуточных представлений программы, а именно её токенов, AST и ассемблерного листинга;
3. Непосредственно сравнение полученных форматов вышеперечисленными методами;
4. Вынесение вердикта на основе полученных коэффициентов схожести;
5. (Опционально) Вычисление дополнительных полезных статистик, например, дисперсии и квантилей распределения этих коэффициентов для всей выборки решений.

С первым шагом особых проблем не возникает: нормализация может быть выполнена средствами языка программирования (в т.ч. регулярными выражениями ), а для форматирования можно использовать сторонний инструмент (обратите внимание на clang-format), однако данный шаг опционален. Но вот с получением промежуточных представлений программы, а именно списка лексем и AST, могут возникнуть проблемы. Конечно, никто не мешает вам написать собственный лексер и парсер для каждой необходимой вам грамматики (так, например, сделали разработчики JPlag), но если у вас сжатые сроки и ленивые руки, то есть одно менее элегантное, но эффективное решение: использование парсера с открытым исходным кодом ANTLR.

ANTLR отлично зарекомендовал себя среди разработчиков различных грамматик и утилит для работы с ними, а сообщество уже добавило поддержку более двух сотен популярных языков программирования. Данный парсер сможет без проблем превратить вашу программу в список токенов, а также построить (и визуализировать!) абстрактное синтаксическое дерево на их основе. Небольшой платой за готовый синтаксический разбор будет долгое обращение к самой утилите (занимает порядка секунды для небольшой программы).

Итак, мы имеем все промежуточные представления на руках: ассемблерный листинг (или байткод) нам выдал компилятор/интерператор, токены и AST мы получили из ANTLR, а текстовое представление мы имеем по умолчанию. Исходники мы даже немного улучшили посредством нормализации, нечто подобное желательно сделать и с бинарным представлением, а именно удалить offsetы пямяти, оставив только исполняемые инструкции (тут достаточно задействовать утилиту grep).

Дальше нас ждет третий шаг, а именно скоринг полученных представлений. Со сравнением текстов и бинарного формата проблем не выходит: мы берем любую доступную метрику и сравниваем два набора символов. По моим наблюдениям, лучше всего показала себя комбинация расстояния Дамерау-Левенштейша и LCS. Со скорингом AST возникают некоторые трудности: если нужно это сделать эффективно, то в любом случае придётся считать редакторское расстояние для деревьев (кстати, есть одна каноническая реализация алгоритма на питоне), а если мы хотим сделать это быстро, то сойдёт и наивная стратегия, основывающаяся либо на прохождении по ветвям дерева до первого несовпадения элементов, либо на подсчете отношения количества совпавших узлов ко всем узлам (данная стратегия и легла в основу нашей реализации).

Полученный результат скоринга со всех методов, лежащий в промежутке от 0 до 1, фактически показывает, насколько два решения похожи друг на друга по некоторой метрике. Это можно усреднить и делать предположение по полученному значению: если коэффициент схожести программ выше 95%, то они практически идентичны. Дополнительные статистики, подсчитанные по выборке сданных на задачу решений, могут быть тоже очень полезны. К примеру, медианное значение схожести близкое к максимальному и низкая дисперсия говорят о простоте задачи — в этом случае можно уверенно давать отрицательный вердикт на наличие в решении заимствований.

Полученные результаты

Для тестирования полученного гибридного алгоритма была использована небольшая синтетическая выборка, включающая некоторые модификации программ на языках Java и C++ (~750 символов) для всех четырех типов заимствований. И вот как показали себя примененные методы по отдельности (коэф. схожести усреднен и округлен):

Модификация / процент схожести программ

Источник: habr.com

Проверка на плагиат

Генерация контента с помощью ИИ стала нормой для крупных моделей машинного обучения, таких как ChatGPT. Чтобы противостоять росту контента, созданного ИИ, необходимо искать общие черты в тексте, созданном ИИ. Избежать обнаружения ИИ можно, избегая непротиворечивости, характерной для больших моделей машинного обучения, особенно случайности: модели ИИ, как известно, предсказуемы из-за выбора слов, основанного на предсказуемости расположения слов в больших текстах. Смодин предлагает способ ввести случайность в текст, чтобы сделать письмо более похожим на человеческое. Смотрите сами по ссылке ниже.

Сканируйте миллионы веб-сайтов и документов за считанные секунды

Автоматически создавать и включать правильные цитаты, которые часто требуются в опубликованных письменных работах для достоверности и во избежание плагиата.

Сохраняйте свою анонимность

Проверки производятся анонимно, мы не сохраняем ваши данные

Средство проверки на плагиат Smodin поддерживает более 100 различных языков, что позволяет вам проверять наличие плагиата на нескольких языках.