Как ChatGPT помог нам создать симулятор фишинга

Механика тренажёра во многом похожа на знаменитую игру Papers, please, но с оттенком «Очень странных дел».

В результате неудачного эксперимента на исследовательской станции в городе N произошёл блэкаут. Электричество быстро восстановили, но интернет работает только в пределах локальной сети. Сохраняются аномалии: розовое свечение и левитация электроприборов, световые явления в небе, а ещё не работают некоторые онлайн-сервисы, в том числе спам-фильтры. Вот поэтому и случился всплеск фишинговых атак.

Главный герой назначен инспектором писем в градообразующей организации. Его задача — просматривать все имейлы, отсеивать фишинг и защищать сотрудников и компанию от мошенников.

Для тренажёра нужно было создать несколько тысяч уникальных писем — якобы фишинговых и безопасных. Это дело как раз для ChatGPT, тем более что, мошенники уже тоже активно его используют.

Сначала мы решили придумать единую систему для генерации и «фишинговых», и безопасных писем.

Мы выделили 6 параметров письма и набор значений для каждого из них. Параметры «Целевое действие» и «Цель» определяли, какое письмо: «мошенническое» или безопасное. Сделать имейлы конкретными и разнообразными должны были дополнительные параметры: «Отправитель», «Получатель», «Дополнительные особенности».

Например, так могла бы выглядеть комбинация для генерации письма от мошенников:

Дальше мы присвоили каждому значению цифро-буквенный код, определили правила создания комбинаций, исключения и попросили ChatGPT составить 100 первых вариантов. Занесли их в таблицу и расшифровали.

В промте для генерации писем мы указали ChatGPT придумывать имена, названия и ссылки:

Кажется, всё очень просто. Что могло пойти не так?

1. Оказалось, что ChatGPT далеко не всегда следовал заданным правилам при построении комбинаций. В результате возникали странные сочетания:

2. При генерации текстов ChatGPT часто вдруг «забывал» промт: отказывался придумывать конкретные имена, названия и ссылки, игнорировал некоторые параметры. При этом упорно отказывался признавать и исправлять ошибки, чем выводил из себя даже самых сдержанных методистов.

3. Многие письма были слишком абстрактными, неинтересными, «пустыми». На просьбы написать что-то более конкретное и оригинальное нейросетка меняла местами два слова.

Мы продолжили экспериментировать (когда методист вернулся в себя). Постепенно мы пришли к тому, что промты должны быть как можно более краткими и конкретными. Мы решили так:

— отделим генерацию «фишинговых» писем от безопасных,
— сократим количество параметров,
— конкретизируем значения основных параметров,
— оставим нейросетке простор для интерпретации там, где вариабельность не имеет стратегического значения.

1. «Чего хотят мошенники». Этот параметр описывает, какого действия «мошенники» ждут от жертвы. Например: «Заставить сотрудника выслать ответное письмо с учётными данным от корпоративного аккаунта».

2. «Манипуляция». Этот параметр определяет, в какой форме «мошенники» будут добиваться желаемого. Например: «Сообщение от службы безопасности компании о блокировке аккаунта на корпоративном портале, прислано с домена похожего на bigcompany.ru».

3. «Особенности письма». Этот параметр не стратегически важный, но он повышает вариативность. Примеры значений здесь описываем коротко: «Ироничный тон», «Пишет безграмотный человек».

Также мы придумали список «легитимных» организаций, под которые могут маскироваться мошенники. Это сделано для того, чтобы пользователь мог заметить ошибку в адресе отправителя. Например:

Чтобы избежать ошибок при создании комбинаций, мы попросили ChatGPT написать код на Python и запустили его в среде разработки colab.

Мы также сократили промт для генерации:

И…всё получилось! В отличие от предыдущего подхода нам удалось за несколько минут сгенерировать несколько десятков интересных и забавных писем, как мы и хотели! А ещё мучительный процесс противостояния с искусственным интеллектом превратился в увлекательное времяпрепровождение.