Перейти до основного вмісту

🟢 Введення коду

Введення коду1 — це експлойт для швидкого злому, коли зловмисник може змусити ВММ запускати довільний код (часто Python). Це може трапитися у ВММ, доповнених інструментами, які можуть надсилати код інтерпретатору, але це також може статися, коли самі ВММ використовується для оцінки коду.

Як повідомляється, введення коду було виконано у програмі зі штучним інтелектом, MathGPT і використано для отримання ключа API OpenAI (звіт MITRE).

примітка

З того часу MathGPT захищено від введення коду. Будь ласка, не намагайтеся зламати її; виклики API платні.

Наприклад​

Попрацюймо зі спрощеним прикладом програми MathGPT. Ми припустимо, що вона приймає математичну задачу та пише код на Python, щоб спробувати її вирішити.

Ось запит, який використовує спрощений приклад програми:

Напиши код на Python, щоб розв’язати таку математичну задачу:
{{user_input}}

Зламаймо її тут:

Це простий приклад, але він показує, що цей вид експлойту є значним і небезпечним.

  1. Kang, D., Li, X., Stoica, I., Guestrin, C., Zaharia, M., & Hashimoto, T. (2023). Exploiting Programmatic Behavior of LLMs: Dual-Use Through Standard Security Attacks. ↩