Американская технологическая компания Nvidia представила новую платформу безопасности для искусственного интеллекта, призванную предотвратить неконтролируемое поведение ИИ-агентов. Решения, получившие названия OpenShell и Sentry, призваны ограничить доступ ИИ к определённым данным, отслеживать его действия и автоматически останавливать в случае выхода за установленные программные рамки.
По словам представителей Nvidia, эти инструменты позволят разработчикам более уверенно использовать ИИ в различных приложениях, минимизируя риски, связанные с непредвиденным или деструктивным поведением систем искусственного интеллекта. Платформа направлена на обеспечение более надёжного контроля над сложными ИИ-моделями, которые могут проявлять нежелательные или опасные тенденции при взаимодействии с внешними системами или данными.
OpenShell и Sentry будут работать совместно, обеспечивая многоуровневую защиту. OpenShell будет отвечать за установление границ для ИИ-агентов, определяя, к каким ресурсам и информации они могут обращаться. Sentry, в свою очередь, займётся мониторингом поведения ИИ в реальном времени. В случае обнаружения отклонений от заданных параметров или попыток нарушения установленных ограничений, Sentry сможет оперативно прервать работу агента, предотвращая потенциальный ущерб. Таким образом, Nvidia стремится повысить уровень доверия к технологиям искусственного интеллекта и способствовать их безопасному внедрению в критически важные сферы.
