Недоліки тестів безпеки штучного інтелекту

Дослідники виявили значні прогалини в сотнях тестів, які використовують для оцінки безпеки та ефективності нових штучних інтелектів. Як повідомляє The Guardian, фахівці з Інституту безпеки штучного інтелекту у Великій Британії разом з експертами з Стенфорда, Берклі та Оксфорда проаналізували понад 440 тестів для оцінки систем безпеки ШІ.
З'ясувалося, що виявлені недоліки «підривають надійність отриманих даних», а майже всі тести мають «прогалини в принаймні одній області», що може призвести до «неправильних або навіть оманливих» висновків.
Багато з цих тестів використовуються для оцінки новітніх моделей ШІ, розроблених ведучими технологічними компаніями, зазначив провідний дослідник Ендрю Бін з Оксфордського інституту.
В умовах відсутності централізованого регулювання ШІ у Великій Британії та США ці тести застосовуються для перевірки безпечності нових моделей, їх відповідності інтересам суспільства та здатності виконувати заявлені функції в аргументації, математиці та кодуванні.
«Тести є основою практично всіх заяв про досягнення в галузі штучного інтелекту. Але без єдиних визначень і надійних методів вимірювання важко зрозуміти, чи дійсно моделі покращуються, чи лише створюється видимість», - підкреслив Бін.
У рамках дослідження були розглянуті лише загальнодоступні тести, тоді як провідні компанії також мають власні внутрішні тести, які не були предметом аналізу.
Бін зазначив, що «шокуючим було те, що лише 16% тестів використовували оцінки невизначеності або статистичні методи для демонстрації ймовірності точності критеріїв. В інших випадках визначення критеріїв для оцінки характеристик ШІ, таких як «нешкідливість», були неоднозначними або заплутаними, що знижувало цінність тестів.
У висновках дослідження підкреслюється «необхідність спільних стандартів і кращих практик» у сфері штучного інтелекту.