ГОСТ Р ИСО/МЭК 24029-2-2024

ФЕДЕРАЛЬНОЕ АГЕНТСТВО

                                              ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ




                                                   НАЦИОНАЛЬНЫЙ                      ГО С ТР
                                                     СТАНДАРТ
                                                                                     ИСО/МЭК 2 4 0 2 9 -2 -
                                                      РОССИЙСКОЙ
                                                       ФЕДЕРАЦИИ                     2024




                                            ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ

                                         Оценка робастности нейронных сетей
                                                                  Часть         2

                              Методология использования формальных методов
                             (ISO/IEC 24029-2:2023, Artificial intelligence (Al) — Assessment of the robustness of
                                  neural networks — Part 2: Methodology for the use of formal methods, IDT)




                                                             Издание официальное




                                                                      Москва
                                                         Российский институт стандартизации
                                                                        2024




государственный сертификат

ГОСТ Р ИСО/МЭК 24029-2—2024


                                          Предисловие
     1 ПОДГОТОВЛЕН Обществом с ограниченной ответственностью «Институт развития информа­
ционного общества» (ООО «ИРИО») на основе собственного перевода на русский язык англоязычной
версии стандарта, указанного в пункте 4

     2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект»

     3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому
регулированию и метрологии от 28 октября 2024 г. № 1542-ст

      4 Настоящий стандарт идентичен международному стандарту ИСО/МЭК 24029-2:2023 «Искус­
ственный интеллект (ИИ). Оценка робастности нейронных сетей. Часть 2. Методология использования
формальных методов» (ISO/IEC 24029—2:2023 «Artificial intelligence (Al) — Assessment of the robustness
of neural networks — Part 2: Methodology for the use of formal methods», IDT).
      Наименование настоящего стандарта изменено относительно наименования указанного между­
народного стандарта для приведения в соответствие с ГОСТ Р 1.5—2012 (пункт 3.5).
      При применении настоящего стандарта рекомендуется использовать вместо ссылочных между­
народных стандартов соответствующие им национальные стандарты, сведения о которых приведены
в приложении ДА

     5 ВВЕДЕН ВПЕРВЫЕ




     Правила применения настоящего стандарта установлены в статье 26 Федерального закона
от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об
изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего
года) информационном указателе «Национальные стандарты», а официальный текст изменений
и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае
пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет
опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные
стандарты». Соответствующая информация, уведомление и тексты размещаются также в
информационной системе общего пользования — на официальном сайте Федерального агентства
по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)




                                                                                    © ISO, 2023
                                                                                    © IEC, 2023
                                             © Оформление. ФГБУ «Институт стандартизации», 2024

     Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и рас­
пространен в качестве официального издания без разрешения Федерального агентства по техническо­
му регулированию и метрологии

ГОСТ Р ИСО/МЭК 24029-2—2024


                                                                       Содержание
1 Область применения............................................................................................................................................ 1
2 Нормативные ссылки............................................................................................................................................ 1
3 Термины и определения......................................................................................................................................1
4 Сокращения...........................................................................................................................................................3
5 Оценка робастности............................................................................................................................................3
    5.1 Общие положения ....................................................................................................................................... 3
    5.2 Понятие области............................................................................................................................................4
    5.3 Стабильность................................................................................................................................................ 5
    5.4 Чувствительность..........................................................................................................................................6
    5.5 Релевантность................................................................................................................................................ 6
    5.6 Достижимость................................................................................................................................................ 7
6 Применимость формальных методов к нейронным сетям...........................................................................8
    6.1 Типы рассматриваемых нейронных с е те й ............................................................................................... 8
    6.2 Типы применимых формальных                               методов............................................................................................. 10
    6.3 Краткое изложение......................................................................................................................................13
7 Робастность на протяжении жизненного цикла системы И И ......................................................................13
    7.1 Общие полож ения......................................................................................................................................13
    7.2 Оценка робастности в процессепроектирования и разработки.......................................................... 14
    7.3 Оценка робастности в процессеверификации и валидации...............................................................15
    7.4 Оценка робастности в процессе развертывания.................................................................................17
    7.5 Оценка робастности в процессе                            эксплуатации имониторинга.......................................................... 18
Приложение ДА (справочное) Сведения о соответствии ссылочных международных стандартов
              национальным стандартам................................................................................................... 20
Библиография........................................................................................................................................................21

ГОСТ Р ИСО/МЭК 24029-2—2024


                                          Введение
      Нейронные сети широко применяются для выполнения сложных задач в различных ситуациях,
таких как обработка изображений и естественного языка, а также прогностическое обслуживание. Мо­
дели качества системы искусственного интеллекта (ИИ) включают определенные характеристики, в том
числе робастность. Например, стандарт [1], который распространяет международные стандарты серии
SQuaRE [2] на системы ИИ, в своей модели качества определяет, что робастность является одной
из характеристик надежности. Способность системы поддерживать свой уровень производительности
в различных условиях может быть продемонстрирована с помощью статистического анализа, однако
для доказательства наличия данной способности требуется проведение формального анализа. В этом
отношении формальные методы могут комбинироваться с другими методами повышения доверия к
робастности нейронной сети.
      Формальные методы — это математические приемы для строгой спецификации и верификации
программных и аппаратных систем с целью доказательства их корректности. Формальные методы ис­
пользуются для формального рассуждения о нейронных сетях и проверки их соответствия требуемым
свойствам робастности. Например, рассмотрим классификатор на основе нейронной сети, который
принимает в качестве входных данных изображение, а в качестве выходных данных возвращает метку
из заданного набора классов (например, автомобиль или самолет). Такой классификатор может быть
формально представлен в виде математической функции, которая принимает интенсивность пиксе­
лей изображения в качестве входных данных, вычисляет вероятности для каждого возможного класса
из определенного набора и возвращает метку, соответствующую наибольшей вероятности. Затем эта
формальная модель может быть использована для математического обоснования работы нейронной
сети при изменении входного изображения. Например, предположим, что при наличии конкретного изо­
бражения, для которого нейронная сеть выводит метку «автомобиль», можно задать следующий во­
прос: «выводит ли сеть другую метку, если значение произвольного пикселя на изображении изменяет­
ся?». Этот вопрос может быть сформулирован как формальное математическое утверждение, которое
является истинным либо ложным для данной нейронной сети и изображения.
      Классический подход к использованию формальных методов состоит из трех основных этапов,
описанных в настоящем стандарте. На первом этапе анализируемая система формально определяется
в модели, которая точно отражает все возможные варианты поведения системы. На втором этапе тре­
бование формулируется в виде математического выражения. На заключительном третьем этапе один
из формальных методов, например решатель, абстрактная интерпретация или проверка с помощью
модели используется для оценки соответствия системы заданному требованию, что приводит к доказа­
тельству либо к контрпримеру, либо к неоднозначному результату.
      В настоящем стандарте описаны несколько доступных формальных методов. Представлены кри­
терии, применимые для оценки робастности нейронных сетей и определены способы проверки ней­
ронных сетей с помощью формальных методов на каждой стадии жизненного цикла системы ИИ. При
использовании формальных методов могут возникнуть сложности с точки зрения масштабируемости,
однако они по-прежнему применимы ко всем типам нейронных сетей, выполняющих различные зада­
чи с несколькими типами данных. Формальные методы уже давно используются в традиционных про­
граммных системах, однако их применение по отношению к нейронным сетям началось сравнительно
недавно и все еще является активной областью исследований.
      Настоящий стандарт направлен на то, чтобы помочь разработчикам ИИ, которые используют ней­
ронные сети и перед которыми стоит задача оценить их робастность на соответствующих стадиях жиз­
ненного цикла системы ИИ. Помимо формальных методов, описанных в настоящем стандарте, более
детальный обзор методов оценки робастности нейронных сетей представлен в ISO/IEC TR 24029-1.




IV