ГОСТ Р 70462.1-2022

ФЕДЕРАЛЬНОЕ АГЕНТСТВО

                               ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ




                                         НАЦИОНАЛЬНЫЙ
                                                                              ГОСТ Р
                                            СТАНДАРТ                          70462 . 1—
                                          РОССИЙСКОЙ                          2022/
                                           ФЕДЕРАЦИИ                          ISO/IEC TR
                                                                              24029- 1—2021




                                Информационные технологии
                            И Н Т Е Л Л Е К Т И С КУ С С ТВ Е Н Н Ы Й
                          Оценка робастности нейронных сетей
                                                  Часть         1

                                                    Обзор
                           (ISO/IEC TR 24029-1:2021, Artificial Intelligence (Al) —
                   Assessment of the robustness of neural networks — Part 1: Overview, IDT)



                                             Издание официальное




                                                      Москва
                                         Российский институт стандартизации
                                                        2022




методы испытаний

ГОСТ Р 70462.1— 2022


                                                     Предисловие
      1 ПОДГОТОВЛЕН Ф едеральны м государственны м автоном ны м образовательны м учреждением
вы сш его образования «Н ациональны й исследовательский университет «Высш ая ш кола эконом ики»
(НИ У ВШ Э) на основе собственного перевода на русский язы к англоязы чной версии докум ента, ука зан ­
ного в пункте 4

      2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 «И скусственны й интеллект»

     3 У ТВЕ РЖ Д ЕН И ВВЕДЕН В ДЕ Й С ТВ И Е П риказом Ф едерального агентства по техническом у
регулированию и метрологии от 2 ноября 2022 г. № 1226-ст

        4 Н астоящ ий станда р т идентичен м еж д ун а ро д н ом у д о ку м е н ту IS O /IE C TR 24029-1:2021
« И скусстве нны й ин телл ект (AI). О ценка устой чи во сти н ей р онны х сетей. Ч асть 1. Обзор»
(IS O /IE C TR 2 4 0 2 9 -1 :2021 «A rtificial Intelligence (AI) — A s s e ssm e n t o f the rob ustn e ss o f neural netw orks —
Part 1: O verview », IDT).
        Н аим енование настоящ его стандарта изм енено относительно наим енования указанного м еж ду­
народного докум ента для приведения в соответствие с ГОСТ Р 1.5— 2012 (пункт 3.5)

      5 ВВЕДЕН ВП ЕРВ Ы Е




     Правила применения настоящего стандарта установлены в статье 26 Федерального закона
от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об из­
менениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего
года) информационном указателе «Национальные стандарты», а официальный текст изменений
и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае
пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет
опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные
стандарты». Соответствующая информация, уведомление и тексты размещаются также в ин­
формационной системе общего пользования — на официальном сайте Федерального агентства по
техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)




                                                                                                          © ISO, 2021
                                                                                                          © IEC, 2021
                                                                                    © О ф орм ление. ФГБУ «РСТ», 2022

      Н астоящ ий стандарт не может бы ть полностью или частично воспроизведен, тираж ирован и рас­
пространен в качестве оф ициального издания без разреш ения Ф едерального агентства по техниче­
ском у регулированию и метрологии

ГОСТ Р 70462.1— 2022


                                                                                  Содержание
1 О бласть п р и м е н е н и я ........................................................................................................................................................... 1
2 Н орм ативны е с с ы л ки ........................................................................................................................................................... 1
3 Термины и о п р е д е л е н и я ....................................................................................................................................................1
4 Обзор сущ ествую щ их методов оценки робастности нейронны х с е т е й ............................................................ 2
         4.1 О бщ ие п о л о ж е н и я ...............................................................................................................................................2
         4.2 Классиф икация м е т о д о в ................................................................................................................................... 5
5 С татистические м етоды ...................................................................................................................................................... 6
         5.1 О бщ ие п о л о ж е н и я ............................................................................................................................................... 6
         5.2 М етрики робастности, им ею щ иеся в распоряж ении статистических м е т о д о в ............................. 6
         5.3 С татистические методы измерения робастности нейронной с е т и ................................................... 11
6 Ф орм альны е м е т о д ы ......................................................................................................................................................... 11
         6.1 О бщ ие п о л о ж е н и я ............................................................................................................................................. 11
         6.2 Цель робастности, достиж им ая с использованием ф орм альны х м е т о д о в .................................. 12
         6.3 Проведение тестирования ф орм альны м и м е т о д а м и ...........................................................................13
7 Э м пирические м е то д ы ...................................................................................................................................................... 14
         7.1 О бщ ие п о л о ж е н и я ............................................................................................................................................. 14
         7.2 Э ксплуатационны е испы та ни я........................................................................................................................15
         7.3 А постериорное т е с т и р о в а н и е ........................................................................................................................15
         7.4 Э талонное тестирование нейронны х с е т е й ..............................................................................................16
П рилож ение А (справочное) Возм ущ ение д а н н ы х ................................................................................................... 18
П рилож ение В (справочное) Принцип абстрактной и н те р пр е та ц и и .................................................................. 22
Б и б л и о гр а ф и я .........................................................................................................................................................................23

ГОСТ Р 70462.1— 2022


                                             Введение
       При проектировании системы искусственного интеллекта (далее — ИИ) некоторы е свойства, та­
кие как робастность, отказоустойчивость, надеж ность, точность, безопасность, ко нф иденциальность
и т. д., часто считаю т предпочтительны м и. О пределение робастности приведено в 3.6. Робастность —
важ нейш ее свойство, которое ставит новые задачи в сф ере систем ИИ. Н апример, в рам ках управл е­
ния рисками систем ИИ сущ ествую т некоторы е риски, которые конкретно связаны с робастностью этих
систем и поним ание которы х имеет важное значение для внедрения ИИ во м ногих сф ерах. В настоя­
щем стандарте представлен обзор актуал ьны х подходов для оценки этих рисков с особы м упором на
нейронны е сети, ш ироко использую щ иеся в пром ы ш ленности.
       В больш инстве отраслей пром ы ш ленности проверка програм м ного обеспечения — это важ ней­
шая часть лю бого производственного процесса. Задача состоит в том, чтобы обеспечить как безопас­
ность, так и производительность програм м ного обеспечения, используем ого во всех частях системы.
В некоторы х областях процесс вериф икации програм м ного обеспечения (вклю чая его обновления) та к­
же является важной частью сертиф икации. Н апример, в автом обильной или авиационной областях при
применении д ействую щ их стандартов, таких как ИСО 26262 [1] или DO 178С, необходим о предприни­
мать определенны е действия для обоснования дизайна, реализации и тестирования лю бого встроен­
ного програм м ного обеспечения.
       М етоды, используем ы е в систем ах ИИ, такж е подлежат валидации. О днако общ ие методы в си­
стем ах ИИ создаю т новые проблемы, которые требую т конкретны х подходов для обеспечения адекват­
ного тестирования и/или проверки.
       Типы тех систем, которые основаны на технологиях ИИ, вклю чаю т систем ы интерполяции/регрес-
сии, классиф икации, скоринговы е и реш аю щ ие систем ы.
       Хотя сущ ествует множество методов валидации систем, не связанны х с ИИ, они не всегда непо­
средственно применимы к системам ИИ и, в частности, к нейронны м сетям. А рхитектуры нейронны х
сетей представляю т собой особую проблему, поскольку они не поддаются простом у анализу и иногда
могут бы ть непредсказуем ы ввиду их нелинейной природы, что требует новых подходов к реш ению
возникаю щ их задач.
       М етоды подразделяю тя на три группы: статистические методы, ф орм альны е методы и эм пи ри че ­
ские методы. В настоящ ем стандарте представлена справочная инф орм ация о сущ ествую щ их методах
оценки робастности нейронны х сетей.
       Отмечается, что характеристика робастности нейронны х сетей является откры той областью ис­
следований и что сущ ествую т ограничения как для подходов тестирования, так и для процессов вали­
дации.




IV