ГОСТ Р 59898-2021

ФЕДЕРАЛЬНОЕ АГЕНТСТВО

                                         ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ




                                                      Н А Ц И О Н А Л Ь Н Ы Й
                                                                                      ГОСТ Р
                        f                                   С Т А Н Д А Р Т
                                                                                      59898—
                        (   МГ   V _J(   )               Р О С С И Й С К О Й
                                                          Ф Е Д Е Р А Ц И И           2021




                                      ОЦЕНКА КАЧЕСТВА СИСТЕМ
                                    ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
                                                 Общие положения


                                                     Издание официальное




                                                              Москва
                                                 Российский институт стандартизации
                                                                2021




стоимость сертификата

ГОСТ Р 59898—2021


                                       Предисловие
     1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением
высшего образования «Национальный исследовательский университет «Высшая школа экономики»
(НИУ ВШЭ)

    2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект»

     3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому ре­
гулированию и метрологии от 26 ноября 2021 г. 1620-ст

    4 ВВЕДЕН ВПЕРВЫЕ




     Правила применения настоящего стандарта установлены в статье 26 Федерального закона
от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об из­
менениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего
года) информационном указателе «Национальные стандарты», а официальный текст изменений
и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае
пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет
опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные
стандарты». Соответствующая информация, уведомление и тексты размещаются также в ин­
формационной системе общего пользования — на официальном сайте Федерального агентства по
техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)




                                                              © Оформление. ФГБУ «РСТ», 2021

     Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и рас­
пространен в качестве официального издания без разрешения Федерального агентства по техническо­
му регулированию и метрологии

ГОСТ Р 59898—2021


                                                                             Содержание
1 Область пр и м е н е н и я ..................................................................................................................................................1
2 Нормативные с с ы л ки ..................................................................................................................................................1
3 Термины и определения............................................................................................................................................. 2
4 С о кр а щ е н и я .................................................................................................................................................................4
5 Модель качества.......................................................................................................................................................... 4
6 Методология и критерии оценки качества на стадиях жизненного цикла С И И ........................................... 5
7 Общие принципы и порядок оценки качества С И И ............................................................................................ 6
    7.1 Разработка программы тестирования (и сп ы та н и й )................................................................................... 6
    7.2 Алгоритм оценки качества С И И .......................................................................................................................8
8 Представительный набор существенных характеристик                                                      ипоказатели качества С И И ........................... 11
    8.1 Общие полож ения..............................................................................................................................................11
    8.2 Функциональные возможности (functionality) СИИ. М е тр и ки .................................................................. 11
    8.3 Уровень производительности (performance efficiency) СИИ. Метрики.................................................15
    8.4 Способность СИИ к взаимодействию (compatibility). М етрики..............................................................15
    8.5 Мобильность (portability) СИИ. М е т р и к и ..................................................................................................... 16
    8.6 Практичность (usability) СИИ. М е т р и к и ....................................................................................................... 16
    8.7 Сопровождаемость (maintainability) СИИ. Метрики................................................................................... 16
    8.8 Надежность (reliability) СИИ. М е тр и ки ..........................................................................................................17
9 Требования к набору входных и выходных данных для тестирования С И И ..............................................18
Б ибл иограф ия............................................................................................................................................................. 20




                                                                                                                                                                                    III

ГОСТ Р 59898—2021


                                          Введение
      Оценка качества является неотъемлемой частью жизненного цикла систем искусственного интел­
лекта (СИИ) и включает в себя действия, проводимые на стадиях разработки, создания и эксплуатации
данных систем в целях обеспечения необходимого уровня соответствия СИИ установленным требова­
ниям. В зависимости от стадии жизненного цикла оценка качества позволяет:
      - определить текущие параметры СИИ и выполнить действия, направленные на повышение
ее надежности, производительности, востребованности и целенаправленности, а также расширения
функциональности системы (путем выполнения процедур по устранению неисправностей и совершен­
ствованию программного обеспечения);
      - удостовериться, что выходные данные СИИ являются приемлемыми и обоснованными для
решения поставленной задачи в условиях, представленных в описании СИИ, с учетом современного
уровня развития отрасли;
      - убедиться в достижении целей предназначения СИИ в условиях обеспечения заданной точно­
сти, надежности и достоверности выходных данных;
      - подтвердить соответствие характеристик СИИ требуемым значениям, установленным в техни­
ческой документации и/или нормативных правовых актах.
      Отсутствие надлежащей оценки качества систем ИИ может привести к снижению уровня безо­
пасности людей, окружающей природной среды, материальных и нематериальных активов. С другой
стороны, наличие грамотно выстроенной системы оценки качества позволяет повысить доверие к си­
стемам ИИ на физическом уровне путем подтверждения требований к надежности, безопасности и
функциональности.
      Настоящий стандарт разработан на основе ГОСТ Р ИСО/МЭК 25010— 2015, определяющего об­
щие подходы к оценке качества программных продуктов и преимущественно программных вычисли­
тельных систем, но не учитывающего специфику вычислительных алгоритмов и характеристик СИИ.
      Настоящий стандарт позволяет дополнить представленный в ГОСТ Р ИСО/МЭК 25010 набор по­
казателей качества специализированными характеристиками (субхарактеристиками) и соответствую­
щими метриками для обеспечения полноценной оценки качества СИИ.
      В настоящем стандарте: определено понятие качества СИИ; приведена методология, показатели
и критерий оценки качества на стадиях жизненного цикла СИИ; формализована модель качества СИИ;
приведена классификация существенных характеристик и показателей качества СИИ.




IV