ГОСТ Р 59879-2021

ФЕДЕРАЛЬНОЕ АГЕНТСТВО

                                         ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ




                                                   НАЦИОНАЛЬНЫЙ                       ГОСТ Р
                                                        СТАНДАРТ
                                                     РОССИЙСКОЙ
                                                                                      59879  —


                                                       ФЕДЕРАЦИИ                      2021




                                                 Эргономика.
                                    Проектирование и применение испытаний
                                             речевых технологий

                                         МЕТОДИКА ОПРЕДЕЛЕНИЯ
                                  ПОКАЗАТЕЛЕЙ КАЧЕСТВА РАСПОЗНАВАНИЯ
                                     ГОЛОСОВЫХ КОМАНД УПРАВЛЕНИЯ



                                                      Издание официальное




                                                              Москва
                                                 Российский институт стандартизации
                                                                2021




контроль качества строительства

ГОСТ Р 59879—2021


                                       Предисловие
     1 РАЗРАБОТАН Федеральным государственным унитарным предприятием «Научно-исследова­
тельский институт «Квант» («ФГУП «НИИ «Квант»)

    2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект»

     3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому ре­
гулированию и метрологии от 25 ноября 2021 г. № 1582-ст

    4 ВВЕДЕН ВПЕРВЫЕ




     Правила применения настоящего стандарта установлены в статье 26 Федерального закона
от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об из­
менениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего
года) информационном указателе «Национальные стандарты», а официальный текст изменений
и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае
пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет
опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные
стандарты». Соответствующая информация, уведомление и тексты размещаются также в ин­
формационной системе общего пользования — на официальном сайте Федерального агентства по
техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)




                                                              © Оформление. ФГБУ «РСТ», 2021

     Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и рас­
пространен в качестве официального издания без разрешения Федерального агентства по техническо­
му регулированию и метрологии

ГОСТ Р 59879—2021


                                                                          Содержание
1 Область пр и м е н е н и я ..................................................................................................................................................1
2 Термины и определения ........................................................................................................................................... 1




                                                                                                                                                                             СМ СМ СМ
3 Общее описание с и с те м ы .............................................................................................................
4 Показатели качества системы распознавания голосовых команд управления .............
5 Методика оценки показателей качества распознавания голосовых команд управления
       5.1 Общие тр е б о в а н и я ...................................................................................................................................... 2
       5.2 Виды и с п ы т а н и й ...........................................................................................................................................3
       5.3 Методика оценки показателя полноты словаря команд у п р а в л е н и я ...........................................3
       5.4 Методика оценки показателя ошибки распознавания голосовых команд уп р а вл е н и я ............. 4
       5.5 Методика оценки показателя реального времени распозн ава ни я................................................... 5
6 Итоговая оценка качества системы распознавания голосовых команд у п р а в л е н и я ..................................5
Приложение А (обязательное) Требования к тестовым данным 1 ....................................................................6
Приложение Б (обязательное) Требования к тестовым данным 2 ....................................................................7
Приложение В (обязательное) Требования к тестовым данным 3 ....................................................................8
Приложение Г (обязательное) Требования к грамматике системы распознавания
                голосовых команд управления ..................................................................................................... 9
Приложение Д (обязательное) Пример текстового файла с результатом распознавания
                голосовой команды ....................................................................................................................... 10
Приложение Е (обязательное) Форма протокола испытаний системы распознавания
                голосовых команд управления ................................................................................................... 11
Б ибл иограф ия.............................................................................................................................................................. 13

ГОСТ Р 59879— 2021


Н А Ц И О Н А Л Ь Н Ы Й           С Т А Н Д А Р Т          Р О С С И Й С К О Й             Ф Е Д Е Р А Ц И И


         Эргономика. Проектирование и применение испытаний речевых технологий

                      МЕТОДИКА ОПРЕДЕЛЕНИЯ ПОКАЗАТЕЛЕЙ КАЧЕСТВА
                     РАСПОЗНАВАНИЯ ГОЛОСОВЫХ КОМАНД УПРАВЛЕНИЯ

                       Ergonomics. Design and application of speech technology tests.
             Methodology for determining quality indicators of recognition of voice control commands



                                                                                  Дата введения — 2022— 03— 01



     1 Область применения
      1.1 В настоящем стандарте установлены методика определения показателей качества распозна­
вания голосовых команд, перечень основных параметров и методы их оценки для определения каче­
ства работы систем распознавания голосовых команд управления. Данная методика определяет виды
испытаний и последовательность их проведения.
      1.2 Настоящий стандарт распространяется на системы распознавания голосовых команд управ­
ления.
      1.3 Оценки, установленные настоящим стандартом, могут быть получены в автоматизированном
(программном) режиме и использованы для сравнения различных систем распознавания голосовых
команд управления, а также для формирования рекомендаций по их совершенствованию.


     2 Термины и определения
     В настоящем стандарте применены следующие термины с соответствующими определениями:
     2.1 голосовая команда: Речевое сообщение, которое может быть распознано в качестве коман­
ды для функционального устройства.
     2.2 словарь (системы распознавания голосовых команд управления): Перечень всех непо­
вторяющихся команд системы распознавания голосовых команд управления.
     2.3 грамматика (системы распознавания голосовых команд управления): Набор правил, за­
данный в определенном формате, определяющий структуру возможных команд в виде линейного пере­
числения слов или словосочетаний с возможностью подстановки переменных значений.
     2.4 результат распознавания: Ответ от системы распознавания команд голосового управления в
виде текстового представления распознанной команды и при наличии соответствующего ему значения
достоверности.
     2.5 достоверность: Один из выходных параметров системы распознавания голосовых команд
управления, который представляет собой число в диапазоне от 0 до 1, характеризующее апостериор­
ную оценку соответствия голосовой команды ответу от системы распознавания.
     2.6 ложный отказ: Тип ошибки, при которой результат распознавания голосовой команды из сло­
варя содержит истинное значение голосовой команды при значении достоверности, не превышающем
заданное пороговое значение, либо результат распознавания не содержит ни одной команды, приве­
денной в словаре.
     2.7 ложное срабатывание: Тип ошибки, при которой результат распознавания голосовой коман­
ды, отсутствующей в словаре, содержит значение достоверности, превышающее заданное пороговое
значение.
     2.8 ошибка спутывания: Тип ошибки, при которой результат распознавания голосовой команды
из словаря содержит ложное значение при значении достоверности, превышающем заданное порого­
вое значение.



Издание официальное
                                                                                                               1