Программа испытаний информационной системы (РД 50-34.698-90)
Программа и методика проведения испытаний системы (подсистемы) на этапе опытного функционирования предназначена для установления данных, обеспечивающих получение и проверку проектных решений, выявление причин сбоев, определение качества работ, показателей качества функционирования системы (подсистемы), проверку соответствия системы требованиям техники безопасности, продолжительность и режим испытаний.
Согласно РД 50-34.698-90 «Автоматизированные системы требования к содержанию документов», программа испытаний содержит следующие разделы:
- объект испытаний
- цель испытаний
- общие положения
- объем испытаний
- условия и порядок проведения испытаний
- материально-техническое обеспечение испытаний
- метрологическое обеспечение испытаний
- отчетность
- приложение (методика испытаний)
Объект испытаний
В разделе "Объект испытаний" указывают:
- полное наименование автоматизированной информационной системы, обозначение;
- комплектность испытательной автоматизированной информационной системы.
Например:
Полное наименование – корпоративное хранилище данных.
Обозначение – КХД или Система.
Испытаний проводятся для всех подсистем и функций Системы. Так же испытания включают проверку необходимого сетевого оборудования и каналов связи.
Цель испытаний
В разделе "Цель испытаний" указывают конкретные цели и задачи, которые должны быть достигнуты и решены в процессе испытаний.
Например:
Целью проведения испытаний является:
- проверка взаимодействия подсистем Системы;
- проверка работоспособности Системы;
- проверка соответствия Системы требованиям приведенным в документе «Техническое задание»;
- проверка готовности Системы к проведению опытной эксплуатации или приемочных испытаний на территории Заказчика.
Общие положения
В разделе "Общие положения" указывают:
- перечень руководящих документов, на основании которых проводят испытания;
- место и продолжительность испытаний;
- организации, участвующие в испытаниях;
- перечень ранее проведенных испытаний;
- перечень предъявляемых на испытания документов, откорректированных по результатам ранее проведенных испытаний.
Перечень руководящих документов
Настоящая Программа и Методика Испытаний разработана в соответствии со следующими документами:- Процедура управления внутренней нормативной документацией.
- Процедура управления записями в системе менеджмента качества.
- Типовая методика измерений и оценки эксплуатационных параметров автоматизированных информационных систем.
- Перечень эксплуатационных параметров автоматизированных информационных систем.
- ГОСТ 34.603-92 Виды испытаний автоматизированных систем.
- РД 50-34.698-90 Автоматизированные системы требования к содержанию документов.
- ГОСТ 19.301-79 Программа и методика испытаний. Требования к содержанию и оформлению.
- РД 50-34.698-90 Методические указания информационная технология комплекс стандартов и руководящих документов на автоматизированные системы автоматизированные системы требования к содержанию документов.
- Техническое задание.
Место и продолжительность испытаний
Испытательный стенд находится на территории Заказчика по адресу: г. Москва, ул. Ленина, д.111.Испытания проводятся в течении X дней.
Участники испытаний
В испытаниях принимают участие Заказчик и Исполнитель.Допускается привлечение экспертов из сторонних организаций.
Перечень ранее проведенных испытаний
До начала данных испытаний тестирования или испытания Системы не проводились (или были проведены автономные, или комплексные, или опытная эксплуатация).Перечень предъявляемых на испытания документов
Ниже приведен перечень программной документации, предъявляемой для использования:- Паспорт.
- Общее описание системы.
- Технологическая инструкция.
- Руководство пользователя.
- Описание технологического процесса обработки данных (включая телеобработку).
- Инструкция по формированию и ведению базы данных (набора данных).
- Состав выходных данных (сообщений).
- Каталог базы данных.
- Описание программ.
- Текст программ.
Объем испытаний
В разделе "Объем испытаний" указывают:
- перечень этапов испытаний и проверок, а также количественные и качественные характеристики, подлежащие оценке;
- последовательность проведения и режима испытаний;
- требования по испытаниям программных средств;
- перечень работ, проводимых после завершения испытаний, требования к ним, объем и порядок проведения.
Перечень этапов испытаний и проверок
Ниже представлен перечень проверок требований изложенных в техническом задании на создание Системы.| № | Объект испытаний/ Компонент объекта испытаний | № пункта ТЗ, требование | Наименование испытания | Вид испытания | Оцени- ваемые характе- ристики |
|---|---|---|---|---|---|
| 1 | Система в целом | 4.2. Система должна протоколировать все события, связанные с изменением своего информационного наполнения | Проверка реализации протоколирования изменения информационного наполнения Системы | Количество групп журнальных файлов | Предвари- тельные |
| 2 | Система в целом | 4.2. Система должна иметь возможность в случае сбоя в работе восстанавливать свое состояние, используя ранее запротоколированные изменения данных | |||
| 3 | Подсистема хранения данных Системы | 4.2. Должна быть реализована задача "Осуществление логического копирования" функции "Осуществляет резервное копирование данных" | Проверка реализации логического резервного копирования |
- Время и дата последнего выполнения задачи логического копирования - Статус последнего выполнения - Время и дата следующего выполнения - Интервал повторений - День недели выполнения - Длительность выполнения |
Опытная эксплуа- тация |
| 4 | Подсистема хранения данных Системы | 4.2. Логическое копирование должно производиться ежемесячно, каждое последнее воскресенье месяца. Во временном интервале 06:00 – 08:00 | |||
| 5 | Подсистема хранения данных Системы | 4.1.1. Логическое копирование данных должно производиться ежемесячно (в конце месяца) | |||
| 6 | ... | и т.д. Требования формируются из технического задания | ... | ... | ... |
Перечень этапов испытаний и проверок формируется следующим образом:
- Из технического задания выбираются все требования и заносятся в колонку "№ пункта ТЗ, требование".
- Путем ответа на вопрос для каждого требования "Какой компонент информационной системы подлежит испытанию?" заполняется столбец "Объект испытаний / Компонент объекта испытаний".
- Для проверки каждого требования формируется методика проведения испытаний.
В методике, в одно испытание могут быть объединены несколько требований, если сформированный в методике порядок проведения испытания, позволяет получить характеристики подлежащие оценке для каждого из требований и сделать вывод о их выполнении.
- Колонки "Наименование испытания" и "Оцениваемые характеристики" заполняются на основе данных из методики испытаний. Методика испытаний готовится параллельно с программой испытаний.
- В колонке "Вид испытания" проставляется вид испытаний (предварительные, опытная эксплуатация, приемочные испытания) на этапе которого будет проводиться само испытание.
Последовательность проведения испытаний
Испытания проводятся в следующей последовательности:Этап 1. Проведение испытаний, описание результатов испытаний, и выявленных неполадок.
Этап 2. Оценка неполадок и определение доработок.
Этап 3. Устранение неполадок.
Этап 4. Передача Системы для проведения дальнейших испытаний.
Этап 1. Проведение испытаний, описание результатов испытаний, и выявленных неполадок
Члены комиссии по проведению испытаний проводят испытания Системы в последовательности, указанной в таблице ниже настоящего раздела. При проведении испытаний Члены комиссии руководствуются методикой проведения испытаний (методика идет приложением к программе испытаний).
Перед проведением испытаний должен быть заведен Протокол испытаний, который подлежит заполнению в процессе проведения испытаний в соответствии с правилами заполнения. Так же должен быть заведен рабочий Журнал испытаний.
В ходе проведения испытаний, результаты испытаний фиксируются в колонке «Результат испытания» Журнала испытаний.
По мере завершения каждого отдельного испытания, результаты испытания подлежат занесению в раздел «Сведения о результатах наблюдений за правильностью функционирования АИС» Протокола испытаний.
В случае если все характеристики подлежащие оценке находятся в допустимых пределах, то в колонке «Оценка результата испытания» таблицы раздела «Сведения о результатах наблюдений за правильностью функционирования АИС» Протокола испытаний записывается «Успешно», иначе «Не успешно».
В случае если результата испытания был признан не успешным (колонка «Оценка результата испытания») или во время проведения испытаний возникла ошибка или иные неисправности, то результат фиксируется в таблице раздела «Сведения об отказах, сбоях и аварийных ситуациях, возникающих при испытаниях» Протокола испытаний, в которой указывается: описание шага который не удалось выполнить. Также прописывается степень тяжести возникшей неисправности (степень тяжести определяется на основе раздела "Метрологическое обеспечение испытаний" Программы испытаний.
Этап 2. Оценка неполадок и определение доработок
В ходе выполнения испытаний производится, оформления результатов испытаний и выявленных неполадок в Протоколе испытаний, Комиссия по проведению испытаний определяет очередность и сроки их устранения, руководствуясь критериями определения степени тяжести обнаруженных неполадок, изложенными в разделе "Метрологическое обеспечение испытаний", настоящей Программы испытаний.
Протокол испытаний, с отраженными в нем результатами испытаний, выявленными неполадками, сгруппированными по степени тяжести, очередности, и рекомендуемыми сроками их устранения должны быть переданы Комиссией по проведению испытаний Руководителям проекта со стороны Заказчика и Исполнителя.
Руководители проекта со стороны Заказчика и Исполнителя рассматривают полученные материалы, и совместно принимают решение о перечне необходимых доработок, и сроках их выполнения, и назначают ответственных за выполнение доработок со стороны Исполнителя и Заказчика.
Разработанный перечень необходимых доработок, и запланированные сроки их выполнения подлежат занесению Комиссией по проведению испытаний в раздел «Сведения о корректировках параметров объекта испытания и технической документации» Протокола испытаний.
Этап 3. Устранение неполадок
Руководствуясь запланированными сроками доработок, Комиссия по проведению испытаний назначает ответственных и сроки проведения повторных испытаний по которым предусмотрены доработки.
Ответственные за выполнение доработок со стороны Исполнителя и Заказчика производят необходимые доработки в объеме и сроках, указанных в Протоколе испытаний.
Выполненные доработки передаются для испытаний Комиссии по проведению испытаний по мере их выполнения или пакетно.
Комиссия по проведению испытаний выполняет повторные испытания в соответствии с порядком, и методикой испытаний.
Этап 4. Передача Системы для проведения дальнейших испытаний
После устранения выявленных недостатков, Комиссия по проведению испытаний оформляет Акт приемки Системы в опытную эксплуатацию или Акт передачи системы для проведения приемочных испытаний (в зависимости от вида проводимых испытаний).
Ниже представлена последовательность проведения испытаний.
| № | Наименование испытания | День проведения испытания относительно даты начала испытаний |
|---|---|---|
| 1 | Проверка реализации протоколированияизменения информационного наполнения Системы | 1 |
| 2 | Проверка реализации логического резервного копирования | 1 |
| 4 | Тестирование назначения и изменения прав доступа на уровне записей таблиц БД | 2 |
| 5 | Проверка использования протокола TCP/IP при взаимодействии подсистем Системы на транспортно-сетевом уровне | 2 |
| ... | ... | ... |
Требования по испытаниям программных средств
Каждое программное средства и его отдельные модули должны быть испытаны. Эти испытания должны показать, что каждый модуль выполняет предназначенную ему функцию и не выполняет не предназначенных функций.Программные средства должны пройти испытания на отсутствие компьютерных вирусов.
Испытания программных средств проводятся в соответствии с методикой испытаний.
Перечень работ, проводимых после завершения испытаний
По результатам испытаний необходимо оформить отчетную документацию, а также сделать заключение о возможности приёмки Системы в опытную эксплуатацию или возможности поведения приемочных испытаний (в зависимости от вида проводимых испытаний).Условия и порядок проведения испытаний
В разделе "Условия и порядок проведения испытаний" указывают:
- условия проведения испытаний;
- условия начала и завершения отдельных этапов испытаний;
- имеющиеся ограничения в условиях проведения испытаний;
- требования к техническому обслуживанию системы;
- меры, обеспечивающие безопасность и безаварийность проведения испытаний;
- порядок взаимодействия организаций, участвующих в испытаниях;
- порядок привлечения экспертов для исследования возможных повреждений в процессе проведения испытаний;
- требования к персоналу, проводящему испытания, и порядок его допуска к испытаниям.
Условия проведения испытаний
Испытания Системы проводят в объеме, необходимом для проверки взаимодействия подсистем Системы и её работоспособности в целом.Проведению испытаний должно предшествовать:
- Окончание этапа «Разработка рабочей документации. Адаптация программ».
- Подготовка (обучение) персонала.
- Пуско-наладочные работы.
- Организация и подготовка рабочих мест пользователей и администраторов Системы для проведения тестирования.
- Формирование приемочной комиссии.
Имеющиеся ограничения
Испытания должны проводится на тестовом стенде Системы.Срок проведения: начало - dd.mm.yyyy г., окончание - dd.mm.yyyyг. Данный срок является базовым и возможно его изменение.
Требования к техническому обслуживанию
Технические средства Системы и персонал должны размещаться в существующих помещениях Заказчика, которые по климатическим условиям должны соответствовать ГОСТ 15150-69 «Машины, приборы и другие технические изделия. Исполнения для различных климатических районов. Категории, условия эксплуатации, хранения и транспортирования в части воздействия климатических факторов внешней среды» (температура окружающего воздуха от 5 до 40 °С, относительная влажность от 40 до 80 % при Т=25 °С, атмосферное давление от 630 до 800 мм ртутного столба). Размещение технических средств и организация автоматизированных рабочих мест должны быть выполнены в соответствии с требованиями ГОСТ 21958-76 «Система "Человек-машина". Зал и кабины операторов. Взаимное расположение рабочих мест. Общие эргономические требования».Меры, обеспечивающие безопасность
При проведении испытаний Заказчик должен обеспечить соблюдение требований безопасности, установленных ГОСТ 12.2.007.0–75 «Система стандартов безопасности труда. Изделия электротехнические. Общие требования безопасности», «Правилами техники безопасности при эксплуатации электроустановок потребителей» и «Правилами технической эксплуатации электроустановок потребителей».Порядок взаимодействия организаций
При проведении испытаний устанавливается следующий прядок взаимодействия между Заказчиком и Исполнителем.1. Исполнитель письменно извещает Заказчика о готовности к проведению испытаний не позднее чем за N дней до срока проведения испытаний указанного в Договоре.
2. Заказчик Приказом назначает срок проведения испытаний и приемочную комиссии, которая должна включать в свой состав представителей Заказчика и Исполнителя.
3. Заказчик письменно извещает Исполнителя и сторонние организации, которые должны принять участие в испытаниях.
4. Заказчик совместно с Исполнителем проводят все подготовительные мероприятия для проведения испытаний на объекте Заказчика, а так же проводят испытания.
5. Заказчик осуществляет контроль проведения испытаний, а также документирует ход проведения проверок в Протоколе проведения испытаний.
6. Заказчик передает Протокол проведения испытаний Исполнителю.
7. Исполнитель исправляет ошибки в Системе указанные в Протоколе проведения испытаний.
8. Заказчик осуществляет контроль проведения исправлений.
9. По завершению испытаний Заказчик и Исполнитель подписывают Акт приемки Системы в опытную эксплуатацию или Акт передачи системы для проведения приемочных испытаний (в зависимости от вида проводимых испытаний).
Порядок привлечения экспертов
В случае расхождений в оценках результатов испытаний, для разрешения споров, получения однозначных оценок, допускается привлечение экспертов как со стороны Заказчики и Исполнителя, так и со стороны сторонних организаций.Заказчик и Исполнитель совместно инициируют привлечение экспертов. По результатам проведения экспертизы формируется протокол проведения экспертизы, в котором излагаются заключения экспертов и рекомендации.
Требования к персоналу, проводящему испытания
Со стороны Заказчика в испытаниях должны принимать участие:- руководитель проекта, сотрудник Департамента управления проектами;
- системный архитектор, сотрудник Департамента информационных технологий;
- системный администратор, сотрудник Департамента сопровождения ИС;
- конечный пользователь, сотрудник Отдела анализа.
Со стороны Исполнителя в испытаниях принимать участие:
- системный архитектор;
- разработчик ETL;
- администратор БД;
- разработчик BI.
Требования к наличию специальных допусков у персонала проводящего испытания не предъявляются.
Материально-техническое обеспечение испытаний
В разделе "Материально-техническое обеспечение испытаний" указывают конкретные виды материально-технического обеспечения с распределением задач и обязанностей организации, участвующих в испытаниях.
Например:
Для проведения испытаний необходимо провести следующие работы:
- Силами Заказчика обеспечить доступ к Системе с рабочих мест пользователей.
- Силами Исполнителя провести установку необходимого программного обеспечения на рабочие места пользователей и администраторов Системы.
- Силами Исполнителя создать в проектной зоне рабочую папку (\\DWH\) и предоставить к ней полный доступ участникам испытаний.
Испытания проводятся на компьютерах Заказчика. К конфигурации компьютеров предъявляются следующие минимальной требования:
CPU: 1 Intel;
RAM: 512 Mb;
HDD: 80Gb;
Network Card: 1 Mb/s;
ОС: MS Windows 2000/XP;
ПО: MS Internet Explorer ver. 6.0;
MS Office ver. 2003.
Метрологическое обеспечение испытаний
В разделе "Метрологическое обеспечение испытаний" приводят перечень мероприятий по метрологическому обеспечению испытаний с распределением задач и ответственности организаций, участвующих в испытаниях, за выполнение соответствующих мероприятий.
Для проведения испытаний Системы не требуется специальных метрологических приборов, систем и мероприятий.
Для обеспечения единства оценки степени тяжести возможных неполадок возникающих при проведении испытаний, вводятся следующие оценки степени тяжести неполадок.
| Степень тяжести неполадки | Условный вес тяжести неполадки | Определение |
|---|---|---|
| Критическая | 2 | Неполадка повлияла на фактическую эффективность работоспособности таким образом, что все зафиксированные фактические значения количественных и качественных характеристик находятся за определенными допустимыми пределами. |
| Серьезная | 1 | Неполадка повлияла на фактическую эффективность работоспособности таким образом, что часть зафиксированных фактических значений количественных и качественных характеристик находятся за определенными допустимыми пределами. |
| Незначительная | 1 | Неполадка повлияла на фактическую эффективность работоспособности таким образом, что некоторые зафиксированные фактические значения количественных и качественных характеристик имеют близкие и незначительные отклонения определенных допустимыми пределами. |
Отчетность
В разделе "Отчетность" указывают перечень отчетных документов, которые должны оформляться в процессе испытаний и по их завершению, с указанием организаций и предприятий, разрабатывающих, согласующих и утверждающих их, и сроки оформления этих документов.
К отчетным документам относят акт и отчет о результатах испытаний, акт технического состояния системы после испытаний.
Приложение
В приложения включают перечень методик испытаний, математических и комплексных моделей, применяемых для оценки характеристик системы.Методики испытаний разрабатывают на основе технического задания и утвержденных программ испытаний с использованием типовых методик испытаний (при наличии).
При этом отдельные положения типовых методик испытаний могут уточняться и конкретизироваться в разрабатываемых методиках испытаний в зависимости от особенности системы и условий проведения испытаний.
Содержание разделов методик устанавливает разработчик.