Оценка и выводы по тестированию

Имеются ли у инструментов тестирования, которые для генерации теста используют модель или формальную спецификацию целевой системы принципиальные преимущества перед традиционными средствам? Чтобы ответить на этот вопрос, укажем, как отмеченные проблемы решаются для инструментов, использующих модели.

Критерии тестового покрытия. Основной критерий — проверка всех Утверждений, в частности, утверждений, определяющих постусловия процедур или методов. Он легко проверяется и легко связывается с f функциональными требованиями к целевой системе. Так, инструменты UniTesK, инструменты для платформ Java и C# предоставляют четыре уровня вложенных критериев.

Повторное использование тестов. Уровень повторного использования существенно выше, чем у традиционных инструментов. Разработчик тестов пишет не тестовый скрипт, а критерии проверки утверждения и тестовый сценарий. И то, и другое лишено многих реализационных деталей, и поэтому их проще использовать для новой версии целевой системы или для адаптации спецификаций и тестов для сходного проекта. Например, статистика UniTesK показывает, что уровень переиспользования для тестирования ядер разных операционных систем превышает 50%.

Автоматическая генерация тестов. Это главное достоинство новых инструментов; здесь они существенно опережают традиционные средства, поскольку используют не произвольные виды нотаций и методе* моделирования и спецификации, а именно те, которые дают преимущества при автоматической генерации тестов. Так, утверждения позволяют сгенерировать тестовые «оракулы» — программы для автоматического анализа корректности результата; различные виды конечных автоматов или их аналоги позволяют сгенерировать тестовые последовательности. К тому же, поскольку модели обычно проще, чем реализации, для них удается провести более тщательный анализ, поэтому набор тестов становится более систематическим.

Рассмотренные инструменты опробованы на реальных, масштабных проектах. Конечно, каждый проект несет в себе некоторую специфику, возможно, препятствующую исчерпывающему тестированию. Однако опыт использования данных инструментов показывает, что обычно удается достичь хороших результатов, лучших, чем результаты, полученные в аналогичных проектах при помощи ручного тестирования. Пользователи UniTesK, обычно, за приемлемый уровень качества принимают 70-80% покрытия кода целевой системы; при этом должен быть удовлетворен, как минимум, критерий покрытия всех логических ветвей в постусловиях. Для некоторых сложных программ (в том числе, для блока оптимизации компилятора GCC) был достигнут уровень покрытия 90-95%.

Есть ли принципиальные ограничения в применимости данного подхода? Его практически невозможно применять в случае, когда по той или иной причине никто в цепочке заказчик — разработчик — тестировщик не смог или не захотел четко сформулировать требования к целевой систему. Впрочем, это не только ограничение, но и дополнительный стимул для улучшения процессов разработки, еще один повод объяснить заказчику, что вложения в фазу проектирования с лихвой окупаются сокращением общих сроков разработки и стоимости проекта.

Исследования объекта на основе модели.

Методика исследования

Основные этапы разработки и исследования моделей на компьютере. Использование компьютера для исследования информационных моделей различных объектов и систем позволяет изучить их изменения в зависимости от значения тех или иных параметров. Процесс разработки моделей и их исследование на компьютере можно разделить на несколько основных этапов.

Описательная информационная модель. На первом этапе исследования объекта или процесса обычно строится описательная информационная модель. Такая модель выделяет существенные, с точки зрения целей проводимого исследования, параметры объекта, а несущественными параметрами пренебрегает.

Формализованная модель. На втором этапе создается формализованная модель, т. е. описательная информационная модель записывается с помощью какого-либо формального языка. В такой модели с помощью формул, уравнений или неравенств фиксируются формальные соотношения между начальными и конечными значениями свойств объектов, а также накладываются ограничения на допустимые значения этих свойств.

Однако далеко не всегда удается найти формулы, явно выражающие искомые величины через исходные данные. В таких случаях используются приближенные математические методы, позволяющие получать результаты с заданной точностью.

Компьютерная модель. Натретьемэтапенеобходимоформализованную информационную модель преобразовать в компьютерную модель, т. е. выразить ее на понятном для компьютера языке.

Существуют различные пути построении компьютерных моделей, в том числе:

- создание компьютерной модели в форме проекта на одном из языков программирования,

- построение компьютерной модели с использованием электронных таблиц к или других приложений систем компьютерного черчения, систем управления базами данных, геоинформационных систем и т. д.

В процессе создания компьютерной модели полезно разработать К удобный графический интерфейс, который позволит визуализировать формальную модель, а также реализовать интерактивный диалог человека с компьютером на этапе исследования модели.

Компьютерный эксперимент. Четвертый этап исследования информационной модели состоит в проведении компьютерного эксперимента. Если компьютерная модель существует в виде проекта на одном из языков программирования, ее нужно запустить на выполнение,

ввестиисходныеданныеиполучитьрезультаты. Есликомпьютерная модель исследуется в приложении, например в электронных таблицах, то можно построить диаграмму или график, провести сортировку и поиск данных или использовать другие специализированные методы обработки данных. При использовании готовой компьютерной визуальной интерактивной модели необходимо ввести исходные данные, запустить модель на выполнение и наблюдать изменение объекта и характеризующих его величин.

В виртуальных компьютерных лабораториях можно проводить

В эксперименты с реальными объектами. Для этого к компьютеру присоединяются датчики измерения физических параметров (температуры, давления, силы и др.), данные измерений передаются в компьютер и обрабатываются специальной программой. Результаты эксперимента в виде таблиц, графиков и диаграмм отображаются на экране монитора и могут быть распечатаны. Анализ полученных результатов и корректировка модели. Пятый этап состоит в анализе получения результатов и корректировки исследуемой модели. В случае несоответствия результатов,полученныхприисследованииинформационноймодели, измеряемым параметрам реальных объектов можно сделать вывод, что на предыдущих  этапах построения модели были допущены ошибки или неточности.

Например, при построении описательной качественной модели могут быть неправильно отобраны существенные свойства объектов в процессе формализации могут быть допущены ошибки в формулах и т. д. В этих Iслучаях необходимо провести корректировку модели, причем уточнение модели может проводиться многократно, пока анализ результатов не покажетих соответствие изучаемому объекту.

Проведение и результаты

Для проверки результатов моделирования процесса вытяжки нашего

“Объекта” и правильности изготовления штампа.

Анализ результатов.

 Конечная цель моделирования — принятие решения, которое должно быть выработано на основе всестороннего анализа результатов моделирования. Этот этап, решающий — либо вы продолжаете исследование, либо заканчиваете.

Основой выработки решения служат результаты тестирования и экспериментов. Если результаты не соответствуют целям поставленной (задачи, значит, на предыдущих этапах были допущены ошибки. Это может рыть либо неправильная постановка задачи, либо слишком упрощенное построениеинформационноймодели, либонеудачныйвыборметодаилисредымоделирования, либо нарушение технологических приемов при [построении модели. Если такие ошибки выявлены, то требуется корректировка модели, то есть возврат к одному из предыдущих этапов. Процесс повторяется до тех пор, пока результаты эксперимента не будут отвечать целям моделирования

Главное, надо всегда помнить: выявленная ошибка — тоже результат. Как гласит народная мудрость, на ошибках учатся.

Данный этап завершает технологическую цепочку этапов создания и использования имитационных моделей. Получив результаты моделирования. исследователь приступает к интерпретации результатов. Здесь возможны следующие циклы имитации. В первом цикле имитационного эксперимента в ИМ заранее предусмотрен выбор вариантов исследуемой системы путем задания начальных условий имитации для машинной программы модели. Во втором цикле имитационного эксперимента модель модифицируется на языке моделирования, и поэтому требуются повторная трансляция иредактирование программы. Возможно, что в ходе интерпретации результатов исследователь установил наличие ошибок либо при создании модели, либо при формализации объекта моделирования. В этих случаях осуществляется возврат на этапы построения описания имитационной модели или на составление концептуальной модели системы соответственно, результатом этапа интерпретации результатов моделирования являются рекомендации по проектированию системы или ее модификации. Имея в своем распоряжении рекомендации, исследователи приступают к принятию проектных решений. На интерпретацию результатов моделирования оказывают существенное влияние изобразительные возможности используемой ЭВМ и реализованной на ней системы моделирования

Графический анализ

Графический анализ результатов моделирования включает следующие графики :

*    визуализация выборки (иллюстрирует зависимость § t от t и может использоваться для графической поддержки критериев серий);

• графики эмпирической и теоретической функций распределения (графики функций F (х) § ) и F (х) £ );

•    графики эмпирической и теоретической функций вероятности (графики функций Р (х) £, ) и Р (х) £ )). Два последних графика позволяют осуществлять сравнительный анализ теоретического и эмпирического J распределений выборки и могут служить в качестве графической поддержки  критериев согласия

Заключение.

В настоящее время конструкторы активно занимаются разработкой систем автоматизированного проектирования и конструирования изделий. Естественно, что система автоматизированного проектирования не может эффективно функционировать без соответствующего технологического наполнения. Поэтому перед технологами стоит задача создания технологического блока, который предназначен для увязки конструкторского решения с технологией изготовления. Математические модели для расчёта следует ориентировать на состав той информации, которая формируется при автоматизированном проектировании конструкции и заключена в графической части проекта, технических требованиях, спецификации, а также на информацию, получаемую при автоматизированном решении задач получения ТП. Решение задачи унификации при автоматизированном проектировании должно быть обеспеченно соответствующим наполнением технологической базы данных, которая должна активно использоваться при разработке конструкции. Входящие в технологическую базу данных типовые детали и соответствующие им типовые технологические процессы и 8 экономико-математические модели должны позволять в процессе проектирования производить оценку затрат на изготовление конструкции. Задача обеспечения получения ТП при автоматизированном проектировании должна решаться на основе формирования информации, позволяющей производить расчёт технологических параметров конструкции.

Для этого необходимо, чтобы размерные характеристики детали и её конструктивных элементов были увязаны с возможными методами её изготовления. Проектируя деталь, конструктор ориентируется на определённый метод изготовлен ии детали (гибка, вытяжка и др.). Необходимо, чтобы эта информации не подразумевалась, а была отражены в конструкторской документации. При автоматизированном конструировании предполагается использовать библиотеки типовых решений — типовая деталь.