С помощью программы Lotsia PDM PLUS можно решать самые разнообразные задачи, что неоднократно подтверждалось практикой. В данной статье рассмотрим пример использования программы для проведения тестирования. Речь идет о тестировании будущих администраторов программы после прохождения ими недельного курса «Администрирование и настройка системы», но, разумеется, это не единственная область, где оно может быть востребовано.
Постановка задачи
Тестирование администраторов лишь частично можно считать формальной задачей. Тестируемый получает ряд вопросов с вариантами ответов и выбирает из них правильные. Однако, ввиду того, что ответ на часть вопросов неочевиден и подразумевает экспериментальную проверку, при выборе ответов предполагается самостоятельная работа с программой и справочной системой, то есть в некоторой степени имитируется практическая работа администратора. В зависимости от сути вопроса правильных ответов может быть один или несколько. Проверка предполагает возможность анализа выбранных ответов: за полностью правильный ответ на вопрос ставится 1 балл, за отсутствие ответа или выбранный неверный ответ ставится 0 баллов, за неполный ответ оценку (промежуточное значение от 0 до 1 балла с шагом 0,25) инструктор выставляет исходя из фактически данного ответа. Ответы не должны друг другу противоречить, то есть не выбираться наобум, что также контролируется инструктором при проверке. Вопросы часто обновляются, поэтому нет практического смысла описывать и настраивать отдельно алгоритм проверки каждого вопроса.
Итак, результаты тестирования оцениваются инструктором, после чего происходит разбор допущенных ошибок, если это требуется.
Задаче автоматизации процедуры тестирования до пандемии Covid19 не придавалось особого значения — при проведении очного обучения вполне достаточным было тестирование на бумажном носителе. При переходе к дистанционному обучению вопрос автоматизации тестирования стал первостепенным.
Выбор средств для реализации тестирования
Для решения данной задачи в Lotsia PDM PLUS имеются различные средства. Рассмотрим более детально задачу и инструменты, которые можно для этого использовать.
Вопервых, необходимо перенести в систему сами вопросы. Для организации обработки удобно брать вопросы в виде связанных информационных объектов Lotsia PDM PLUS. Изначально вопросы хранились в файлах MS Word. Для загрузки в Lotsia PDM PLUS внешних данных различного формата в большинстве случаев применяется штатный инструмент «Расширенный импорт». Данный инструмент требует предварительного создания настройки для загрузки определенного вида данных и предполагает использование указанной настройки для загрузки аналогичных данных в дальнейшем. В качестве источника данных при расширенном импорте может выступать текстовый файл с разделителями, файл в формате MS Excel, XMLфайл или внешняя база данных. После сохранения вопросов в формате MS Excel и настройки процедуры расширенного импорта вопросы автоматически импортируются в Lotsia PDM PLUS с созданием соответствующей объектной структуры. Новые вопросы можно загружать аналогично либо создавать непосредственно в Lotsia PDM PLUS.
Вовторых, необходимо обеспечить удобный интерфейс для работы пользователей — как тестируемых, так и инструктора. Исходя из того, что одновременно надо использовать несколько вопросов и ответов, работа непосредственно с объектами — не самое удобное для пользователя решение в данной ситуации. Работа с вопросами на бумаге трудностей не вызывала, поэтому за основу была взята именно привычная «бумажная» форма представления вопросов.
В числе встроенных средств обработки объектов в Lotsia PDM PLUS предусмотрен инструмент Варианты. Он предназначен для выбора правильного варианта из нескольких, в данном случае — варианта ответа. Это удобно, когда требуется выбрать единственно правильный, «основной» вариант. Однако нецелесообразно подгонять структуру вопросов и ответов под этот инструмент, поэтому он применен не был.
Наиболее гибкие средства настройки пользовательского интерфейса, а также возможности информационного обмена между пользователями — участниками процесса предоставляет подсистема Workflow и ее средства информационного обмена и настройки интерфейса пользователей. Обработку данных удобно выполнять с помощью макрокоманд, поэтому и были использованы инструменты Workflow.
Втретьих, требовалось не ограничиваться работой только в общей базе данных, поскольку при удаленном тестировании это не всегда реализуемо, например из соображений безопасности. Но если работа в общей базе данных возможна — ее применение целесообразно. Желательно это осуществить в рамках универсального процесса, не разрабатывая отдельный инструментарий для каждого случая.
Итак, для реализации тестирования был настроен процесс Workflow (рис. 1).
В качестве интерфейса пользователя использованы табличные формы массивов, позволяющие максимально гибко организовать работу пользователя как при ответах на вопросы, так и для проверки и оценки результатов. Каждый из тестируемых отвечает на отдельный набор вопросов, при этом для каждого тестируемого запускается собственный процесс.
Lotsia PDM PLUS поддерживает как централизованное, так и распределенное хранение данных. В последнем случае предполагается применение нескольких баз данных и механизма репликации для передачи данных между ними. В случае если работа тестируемого и инструктора в общей базе данных не предусматривается, данная возможность оказывается весьма кстати.
Вчетвертых, тестирование обычно проходят одновременно несколько человек. Средствами Workflow можно настраивать процессы, обеспечивающие параллельную (одновременную) работу произвольного числа исполнителей (в данном случае — тестируемых, а если требуется, то и инструкторов), с любым количеством параллельно выполняемых этапов. Однако в данной постановке задачи каждый тестируемый работает с выданным ему инструктором вариантом вопросов. Каждое тестирование — это независимый процесс, объединять их не имеет смысла.
Для наблюдения за ходом тестирования и консолидации результатов можно использовать настраиваемый отчет. Lotsia PDM PLUS имеет собственный встроенный генератор отчетов, обеспечивающий широкие возможности по отображению данных и выполнению различных операций непосредственно из отчета.
Проведение тестирования
При работе в общей базе данных после загрузки вопросов инструктор для начала тестирования запускает процесс. Тестируемый отвечает на вопросы и завершает свою задачу. Инструктор, получив ответы, выполняет проверку и оценку ответов. Результат направляется тестируемому в виде информационной рассылки, процесс выполняется последовательно по схеме, показанной на рис. 1.
Рис. 1. Блок-схема процесса тестирования
При работе в раздельных базах данных инструктор предварительно пересылает тестируемому файлы репликации с инструкцией. После приема пакета репликации и выполнения указаний согласно инструкции тестируемый в своей базе данных видит рабочее окно с вопросами (рис. 2).
Рис. 2. Окно тестируемого при работе с вопросами в своей базе данных
Правильные ответы отмечаются флажками. После ответов на вопросы тестируемый нажимает кнопку Ответы, в результате чего автоматически формируется запакованная строка ответов. Сформированная строка пересылается инструктору, который в своей форме принимает («применяет») полученные ответы (рис. 3), после чего выполняет их проверку.
Рис. 3. Проверка ответов в базе данных инструктора
В ходе проверки инструктор использует специальные кнопки для оценки ответов. Строки с правильными ответами можно выделять цветом.
Результаты проверки по нажатию кнопки сохраняются в строку и далее пересылаются тестируемому. Помимо оценок передаются выделения строк.
При пересылке ответов и результатов проверки использовать репликации нет необходимости — достаточно любым доступным способом (можно прямо в тексте почтового сообщения) передать строку и скопировать ее через буфер обмена в поле формы.
Кстати, данный подход исключает возможность «списывания», несмотря на наличие у тестируемого полных административных прав доступа к БД, в которой он работает. Это объясняется тем, что во время тестирования в ней нет информации о том, какой из ответов правильный. Инструктор может хранить строки с информацией о правильных ответах и выделения строк у себя. При необходимости он может воспользоваться такой информацией для проверки в автоматическом режиме, но, как правило, он этого не делает. Почему?
Дело в том, что Lotsia PDM PLUS постоянно развивается, обновления публикуются достаточно часто. Нормой является ситуация, когда состав правильных вариантов ответов меняется — то, что вчера в программе было невозможно, сегодня становится возможным. По мере появления очередных сборок системы корректируется встроенная справка, документация, учебные материалы и планы. Изменения или замена вопросов обычно напрямую не связаны с обновлением системы, а зависят больше от хода учебного процесса. Окончательно правильные ответы определяются инструктором именно на момент данной проверки.
Ход тестирования инструктор может контролировать с помощью отчета (рис. 4).
Рис. 4. Отчет «Ход тестирования»
Непосредственно из отчета можно перейти к проверке результатов тестирования.
Нынешняя реализация процесса тестирования, разумеется, не является окончательной, предполагается ее дальнейшее развитие по результатам эксплуатации.
Данный пример иллюстрирует возможности практического применения Lotsia PDM PLUS для решения очередной задачи — одной из многих, возникающих при изменении условий функционирования предприятия.
В завершение рекомендуем использовать различные инструменты Lotsia PDM PLUS совместно (комплексно) и при решении задач творчески подходить к процессу настройки системы.
