Медиасервер для поддержки многопотоковых видеотрансляций различных мероприятий

    В рамках сотрудничества с Новой сценой Александринского театра были сформулированы требования к Медиасерверу для поддержки многопотоковых видеотрансляций мероприятий, происходящих в Алексндринском театре и описание некоторых сопутствующих задач. 

    В их число вошли:

· Создание серверной части интерактивного интернет-театра (набор скриптов и виртуальная панель управления), обеспечивающей высокоуровневое управление медиасервером, в том числе, и через веб-интерфейс;

· Интеграция многопотокового вещания и интернет-трансляций театральных представлений с интернет порталом Новой сцены Александринского театра;

· Создание системы генерации и вывода видео-контента театрального представления в реальном времени.

    Перечисленные решения обладают следующими потребительскими свойствами:

· Веб-приложение, позволяющее осуществлять основные операции с медиа-сервером (работа с файловой системой медиа-сервера, захват, трансляция и запись видеопотоков, управление качеством потоков, включение/выключение аудио, импорт и экспорт необходимых данных различных форматов);

· Система адаптивного вещания видео-контента на различных уровнях качества;

· Возможность приема видеотрансляции на устройствах, управляемых различными операционными системами (в частности, Windows, MacOS, Linux, iOS, Android);

· Все модули созданной системы были интегрированы в структуру и соответствующий набор функциональных модулей портала;

· Система генерации и вывода видео-контента дала возможность одновременно записывать и обрабатывать не менее пяти онлайн видео-потоков в формате FullHD и формировать на их основе новый видео-контент, реализующий различные творческие идеи (в соответствии с конкретными требованиями к реализации творческих проектов).

    Были реализованы следующие решения:

· Серверное и коммуникационное оборудование и сетевая инфраструктура были предоставлены Александринским театром и согласованы с коллективом разработчиков;

· Основой магистральной сети являются волоконно-оптические каналы типа 9/125 и соответствующее активное сетевое оборудование пропускной способностью 10 Гб/с;

· Проводная сеть выполнена на основе медного кабеля UTP 6 Cat и соответствующего активного сетевого оборудования и имеет пропускную способность 1 Гб/c. Максимальная длина кабельного сегмента от коммутационной стойки до розетки – 90м, минимальная – 15м. Все кабельные сегменты от коммутационного центра до розетки неразрывны;

· Подсистема беспроводной сети Wi-Fi комплекса базируется на стандарте 802.11 n (с обратной совместимостью со стандартами 802.11 a/b/g) с пропускной способностью 300 Мб/с.

    Подключение нового компьютерного, сетевого, проекционного, аудио и другого оборудования к проводным и беспроводным узлам компьютерной сети для конкретных постановочных проектов, спектаклей, перфомансов и пр. осуществляется согласованно с коллективом разработчиков

В качестве основных камер, генерирующих видеопотоки, в помещении Новой сцены используются купольные камеры AXIS Q-6035 и AXIS P-3346 (для обеспечения оперативного удаленного управления, быстрой установки, демонтажа и перемещения). В помещениях всех корпусов и фойе созданы специальные "точки подключения" для установки ip-камер, которые позволяют передавать видеопоток практически из любого места Новой сцены.

При необходимости камеры могут быть оперативно перемещены на другие точки подключения или могут быть добавлены новые. Таким образом любое театральное действие на Новой сцене, в том числе, задействующие несколько сценических площадок, может сопровождаться видеотрансляцией высокого качества с разных ракурсов несколькими камерами.

В дополнение к основным камерам могут использоваться камеры мобильных устройств, другие ip-камеры, web-камеры, источники генерации аудио/видео потоков, профессиональное видео/аудио оборудование, в том числе, размещенное в МедиаЦентре Новой сцены, подключающиеся через проводное или беспроводное соединение, или через интернет.

Медиа-потоки, получаемые с камер (в том числе, мобильных источников, веб-камер, которые на схеме не обозначены) через локальную компьютерную сеть Новой сцены Александринского театра передаются для обработки на медиа-сервер, размещенный в серверном комплексе Новой сцены. В качестве медиа-сервера используется компьютер HP ProLiant DL360 G7 со следующими характеристриками:

· Процессор Intel Xeon X5650 (6 ядер, 2,66 Ггц);

· Память 24Гб (12*2 Гб DDR3 DIMM);

· Форм-фактор 1U;

· 4хGigabitEthernet порта;

· HDD - 1Tb.

    На медиа-сервере установлена операционная система Linux CentOS, в качестве программного обеспечения медиасервера используется Wowza Media Server 3.6 с расширениями nDVR, Wowza Transcoder и Wowza DRM.

    Кроме того, на медиасервере размещается созданные коллективом разработчиков средства оперативного управления медиасервером.

Структурная схема программно-аппаратного комплекса предназначенного для поддержки проекта "Интернет театр" приведена на следующем рисунке 1.9.

Рисунок 1.9 −  Схема программно-аппаратного комплекса предназначенного для поддержки проекта "Интернет театр"

    АДМИНИСТРАТОР МЕДИА-СЕРВЕРА (на схеме отмечен цифрой 4) , имеет возможность, используя систему управления медиасервером, зарегистрировать любой из источников медиаданных и, таким образом, сделать его доступным на медиа-сервере. Доступ АДМИНИСТРАТОРА МЕДИА-СЕРВЕРА к системе регистрации осуществляется через веб-интерфейс с удаленного компьютера, включенного в локальную сеть Новой сцены. Для источников видеоданных, принятых как основные, разработаны формырегистрации, при использовании которых администратору предлагается выбирать параметры источников медиаданных из генерируемых списков, предохраняя от внесения ошибок конфигурации. Активным доступным медиапотокам сопоставляются символические имена, структура которых согласована с другими группами разработчиков и позволяет оперативно найти поток к нужными характеристиками. В целях повышения безопасности и контроля за использованием медиаданных, медиапотокам даются временные имена, ассоциированные с проектом, в интересах которого данный медиапоток используется. После завершения использования медиапотока, его временное имя удаляется и внешний к медиаданным по этому имени прекращается. 

    Система управления медиасервером в автоматическом режиме по запросу внешнего пользователя формирует список доступных видеопотоков с указанием имен для обращения, групп потоков, имеющих разное качество и битрейт и другой информации в реальном времени в виде XML-документа, на основании которого, внешние пользователи (режиссеры трансляций, участники проектов и др.) могут получить доступ к любому из потоков и использовать их в своих проектах. Таким образом осуществляется, в том числе, интеграция с порталом "Театральная мастерская".

    В качестве основного программного средства был выбран продукт - Wowza Media Server (Сайт разработчика - http://wowza.com/)

    Основные характеристики медиасервера:

    Wowza Media Server является мощной многопоточной программой, которая обеспечивает до 10 Гбит потокового видео по требованию и живого видео на стандартном оборудовании (До 10 Гбит на сервер при использовании HP®     ProLiantG6 или эквивалентного оборудования).

    В случае, когда необходимо обеспечить более высокую производительность и больший поток медиаданных, платформа Wowza позволяет использовать несколько серверов, выделив один из них в качестве балансировщика, позволяющего распределить общую нагрузку, обеспечив до 10 Гбит на каждый сервер, входящий в комплекс.

Wowza Media Server может работать на различных программно-аппаратных платформах, включяя - Windows®, все варианты Linux™, UNIX®, Solaris и Mac® OSX.

    В сравнительная табл.1.1. представлены возможности Wowza Media Server 3, Adobe MediaServer 5 и Microsoft IIS MediaServer 4 (сравнивались актуальные на момент разработки версии медиасерверов).

Согласованные требования к организации локальной сети заключаются в том (Рисунок 1.10), что Медиасервер вещания должен быть подключен 1-2 интерфейсами в сеть Интернет.

    Файловый сервер должен быть подключен к серверу вещания через Fibre Channel (http://ru.wikipedia.org/wiki/Fibre_Channel) , или при отсутствии его, через NFS (http://ru.wikipedia.org/wiki/Network_File_System).

Все камеры должны быть коммутированы к серверу вещания через сетевой коммутатор с наибольшей пропускной способностью, а также с минимальными задержками сигнала в сети.

Таблица 1.1 Возможности медиасерверов

Оптимальным решением для распределения нагрузки по интерфейсам будет группировка камер равномерным количеством и подключение через один коммутатор к одному интерфейсу на сервере. Вторую группу камер подключить ко второму интерфейсу сервера и т. д.

    Если же интерфейсов, доступных для подключения менее или равно трем, то оптимальным вариантом подключения в данной ситуации будет объединение доступных интерфейсов в один виртуальный интерфейс.

Рисунок 1.10 − Организация локальной сети

Продолжение таблицы 1.1

Описание поддерживаемых форматов приема и вещания

В табл. 1.2 представлено описание поддерживаемых источников видеопотоков

1. Веб-сервис синхронизации действий режиссера с системой хранения данных;

2. Модуль записи/управления хранением информации;

3. Модуль подключения новых устройств, в том числе «на лету» (включая автоматическое переподключение устройства в случае разрыва соединения);

4. Модуль оптимизации системы, мониторинга системы и обработки возможных ошибок;

5. Модуль авторизации в системе;

6. Модуль управления ролями в системе;

7. Модуль защиты от несанкционированного доступа с плавающим кодом;

8. Модуль многоэкранной версии системы;

9.  Интерактивная справка;

10. Справка по развертыванию и настройке системы (в формате CHM/PDF);

11.  Инструкция пользователя (в формате CHM/PDF).

· Создана система генерации и вывода видеоконтента театрального представления в реальном времени;

    Система генерации и вывода видеоконтента театрального представления в реальном времени позволяет использовать генерируемый медиаконтент непосредственно во время проведения театрального представления. Для разработки такой системы были разработаны специализированные программные модули:

- модуль, обеспечивающий синхронную одновременную запись трансляции указанного набора источников видеопотоков;

- модуль, обеспечивающий динамический монтаж записанных видеофрагментов в заданную последовательность и трансляции ее на проекционное оборудование с возможностью коррекции длительности фрагментов для синхронизации со сценическим действием;

- модуль, обеспечивающих заданное изменение темпа воспроизведения видеопоследовательности с обеспечением заданной длительности проекции;

- модуль диагностики работы используемого оборудования с возможностью согласованной с режиссером спектакля коррекции видеоконтента в зависимости от диагностируемого состояния оборудования.

Система генерации и вывода видеоконтента театрального представления в реальном времени может быть использована как исполняемый модуль, способный работать автономно или в виде встроенного в браузер объекта на одном или нескольких управляющих компьютерах режиссеров проведения представлений, использующих систему генерации и вывода видео-контента.

· Создана система доступа к интерактивному интернет-театру через портал Новой сцены Александринского театра;

Были разработаны механизмы взаимодействия портала с Wowza Media Server, обеспечивающие работу с объемными видео-архивами и live streaming.

Онлайн вещание в режиме реального времени может проходить через медиа студию, которая на выходе отдает один сформированный поток или через сервер Wowza Media Systems. Сервер Wowza позволяет вести многопотоковое вещание как напрямую с камер, так и из файлового хранилища. В этом направлении в портале было реализовано несколько задач:

- Возможность выбрать однопотоковый или многопотоковый плеер в зависимости от типа трансляции;

- Связать однопотоковый плеер с медиа студией;

- Предоставить возможность администратору видеотрансляции связать набор потоков с трансляцией в проекте на портале и настроить многопотоковый плеер;

- Отобразить плеер только на время трансляции;

- Сформировать таймер обратного отсчета до момента начала трансляции.

· Создана компьютерная модель основной сцены Александринского театра и виртуальная реконструкция сцен из спектакля «Маскарад»;

Были разработаны интерактивные статические и динамические трехмерные модели Большой сцены и зрительного зала Александринского театра и базовых функциональных возможностей оснащения и управления сценой, которые позволяют повысить эффективность технической превизуализации спектакля и тренажа режиссеров и артистов.

Совместно с коллективом Александринского театра и театральной академии были реконструированы несколько сцен из спектакля «Маскарад» с возможностью интерактивного управления сценами с использованием технологий захвата движения.

· Созданы новые визуальные эффекты для сценографии спектаклей, а также картографирование амплитудно-фазовых транспарантов, использующихся в лазерном театре для создания художественных образов;

В результате проведения НИР была разработана автоматизированная система, позволяющая создавать и воспроизводить спектакли лазерного театра. На разработанной системе был успешно запрограммирован один из спектаклей лазерного театра.

Разработанная система может применяться в качестве дополнительного оборудования планетариев и любых площадок, предназначенных для проведения культурных и зрелищных мероприятий.

Разработанная система не имеет мировых аналогов и позволяет снизить расходы на обслуживающий персонал более чем в шесть раз, а также увеличить рынок предоставления услуг лазерного театра.

· Создана модель движения человека в различных условиях;

Было проведено исследование движений стопы во время ходьбы человека которое востребовано в разных областях медицины, спорта, эргономики, навигации и киноиндустрии с использованием известных алгоритмов исследования ходьбы:

- Методы машинного обучения;

- Методы детекторования пиков движения;

- Статистические модели НММ.

· Созданы виртуальные трехмерные реконструкции крепостей Корела, Тиверский городок и Ивангород;

В рамках проекта "Мультимедийная информационная система «Древние Крепости Северо-Запада России» созданного при поддержке Российского гуманитарного научного фонда (проект №12-01-12041, 2012–2014 гг.)" была развернута мультимедийная информационная система «Древние крепости Северо-Запада России»» (nwfortress.ifmo.ru).

Совместно с архитектором реставратором высшей категории Ирэн Александровной Хаустовой, а также с сотрудниками соответствующих крепостей были осуществлены виртуальные трехмерные реконструкции пяти крепостей Северо-Запада России в определенный исторический период:

- Копорье;

- Корела;

- Тиверский городок;

- Ямбург;

- Ивангород.

Созданные виртуальные реконструкции представляют собой интерактивные локации, позволяющие пользователю совершить виртуальную экскурсию по соответствующей крепости.

Для крепости Корела была создана дополнительная локация с использованием шлема виртуальной реальности Oculus Rift.

 Была реализована методика разработки и использования моделей объектов культурного наследия на основе технологий интерактивного погружения и ускорения 3D рендеринга, включая программные решения, с целью сохранения и популяризации исторической информации об утраченных объектах культурного наследия, так и для их использования в качестве инструмента исторических, археологических и др. исследований.

· Созданы художественные инсталляции с использованием оптических технологий.

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1. Anderson, M., Carroll, J., Cameron, D. Drama Education with Digital Technology. Continuum, 2009. – 294 p.

2. Banks, P., Moore, L., Liu C, Wu, B. Dynamic visual acuity: a review // The South African Optometrist − 2004. − 63 (2), − P. 58 − 64.

3. Bark, J. Dynamic visual acuity following high-frequency head vibration // Independent Studies and Capstones. Paper 180. Program in Audiology and Communication Sciences, Washington University School of Medicine. 2008. Internet URL: http://digitalcommons.wustl.edu/pacs_capstones/180.

4. Borisov, N., Smolin, A., Stolyarov, D., Shcherbakov, P. Interactive multimedia solutions developed for the opening of the New Stage of the Alexandrinsky Theatre // Proceedings of the Third International Conference Digital Presentation and Preservation of Cultural and Scientific Heritage – DIPP2013, Veliko Tarnovo, Bulgaria, September 18-21, 2013 (Volume III). – P. 153-159

5. Laurel, B. Computers as Theatre, Addison-Wesley Longman Publishing Co., Inc. Boston, MA, USA – 1991. – 117 p.

6. Carver, G., White, C. Computer Visualization for the Theatre: 3D Modelling for Designers. CRC Press, – 1991. – 344 p.

7. Saad, B. Virtual reality in theatre spaces. - A Thesis the Degree of MASTER OF SCIENCE in ARCHITECTURE ENGINEERING, – 2012. – 128 p.

8. Steve, D. Digital performance. A History of New Media in Theater, Dance, Performance Art, and Installation. The MIT Press, – 2012. – 281 p.

9. Dwight, A. Holland. Peripheral Dynamic Visual Acuity Under Randomized Tracking Task Difficulty, Target Velocities, and Direction of Target Presentation. Dissertation submitted to the Faculty of the Virginia Polytechnic Institute and State University in partial fulfillment of the requirements for the degree of Doctor of Philosophy in Industrial and Systems Engineering. Blacksburg, VA, – 2001. – 332 p.

10. Erika, L. Johnson Computerized Dynamic Visual Acuity with Volitional Head Movement in Patients with Vestibular Dysfunction. Professional Research Project submitted to the Faculty of the University of South Florida in partial fulfillment of the requirements for the degree of Doctor of Audiology. Tampa (Florida, USA), – 2002. – 251 p.

11. Goldberg, R. Performance Art: From Futurism to the Present. – Thames & Hudson, Limited, – 2011. – 179 p.

12. Heide, H. Interactive Dramaturgies: New Approaches in Multimedia Content and Design. Springer, – 2004. – 296 p.

13. Herdman, S., Tusa, R., Blatt, P., Suzuki, A., Venuto, P., Roberts, D. Computerized dynamic visual acuity test in the assessment of vestibular deficits// The American Journal. – 1998. – № 19(6). – P. 790–796.

14. Honaker, J., Janky, K. A New Spin on the Vestibular Test Battery: Dynamic Visual Acuity and Subjective Visual Vertical [Электронный ресурс]: The ASHA Leader Online – Режим доступа: http://www.asha.org/Publications/leader/2011/110607/A-New-Spin-on-the-Vestibular-Test-Battery--Dynamic-Visual-Acuity-and-Subjective-Visual-Vertical.htm свободный. Яз. engl. (дата обращения 10.06.2013)

15. Hughes-Freeland, F.  Ritual, Performance,  Media.  Routledge, – 2012. – 240 p.

16. Chafer, J. "Performing the Virtual Theatre in Secondlife,"12 Mar. 2010, Treet TV – Режим доступа: http://business.treet.tv/shows/bpeducation/ episodesvirtual-theatre.

17.  Geigel, J., Schweppe M. "What's the Buzz?: A Theatrical Performance in a Virtual Space," Advancing Computing and Information Sciences, L. Reznik ed., RIT Cary Graphics Arts Press, − 2005. − P. 58 − 64.

18. Geigel, J., Schweppe, M., Huynh, D., Johnstone, B. "Adapting a Virtual World for Theatrical Performance," − Computer, vol. 44, no. 12, − 2011. − P. 33 − 38.

19. Jones, R. The Dramatic Imagination: Reflections and Speculations on the Art of the Theatre. Taylor & Francis. – 2004. – 313 p.

20. Kwastek, K. Aesthetics of Interaction in Digital Art. MIT Press, – 2013. – 117 p.

21. Lewis. P. et al. Resolution of static and dynamic stimuli in the peripheral visual field / Vision Research – 2011. – №51, − P. 1829–1834.

22. McKee, S. P., Nakayama, K. The detection of motion in the peripheral visual-field.// Vision Research. – 1984. – № 24(1), – P. 25–32.

23. Miller, J. W., Ludvigh, E. The effect of relative motion on visual acuity // Survey of Ophthalmology. – 1962. – № 7. – P. 83–116.

24. OpenStages. Режим доступа: http://www.openstages.co.uk/help/help.htm

25. Prestrude, A. M. Dynamic visual acuity in the selection of the aviator// In Proceedings of the Fourth International Symposium on Aviation Psychology. Columbus, OH: Ohio tate University Press. – 1987. – P. 486 – 492.

26. Quevedo, L., Aznar-Casanova Dolores Merindano-Encina, J.A., Cardonaa, G., Sole-Forto, J. A novel computer software for the evaluation of dynamic visual acuity Journal of Optometry. – 2012. – №5, – P.131 – 138.

27. Roberts, R. A., Gans, R. G. Richard, A. R. Richard, E. G. Comparison of Horizontal and Vertical Dynamic Visual Acuity in Patients with Vestibular Dysfunction and Nonvestibular Dizziness // J Am Acad Audiol. – 2007. – №18, – P. 236 – 244.

28. Schrum, S. A. Theatre in Second Life Holds the VR Mirror up to Nature," Handbook of Research on Computational Arts and Creative Informatics, J. Braman, G. Vincenti, and G. Tajkovski eds., IGI Global, – 2009.– P. 376-395.

29. Schrum, S. A. A Proposed Taxonomy of Digital Performance," presentation, 21st Conf. Assoc. for Theatre in Higher Education, ATHE, – 2009.– 379 p.

30. THEATRON project. Режим доступа: http://www.theatron.org/

31. Theatron project (Second Life). Режим доступа:  http://cms.cch.kcl.ac.uk/theatron/index.ph– 2009.– P. 376-395.p?id=88

32. Yoshimitsu, K., Yoshigi, Н., Sakuraba, К. et.al. Kinetic visual acuity and reaction time in male college students, Human Performance Measurement, – 2007. – № 4, – P. 25–30.

33. Youngblut, C. Educational Uses of Virtual Reality Technology // Technical Report. IDA Document D-2128, Institute for Defense Analyses, – 1998.– 161 p.  

34. Айзенберг, Ю. Б. Справочная книга по светотехнике. – М.: Энергоатомиздат, 1983. – 472 с.

35. Архитектура виртуальных миров / под ред. Игнатьева, М. Б., Никитина, А. В., Войскунского, Е. А.; ГУАП, СПб, – 2009, – 256 с.

36. Видео системы для диагностики вестибулярного аппарата [Электронный ресурс]: Видео Диагностика вестибулярного аппарата – Режим доступа: HTTP://www.vdvs.ru/info/tests/tests.htm свободный. Яз. рус. (дата обращения 30.09.2013).

37. Иоскевич, Я. Интернет как новая среда художественной культуры. – СПб.: РИИИ, – 2006. – 168 с.

38. Коровенков, Р. И. Справочник: Глазные симптомы, синдромы, болезни. – СПб.: Химиздат, – 2001. – 464 с.

39. Коскин, С. А. Система определения остроты зрения в целях врачебной экспертизы: дисс. доктора медицинских наук : 14.00.08 / Коскин Сергей Алексеевич. – СПб., – 2009. – 178 с.

40. Кубарко, А. И., Лукашевич, И. В., «Анализ механизмов динамической остроты зрения», Медицинский журнал, – 2007. – №1, – С. 19.

41. Кузнецов, В. С. Теория и методика физического воспитания и спорта. – М.: АСАDEMA, – 2003. – 39 с.

42. Мещеряков, Б. Г., Зинченко, В. П. Большой психологический словарь. – М.: Прайм-Еврознак, – 2009. – 816 стр.

43. Мусалимов, В. М., Ротц, Ю. А., Астафьев, С. А., Амвросьев,а А. В. Расчет надежности упругих элементов микромеханических гироскопов. Учебное пособие по дисциплине «Теория надежности». – СПб.: СПбНИУ ИТМО, – 2012 г. – 127 с.

44. Официальный сайт разработчиков платформы URL. Режим доступа: http://unity3d.com/

45. Браславский, П. И. / Театр и виртуальная реальность: предпосылки и перспективы конвергенции / – Электронный журнал «Исследовано в России». Режим доступа: http://zhurnal.ape.relarn.ru/articles/2003/008.pdf 

46. Проект "Темная комната".

Режим доступа: http://www.hiddenroomtheatre.com/

47. Розенблюм, Ю. З. Оптометрия. Подбор средств коррекции зрения – СПб: Гиппократ, – 1996. – 320 с.

48. Ротц, Ю. А. Методика и технология оценки динамической остроты зрения // Известия вузов. Приборостроение. – 2012. – № 6. – С. 63 – 66.

49. Ротц, Ю. А., Мусалимов, В. М. Оценка динамической остроты зрения с помощью высокоскоростной видеосъемки движения глаз // Медицинская техника. – 2014. – М. – № 3. – С. 17–21.

50. Саенко, А. П. Методы и средства оценки динамической остроты зрения // Научно-технический вестник СПбГУ ИТМО. Мехатроника, технологии, системы автоматизированного проектирования / Гл. ред. д.т.н., профессор В.Н. Васильев – СПб.: СПбГУ ИТМО, – 2008. – №48. – С.87–89.

51. Формальный театр Андрея Могучего. Режим доступа: http://formalnyteatr.ru/

52. Черкасова, Д. Н., Бахолдин, А. В. Оптические офтальмологические приборы и системы. Часть I. Учебное пособие. – СПб: СПбГУ ИТМО, – 2010. – 159 с.

53. Шмидт, Р., Тевс, Г. Физиология человека. – М.: Мир, – 1996.– 323 с.