Типовая программа обследования технического состояния зданий и сооружений [1] в обязательном порядке включает в себя следующие основные этапы:
- выполнение обмерных работ с целью определения объемно-планировочных и конструктивных параметров объекта, составление обмерных чертежей;
- определение необходимых физических и прочностных характеристик материалов конструкций;
- выявление дефектов и повреждений элементов строительных конструкций;
- анализ результатов обследования с выдачей заключения о техническом состоянии объекта.
Неотъемлемой частью работ по обследованию является фотофиксация объектов с использованием телеобъективов. Процесс фотосъемки высотных зданий и промышленных сооружений возможен лишь на значительном удалении от объекта. Выполнение данного условия в большинстве случаев затруднено в виду стесненных условий или ограниченной видимости фасада. Обследование высотных сооружений возможно также с привлечением промышленных альпинистов. Главное преимущество такого способа заключается в том, что альпинист осматривает дефекты в контактной зоне, но для качественного проведения данного вида работ необходимо приглашение альпинистов высокой квалификации, имеющих обширный опыт в обследовании зданий.
Сделать выполнение этапов обследования сложных объектов более эффективным и безопасным для всех, кто участвует в этом процессе, особенно, когда речь идет о многоэтажных зданиях, труднодоступных для освидетельствования производственных объектах (дымовые трубы, градирни, резервуары, мачты и т.д.) возможно при использовании беспилотных летательных аппаратов (БПЛА), оснащенных фотокамерой или другими необходимыми приборами.
Не удивительно, что некоторые вузы планирует интегрировать использование дронов в текущую учебную программу студентов-строителей, что позволит будущим выпускникам быстрее добиться успеха в отрасли. Умение оценить техническое состояние строительных конструкций зданий и сооружений, выявить возможную потребность в техническом обслуживании или восстановлении является одной из заявленных компетенций при подготовке многих направленностей магистратуры по направлению 08.04.01.
Несмотря на то, что на рынке представлено большое количество дронов, в строительной отрасли обычно используются промышленные дроны [2]. В зависимости от типа используемой воздушной платформы [3] существует три основных типа БПЛА (таблица 1):
- БПЛА с роторами;
- БПЛА с неподвижным крылом;
- гибридные БПЛА с неподвижным крылом.
Применение мультироторов в основном эффективно для аэрофотосъемки и видеозаписи. Эти типы дронов можно классифицировать по количеству роторов, например, трикоптеры (три ротора), квадрокоптеры (четыре ротора), гексакоптеры (шесть роторов) и октокоптеры (восемь роторов) [4].
Недостатками мультироторных БПЛА являются их ограниченная выносливость и малая скорость. Из-за этих ограничений такие типы БПЛА не подходят для крупномасштабной аэрофотосъемки, например, трубопроводов, дорог, линий электропередач, автомагистралей и т.д. В зависимости от веса дрона и камеры мультироторные БПЛА в настоящее время находятся в воздухе в среднем не более 20-30 минут [5].
Таблица 1
Основные типы БПЛА в строительной отрасли
БПЛА с неподвижным крылом работают по существу по тому же принципу, что и пассажирские самолеты. Эти БПЛА создают подъемную силу с помощью неподвижных крыльев [4], а не вертикальных роторов, могут достигать большой высоты во время полета, энергия нужна им только для того, чтобы двигаться вперед, а не для того, чтобы удерживаться в воздухе. По этой причине БПЛА с неподвижным крылом являются гораздо более эффективным вариантом для топографического картирования больших площадей и способны преодолевать большие расстояния, чем мультироторные БПЛА. Основным недостатком БПЛА с неподвижным крылом является невозможность оставаться в воздухе на одном месте и способность летать только вперед, что не позволяет им создавать подробные аэрофотоснимки, например, эксплуатируемых сооружений. Для точных воздушных работ, требующих более детальных действий, например, детальной аэрофотосъемки зданий, использование БПЛА с несколькими роторами является лучшим решением, поскольку с ними легко работать в воздухе, а конструкция ротора позволяет им стабильно парить в воздухе [2].
Еще одним недостатком БПЛА с неподвижным крылом является особенность его взлета и посадки. В зависимости от размера дрона необходимо иметь взлетно-посадочную полосу или пусковую установку для катапульты, чтобы поднять его в воздух, и взлетно-посадочную полосу, чтобы безопасно доставить его обратно на землю [5].
Для устранения недостатков БПЛА с неподвижным крылом некоторые производители решили объединить их положительные свойства с преимуществами мультироторных дронов и разработали БПЛА, которые могут взлетать вертикально, а затем переходить в горизонтальный полет с помощью крыла — это гибридные беспилотные летательные аппараты [4]. Гибридный беспилотник летит по заранее запланированному маршруту полета на заданной пользователем высоте и собирает данные с помощью своих цветных и мультиспектральных датчиков. По завершении своей миссии беспилотник может приземлиться вертикально в исходную точку [4].
При обследовании технического состояния строительных объектов с помощью БПЛА могут быть использованы:
- системы визуального контроля — камеры. Их функционал включает в себя получение изображения и видео с высоким разрешением, термальный и спектральный анализ объекта;
- системы трехмерного лазерного сканирования (лидар), которые позволяют получить и обработать информацию об удаленных объектах с помощью активных оптических систем, использующих явления поглощения и рассеивания света в оптически прозрачных средах. С помощью данной технологии возможна геолокация и обнаружение объектов;
- системы сенсоров, которые позволяют определять интенсивность света, давление, наличие паров, газов, УФ-излучения, направление полета, ускорение БПЛА.
Управление БПЛА возможно на различных уровнях контроля:
- при дистанционном управлении - нет автономных возможностей для выполнения задачи, необходим постоянный контроль человека;
- выполнение задачи может быть запрограммировано заранее, действие будет повторяться до тех пор, пока не будет приказано остановиться или произойдет предопределенное выключение. Может выполняться с вмешательством человека или без него;
- полуавтономный или автономный способ управления – аппарат способен решать одну или несколько задач; доступ к данным датчиков выполняется в реальном времени; имеет набор целей для достижения, использует собственный интеллект для восприятия ситуации.
Последние разработки, применяемые к идентификации дефектов и повреждений при обследовании зданий и сооружений, предлагают почти автоматизированные методики контроля, основанные на методах цифровой обработки изображений и искусственном интеллекте, в которых изображения, захваченные беспилотными летательными аппаратами, обрабатываются и анализируются специалистом для разработки плана дальнейших действий [6]. В библиографии представлены два основных подхода к идентификации повреждений на основе цифровых изображений: эвристические методы извлечения признаков [7] и методы, основанные на глубоком обучении [8].
Эвристические методы извлечения признаков основаны на применении фильтров, особенно фильтров обнаружения границ, например, градиентных фильтров Собеля и применения метода Кэнни. Методы решения многих задач в системах технического зрения строятся в расчете на использование контурного изображения, которое формируется из полутонового изображения тем или иным способом. Детекторы границ градиентного типа строятся, как правило, в два этапа. На первом этапе производится сглаживание изображения, а на втором – выделение границ перепада яркости. При этом второй этап также может состоять более, чем из одного шага. Например, оператор Собеля дает градиентное изображение в виде толстых линий, и потому для решения задач более высокого уровня требуется утоньшение линий [9,10]. Эти фильтры могут обнаруживать границы между областями изображения с разной яркостью и выявлять определенные текстуры, позволяя локализовать пиксели на краях трещины.
В качестве альтернативы, несколько алгоритмов глубокого обучения широко используются в компьютерном зрении, особенно для изучения признаков и классификации изображений, однако наиболее широко и успешно применяются сверточные нейронные сети (convolutional neural networks - CNN). CNN были специально разработаны для выявления трещин и включают в себя процедуру обучения, основанную на большом наборе изображений реального мира, репрезентативных для сценариев с трещинами и без них, и определение модели классификации, основанной на группе последовательных слоев, связанных со специальными математическими операторами. Обученная классификационная модель впоследствии применяется к новым изображениям, на которых необходимо обнаружить трещины.
На рис. 1 представлен обзор интегрированной методологии дистанционного осмотра и мониторинга железобетонных конструкций, поддерживаемых БПЛА. БПЛА оснащен высокоточной системой спутниковой навигации (GPS), которой помогает система коррекции положения типа кинематики в реальном времени (RTK - Real Time Kinematic) при поддержке местной станции. БПЛА также оснащен собственной камерой, которая обеспечивает высокоточные изображения с географической привязкой.
Рис.1 Обзор комплексной методологии дистанционного контроля и мониторинга
а; в) RTK (Real Time Correction) — система коррекции положения типа кинематики в реальном времени; б) GNSS (Global Navigation Satellite System) — спутниковая система навигации; г; е) модуль IMU (Inertial Measurement Unit) — инерциальный измерительный модуль; д) система распознавания с помощью нейронных сетей.
Для удаленной проверки методология предлагает два разных метода: один основан на эвристических функциях, а другой основан на CNN, оба реализованы в программном обеспечении MATLAB. В случае CNN может быть выполнена идентификация трещины - обнаружение трещины и оценка ее геометрических характеристик (толщины и длины). Нейронные сети не программируются, а обучаются по исходному набору данных. Возможность обучения – одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами. ИНС (искусственная нейронная сеть) применяются для решения задач классификации и распознавания образов, оптимизации, прогнозирования и автоматизации процессов. C целью наиболее эффективного построения технологических процессов в строительстве с учетом различных факторов риска можно выделить две потенциальные области применения: прогнозирование рисков и анализ накопленной информации. Существующие проблемы прогнозирования рисков связаны с недостаточным качеством и количеством исходных данных, их динамическими изменениями, воздействием различных субъективных факторов. Вследствие чего прогнозирование выполняется с некоторой погрешностью, которая зависит от используемой модели и объема исходных данных. Если увеличивать качество и количество информации для моделирования, то улучшается точность прогноза, а убытки, связанные с рисками, могут быть заметно сокращены. Таким образом, в общем случае задача прогнозирования приводится к получению оценки данных, упорядоченных во времени, на основе анализа ранее собранной информации, введенной в модель, а также тенденций изменения внешних факторов [11].
Дистанционное обследование с использованием БПЛА включает в себя три этапа:
- распознавание конструкции и подготовка к полету;
- кампания по сбору изображений с использованием БПЛА;
- обработка изображений на основе эвристических признаков или CNN.
Первый этап обычно включает в себя сбор информации по элементам объекта и изучение истории осмотра конструкции, а также разработку плана полета, включая разрешение на полет, оборудование и технический персонал. Второй этап включает в себя топографическую съемку реперных точек сооружения, что необходимо для геопривязки изображений, а также съемку изображений с помощью фото/видеокамеры БПЛА. Наконец, третий этап включает в себя автоматическую идентификацию трещин на поверхности железобетона на основе эвристических признаков или CNN. Обработанные изображения с топографической привязкой могут быть использованы для выполнения трехмерного геометрического восстановления структуры путем применения методов фотограмметрии, доступных в программном обеспечении (ПО) Pix4Dmapper. ПО Pix4Dmapper автоматически преобразует изображения, полученные с БПЛА, или изображения наземной съемки и обеспечивает составление высокоточных карт и 3D-моделей с географической привязкой. [12].
Эвристическая обработка изображений для обнаружения трещин включает в себя, во-первых, обнаружение краев, а затем применение морфологических признаков, которые улучшают их визуализацию, в частности, точность ее трассировки. Автоматическое определение края выполняется применением метода Кэнни [13], который позволяет идентифицировать объекты на изображении, объединяя их в разные кластеры, т. е. кластеры, связанные с трещинами и остальной частью изображения. Затем к краям применяется определенный ряд морфологических признаков, в частности расширение изображения, заполнение и эрозия. Наконец, трещина усиливается на исходном изображении с помощью искусственного цвета (красного). На рис. 2 показаны основные этапы автоматического обнаружения трещин на основе эвристических признаков.
Рис. 2 Алгоритм эвристического признака: а) исходное изображение; б) метод Канни; в) расширение краев, пломбирование и эрозия; г) усиленная трещина.
Обследование и техническое обслуживание производственных объектов, а также мостов, туннелей, плотин требуют детального осмотра для выявления коррозии, обнаружения трещин, сколов, вмятин на труднодоступных поверхностях, который нельзя выполнить бесконтактным методом. Дефекты во многих случаях плохо видны на поверхности и не могут быть должным образом оценены. Выполнение контактного освидетельствования на высоте является опасным и дорогостоящим мероприятием, так как рабочие должны добраться до мест, подлежащих осмотру, с помощью тросов, кранов или строительных лесов. В таких ситуациях применение воздушных роботов (рис. 3, 4) очень актуально. С их помощью возможно [14] обнаружение, точная локализация и измерение повреждений.
Рис. 3 Дрон AeroX, с манипулятором
Рис. 4 TRIC (трехколесный инспекционный гусеничный сканер), установленный в дроне AeroX
Однако, есть некоторые проблемы, которые необходимо решить. Первая заключается в поддержании контакта с рабочим прибором, установленным на БПЛА в местах освидетельствования. Во-вторых, требуется подавлять возмущения, вызванные ветром и аэродинамическими эффектами, создаваемыми близлежащими поверхностями. Кроме того, во многих случаях очень важно иметь достаточную точность позиционирования рабочего прибора. Позиционирование должно выполняться и при условиях, когда отсутствует GNSS (например, под мостом), и в местах, где отсутствуют маркеры или маяки. Кроме того, необходимо предусмотреть меры, компенсирующие последствия столкновений и неожиданных контактов с поверхностями. При этом рабочий прибор манипулятора на борту летательного робота должен поддерживать контакт с обрабатываемой поверхностью.
Важным аспектом является установление связи между робототехническими платформами, в частности, воздушными роботами, с соответствующими технологиями неразрушающего контроля и контактными датчиками. Действительно, в то время как бесконтактные освидетельствования с использованием дронов в настоящее время могут выполняться с помощью оптических, инфракрасных, ультрафиолетовых датчиков, все еще необходимы новые разработки для контактного неразрушающего контроля, который может выполняться с помощью воздушных дронов в промышленном масштабе. Технологические проблемы связаны с трудностью манипулирования контактными датчиками неразрушающего контроля (в первую очередь электромагнитными и ультразвуковыми) с той же ловкостью, что и у сертифицированного инспектора по неразрушающему контролю. В частности, управление положением, колебанием, ориентацией, траекторией (точечные измерения, линейное или растровое сканирование), скоростью и прикладываемой контактной силой зонда, прикрепленного к воздушному роботу, все еще требуют усилий по разработке.
На практике контактными методами неразрушающего контроля, которые покрывают большую часть потребностей в освидетельствовании объектов электроэнергетики и нефтегазовой промышленности, помимо визуального контроля, являются электромагнитные методы в основном для поверхностных разрывов, таких как трещины, и ультразвуковые методы для подповерхностного контроля (истончение стенки из-за коррозии или обнаружение пористости). Другие методы, обычно используемые для контроля поверхностных дефектов, такие как цветная дефектоскопия при помощи жидкости и магнитоскопия, трудно интегрировать в БПЛА из-за несовместимости методов работы. Преимущество вихревых токов и ультразвуковых методов заключается в том, что датчики и электроника обнаружения могут быть миниатюрными, что является критическим критерием для интеграции в воздушную робототехнику. Можно показать, что полезная нагрузка на измерительный канал, включая зонд и электронику, может составлять всего 15 г. Следует отметить, что обнаружение коррозии под изоляцией представляет значительные трудности для любого метода, независимо от того, используется ли он с помощью воздушного робота или в процессе ручного контроля.
Применение БПЛА решает проблему обследования малодоступных участков зданий и сооружений, даже с мало различимыми дефектами и повреждениями, позволяет выполнять контактное освидетельствование на большой высоте, кроме того дроны могут быть использованы при контроле безопасности на строительной площадке, инспектировании строительства, измерении объемов и 3D-моделировании.
