下載app免費領取會員
將無人機捕獲的圖像中的缺陷數據映射和建模到BIM中，用于建筑外墻檢查
Mapping and modelling defect data from UAV captured images to BIM for building external wall inspection
作者：
Yi Tan（Key Laboratory for Resilient Infrastructures of Coastal Cities (Shenzhen University), Ministry of Education）
Geng Li（Key Laboratory for Resilient Infrastructures of Coastal Cities (Shenzhen University), Ministry of Education）
Ruying Cai（Key Laboratory for Resilient Infrastructures of Coastal Cities (Shenzhen University), Ministry of Education）
Jun Ma（Department of Urban Planning and Design, University of Hong Kong, Hong Kong, China）
Mingzhu Wang（School of Architecture, Building and Civil Engineering, Loughborough University, United Kingdom）
期刊：Automation in Construction
原文連接：https://doi.org/10.1016/j.autcon.2022.104284
Q1文章提出的工程問題是什么？有什么實際工程價值？
隨著社會的發展，高層住宅建筑和辦公建筑已成為現代建筑不可或缺的組成部分。然而，隨著部分建筑使用年限的增加，存在著開裂、外墻脫落等安全隱患，將嚴重危害公共安全，造成經濟損失。如果不及早發現這些安全問題，建筑物的健康狀況將迅速惡化，導致災難性后果。
對外墻缺陷進行安全檢查和管理，以便及時采取有效的維護措施，對于消除安全隱患，防止人員傷亡和經濟損失非常重要。
Q2文章提出的科學問題是什么？有什么新的學術貢獻？
傳統的高層建筑外墻檢測方法要求檢測人員在高空作業，人工識別缺陷，這既危險又低效。近年來，使用無人機（UAV）檢查建筑物外墻的趨勢越來越明顯。
本文提出了一種通過將UAV圖像中的缺陷數據映射到BIM模型并將缺陷建模為BIM對象來管理建筑外墻檢測結果的方法。
考慮到單體建筑規模較小，本文提出了一種簡化的坐標轉換方法，將實際缺陷位置轉換為BIM模型中的坐標。同時，提出了一種基于深度學習的實例分割模型，用于檢測捕獲圖像中的缺陷并提取其特征。最后，識別出的缺陷被建模為具有詳細信息的新對象，并映射到相關BIM組件的相應位置。
Q3文章提出的技術路線是什么？有什么改進創新之處？
本文主要提出了缺陷檢測和映射框架，圖1顯示了基于UAV攝影測量自動獲取圖像信息并與BIM集成的建筑物外墻缺陷檢查和管理的流程框架。建議的框架包括：1）準備工作和數據采集與處理，2）坐標轉換，3）缺陷檢測和定位，以及4）將已識別的缺陷映射到BIM模型。
圖1 缺陷檢測和映射框架
①準備工作和數據采集與處理
準備工作包括三個階段。第一階段是初步準備階段，包括：1）注冊UAV并獲得主管部門的飛行許可；2）確保被檢查建筑不在禁飛區；3）訪問和調查現場條件，以評估可能的風險因素。
第二階段是制定飛行計劃，包括：規劃UAV的飛行路徑、設置拍攝圖像的位置、起飛和著陸點、UAV與目標之間的垂直距離等。
需要計算UAV攝像頭的視野（FOV），它是覆蓋整個目標檢測墻的關鍵之一。FOV的示例如圖2（a）所示，而UA V攝像機的參數與FOV之間的關系分別如圖2（b）和圖2（c）所示。
準備工作的第三階段是根據攝像機的視場處理被檢測建筑的BIM模型。在BIM模型中，根據FOV對檢測到的外墻進行分割，并使用Dynamo提取每個分割區域的中心點，Dynamo是Revit的可視化編程應用程序，它集成了不同的功能模塊以訪問BIM數據。首先，使用Dynamo中的“選擇面”功能模塊選擇BIM模型的外墻（“曲面”），并通過“曲線起點”提取墻的四個角點。然后，作者通過編程創建了“選擇基點”功能模塊，選擇其中一個角點作為模型外墻的基點。然后，通過“Element.GetParameterValueByName”和“Geometry.Translate”獲得墻的大小。最后，通過“多邊形.中心”獲得分割區域的中心點。
圖2 （a）UAV攝像頭的FOV（b）、（c）UAV攝像頭參數與FOV之間的關系
準備工作完成后，使用UAV采集建筑外墻數據。在拍攝目標墻的過程中，UAV的飛行平面始終與墻平行，UAV攜帶的相機鏡頭直接朝向墻，以防止鏡頭的俯視圖或俯視圖以及相應中心點的偏移造成圖像偏差。必須安全地收集圖像，但相機和墻壁應盡可能靠近，因為較短的距離可以提高圖像分辨率。圖3中示出了UAV攝影點的位置和FOV中相應墻的中心點的示例。
圖3 UAV的位置和墻的中心
②坐標變化
本研究的坐標轉換過程如下：首先，將獲得的UA V圖像坐標轉換為分割墻區域中心點的相應坐標。上述轉換是在WGS84坐標系中進行的。然后，使用我們提出的方法，將WGS-84中分段墻區域中心點的坐標轉換為平面坐標，然后再轉換為BIM坐標，如圖4所示。
圖4 將UAV圖像中的坐標轉換為BIM模型中的坐標的擬議過程
③缺陷檢測和定位
要將缺陷映射到BIM模型，第一步是檢測并定位圖像中的缺陷，然后映射BIM模型中的相應位置。
本研究使用基于深度學習的缺陷檢測方法來檢測UA V圖像中的缺陷并提取其特征。具體而言，基于稱為Mask R-CNN的對象實例分割框架，開發了一個深度學習模型?；贛ask R-CNN開發我們的模型的原因是，它可以生成每個缺陷的像素級分割、輪廓和邊界框，這意味著可以獲得詳細信息，包括缺陷類型、位置、數量、特征（例如面積、寬度、長度等）。
如圖5所示，掩碼RCNN的工作流程類似于更快的R-CNN。它首先通過幾個CNN層提取圖像特征，然后訓練區域建議網絡（RPN）生成區域建議，然后生成感興趣區域（ROI）。主要區別在于，在Mask R-CNN中添加了一個分支來預測每個RoI的分割掩碼，其過程與現有的分類和包圍盒回歸平行。
圖6顯示了使用掩模R-CNN的缺陷檢測結果的一個示例。每個缺陷都用一個邊界框來標識，該邊界框指示其類型和一般位置，并用不同的顏色（代表像素值）進行分割，以反映詳細的特征。
圖5 R-CNN的工作流程
圖6 R-CNN識別缺陷的一個示例
然后，自動讀取每個圖像的尺寸。圖像的寬度用W表示，圖像的高度用H表示，圖像的左上角作為原點。然后，利用深度學習模型的檢測結果，提取缺陷輪廓的像素坐標和缺陷的特征（如長度、寬度和脫落面積），并導出到數據庫中。根據之前介紹的圖像和FOV的比例，計算缺陷的真實尺寸和位置。具體而言，計算缺陷輪廓的像素坐標與FOV中心20之間的實際水平和垂直距離。計算出的實際缺陷位置也會自動生成到數據庫中，用于后續映射。
④將缺陷數據映射到BIM模型
經過計算和坐標轉換，在數據庫中生成每個缺陷的數據，包括實際尺寸和位置信息。開發了一種將已識別缺陷的數據集成到BIM模型中的方法。本研究使用自定義參數化族對BIM模型中的建筑外墻缺陷進行建模，然后通過調整族參數來表示不同的缺陷。
創建的族可以將每個缺陷建模為具有缺陷特征的BIM對象。在映射過程中，從數據庫中檢索每個缺陷的像素信息，并將其作為BIM中缺陷對象的族參數導入。這樣，缺陷的位置和尺寸參數都與BIM模型集成，便于可視化和管理缺陷，便于后續維護。
Q4文章是如何驗證和解決問題的？
本研究提出了一種將外墻缺陷數據與BIM模型集成的方法。為了驗證該方法檢測建筑物外墻的有效性，本研究選擇了深圳大學土木與交通工程學院實驗樓的兩堵外墻，面積為23.2 m×18.8 m。
①圖像數據提取
首先，根據預設的UA V路徑平面圖，依次拍攝實驗樓的外墻，并按順序存儲圖像。然后，基于Python的方法自動提取每幅圖像的GPS坐標、圖像序列號、像素大小信息。提取的數據存儲在數據庫中，部分數據如表所示。
②WGS-84坐標到平面坐標的轉換
獲取待測外墻GPS坐標信息后，進一步轉換為平面坐標。由于目標建筑面積較小，因此提出了一種簡化的坐標轉換方法。
為了驗證所提出的坐標變換方法的準確性，本研究選擇了兩條直線段的起點和終點。預先測量這四個點（P1、P2、P3和P4）的經緯度坐標以及兩條直線段的長度。然后，將兩組點的經緯度坐標轉換為平面坐標，并再次計算轉換后的距離。
如表所示，點P1和P2之間的實際測量距離為9.96 m，而轉換為平面坐標后計算的距離為9.95885 m。同樣，P3和P4之間的測量距離為4.56 m，而轉換后計算的距離為4.55735 m?？梢钥闯觯`差以毫米為單位，可以忽略不計，表明所提出的簡化坐標變換方法是有效的。
③平面坐標到BIM坐標的轉換
經過一系列的坐標變換，所有真實的外墻位置信息在BIM模型中都有對應的點。最后，使用本文的開發方法，將點的位置自動轉換為BIM模型坐標。生成的部分數據如表所示。
④將缺陷數據與BIM模型集成
坐標變換后，使用經過良好訓練的深度學習模型自動檢測UAV捕獲的每個圖像中的缺陷。深度學習模型的訓練過程中的損失如圖7所示，最終實現了收斂。最后，將訓練后的模型應用于本案例研究的UAV圖像中的裂紋檢測和特征提取。
圖7 深度學習模式培訓過程中的缺失
圖8示出了實驗室建筑外墻圖像中確定的部分裂縫。使用邊界框和概率得分對每個裂紋進行檢測和分割。從檢測結果中提取裂紋的特征（即尺寸和位置信息）。
圖8 使用經過良好訓練的深度學習模型識別裂紋
最后，Dynamo從數據庫中提取先前生成的缺陷信息。根據每個裂紋像素的位置信息，在BIM模型的相應位置將每個裂紋建模為一個族。
所有缺陷均在相應位置繪制并生成，BIM模型中包含詳細信息，這有助于評估狀況并規劃維護活動。我們案例研究中的一個結果示例如圖9所示。UAV圖像中檢測到的外墻裂縫在模型中建模為BIM對象，如圖9（a）所示。BIM模型中的裂紋與圖像中的裂紋之間的比較如圖9（b）所示。通過這種方式，設施經理可以有效地檢查特定建筑構件的缺陷，并將其與相關建筑信息相結合，以支持維護決策。
圖9
（a） 在BIM模型中映射和建模的裂紋，（b）圖像中的裂紋與BIM模型中的裂紋之間的比較
Q5文章有什么可取和不足之處？
邏輯結構：本文的outline呈現在下文：
1. Introduction
隨著使用年限的增加，高層建筑的外墻往往會出現各種各樣的缺陷，給安全帶來極大的風險。因此，對外墻缺陷進行安全檢查和管理，以便及時采取有效的維護措施，對于消除安全隱患，防止人員傷亡和經濟損失非常重要
2. Related works
UAV在更新包括土木工程在內的各個行業的安全管理實踐方面具有巨大潛力。BIM可以提供各個組件的全面數據以及三維可視化，因此可以大大提高建筑管理效率。
3. The Proposed Defect Detection and Mapping Framework
3.1 Preparatory work and data acquisition
介紹了準備工作的三個階段和UAV攝影點的位置與FOV中相應墻的中心點的關系
3.2 Coordinate transformation
上述轉換是在WGS84坐標系中進行的。然后，使用本文提出的方法，將WGS-84中分段墻區域中心點的坐標轉換為平面坐標，然后再轉換為BIM坐標。
3.3 Detection and localization of defects
介紹了如何將缺陷映射到BIM模型
3.4 Mapping defect data to BIM model
經過計算和坐標轉換，在數據庫中生成每個缺陷的數據，包括實際尺寸和位置信息。本文開發了一種將已識別缺陷的數據集成到BIM模型中的方法。
4. Case Study
4.1.Extraction of image dat
根據預設的UAV路徑平面圖，依次拍攝實驗樓的外墻，并按順序存儲圖像。然后，基于Python的方法自動提取每幅圖像的GPS坐標、圖像序列號、像素大小信息。
4.2.Transformation of WGS-84 coordinate to plane coordinate
為了驗證所提出的坐標變換方法的準確性，本研究選擇了兩條直線段的起點和終點。預先測量這四個點（P1、P2、P3和P4）的經緯度坐標以及兩條直線段的長度。然后，將兩組點的經緯度坐標轉換為平面坐標，并再次計算轉換后的距離。
4.3.Transformation from plane coordinate to BIM coordinate
經過一系列的坐標變換，所有真實的外墻位置信息在BIM模型中都有對應的點。
4.4. Integrating defect data with the BIM model
坐標變換后，使用經過良好訓練的深度學習模型自動檢測UAV捕獲的每個圖像中的缺陷。
5. Conclusions
本研究提出了一種智能方法來檢測建筑物外墻31層的缺陷，并將缺陷映射到BIM模型進行管理。UAV用于捕獲建筑物墻壁的現狀，并從捕獲的圖像中提取相關信息。然后，提出了一種簡化的坐標轉換方法，將缺陷位置轉換為BIM模型中的坐標。同時，開發了一種基于深度學習的檢測模型來自動識別和定位圖像中的缺陷。最后，使用Dynamo將缺陷自動建模為BIM族對象。建模缺陷附有特定信息，并在BIM模型的相應位置可視化，使檢查員能夠有效評估結構狀況并規劃維護工程。
本文章節設置完整、內容表述邏輯性強，文獻綜述部分劃分小節，內容更詳細。特別是在UAV攝像頭參數與FOV之間的關系描述部分，運用大量示意圖加以表述，使讀者易于理解。在文章最后也分析了本文研究優勢與局限性，有利于以后相關研究的發展。
研究方法：本文在第三章詳細介紹了缺陷檢測和映射框架，從中可以了解到基于UAV攝影測量自動獲取圖像信息并與BIM集成的建筑物外墻缺陷檢查和管理的流程。為了驗證所提出的坐標變換方法的準確性，以實例進行坐標轉換，取得實驗結果。
圖表形式：本文圖表種類多樣，內容表述充實，不僅在架構介紹部分有流程圖加以解釋，也有實驗結果圖像化展示，有利于直觀的展現實驗結果另外還包括模型輪廓展示。
Q6文章對自身的研究有什么啟發？
本文提出了一個基于UAV和BIM的建筑外墻缺陷檢測和管理的通用框架，該框架也適用于其他結構的評估；開發了一種坐標轉換方法，將真實數據映射到BIM模型，具有較高的精度。因此，建筑外墻的表面缺陷被映射到BIM模型。該方法不僅適用于單個建筑物，也適用于其他基礎設施。這種方法可以為bim結合隧道損傷檢驗提供思路。
本文版權歸腿腿教學網及原創作者所有，未經授權，謝絕轉載。
下一篇：Dynamo for Revit 3Dy預覽背景灰色怎么辦？
推薦專題
- 人工智能浪潮席卷工業領域，當AI算法深度賦能機電一體化設計時，將會碰撞出怎樣的創新火花？
- 各地BIM審查政策陸續推出，如何提高BIM審查效率，解決報建交付難題？
- 城市生命線｜地下管網數字化建模
- Revit技巧 | Revit粘貼功能無法與當前所選標高對齊
- Revit技巧 | Revit項目中導入樣板文件的方法
- Revit技巧 | revit風管繪制教程：關于在Revit中如何設置標準的矩形風管邊長規格
- Revit技巧 | Revit操作技巧：如何將項目導出成方便查看的網頁模式
- Revit技巧 | 與Revit相關的標高灰色
- Revit技巧 | Revit如何刪除鏈接的CAD文件？
- Revit技巧 | 如何解決Revit結構框架搭接的問題？
