將無(wú)人機(jī)捕獲的圖像中的缺陷數(shù)據(jù)映射和建模到BIM中，用于建筑外墻檢查

Mapping and modelling defect data from UAV captured images to BIM for building external wall inspection

作者：

Yi Tan（Key Laboratory for Resilient Infrastructures of Coastal Cities (Shenzhen University), Ministry of  Education）

Geng Li（Key Laboratory for Resilient Infrastructures of Coastal Cities (Shenzhen University), Ministry of  Education）

Ruying Cai（Key Laboratory for Resilient Infrastructures of Coastal Cities (Shenzhen University), Ministry of  Education）

Jun Ma（Department of Urban Planning and Design, University of Hong Kong, Hong Kong, China）

Mingzhu Wang（School of Architecture, Building and Civil Engineering, Loughborough University, United Kingdom）

期刊：Automation in Construction

原文連接：https://doi.org/10.1016/j.autcon.2022.104284

Q1文章提出的工程問題是什么？有什么實(shí)際工程價(jià)值？

隨著社會(huì)的發(fā)展，高層住宅建筑和辦公建筑已成為現(xiàn)代建筑不可或缺的組成部分。然而，隨著部分建筑使用年限的增加，存在著開裂、外墻脫落等安全隱患，將嚴(yán)重危害公共安全，造成經(jīng)濟(jì)損失。如果不及早發(fā)現(xiàn)這些安全問題，建筑物的健康狀況將迅速惡化，導(dǎo)致災(zāi)難性后果。

對(duì)外墻缺陷進(jìn)行安全檢查和管理，以便及時(shí)采取有效的維護(hù)措施，對(duì)于消除安全隱患，防止人員傷亡和經(jīng)濟(jì)損失非常重要。

Q2文章提出的科學(xué)問題是什么？有什么新的學(xué)術(shù)貢獻(xiàn)？

傳統(tǒng)的高層建筑外墻檢測(cè)方法要求檢測(cè)人員在高空作業(yè)，人工識(shí)別缺陷，這既危險(xiǎn)又低效。近年來，使用無(wú)人機(jī)（UAV）檢查建筑物外墻的趨勢(shì)越來越明顯。

本文提出了一種通過將UAV圖像中的缺陷數(shù)據(jù)映射到BIM模型并將缺陷建模為BIM對(duì)象來管理建筑外墻檢測(cè)結(jié)果的方法。

考慮到單體建筑規(guī)模較小，本文提出了一種簡(jiǎn)化的坐標(biāo)轉(zhuǎn)換方法，將實(shí)際缺陷位置轉(zhuǎn)換為BIM模型中的坐標(biāo)。同時(shí)，提出了一種基于深度學(xué)習(xí)的實(shí)例分割模型，用于檢測(cè)捕獲圖像中的缺陷并提取其特征。最后，識(shí)別出的缺陷被建模為具有詳細(xì)信息的新對(duì)象，并映射到相關(guān)BIM組件的相應(yīng)位置。

Q3文章提出的技術(shù)路線是什么？有什么改進(jìn)創(chuàng)新之處？

本文主要提出了缺陷檢測(cè)和映射框架，圖1顯示了基于UAV攝影測(cè)量自動(dòng)獲取圖像信息并與BIM集成的建筑物外墻缺陷檢查和管理的流程框架。建議的框架包括：1）準(zhǔn)備工作和數(shù)據(jù)采集與處理，2）坐標(biāo)轉(zhuǎn)換，3）缺陷檢測(cè)和定位，以及4）將已識(shí)別的缺陷映射到BIM模型。  

圖1  缺陷檢測(cè)和映射框架

①準(zhǔn)備工作和數(shù)據(jù)采集與處理

準(zhǔn)備工作包括三個(gè)階段。第一階段是初步準(zhǔn)備階段，包括：1）注冊(cè)UAV并獲得主管部門的飛行許可；2）確保被檢查建筑不在禁飛區(qū)；3）訪問和調(diào)查現(xiàn)場(chǎng)條件，以評(píng)估可能的風(fēng)險(xiǎn)因素。

第二階段是制定飛行計(jì)劃，包括：規(guī)劃UAV的飛行路徑、設(shè)置拍攝圖像的位置、起飛和著陸點(diǎn)、UAV與目標(biāo)之間的垂直距離等。

需要計(jì)算UAV攝像頭的視野（FOV），它是覆蓋整個(gè)目標(biāo)檢測(cè)墻的關(guān)鍵之一。FOV的示例如圖2（a）所示，而UA V攝像機(jī)的參數(shù)與FOV之間的關(guān)系分別如圖2（b）和圖2（c）所示。

準(zhǔn)備工作的第三階段是根據(jù)攝像機(jī)的視場(chǎng)處理被檢測(cè)建筑的BIM模型。在BIM模型中，根據(jù)FOV對(duì)檢測(cè)到的外墻進(jìn)行分割，并使用Dynamo提取每個(gè)分割區(qū)域的中心點(diǎn)，Dynamo是Revit的可視化編程應(yīng)用程序，它集成了不同的功能模塊以訪問BIM數(shù)據(jù)。首先，使用Dynamo中的“選擇面”功能模塊選擇BIM模型的外墻（“曲面”），并通過“曲線起點(diǎn)”提取墻的四個(gè)角點(diǎn)。然后，作者通過編程創(chuàng)建了“選擇基點(diǎn)”功能模塊，選擇其中一個(gè)角點(diǎn)作為模型外墻的基點(diǎn)。然后，通過“Element.GetParameterValueByName”和“Geometry.Translate”獲得墻的大小。最后，通過“多邊形.中心”獲得分割區(qū)域的中心點(diǎn)。

圖2  （a）UAV攝像頭的FOV（b）、（c）UAV攝像頭參數(shù)與FOV之間的關(guān)系

準(zhǔn)備工作完成后，使用UAV采集建筑外墻數(shù)據(jù)。在拍攝目標(biāo)墻的過程中，UAV的飛行平面始終與墻平行，UAV攜帶的相機(jī)鏡頭直接朝向墻，以防止鏡頭的俯視圖或俯視圖以及相應(yīng)中心點(diǎn)的偏移造成圖像偏差。必須安全地收集圖像，但相機(jī)和墻壁應(yīng)盡可能靠近，因?yàn)檩^短的距離可以提高圖像分辨率。圖3中示出了UAV攝影點(diǎn)的位置和FOV中相應(yīng)墻的中心點(diǎn)的示例。

圖3 UAV的位置和墻的中心

②坐標(biāo)變化

本研究的坐標(biāo)轉(zhuǎn)換過程如下：首先，將獲得的UA V圖像坐標(biāo)轉(zhuǎn)換為分割墻區(qū)域中心點(diǎn)的相應(yīng)坐標(biāo)。上述轉(zhuǎn)換是在WGS84坐標(biāo)系中進(jìn)行的。然后，使用我們提出的方法，將WGS-84中分段墻區(qū)域中心點(diǎn)的坐標(biāo)轉(zhuǎn)換為平面坐標(biāo)，然后再轉(zhuǎn)換為BIM坐標(biāo)，如圖4所示。

圖4 將UAV圖像中的坐標(biāo)轉(zhuǎn)換為BIM模型中的坐標(biāo)的擬議過程

③缺陷檢測(cè)和定位

要將缺陷映射到BIM模型，第一步是檢測(cè)并定位圖像中的缺陷，然后映射BIM模型中的相應(yīng)位置。

本研究使用基于深度學(xué)習(xí)的缺陷檢測(cè)方法來檢測(cè)UA V圖像中的缺陷并提取其特征。具體而言，基于稱為Mask R-CNN的對(duì)象實(shí)例分割框架，開發(fā)了一個(gè)深度學(xué)習(xí)模型。基于Mask R-CNN開發(fā)我們的模型的原因是，它可以生成每個(gè)缺陷的像素級(jí)分割、輪廓和邊界框，這意味著可以獲得詳細(xì)信息，包括缺陷類型、位置、數(shù)量、特征（例如面積、寬度、長(zhǎng)度等）。

如圖5所示，掩碼RCNN的工作流程類似于更快的R-CNN。它首先通過幾個(gè)CNN層提取圖像特征，然后訓(xùn)練區(qū)域建議網(wǎng)絡(luò)（RPN）生成區(qū)域建議，然后生成感興趣區(qū)域（ROI）。主要區(qū)別在于，在Mask R-CNN中添加了一個(gè)分支來預(yù)測(cè)每個(gè)RoI的分割掩碼，其過程與現(xiàn)有的分類和包圍盒回歸平行。

圖6顯示了使用掩模R-CNN的缺陷檢測(cè)結(jié)果的一個(gè)示例。每個(gè)缺陷都用一個(gè)邊界框來標(biāo)識(shí)，該邊界框指示其類型和一般位置，并用不同的顏色（代表像素值）進(jìn)行分割，以反映詳細(xì)的特征。

圖5 R-CNN的工作流程

圖6 R-CNN識(shí)別缺陷的一個(gè)示例

然后，自動(dòng)讀取每個(gè)圖像的尺寸。圖像的寬度用W表示，圖像的高度用H表示，圖像的左上角作為原點(diǎn)。然后，利用深度學(xué)習(xí)模型的檢測(cè)結(jié)果，提取缺陷輪廓的像素坐標(biāo)和缺陷的特征（如長(zhǎng)度、寬度和脫落面積），并導(dǎo)出到數(shù)據(jù)庫(kù)中。根據(jù)之前介紹的圖像和FOV的比例，計(jì)算缺陷的真實(shí)尺寸和位置。具體而言，計(jì)算缺陷輪廓的像素坐標(biāo)與FOV中心20之間的實(shí)際水平和垂直距離。計(jì)算出的實(shí)際缺陷位置也會(huì)自動(dòng)生成到數(shù)據(jù)庫(kù)中，用于后續(xù)映射。

④將缺陷數(shù)據(jù)映射到BIM模型

經(jīng)過計(jì)算和坐標(biāo)轉(zhuǎn)換，在數(shù)據(jù)庫(kù)中生成每個(gè)缺陷的數(shù)據(jù)，包括實(shí)際尺寸和位置信息。開發(fā)了一種將已識(shí)別缺陷的數(shù)據(jù)集成到BIM模型中的方法。本研究使用自定義參數(shù)化族對(duì)BIM模型中的建筑外墻缺陷進(jìn)行建模，然后通過調(diào)整族參數(shù)來表示不同的缺陷。

創(chuàng)建的族可以將每個(gè)缺陷建模為具有缺陷特征的BIM對(duì)象。在映射過程中，從數(shù)據(jù)庫(kù)中檢索每個(gè)缺陷的像素信息，并將其作為BIM中缺陷對(duì)象的族參數(shù)導(dǎo)入。這樣，缺陷的位置和尺寸參數(shù)都與BIM模型集成，便于可視化和管理缺陷，便于后續(xù)維護(hù)。

Q4文章是如何驗(yàn)證和解決問題的？

本研究提出了一種將外墻缺陷數(shù)據(jù)與BIM模型集成的方法。為了驗(yàn)證該方法檢測(cè)建筑物外墻的有效性，本研究選擇了深圳大學(xué)土木與交通工程學(xué)院實(shí)驗(yàn)樓的兩堵外墻，面積為23.2 m×18.8 m。

①圖像數(shù)據(jù)提取

首先，根據(jù)預(yù)設(shè)的UA V路徑平面圖，依次拍攝實(shí)驗(yàn)樓的外墻，并按順序存儲(chǔ)圖像。然后，基于Python的方法自動(dòng)提取每幅圖像的GPS坐標(biāo)、圖像序列號(hào)、像素大小信息。提取的數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)中，部分?jǐn)?shù)據(jù)如表所示。

②WGS-84坐標(biāo)到平面坐標(biāo)的轉(zhuǎn)換

獲取待測(cè)外墻GPS坐標(biāo)信息后，進(jìn)一步轉(zhuǎn)換為平面坐標(biāo)。由于目標(biāo)建筑面積較小，因此提出了一種簡(jiǎn)化的坐標(biāo)轉(zhuǎn)換方法。

為了驗(yàn)證所提出的坐標(biāo)變換方法的準(zhǔn)確性，本研究選擇了兩條直線段的起點(diǎn)和終點(diǎn)。預(yù)先測(cè)量這四個(gè)點(diǎn)（P1、P2、P3和P4）的經(jīng)緯度坐標(biāo)以及兩條直線段的長(zhǎng)度。然后，將兩組點(diǎn)的經(jīng)緯度坐標(biāo)轉(zhuǎn)換為平面坐標(biāo)，并再次計(jì)算轉(zhuǎn)換后的距離。

如表所示，點(diǎn)P1和P2之間的實(shí)際測(cè)量距離為9.96 m，而轉(zhuǎn)換為平面坐標(biāo)后計(jì)算的距離為9.95885 m。同樣，P3和P4之間的測(cè)量距離為4.56 m，而轉(zhuǎn)換后計(jì)算的距離為4.55735 m。可以看出，誤差以毫米為單位，可以忽略不計(jì)，表明所提出的簡(jiǎn)化坐標(biāo)變換方法是有效的。

③平面坐標(biāo)到BIM坐標(biāo)的轉(zhuǎn)換

經(jīng)過一系列的坐標(biāo)變換，所有真實(shí)的外墻位置信息在BIM模型中都有對(duì)應(yīng)的點(diǎn)。最后，使用本文的開發(fā)方法，將點(diǎn)的位置自動(dòng)轉(zhuǎn)換為BIM模型坐標(biāo)。生成的部分?jǐn)?shù)據(jù)如表所示。  

④將缺陷數(shù)據(jù)與BIM模型集成

坐標(biāo)變換后，使用經(jīng)過良好訓(xùn)練的深度學(xué)習(xí)模型自動(dòng)檢測(cè)UAV捕獲的每個(gè)圖像中的缺陷。深度學(xué)習(xí)模型的訓(xùn)練過程中的損失如圖7所示，最終實(shí)現(xiàn)了收斂。最后，將訓(xùn)練后的模型應(yīng)用于本案例研究的UAV圖像中的裂紋檢測(cè)和特征提取。

圖7 深度學(xué)習(xí)模式培訓(xùn)過程中的缺失

圖8示出了實(shí)驗(yàn)室建筑外墻圖像中確定的部分裂縫。使用邊界框和概率得分對(duì)每個(gè)裂紋進(jìn)行檢測(cè)和分割。從檢測(cè)結(jié)果中提取裂紋的特征（即尺寸和位置信息）。

圖8 使用經(jīng)過良好訓(xùn)練的深度學(xué)習(xí)模型識(shí)別裂紋

最后，Dynamo從數(shù)據(jù)庫(kù)中提取先前生成的缺陷信息。根據(jù)每個(gè)裂紋像素的位置信息，在BIM模型的相應(yīng)位置將每個(gè)裂紋建模為一個(gè)族。

所有缺陷均在相應(yīng)位置繪制并生成，BIM模型中包含詳細(xì)信息，這有助于評(píng)估狀況并規(guī)劃維護(hù)活動(dòng)。我們案例研究中的一個(gè)結(jié)果示例如圖9所示。UAV圖像中檢測(cè)到的外墻裂縫在模型中建模為BIM對(duì)象，如圖9（a）所示。BIM模型中的裂紋與圖像中的裂紋之間的比較如圖9（b）所示。通過這種方式，設(shè)施經(jīng)理可以有效地檢查特定建筑構(gòu)件的缺陷，并將其與相關(guān)建筑信息相結(jié)合，以支持維護(hù)決策。

圖9

（a） 在BIM模型中映射和建模的裂紋，（b）圖像中的裂紋與BIM模型中的裂紋之間的比較

Q5文章有什么可取和不足之處？

邏輯結(jié)構(gòu)：本文的outline呈現(xiàn)在下文：

1.  Introduction

隨著使用年限的增加，高層建筑的外墻往往會(huì)出現(xiàn)各種各樣的缺陷，給安全帶來極大的風(fēng)險(xiǎn)。因此，對(duì)外墻缺陷進(jìn)行安全檢查和管理，以便及時(shí)采取有效的維護(hù)措施，對(duì)于消除安全隱患，防止人員傷亡和經(jīng)濟(jì)損失非常重要

2. Related works

UAV在更新包括土木工程在內(nèi)的各個(gè)行業(yè)的安全管理實(shí)踐方面具有巨大潛力。BIM可以提供各個(gè)組件的全面數(shù)據(jù)以及三維可視化，因此可以大大提高建筑管理效率。

3. The Proposed Defect Detection and Mapping Framework

3.1 Preparatory work and data acquisition

介紹了準(zhǔn)備工作的三個(gè)階段和UAV攝影點(diǎn)的位置與FOV中相應(yīng)墻的中心點(diǎn)的關(guān)系

3.2 Coordinate transformation

上述轉(zhuǎn)換是在WGS84坐標(biāo)系中進(jìn)行的。然后，使用本文提出的方法，將WGS-84中分段墻區(qū)域中心點(diǎn)的坐標(biāo)轉(zhuǎn)換為平面坐標(biāo)，然后再轉(zhuǎn)換為BIM坐標(biāo)。

3.3 Detection and localization of defects

介紹了如何將缺陷映射到BIM模型

3.4 Mapping defect data to BIM model

經(jīng)過計(jì)算和坐標(biāo)轉(zhuǎn)換，在數(shù)據(jù)庫(kù)中生成每個(gè)缺陷的數(shù)據(jù)，包括實(shí)際尺寸和位置信息。本文開發(fā)了一種將已識(shí)別缺陷的數(shù)據(jù)集成到BIM模型中的方法。

4. Case Study

4.1.Extraction of image dat

根據(jù)預(yù)設(shè)的UAV路徑平面圖，依次拍攝實(shí)驗(yàn)樓的外墻，并按順序存儲(chǔ)圖像。然后，基于Python的方法自動(dòng)提取每幅圖像的GPS坐標(biāo)、圖像序列號(hào)、像素大小信息。

4.2.Transformation of WGS-84 coordinate to plane coordinate

為了驗(yàn)證所提出的坐標(biāo)變換方法的準(zhǔn)確性，本研究選擇了兩條直線段的起點(diǎn)和終點(diǎn)。預(yù)先測(cè)量這四個(gè)點(diǎn)（P1、P2、P3和P4）的經(jīng)緯度坐標(biāo)以及兩條直線段的長(zhǎng)度。然后，將兩組點(diǎn)的經(jīng)緯度坐標(biāo)轉(zhuǎn)換為平面坐標(biāo)，并再次計(jì)算轉(zhuǎn)換后的距離。

4.3.Transformation from plane coordinate to BIM coordinate

經(jīng)過一系列的坐標(biāo)變換，所有真實(shí)的外墻位置信息在BIM模型中都有對(duì)應(yīng)的點(diǎn)。

4.4. Integrating defect data with the BIM model

坐標(biāo)變換后，使用經(jīng)過良好訓(xùn)練的深度學(xué)習(xí)模型自動(dòng)檢測(cè)UAV捕獲的每個(gè)圖像中的缺陷。

5. Conclusions

本研究提出了一種智能方法來檢測(cè)建筑物外墻31層的缺陷，并將缺陷映射到BIM模型進(jìn)行管理。UAV用于捕獲建筑物墻壁的現(xiàn)狀，并從捕獲的圖像中提取相關(guān)信息。然后，提出了一種簡(jiǎn)化的坐標(biāo)轉(zhuǎn)換方法，將缺陷位置轉(zhuǎn)換為BIM模型中的坐標(biāo)。同時(shí)，開發(fā)了一種基于深度學(xué)習(xí)的檢測(cè)模型來自動(dòng)識(shí)別和定位圖像中的缺陷。最后，使用Dynamo將缺陷自動(dòng)建模為BIM族對(duì)象。建模缺陷附有特定信息，并在BIM模型的相應(yīng)位置可視化，使檢查員能夠有效評(píng)估結(jié)構(gòu)狀況并規(guī)劃維護(hù)工程。

本文章節(jié)設(shè)置完整、內(nèi)容表述邏輯性強(qiáng)，文獻(xiàn)綜述部分劃分小節(jié)，內(nèi)容更詳細(xì)。特別是在UAV攝像頭參數(shù)與FOV之間的關(guān)系描述部分，運(yùn)用大量示意圖加以表述，使讀者易于理解。在文章最后也分析了本文研究?jī)?yōu)勢(shì)與局限性，有利于以后相關(guān)研究的發(fā)展。

研究方法：本文在第三章詳細(xì)介紹了缺陷檢測(cè)和映射框架，從中可以了解到基于UAV攝影測(cè)量自動(dòng)獲取圖像信息并與BIM集成的建筑物外墻缺陷檢查和管理的流程。為了驗(yàn)證所提出的坐標(biāo)變換方法的準(zhǔn)確性，以實(shí)例進(jìn)行坐標(biāo)轉(zhuǎn)換，取得實(shí)驗(yàn)結(jié)果。

圖表形式：本文圖表種類多樣，內(nèi)容表述充實(shí)，不僅在架構(gòu)介紹部分有流程圖加以解釋，也有實(shí)驗(yàn)結(jié)果圖像化展示，有利于直觀的展現(xiàn)實(shí)驗(yàn)結(jié)果另外還包括模型輪廓展示。

Q6文章對(duì)自身的研究有什么啟發(fā)？

本文提出了一個(gè)基于UAV和BIM的建筑外墻缺陷檢測(cè)和管理的通用框架，該框架也適用于其他結(jié)構(gòu)的評(píng)估；開發(fā)了一種坐標(biāo)轉(zhuǎn)換方法，將真實(shí)數(shù)據(jù)映射到BIM模型，具有較高的精度。因此，建筑外墻的表面缺陷被映射到BIM模型。該方法不僅適用于單個(gè)建筑物，也適用于其他基礎(chǔ)設(shè)施。這種方法可以為bim結(jié)合隧道損傷檢驗(yàn)提供思路。

本文版權(quán)歸腿腿教學(xué)網(wǎng)及原創(chuàng)作者所有，未經(jīng)授權(quán)，謝絕轉(zhuǎn)載。

上一篇：D5渲染器常見問題：如何輸出通道圖？

下一篇：Dynamo for Revit 3Dy預(yù)覽背景灰色怎么辦？

猜你喜歡

Revit如何將隱藏或隔離的圖元修改為顯示？

Revit2017對(duì)電腦的要求官方推薦對(duì)電腦配置要求

Revit2016項(xiàng)目樣板文件單獨(dú)下載

Revit2018安裝后沒有族庫(kù)、沒有項(xiàng)目樣板，沒有族樣板怎么辦？

關(guān)于Revit墻連接方式、顯示及其調(diào)整修改的理解

Revit2021破解安裝教程,Revit2021注冊(cè)機(jī)使用方法

最新課程

Revit變徑族制作視頻教程

Revit

741人已學(xué)

Revit 四通族制作視頻教程

Revit

573人已學(xué)

Revit 三通族制作視頻教程

Revit

548人已學(xué)

Revit MEP 構(gòu)件族揭秘制作

Revit

1060人已學(xué)

水利專業(yè)水閘BIM教學(xué)視頻

Revit

1648人已學(xué)

第二十二期全國(guó)BIM技能等級(jí)考試二級(jí)結(jié)構(gòu)試題解析

Revit

11355人已學(xué)

推薦專題

Revit下載全版本2014~2025專輯

Revit離線族庫(kù)、樣板、族樣板專輯

BIM電腦配置專輯

全國(guó)BIM等級(jí)考試相關(guān)內(nèi)容專題

全國(guó)BIM標(biāo)準(zhǔn)合集

Revit常見安裝問題專輯

1+X歷年真題合輯

Revit基礎(chǔ)工具詳解專輯

廣聯(lián)達(dá)軟件下載專題-MagiCAD下載,施工建模,模板腳手架,BIM5D

bim模型手機(jī)查看軟件專題

bim軟件_bim軟件有哪些_bim軟件介紹_bim軟件多少錢一套

Revit2024專題-Revit2024下載,Revit2024教程,Revit2024新功能

成塔混動(dòng)設(shè)計(jì)

Revit2025專題