为了弥合草图和3D模型之间的差距，提出了一个可以将手绘2D草图转换为3D网格的框架。用户可以通过基于Web的界面在画布上绘制草图，相应的3D模型将自动天生并显示在一旁。
所提出的框架利用基于机器学习的方法，通过变形模板形状从单个手绘草图天生3D网格。由于天生的模型具有不平坦的表面，因此运用优化步骤来优化形状，从而创建具有平面和更锐利边缘的更可用的建筑3D模型。
创建大略房屋数据集，该数据集由5000个单体积房屋组成，用于演习神经网络。定义五类房屋类型，以屋顶形状和其他几何属性区分，并为每个种别天生了1000个模型，参数是随机选择的。每个模型都包括一个3D网格和20个不同角度的透视线图。
只管泛化能力的限定使得它不太可能取代当今传统的3D建模软件，但快速草图到3D转换使建筑师能够探索各种建筑形式的可能性，并可能在早期阶段加快设计过程。
先容手绘草图是一种在建筑设计过程中快速传达想法的高效且直不雅观的方法。利用大略的笔触，个人可以在脑海中转移3D形式，并在设计过程中直不雅观地传达观点。
另一方面，3D模型为从不同角度审查整体设计供应了更好的体验。但是，构建 3D 模型常日非常耗时，并且须要大量 3D 建模软件专业知识。此外，传统的3D建模工具常日会根据各种成分施加设计偏差，例如特定建模界面的用户友好性和软件的底层算法。
为了将手绘草图的创造性探索与数字3D建模工具联系起来，可以开拓一种算法来自动从手绘草图重修3D模型。通过这种方法，建筑师可以通过草图直不雅观地开拓设计，同时在 3D 中记录和评估结果。
虽然人类可以很随意马虎地从3D草图中推断出2D构造，但机器要自动化这个过程是具有寻衅性的。这种技能在很大程度上取决于不雅观察者的履历，不雅观察者会无意识地将笔触与常日感知的物体的形状对齐。对这些笔画的数学剖析揭示了它们的非确定性和表示无限数量构造的能力，使得设计一种可以精确重修3D场景的算法过于模糊。
除了投影模糊性之外，遮挡物体的存在也给机器从草图重修3D模型带来了额外的寻衅。考虑一把单腿隐蔽在视线之外的椅子，人类常日推断椅子有四条腿而不是三条腿，机器可能并非如此。
成功重修3D模型须要事先理解所谈论的工具。办理此问题的一种方法是利用机器学习技能来演习学习特定工具类范例构造的模型。但是，这种类方法可能缺少泛化能力，由于它只能孤立地从每个种别中学习信息。
随着近年来深度神经网络的快速发展，越来越多的基于机器学习的方法在该领域涌现。然而，它们在建筑设计或3D建模过程中的实际运用仍旧未知。
为了利用户可以访问这种2D到3D天生器，须要开拓一个易于利用的系统。本文的紧张重点是先容一种系统，该系统将基于机器学习的 2D 草图集成到 3D 模型天生器中，并将其集成到传统的 3D 建模软件中。
干系作品如今，由于硬件和软件功能的改进，从3D图像构建2D模型变得越来越逼真。无论哪种办法，都可以本能地构建和修正3D模型。虽然没有商业CAD软件包含此功能，但已经提出了一些学术研究。
1.基于草图的建模
基于草图的建模是一种更直接和交互式的办法，通过草图构建 3D 模型。它们中的大多数都有一个特定的界面来捕获每个笔画的路径。例如，有些人将每个笔触识别为单个工具的轮廓，并通过“膨胀”技能天生相应的3D模型。
述基于草图的建模常日须要用户将物体的投影轮廓绘制到3D空间中的平面上，系统随后将草图线转换为3D组件并将它们合并以形成终极模型。比较之下，我们更侧重于将带有透视信息的 2D 草图直接转换为 3D 模型。它更直不雅观，更省时，由于建筑师和设计师常常利用 2D 草图启动他们的设计过程。
2.从二维图像重修三维模型
与基于草图的建模比较，可以将全体 2D 图像作为输入，并通过剖析场景中存在的工具来重修 3D 几何体。因此，演习端到端机器学习模型是这一种别中的常用方法，尤其是在存在大规模数据集和差异渲染的情形下。这些基于学习的方法本日如雨后春笋般呈现。
有些须要一张图像作为输入，有些则须要来自不同视图的多张照片。该模型可以天生为体素、多边形网格和点云。我们认为多边形网格是最适宜与大多数 3D 建模工具集成的格式。
然而，这里提到的许多方法都受到低泛化能力的阻碍，这是与其机器学习模型干系的内在问题。由于天生的模型的整体构造有限，因此这些方法常日会为同一种别中的工具演习特定的模型。
因此，它们只能在同一类中天生具有相似构造的模型。为理解决这个问题，须要利用两阶段过程，通过第一个网络估计法线图，深度图和轮廓作为中间结果，将它们用作第二个网络的输入以天生终极的2D模型。
最近，提出了多个机器学习模型来从手绘草图重修3D模型。演习了一个从2D草图天生的网络。利用两阶段构造，个中网络首先将草图转换为多个 2D 法线贴图，然后将其作为输入下一阶段天生的5D网格。
天生的结果合成数据集和手绘草图的测试结果如图所示。模型可以处理这些草图，并从这些示例中产生令人满意的结果。
但是，如上所述，该模型仍旧缺少泛化能力。首先，模型对毛病很敏感，模型会产生意想不到的结果。对付阔别数据集中示例的案例，模型无法天生匹配结果。这也适用于与房屋无关的草图。
这意味着无论用户画什么，它都会考试测验天生一个尽可能贴合轮廓的屋子。虽然它可以是一个引发设计师灵感的功能，但它也可能危害这个别系的潜力。一个可行的发展是包括自动化和用户天生的反馈，以平衡机器学习模型的精度、泛化能力和天生 3D 模型的不愿定性。
此模型的另一个缺陷是对同等拓扑的限定。由于它通过变形模板网格来天生工具，因此拓扑将与模板工具相同。例如，如果模板是一个球体，但在演习或测试数据中呈现了一个圆环，则天生的结果将被扭曲。
还通过用笔和纸绘制草图来测试模型天生器。在纸上绘画后，拍摄照片并裁剪，使目标形状险些位于全体图像的中央。然后，图像将被发送到预霸占管道，个中背景被移除，图像被转换为与演习数据集类似的样式。
结果表明，通过足够的图像预处理步骤来处理图像，可以通过利用手机的相机功能在纸上捕捉草图来扩展界面，从而进一步发展界面的灵巧性。
用户界面展示用户界面的屏幕截图，个中包括一个Web运用程序，演示用户绘制的草图并将其转换为3D模型，以及用于导入结果模型的Rhino和Grasshopper脚本。
在Web运用程序中，用户可以在左侧绘制草图并通过按中间的转换按钮天生3D模型，右侧的3D模型将险些实时更新。该示例显示了一个方案，个顶用户通过平板电脑访问界面并利用触笔铅笔绘制草图。
用户可以随时重做、撤消和打消画布。在桌面端，Grasshopper通过启动脚本连接到与平板电脑相同的“房间”。当网格天生时，用户可以触发Grasshopper 中的按钮，将模型自动导入 Rhino中。
用户在平板电脑上绘图，结果通过 Grasshopper 脚本同步到 Rhino 视口。
结论本文所提出的系统为建筑师和设计师供应了一种用户友好且高效的办法。通过利用深度神经网络将手绘草图转换为3D模型，该系统许可用户在3D中快速可视化其观点。通过Grasshopper的组合，用户还可以在天生的模型之上实行进一步的编辑。
将前端和后端分开，使终极用户可以轻松访问系统，同时保持可扩展性，这使得将新技能嵌入到传统设计阶段更加逼真。
天生了一个合成数据集，用于演习系统中利用的神经网络。这涉及随机 3D 模型天生和 2D 线框渲染，以及徒手草图仿照。这种方法许可创建专门为建筑设计任务量身定制的数据集，从而为未来的研究职员为该领域开拓基于学习的方法供应了机会。此外，我们提出了一种后处理优化程序，以增强天生的3D模型并使其更适宜建筑目的。
只管目前的模型在泛化能力方面可能存在一些局限性，但它仍旧显示动身明性利用的潜力，可以作为进一步探索的出发点。将草图早期转换为3D建模环境可以使设计的评估和仿照更早地进行。它还可以通过使3D建模对更广泛的用户来说不那么麻烦，从而使设计过程更具原谅性。相信将人工智能纳入打算机赞助设计将不可避免地扩大建筑设计过程的格局。
●—<参考文献>—●
【1】SingleSketch2Mesh：从草图天生3D网格模型
【2】P.E.：利用霍夫变换来检测图片中的线条和曲线
【3】Monster mash：一种休闲 3D 建模和动画的单视图方法
【4】L.J.：用于从单个图像重修3D工具的点集天生网络
【5】S.：用于建筑中几何深度学习的合成 3D 数据天生管道
【6】Maji，S.：用于3D点云处理的多分辨率树网络
