关于MetaDefender Cloud
MetaDefender Cloud 是OPSWAT基于云的先进威胁防御与恶意软件分析平台。我们独有的 Deep CDR™ 技术与 20 多种顶级杀毒引擎Multiscanning 相结合，可保护企业免受零日攻击和日益复杂的恶意软件的侵害。MetaDefender Cloud沙箱功能结合OPSWAT世界级威胁情报数据库，通过实时哈希、IP 和域名分析，协助恶意软件研究人员深入了解现有及潜在威胁。
目前，MetaDefender Cloud 平台每天可支持客户提出的 500 多万次扫描请求，平均扫描时间仅为 0.4 秒。
我们为什么要开发MetaDefender 即服务（MDaaS）？
满足市场需求，为客户提供更好的支持
我们希望确保MetaDefender Cloud 能够进行扩展，以满足不断变化的需求，以及随着越来越多的应用程序迁移到云端，对高阶应用安全服务和日益复杂的 DevOps 安全服务不断增长的需求。随着文件流量的增加，MetaDefender Cloud 必须保持并提高其性能，以确保为我们的最终客户提供流畅的用户体验。
加强监测和预测扩展
我们决定将内部部署架构迁移到基于微服务和基础设施即代码的云原生 Kubernetes，以便在当前的部署和监控模式上提供无缝一致的体验。
MetaDefender 作为服务架构
随着我们向 MDaaS 迁移，我们的Multiscanning 服务已从基于 Windows 的AMI 迁移到基于 Kubernetes 的集群。管理员现在可以为每个引擎配置可扩展性。由于引擎的性能各不相同，因此可以对速度较慢的引擎进行扩展，以保持快速的扫描时间。
文件处理流程如下
1. 外部请求方将一条包含请求指令的消息发送至“request”Kafka主题（1），这些指令包括使用AV1、AV2等对文件进行扫描，使用Deep CDR™技术对文件进行净化处理，以及使用Sandbox 对文件进行分析等。
2. 随后，一个订阅消息的 Lambda 提取器 (2) 将请求拆分为若干不同的命令，并将它们发送到另一个 Kafka 主题 (3)，在那里这些命令会被分类并分配给相应的引擎 (4)。
3. 引擎处理模块（4）是该系统的核心。它包含多个引擎容器，运行在亚马逊弹性Kubernetes服务（EKS）上，并能够根据工作负载进行纵向或横向扩展。每个引擎处理特定的请求，从而提升处理性能。
4. 在该过程中，还使用了一个 S3 存储桶 (5) 来存储输入和输出文件。
5. 与此同时，一个可用的日志处理模块（6）从引擎接收日志，并将其传输至日志分析系统。
6. 文件处理完成后，每个引擎生成的结果将被返回至“results” Kafka 主题 (7)
7. 随后，一个基于 AWS Lambda 的微服务聚合器（8）将结果整合成一份报告，并将其发送到一个 Kafka 主题（9），最终返回给请求方。
技术挑战和解决方案
预测发动机行为和处理异常
传统的 MDCore AMI 部署允许引擎在一台功能强大的计算机上运行，引擎之间可以共享资源（CPU、内存、磁盘、网络等）。然而，在微服务架构中，每个引擎都在一个功能较弱的容器中单独运行。因此，在这种情况下，我们很难确定系统的资源需求。
为了解决这个问题，我们利用旧系统的历史数据为每个引擎设定了基线，并添加了 Datadog 监控。我们不断监控引擎的行为，并对基础设施进行微调，直到产品实现卓越的性能。
在性能和托管成本之间保持平衡
有了新的架构，MetaDefender Cloud 可以轻松扩展，以适应客户的无限需求，并以最佳水平运行。然而，这也意味着维护成本可能会按比例激增。如果没有支出检查或治理模式，扩展可能无法控制，导致云服务账单的增加远远超出最初分配的预算。
因此，经常与利益攸关方进行建筑审查，以确保在稳定和平衡成本的情况下获得一致的经验。
环境模拟
在没有真实数据的情况下，在非生产环境中模拟生产负载是一项挑战。为了解决这个问题，我们建立了并行的工作流程，使真实数据同时通过新旧架构，让我们能够并行评估两者的关键指标。这种 "苹果对苹果 "的比较使我们能够快速有效地确定新架构优于旧架构的地方，以及新架构需要改进的地方。
监测、报告和控制
实时云基础设施监控
MetaDefender Cloud 非常重视在其系统中构建强大的监控功能，以提供清晰的系统健康状况视图。像MDaaS这样的服务，每秒可处理超过44个请求（RPS），错误率仅为0.6%，依赖多个上游系统和合作伙伴生态系统作为其流量来源，并同时为不同的内部和外部下游系统产生大量流量，因此必须将指标、警报和日志功能强大地结合起来。
Datadog 中按环境分列的高非正常流量警报
除了 CPU、内存和性能等标准系统健康指标外，我们还增加了几个 "服务边缘 "指标，如队列增长、服务响应时间、状态蛋糕和日志记录，以捕捉来自上游或下游系统的任何异常。此外，我们还为重要指标添加了趋势分析，以帮助捕捉长期的性能下降。我们使用名为 Datadog 的实时流处理应用程序对 MDaaS 进行了检测（您可以在此了解更多信息）。它使我们能够以特定容器的粒度通过网络实时跟踪事件，从而使调试变得更加容易。最后，我们发现针对特定服务的警报非常有用，有助于更快地找出问题的根本原因。
在 Datadog 中创建需要网站可靠性工程师关注的异常事件
使用 Datadog 平台的 SaaS 监控使团队能够更快、更轻松地入驻，并消除了对持续工具维护、容量扩展、更新或管理的需求。这些优势意味着团队有更多的时间开发核心产品，而无需自行创建监控解决方案。
成果
• 通过迁移至 MDaaS，引擎微服务如今更加灵活，有助于满足FedRAMP 中等基线安全控制要求。
• 应用程序性能监控功能现已增强，新增了实时警报和仪表盘。全新的微服务架构使管理员能够轻松、有效地监控应用程序及其各个组件。此外，该架构还简化了部署流程，并提升了可扩展性。
• 既然基础设施被定义为代码，它便能让用户轻松编辑和分发配置，同时确保基础设施处于预期状态。这意味着您可以创建可重现的基础设施配置。
了解更多关于 MetaDefender Cloud 或联系我们获取更多信息。
