Freightos使用MATLAB和谷歌BigQuery对在线货运物流进行大数据分析

Freightos的分析师们发现，由于云计算中跨越多个数据库的数百万行数据，运行分析非常麻烦，这使得对运营和营销任务都至关重要的关键见解难以识别。虽然他们可以对云中的数据进行查询以获得静态报告，但要获得交互式探索和分析实时数据所需的见解。例如，为了了解用户行为，他们想量化用户的参与程度和使用软件的模式。像大多数大数据集一样，Freightos数据集几乎不可能下载到本地处理。

在货运行业内，由于供应和需求的波动以及燃料成本的变化，路线和价格每小时都会发生变化。为了跟上这些变化，Freightos需要接近实时的性能。此外，来自外部来源的数据格式和质量各不相同。货运公司需要高效地访问BigQuery数据的子集，然后快速清理数据，运行高级分析，并将结果可视化。

Freightos分析师与MathWorks Consulting Services合作，将MATLAB与谷歌BigQuery集成在一起进行大数据分析。

他们一起开发了一种从BigQuery中提取数据并将其导入MATLAB的自动化方法。在这种方法中，在BigQuery上执行查询的结果导出到谷歌云存储，然后在MATLAB中下载和访问。

由于Freightos的大部分数据依赖于外部来源，包括外部数据提供商、第三方承运人和货运代理，因此分析人员必须在分析查询结果之前清理查询结果。在MATLAB中，该团队开发了识别和纠正数据中的异常值的脚本。

他们使用统计和机器学习工具箱™对清理后的数据进行复杂的统计分析。一项分析评估了120,000行运费报价，每行超过30列，以确定基于不同销售团队、公司和运输模式的运费定价波动。另一项分析由营销部门推动，探索了最常见的起源和目的地，自动将它们绘制成树状图。

Freightos和MathWorks顾问在MATLAB中生成了散点图、树状图和其他可视化图，以更好地理解分析结果。他们还利用分析结果创建报告，帮助Freightos的c级高管做出决策和制定营销战略。

Freightos目前正在使用MATLAB和BigQuery开发一个基于BigQuery数据中最新的费率和路线的动态索引。该指数将使他们能够准确估计从中国主要城市到北美主要城市的运输成本。

Freightos计划使用统计和机器学习工具箱中的机器学习算法来预测未来的指数价格。

• 分析在几分钟内完成，而不是几小时。Freightos的数据分析师Leonid Hatskin表示:“通过我们的MATLAB和BigQuery集成，即使是大型报告，比如整个数据池的季度报告，现在也只需要10分钟。”“在过去，这至少要花上一整天的时间。MATLAB每个月至少为我们的数据团队节省了一个工作日的时间。”
• BigQuery集成快速实现。布克曼指出:“当我们向MathWorks咨询公司寻求BigQuery集成方面的帮助时，我们很快就从真人那里得到了实际行动。”“这种支持使MATLAB从强大变成了我们不可替代的。”
• 洞察速度快了20倍。“与我们之前的方法相比，使用MATLAB和BigQuery，我们的洞察时间提高了20倍，”Buchman说。“我们无法为其带来的上市时间的改善贴上价格标签。”