Freightos使用MATLAB和谷歌BigQuery为在线货运物流执行大数据分析

由于跨越云端多个数据库的数百万行数据，Freightos分析师发现运行分析非常麻烦，使得对运营和营销任务都至关重要的关键见解难以识别。尽管他们可以对云中静态报告的数据运行查询，但为了获得洞察，他们需要交互式地探索和分析实时数据。例如，为了了解用户行为，他们想要量化用户的参与水平和使用软件的模式。和大多数大数据集一样，Freightos数据集几乎不可能下载到本地进行处理。

在货运行业内，由于供需波动和燃料成本的变化，路线和价格可能每小时发生变化。为了跟上这些变化，Freightos需要接近实时的性能。此外，来自外部来源的数据在格式和质量上各不相同。货运公司需要高效地访问其BigQuery数据的子集，然后快速清理数据，运行高级分析，并将结果可视化。

Freightos分析师与MathWorks Consulting Services合作，将MATLAB与谷歌BigQuery集成，用于大数据分析。

他们一起开发了一种从BigQuery中提取数据并将其导入MATLAB的自动化方法。在这种方法中，在BigQuery上执行的查询结果被导出到谷歌云存储中，然后在MATLAB中下载和访问。

由于Freightos的大部分数据依赖于外部来源，包括外部数据提供商、第三方运营商和货运代理，分析师在分析查询结果之前必须清理查询结果。该团队使用MATLAB开发了脚本，可以识别和纠正数据中的异常值。

他们使用统计学和机器学习工具箱™对清洗后的数据进行复杂的统计分析。其中一项分析评估了12万行货运报价，每一行都有30多列，以确定基于不同销售团队、公司和运输模式的货运定价的波动。另一项由营销部门推动的分析，探索了最常见的原产地和目的地，自动将它们绘制成树状地图。

Freightos和MathWorks的顾问使用MATLAB生成了散点图、树图和其他可视化图，以更好地理解分析结果。他们还使用分析结果创建报告，帮助Freightos的c级高管做出决策并制定营销策略。

Freightos目前正在使用MATLAB和BigQuery，根据BigQuery数据中最新的费率和路线开发动态索引。该指数将使他们能够准确估算从中国主要城市到北美主要城市的运输成本。

Freightos计划使用统计和机器学习工具箱中的机器学习算法来预测未来的指数价格。

• 分析在几分钟内完成，而不是几个小时。Freightos的数据分析师Leonid Hatskin表示:“通过我们的MATLAB和BigQuery的集成，即使是大型报告，比如整个数据池的季度报告，现在也只需要10分钟。”“在过去，这至少需要整整一个工作日。MATLAB让我们的数据团队每个月至少腾出一个工作日的时间。”
• BigQuery集成迅速实现。“当我们向MathWorks Consulting寻求BigQuery集成方面的帮助时，我们很快就从一个真人那里得到了真正的行动，”Buchman指出。“这种支持让MATLAB从强大变成了我们不可替代的工具。”
• 洞察的速度快了20倍。“与我们之前的方法相比，我们使用MATLAB和BigQuery的洞察时间提高了20倍，”Buchman说。“我们无法给实现的上市时间改进贴上价格标签。”