Freightos使用MATLAB和谷歌BigQuery对在线货运物流进行大数据分析

Freightos的分析师发现，由于在云计算的多个数据库中有数百万行数据，运行分析非常麻烦，难以识别对运营和营销任务都至关重要的关键见解。尽管他们可以对云中静态报告的数据运行查询，但为了获得洞察，他们需要交互式地探索和分析实时数据。例如，为了了解用户行为，他们想要量化用户的参与程度和使用软件的模式。与大多数大数据集一样，Freightos数据集几乎不可能下载到本地进行处理。

在货运行业内，由于供求波动和燃料成本变化，路线和价格每小时都可能发生变化。为了跟上这些变化，Freightos需要接近实时的性能。此外，来自外部来源的数据在格式和质量上各不相同。货运公司需要高效地访问BigQuery数据的子集，然后快速清理数据，运行高级分析，并将结果可视化。

Freightos分析师与MathWorks咨询服务公司合作，将MATLAB与谷歌BigQuery集成在一起进行大数据分析。

他们一起开发了一种从BigQuery中提取数据并将其导入MATLAB的自动化方法。在这种方法中，在BigQuery上执行的查询结果被导出到谷歌云存储，然后在MATLAB中下载和访问。

由于Freightos依赖于外部来源，包括外部数据提供商、第三方运营商和货运代理，因此分析人员必须在分析查询结果之前清理查询结果。该团队使用MATLAB开发了识别和纠正数据异常值的脚本。

他们使用统计和机器学习工具箱™对清洗后的数据进行复杂的统计分析。一项分析评估了12万行货运报价，每一行都超过30列，以确定基于不同销售团队、公司和运输模式的货运定价波动。另一项由营销部门推动的分析，探索了最常见的起源和目的地，自动将它们绘制成树状地图。

Freightos和MathWorks的顾问使用MATLAB生成了散点图、树图和其他可视化图，以更好地理解分析结果。他们还使用分析结果创建报告，帮助Freightos的c级高管做出决策和制定营销策略。

Freightos目前正在使用MATLAB和BigQuery开发基于BigQuery数据中最新的费率和路线的动态索引。该指数将使他们能够准确估计从中国主要城市到北美主要城市的运输成本。

Freightos计划使用统计和机器学习工具箱中的机器学习算法来预测未来的指数价格。

• 分析在几分钟内完成，而不是几个小时。Freightos的数据分析师Leonid Hatskin表示:“通过我们的MATLAB和BigQuery的集成，即使是大型报告，比如整个数据池的季度报告，现在也只需要10分钟。”“在过去，这至少需要一个工作日。MATLAB为我们的数据团队每个月至少腾出了一个工作日的时间。”
• 快速实现了BigQuery集成。“当我们向MathWorks咨询公司寻求BigQuery集成方面的帮助时，我们很快就从真人那里得到了实际行动，”Buchman指出。这种支持让MATLAB从强大变成了我们不可替代的工具。”
• 洞察力以20倍的速度获得。“与我们之前的方法相比，我们使用MATLAB和BigQuery的洞察时间提高了20倍，”Buchman说。“我们无法用价格来衡量这种改进的上市时间。”