下午发现某个表数据有问题，从源头开始查起，发现很古怪，某些列出现 null 值，而 s3 里的 csv 看起来是好的。 心想可能是数据读入之后发生了改变，于是重启了某天的任务，发现照旧。于是决定仔细看看源数据。从 s3 上拉了一天的数据，导入到 duckdb ，发现的确没问题。更诡异的是，数据库里的数据我在 s3 里用 id 来查询，其实找不到。 于是决定去看看代码，一看是 Scala ，得这玩意我不熟悉，看了下发现就是个很简单的读入 csv 然后加了两列时间戳数据，没啥变化。 百思不得其解之下，决定仔细对比一下两个数据。因为这玩意有一百多列，所以之前偷懒没全看。这下每个列都列出来，一下子就发现问题，怎么数据偏移到其他列去了？当时就觉得大概是分离符是不是有点问题，毕竟是外头的数据，没洗干净是正常。但是首先 duckdb 没问题，Excel 也没啥问题，那就只好从头一列列对起。 最终发现是有一列断成了两列，于是这一列之后的数据全都偏移了。看了下，这列数据有""这种两个双引号的，心想大概是 escape 的问题，一查果然是，然后再查为啥 Scala 的代码不对呢？因为这看起...