攒两件难过的事一起哭,会比较省时间。

前一阵子的工作压力非常大,每天要看十几个批次的数据,写好相应的formatter。然后还要去研究最后处理的结果正不正确,供应商有没有掺水的可能。这个是一件堆人力的事,虽然靠agent是能解决大部分问题,但是实际处理的时候很多指标其实是不确定的,没办法短时间内有一个非常明确的分析方案,做的很痛苦。

说实话这部分所有的内容其实不应该是由我们data团队来做;这种天天变更的,对于规则并不明确的理应由算法同学自行来完成,它不是一个特别复杂的工程化需求,也没有什么大规模处理的需要,亦不需要什么高超工程水平。我来的时候数据加上我只有5个人,相比于两百多号人的后训练团队,真的找不到什么背任务的理由吧。。

只能说,在如此不明确的情况下还是这么做下来了,也不知道是好是坏,会不会有更多类似于杂活的内容派过来。。。好处可能是获得了转正?坏处可能是能力上确实没什么提升。硬要说的话可能这段时间搞数据的好处是知道了这批数据的全链路上下游是怎么使用的?万一跳槽了也能去吹水。

不过我的mentor还是善解人意的,后续应该会直接把这部分垃圾内容甩出去。正好趁着这段时间平台能力搭建,可以将基础大数据知识狠狠补齐。

还要提一嘴,最近感觉做数据平台的同学给人的压力还挺大的,确实产出非常直观,平台做好了也能带来很大的收益。每天看着平台同学接入链路,感觉就像又做了很多事情呢!但是如果他能不要和算法同学一样,做的时候完全不考虑资源就好了。。。说实话,不考虑效率,不了解底层原理,真的是工程同学能干出来的事情么。。。

也无所谓,反正是我的mentor在处理数据湖,也是苦了他了。