golang 如何处理大数据

Golang被证明非常适合并发编程，goroutine比异步编程更易读、优雅、高效。本文提出一个适合由Golang实现的Pipeline执行模型，适合批量处理大量数据（ETL）的情景。

想象这样的应用情景： （推荐学习：go）

从数据库A（Cassandra）加载用户评论（量巨大，例如10亿条）；根据每条评论的用户ID、从数据库B（MySQL）关联用户资料；调用NLP服务（自然语言处理），处理每条评论；将处理结果写入数据库C（ElasticSearch）。

由于应用中遇到的各种问题，归纳出这些需求：
需求一：应分批处理数据，例如规定每批100条。出现问题时（例如任意一个数据库故障）则中断，下次程序启动时使用checkpoint从中断处恢复。
需求二：每个流程设置合理的并发数、让数据库和NLP服务有合理的负载（不影响其它业务的基础上，尽可能占用