tf-idf的问题 博客分类： 数据挖掘&机器学习

传统的tf-idf计算需要有4个MR完成，其中计算逆向文档频率时候对于文档数在百万级别以下的，中间数据可以直接放内存的hashmap，但是文档数千万或上亿，可能会导致内存溢出，这时候计算方式要不同，把|d|的数量单独输出，增加一个步骤把|d|和之前的数据做join。