Quantcast
Channel: 《Hadoop与Spark常用配置参数总结》的评论
Browsing latest articles
Browse All 4 View Live

作者:stark_summer

(6) mapreduce.map.cpu.vcores: 每个Reduce task可使用的最多cpu core数目, 默认值: 1 应该改成 mapreduce.reduce.cpu.vcores 我想知道spark jvm 持久代怎么配置?我想增加持久代大小

View Article


作者:mr.ray

hbase.regionserver.lease.period 这个参数其实修改还是很重要的,如果hbase 在做major compact 期间看可能 会block 大量的读写操作,这时候 写很容易超时,而一旦超过这个时间,hbase regionserver 就会宕,而hbase 本身不存在自动重启regionserver 的方法,只能自己实现,另外 region 在某个regionserver...

View Article


作者:DonBear

您好,请问Hadoop 支不支持将map/reduce任务运行到固定的核上? 类似的,hadoop 对 NUMA –cpubind (–membind) 的支持怎么样? 如果想实现上述目的,是要修改hadoop配置,还是要修改hadoop源代码?

View Article

作者:raining

董老师,您好! 我是一名学生,想做结构化数据在Spark下的查询优化的研究,需要从哪些方面入手,做哪些知识准备,您能给些建议么?非常感谢

View Article
Browsing latest articles
Browse All 4 View Live