查看: 1186|回复: 10
为什么我不能去任务大厅发布任务？要什么要求
阅读权限10
在线时间 小时
结帖率： (0/3)
为什么我不能去任务大厅发布任务？要什么要求
回答提醒：如果本帖被关闭无法回复，您有更好的答案帮助楼主解决，请发表至
可获得加分喔。友情提醒：本版被采纳的主题可在
帖子申请荣誉值，获得 1点 荣誉值,荣誉值可兑换终身vip用户组哦。快捷通道： →
阅读权限165
在线时间 小时
签到天数: 1 天结帖率： (4/4)
要实名认证的。
阅读权限90
在线时间 小时
签到天数: 18 天结帖率： (290/317)
要长得帅的
阅读权限90
在线时间 小时
签到天数: 12 天结帖率： (36/36)
要有身份的人
阅读权限180
在线时间 小时
签到天数: 20 天结帖率： (3/3)
关于&软件定制&版块的权限变更
(出处: 精易论坛)
阅读权限20
在线时间 小时
结帖率： (2/3)
高富帅才可以
阅读权限90
在线时间 小时
签到天数: 2 天结帖率： (29/34)
因为你级别太低 - -、
阅读权限140
在线时间 小时
签到天数: 9 天
你得要有身份，起码正国级大员
阅读权限165
在线时间 小时
签到天数: 19 天结帖率： (14/17)
软件定制版块需要实名认证后才能进入浏览，回帖接单需要&易语言菜鸟&及以上用户组
阅读权限30
在线时间 小时
就是要有***的人呢
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论，本站内容均为会员发表，并不代表精易立场!
揭阳精易科技有限公司申明:我公司所有的培训课程版权归精易所有，任何人以任何方式翻录、盗版、破解本站培训课程，我们必将通过法律途径解决！
公司简介：揭阳市揭东区精易科技有限公司致力于易语言教学培训/易语言学习交流社区的建设与软件开发，多年来为中小企业编写过许许多多各式软件，并把多年积累的开发经验逐步录制成视频课程供学员学习，让学员全面系统化学习易语言编程，少走弯路，减少对相关技术的研究与摸索时间，从而加快了学习进度！
Powered byjava程序怎么向远程的hadoop提交mapreduce任务呢 - 开源中国社区
当前访客身份：游客 [
当前位置：
在网上查了很多资料，都没有说的很清楚的。
我知道在namenode上通过命令 hadoop jar 的方式来提交mapreduce任务，但是在正真程序执行的时候不会是用手工去执行hadoop命令吧！
最近查了很多资料，竟然没有这方面的资料，我就想知道正真项目中是怎么允许一个mapreduce的。
共有4个答案
<span class="a_vote_num" id="a_vote_num_
对hadoop了解不太多，猜想吧，把要执行的文件传到namenode上，然后用ssh来执行hadoop jar。为了以后方便一点，应该可以自己写个脚本吧（虽然我不会写）
<span class="a_vote_num" id="a_vote_num_
hadoop2 支持 远程提交的，网上搜索有很多资料，不知道你是怎么搜的。随便找了几个链接：
&http://blog.csdn.net/mercedesqq/article/details/
/blog/1879442
/blog/aee4a.html
我们实际应用在windows环境下提交MR的jar包执行有问题，是hadoop(2.3)的bug， 需要打补丁，linux环境下没有任何问题。
<span class="a_vote_num" id="a_vote_num_
1.把服务器的hadoop配置拷贝下到本地，记得配置hosts指向namenode和resourcemanager(也许是jobtracker),本地执行hadoop jar 的方式来提交mapreduce任务
2.在命令行指定,-fs hdfs:://namenode -jt &jobtracker之类的命令行。
推荐用第一种方法。
<span class="a_vote_num" id="a_vote_num_
可以通过很多方式运行Job，比如shell脚本等
如果是定期任务可以做一个schedule，定期调用shell
比如aws上采用datapipeline来自定义运行Job的方式。
更多开发者职位上
有什么技术问题吗？
二号铺的其它问题
类似的话题任务提交计划_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
任务提交计划
上传于||文档简介
&&1&#8203;.&#8203;部&#8203;门&#8203;根&#8203;据&#8203;在&#8203;项&#8203;目&#8203;实&#8203;施&#8203;过&#8203;程&#8203;或&#8203;售&#8203;后&#8203;营&#8203;运&#8203;维&#8203;护&#8203;中&#8203;收&#8203;到&#8203;的&#8203;客&#8203;户&#8203;反&#8203;馈&#8203;、&#8203;以&#8203;及&#8203;需&#8203;要&#8203;其&#8203;他&#8203;部&#8203;门&#8203;解&#8203;决&#8203;的&#8203;问&#8203;题&#8203;,&#8203;填&#8203;写&#8203;《&#8203;任&#8203;务&#8203;需&#8203;求&#8203;计&#8203;划&#8203;》&#8203;;&#8203;
&#8203;
&#03;.&#8203;此&#8203;计&#8203;划&#8203;在&#8203;每&#8203;月&#8203;底&#8203;提&#8203;交&#8203;相&#8203;关&#8203;部&#8203;门&#8203;,&#8203;抄&#8203;送&#8203;人&#8203;事&#8203;部&#8203;,&#8203;作&#8203;为&#8203;相&#8203;关&#8203;部&#8203;门&#8203;下&#8203;月&#8203;工&#8203;作&#8203;计&#8203;划&#8203;的&#8203;输&#8203;入&#8203;(&#8203;急&#8203;需&#8203;任&#8203;务&#8203;邮&#8203;件&#8203;先&#8203;提&#8203;,&#8203;在&#8203;月&#8203;底&#8203;汇&#8203;入&#8203;此&#8203;表&#8203;)&#8203;;&#8203;
&#8203;
&#03;.&#8203;相&#8203;关&#8203;部&#8203;门&#8203;不&#8203;唯&#8203;一&#8203;、&#8203;且&#8203;任&#8203;务&#8203;是&#8203;接&#8203;力&#8203;的&#8203;过&#8203;程&#8203;,&#8203;要&#8203;分&#8203;别&#8203;列&#8203;出&#8203;各&#8203;部&#8203;门&#8203;完&#8203;成&#8203;的&#8203;时&#8203;间&#8203;;&#8203;
&#8203;
&#03;.&#8203;相&#8203;关&#8203;部&#8203;门&#8203;在&#8203;收&#8203;到&#8203;《&#8203;任&#8203;务&#8203;需&#8203;求&#8203;计&#8203;划&#8203;》&#8203;,&#8203;需&#8203;要&#8203;及&#8203;时&#8203;回&#8203;复&#8203;和&#8203;确&#8203;认&#8203;,&#8203;对&#8203;于&#8203;不&#8203;能&#8203;按&#8203;时&#8203;完&#8203;成&#8203;的&#8203;任&#8203;务&#8203;需&#8203;求&#8203;计&#8203;划&#8203;,&#8203;在&#8203;月&#8203;初&#8203;的&#8203;计&#8203;划&#8203;讨&#8203;论&#8203;会&#8203;上&#8203;决&#8203;定&#8203;。
阅读已结束，如果下载本文需要使用1下载券
想免费下载本文？
定制HR最喜欢的简历
你可能喜欢请登陆后使用
只需一步，快速开始
吧友自助信息发布区，请自行甄别
查看: 1775|回复: 59
【30果果】最简单的任务。
预定 70 票
每票 30 果果
悬赏已结束
采纳 5 帖, 未采纳 48 帖
10:24 追加 10 票
09:14 追加 20 票
20:05 追加 30 票
1，注册地址：
2，完成新人活动中 的任意一个任务就合格了
3，提交你完成任务的截图。
20果任务 /thread--1.html&
淘宝简单任务
/thread--1.html&
请提交你完成任务的截图。&
此帖仅作者可见
此帖仅作者可见
此帖仅作者可见
此帖仅作者可见
此帖仅作者可见
此帖仅作者可见
此帖仅作者可见
此帖仅作者可见
此帖仅作者可见
此帖仅作者可见
此帖仅作者可见
此帖仅作者可见
此帖仅作者可见
此帖仅作者可见
此帖仅作者可见
此帖仅作者可见
此帖仅作者可见
此帖仅作者可见
此帖仅作者可见
Powered by任务提交:任务提交的准备
经过对RDD的层层转换以及DAG的构建，要执行JavaPairRDD的word
count。Collect方法后转为Seq，并封装Seq为ArrayList。
collect():
&&rdd.collect().toSeq.asJava
collect():
= withScope {
results = sc.runJob(this,
Iterator[T])
=& iter.toArray)
&&Array.concat(results:
ClassTag](rdd: RDD[T],
Iterator[T]
&&runJob(rdd,
until rdd.partitions.length)
ClassTag](
&&processPartition:
(TaskContext,
Iterator[T])
&&resultHandler:
&&runJob[T,
processPartition,
until rdd.partitions.length,
resultHandler)
ClassTag](
&&&&processPartition:
Iterator[T]
&&&&resultHandler:
processFunc = (context: TaskContext,
Iterator[T])
=& processPartition(iter)
&&runJob[T,
processFunc,
until rdd.partitions.length,
resultHandler)
ClassTag](
&&dagScheduler.runJob(rdd,
cleanedFunc,
partitions,
resultHandler,
localProperties.get)
&&progressBar.foreach(_.finishAll())
&&rdd.doCheckpoint()
waiter = submitJob(rdd,
partitions,
resultHandler,
properties)
&&waiter.awaitResult()
maxPartitions = rdd.partitions.length
nextJobId.getAndIncrement()
(partitions.size ==
Return immediately if the job is running 0 tasks
&&&&return
JobWaiter[U](this,
resultHandler)
&&assert(partitions.size
func2 = func.asInstanceOf[(TaskContext,
Iterator[_])
JobWaiter(this,
partitions.size,
resultHandler)
&&eventProcessLoop.post(JobSubmitted(
&&&&jobId,
partitions.toArray,
&&&&SerializationUtils.clone(properties)))
private[scheduler]
handleJobSubmitted(jobId:
finalStage: ResultStage =
&&&&finalStage
= newResultStage(finalRDD,
partitions,
&&&&&&logWarning("Creating
new stage failed due to exception - job: "
&&&&&&listener.jobFailed(e)
&&&&&&return
ActiveJob(jobId,
finalStage,
properties)
&&clearCacheLocs()
jobSubmissionTime = clock.getTimeMillis()
&&jobIdToActiveJob(jobId)
&&activeJobs
&&finalStage.setActiveJob(job)
stageIds =
jobIdToStageIds(jobId).toArray
stageInfos = stageIds.flatMap(id =&
stageIdToStage.get(id).map(_.latestInfo))
&&listenerBus.post(
&&&&SparkListenerJobStart(job.jobId,
jobSubmissionTime,
stageInfos,
properties))
&&submitStage(finalStage)
&&submitWaitingStages()
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。