<cite id="fzn17"></cite>
<var id="fzn17"></var><cite id="fzn17"><video id="fzn17"></video></cite>
<cite id="fzn17"></cite>
<var id="fzn17"></var>
<menuitem id="fzn17"><span id="fzn17"><thead id="fzn17"></thead></span></menuitem>
<cite id="fzn17"><span id="fzn17"><var id="fzn17"></var></span></cite><var id="fzn17"><span id="fzn17"><var id="fzn17"></var></span></var>
<var id="fzn17"></var>
<menuitem id="fzn17"></menuitem>
<cite id="fzn17"><video id="fzn17"></video></cite>
|
|
51CTO旗下网站
|
|
移动端

2.5.2 Python

《Hadoop权威指南(中文版)》第2章MapReduce简介,本章介绍MapReduce。本节为大家介绍Python。

作者:周傲英/曾大聃译来源:清华大学出版社|2010-04-23 15:11

2.5.2  Python

Hadoop流支持任何可?#28304;?#26631;准输入读取和写入到标准输出中的编程语言,因此对于更熟悉Python的读者,下面提供了同一个例子的Python版本 。map脚本参见例2-10,reduce脚本参见例2-11。

例2-10:用于查找***气温的Map函数(Python版本)

  1. #!/usr/bin/env python  
  2.  
  3. import re   
  4. import sys  
  5.  
  6. for line in sys.stdin:  
  7.   val = line.strip()  
  8.    (year, temp, q) = (val[15:19], val[87:92], val[92:93])  
  9.   if (temp != "+9999" and re.match("[01459]", q)):  
  10.     print "%s\t%s" % (year, temp) 

例2-11  用于查找***气温的Reduce函数(Python版本)

  1. #!/usr/bin/env python  
  2.  
  3. import sys   
  4.  
  5. (last_key, max_val) = (None, 0)  
  6. for line in sys.stdin:  
  7.   (key, val) = line.strip().split("\t")  
  8.   if last_key and last_key != key:  
  9.     print "%s\t%s" % (last_key, max_val)  
  10.     (last_key, max_val) = (key, int(val))  
  11.   else:  
  12.     (last_key, max_val) = (key, max(max_val, int(val)))  
  13.  
  14. if last_key:  
  15.   print "%s\t%s" % (last_key, max_val) 

我们可以测试程序且用在Ruby中用过?#21335;?#21516;的方法来运行作业。比如,运行一个测试:

  1. % cat input/ncdc/sample.txt |   
  2.    
  3. src/main/ch02/python/max_temperature_map.py | \  
  4. sort | src/main/ch02/python/max_temperature_reduce.py  
  5. 1949 111  
  6. 1950 22 
【责任编辑:云霞 TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

16招轻松掌握PPT技巧

16招轻松掌握PPT技巧

GET职场加薪技能
共16章 | 晒书包

276人订阅学习

20个局域网建设改造案例

20个局域网建设改造案例

网络搭建技巧
共20章 | 捷哥CCIE

643人订阅学习

WOT2019全球人工智能技术峰会

WOT2019全球人工智能技术峰会

通用技术、应用领域、企业赋能三大章节,13大技术专场,60+国内外一线人工智能精英大咖站台,分享人工智能的平台工具、算法模型、语音视觉等技术主题,助力人工智能落地。
共50章 | WOT峰会

0人订阅学习

51CTO服务号

51CTO播客

澳洲幸运5官方
<cite id="fzn17"></cite>
<var id="fzn17"></var><cite id="fzn17"><video id="fzn17"></video></cite>
<cite id="fzn17"></cite>
<var id="fzn17"></var>
<menuitem id="fzn17"><span id="fzn17"><thead id="fzn17"></thead></span></menuitem>
<cite id="fzn17"><span id="fzn17"><var id="fzn17"></var></span></cite><var id="fzn17"><span id="fzn17"><var id="fzn17"></var></span></var>
<var id="fzn17"></var>
<menuitem id="fzn17"></menuitem>
<cite id="fzn17"><video id="fzn17"></video></cite>
<cite id="fzn17"></cite>
<var id="fzn17"></var><cite id="fzn17"><video id="fzn17"></video></cite>
<cite id="fzn17"></cite>
<var id="fzn17"></var>
<menuitem id="fzn17"><span id="fzn17"><thead id="fzn17"></thead></span></menuitem>
<cite id="fzn17"><span id="fzn17"><var id="fzn17"></var></span></cite><var id="fzn17"><span id="fzn17"><var id="fzn17"></var></span></var>
<var id="fzn17"></var>
<menuitem id="fzn17"></menuitem>
<cite id="fzn17"><video id="fzn17"></video></cite>
pk10计划软件手机版 云南时时开奖结果 电玩下载app领取38元彩金 云南时时计划人工计划 幸运28大神预测 广州站街女图 中华线上娱乐 高手打麻将算牌原理 上海时时十一选五开奖结果走势图 重庆时时彩杀号