Hsql中使用python的UDF

Author：杜七

邗江网站建设公司成都创新互联公司,邗江网站设计制作，有大型网站制作公司丰富经验。已为邗江上1000+提供企业网站建设服务。企业网站搭建\外贸网站建设要多少钱，请找那个售后服务好的邗江做网站的公司定做！

先写一个处理数据的脚本，如下：

保存到test.py中，放在本地的任何地方，比如/home/duqi.yc/scripts/python/

excel直接输入Filter公式可以，用python写进去，打开文件就报错？

前面那个账号没有财富值了。换个账号交流。

试了一下，最简单的。

ws['A3'].value = '=A1:D1'

打开文件不报错，但单元格公式前面自动加了@，内容只显示A1内容。

我用xlwings写入FILTER函数不报错，但也同样现象(公式前自动加@，只显示第一个单元格内容)。

顺着这个一路找下去，这应该就是python库是否支持处理动态数组问题了。

按我理解，

1）用xlwings或许可以，但得用UDF(自己定义函数功能)，前提还得把xlwings插件安装到excel里(这就不友好了，我还需要把最后做好的软件分享给别人用，不能让人家电脑上也得装xlwings插件吧)。

2）用xlsxwriter确定可以，可问题是xlsxwriter不支持打开已有的excel文件，只能新建写入，

所以我本来的想法是，先选择一个区域单元格为整体，然后写入试试，但没找到具体代码方法。

python写hive的UDF问题

你把print写在try里面当然会少数据。你应该try访问fields数组并更新fields[2]的值。另一方面，从功能点上来说，使用SQL函数nvl或coalesce就能实现，没必要写个UDF来实现，你这样做增加额外的IO消耗和工作量。如果一定要写UDF，建议少用print,改用标准输出实现：sys.stdout.write()。

hive自定义UDF函数，步骤详解

UDF函数是一进一出函数,如hive中的substr、date_add、date_sub都是UDF函数。

hive的udf有 两种 实现方式或者实现的API，一种是 udf 比较简单，一种是 GenericUDF 比较复杂

注意继承UDF类时，不会报错、不需要实现抽象方法，这时需要我们重写evaluate()方法，而且方法名必须是evaluate。

编写一个UDF，关键在于自定义Java类需要继承UDF类并实现evaluate()函数。

因为在hive客户端执行查询时，对于 每行输入 都会调用evaluate()函数，evaluate()函数处理后的值会返回给hive。

在hive客户端，将 xxx HiveUDF.jar 文件加载到类路径：

1) 创建临时函数语法：

2）创建永久函数语法

参考文章：hive自定义函数UDF的使用方法

计算圆面积的函数

udf(int r)

{

float s;

s=3.1415926*r*r;

return(s);

}

main()

{

int r;

for(r=10;r=20;r++)

printf("%d:%f\n",r,udf(r));

}

udaf可以用python写吗

Java来实现Hive的写法

package jsl.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;

import org.apache.hadoop.io.Text;

public final class DomainRoot extends UDF {

public Text evaluate(Text s) {

if (s == null) {return null;}

String tmp = s.toString();

tmp = this.getDomainRoot(tmp);

return new Text(tmp);

}

private String getDomainRoot(String domain) {

throw NoneImplementException("xxxx");

}

}

如果Java的UDF需要当成常用的，不用每次add可以注册到Hive中，

ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java中加入

registerUDF("domain_root", UDFParseUrl.class, false);并重新编译hive即可

下面来说说重点，通过Streaming用Python来写处理。

关于Streaming的基础内容：

约束：首先必须add file到hive中（当python中引用了其他如自己写的模块时，也需要一并add进去）

其次非常不幸,在单独的一个查询中，不能够使用UDAF的函数如sum()

再次不得为中间结果数据使用cluster by或distribute by

注意：对于优化查询，使用cluster by或distribute by 和sort by一起非常重要