pyspark注册临时表和函数

技术宅 rainforest 10个月前 (04-10) 405次浏览 0个评论

增加import:
from pyspark.sql import SparkSession
from pyspark.sql.functions import udf
from pyspark.sql.types import *

注册临时表
df.registerTempTable(“xxtable”)
这样xxtable就可以在spark sql中用

注册udf:
spark.udf.register(‘udf_is_ee_video’, is_ee_video, BooleanType())
这样udf_is_ee_video就可以在sql语句中去使用了


乐趣公园 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:pyspark注册临时表和函数
喜欢 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址