欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

hive报错:Unsupported SubQuery Expression : Correlating expression cannot contain unqualified column

程序员文章站 2024-03-02 18:27:22
...

hive报错:Unsupported SubQuery Expression : Correlating expression cannot contain unqualified column references。

FAILED: SemanticException [Error 10249]: Line 5:19 Unsupported SubQuery Expression 'nename': Correlating expression cannot contain unqualified column references.

代码为:

 select  *
    >         from pm_ltecell_xn_60_ne a
    >         where 
    >         concat(nename,int_id)  in (
    >                        select concat(nename,int_id)
    >                          from
    >                              (
    >                               select nename,
    >                                      int_id,
    >                                      substr(start_time,1,10) as startday
    >                                 from pm_ltecell_xn_60_ne
    >                                 where day>='20190226'
    >                                 and day<='20190301'
    >                                 and gfh2_flag=1
    >                                 group by nename,int_id,substr(start_time,1,10)
    >                               ) c
    >                          group by nename,int_id
    >                          having count(1)=3 );

原因:

hive 1.1版本支持in,但是不支持in的子查询。

解决方法:
参考 left semi join

LEFT SEMI JOIN (左半连接)是 IN/EXISTS 子查询的一种更高效的实现。

Hive 当前没有实现 IN/EXISTS 子查询,所以可以用 LEFT SEMI JOIN 重写你的子查询语句。

示例

可以改写为

特点

1、left semi join 的限制是, JOIN 子句中右边的表只能在 ON 子句中设置过滤条件,在 WHERE 子句、SELECT 子句或其他地方过滤都不行。

2、left semi join 是只传递表的 join key 给 map 阶段,因此left semi join 中最后 select 的结果只许出现左表。

3、因为 left semi join 是 in(keySet) 的关系,遇到右表重复记录,左表会跳过,而 join 则会一直遍历。这就导致右表有重复值得情况下 left semi join 只产生一条,join 会产生多条,也会导致 left semi join 的性能更高。

比如以下A表和B表进行 join 或 left semi join,然后 select 出所有字段,结果区别如下:


作者:HappyRocking
来源:CSDN
原文:https://blog.csdn.net/happyrocking/article/details/79885071
版权声明:本文为博主原创文章,转载请附上博文链接!

相关标签: hive in