Hoy me he encontrado un problema al intentar crear una query con la que poder crear una tabla particionada con una sentencia CREATE AS SELECT.<\/p>\n\n\n\n
Mi problema viene dado porque en el caso de Impala no permit\u00eda la ejecuci\u00f3n de la sentencia LATERAL VIEW que necesitaba para poder recuperar los datos tal y como los necesitaba y por la necesidad de crear la tabla con una partition din\u00e1mica.
<\/p>\n\n\n\n
set hive.exec.dynamic.partition.mode=nonstrict;
<\/p>\n\n\n\n
En la que la partici\u00f3n es la fecha (data_date string)<\/p>\n\n\n\n
CREATE TABLE IF NOT EXISTS db_name.table_name (rowid bigint, campo1 string, campo2 string, campo3 bigint, msg string) PARTITIONED BY (data_date string);
<\/p>\n\n\n\n
Las dos primeras sentencias se ejecutan en Impala, y posteriormente se ejecuta la inserci\u00f3n de los datos a partir de una tabla origen desde HIVE.
<\/p>\n\n\n\n
INSERT INTO db_name.table_name PARTITION (data_date=’${LOAD_DATE}’) SELECT rowid, campo1, campo2, campo3, salida.flag as msg from db_name.table_name_tmp LATERAL VIEW explode(array(error1,error2,error3,error4,error5)) salida as flag where salida.flag!=\u00bb;
<\/p>\n\n\n\n
En esta sentencia hay que destacar algunos detalles interesantes:<\/p>\n\n\n\n
1. el alias salida sirve para identificar una \u00abtabla temporal\u00bb con la informaci\u00f3n recuperada por la sentencia LATERAL VIEW EXPLODE(ARRAY(xxx,xxx,…..).<\/p>\n\n\n\n
2. tras recuperar la info contenida en tabla_origen como error1, error2, etc, hacemos referencia a ella en el WHERE con salida.flag y recuperamos la info que no es vac\u00eda, aunque la condici\u00f3n podr\u00eda ser otra.<\/p>\n\n\n\n
3. en la sentencia del SELECT hacemos referencia a salida.flag as msg para hacer referencia al valor recuperado del LATERAL VIEW y guardarlo en la tabla destino en el campo msg que es el alias que le ponemos al hacer la SELECT.\u00a0 <\/p>\n","protected":false},"excerpt":{"rendered":"