\u00daltimamente me ha tocado trabajar en un desarrollo con tecnolog\u00eda Big Data en el que era necesario realizar la lectura de unas tablas Hive y convertirlas en otras tablas tambi\u00e9n de Hive con s\u00f3lo algunos de los campos de las originales. Como a\u00fan estoy muy verde con Scala y su sintaxis me sigue resultando extra\u00f1a, he decidido hacerlo en Java con Spark. Probablemente intente realizar este mismo desarrollo con Scala cuando haya finalizado con \u00e9l y poder as\u00ed comparar rendimiento y comportamiento de ambos.
\nConcretando partimos de 14 tablas originales y debemos construir 40 nuevas.
\nPara ello hemos decidido crear un fichero de definici\u00f3n de los or\u00edgenes y destinos de las tablas en formato JSON que tras procesar nos permiten crear y\/o modificar las tablas de destino e insertar los datos desde los or\u00edgenes.<\/p>\n
A continuaci\u00f3n tratar\u00e9 de detallar los pasos seguidos para completar el desarrollo.<\/p>\n
Fichero JSON de definici\u00f3n<\/strong> JSONReadObject.java<\/strong> public class JSONReadObject implements Serializable{<\/p>\n \t@JsonProperty \t\/\/ Estos dos atributos NO se cargan desde el JSON \tpublic JSONReadObject() { \tpublic void createMaps(){ \tpublic SortedMap \t\t\tif( null != this.getM_destination().get(origin.getColumnName()).getAlias() && \t@Override \t\/\/getters and setters OriginElement.java<\/b> \tprivate String columnName; \t\/\/getters and setters \tprivate String columnName; \t\/\/ getters and setters
\n
\n{
\n \"origin_db\": \"nombre_bd_origen\",
\n \"origin_tableName\" : \"nombre_tabla_origen\",
\n \"l_origin_elements\": [
\n \t{ \t\"columnName\": \"campo_1\"},
\n\t{\t\"columnName\": \"campo_2\"},
\n\t{\t\"columnName\": \"campo_3\"}
\n ],
\n \"where\": \"\",
\n \"destination_db\": \"nombre_bd_destino\",
\n \"destination_table\": \"nombre_tabla_destino\",
\n \"l_destination_elements\": [
\n \t{ \t\"columnName\": \"campo_1\",
\n\t \t\"alias\": \"nombre_campo_destino\"},
\n\t{\t\"columnName\": \"campo_2\"},
\n\t{\t\"columnName\": \"campo_3\"}
\n ]
\n}
\n<\/code><\/p>\n
\n
\nimport java.io.Serializable;
\nimport java.util.*;
\nimport com.fasterxml.jackson.annotation.JsonProperty;<\/p>\n
\n\tprivate String origin_db;
\n\t@JsonProperty
\n\tprivate String origin_tableName;
\n\t@JsonProperty
\n\tprivate List
\n\t@JsonProperty
\n\tprivate String where;\t\/\/ conditions for filters
\n\t@JsonProperty
\n\tprivate String destination_db;
\n\t@JsonProperty
\n\tprivate String destination_table;
\n\t@JsonProperty
\n\tprivate List
\n\t\/\/ se cargan con la estructura ID, XXXElement tras la lectura de la info del JSON
\n\tprivate SortedMap
\n\tprivate SortedMap
\n\t\tsuper();
\n\t}<\/p>\n
\n\t\t\/\/ recuperamos los listados de columnas de origin y destino
\n\t\t\/\/ ordenados y con clave ID
\n\t\tthis.m_destination = this.destListToMap(l_destination_elements);
\n\t\tthis.m_origin = this.oriListToMap(this.l_origin_elements);
\n\t}<\/p>\n
\n\t\tSortedMap
\n\t\tfor(OriginElement origin: this.getL_origin_elements()) {<\/p>\n
\n\t\t\t\t\t!this.getM_destination().get(origin.getColumnName()).getAlias().equals(\"\")) {
\n\t\t\t\tcolumns.put(this.getM_destination().get(origin.getColumnName()).getAlias().toUpperCase(), origin.getDataType());
\n\t\t\t}else{
\n\t\t\t\tcolumns.put(origin.getColumnName().toUpperCase(), origin.getDataType());
\n\t\t\t}
\n\t\t}
\n\t\treturn columns;
\n\t}<\/p>\n
\n\t\/\/public String toString() {<\/p>\n
\n}
\n<\/code><\/p>\n
\n
\npublic class OriginElement implements Serializable {<\/p>\n
\n\tprivate String dataType;\t\t\/\/ esta informaci\u00f3n NO se recupera del JSON, sino que se recupera de la tabla a la que se referencia<\/p>\n
\n\t\/\/ default constructor
\n}
\n<\/code>
\nDestinationElement.java<\/b>
\n
\npublic class DestinationElement implements Serializable {<\/p>\n
\n\tprivate String alias;<\/p>\n
\n\t\/\/ default constructor
\n}
\n<\/code><\/p>\n","protected":false},"excerpt":{"rendered":"