\u00bfC\u00f3mo deber\u00edamos realizar un borrado de datos en HDFS? <\/p>\n\n\n\n
Depende de si queremos borrar todos los datos de una partici\u00f3n o si queremos eliminar s\u00f3lo una parte de los mismos. En el primer caso, deber\u00edamos hacer algo similar a esto:<\/p>\n\n\n\n
def deleteHDFS(spark: SparkSession,
entityName: String,
configMap: Map[String, String],
partitionDate: String): Unit = {
val hadoopConf = spark.sparkContext.hadoopConfiguration
val fs = FileSystem.get(hadoopConf)
\/\/ Creamos el array en funci\u00f3n del valor de la variable
val tableName: Array[String] = entityName match {
\/\/ SI necesitamos borrar una \u00fanica \"tabla\"
case TYPE_1 =>Array(configMap(\"kuduTableName1\").split(\"\\\\.\")(1))
\/\/ SI necesitamos borrar dos o m\u00e1s \"tablas\"
case TYPE_2 => Array(configMap(\"kuduTableName1\").split(\"\\\\.\")(1), configMap(\"kuduTableName2\").split(\"\\\\.\")(1))
case _ => Array.empty[String] \/\/ Array vac\u00edo si no coincide
}
\/\/ para cada nombre de tabla que debemos tratar, hacemos el borrado de la partici\u00f3n que corresponde al d\u00eda
tableName.foreach { name =>
\/\/ Ruta de la partici\u00f3n en HDFS. En nuestro caso, las rutas coinciden con los nombres de tableName
val partitionPath = new Path(configMap(\"pathRoot\") + \"\/\" + name.toUpperCase + \"\/date=\" + partitionDate)<\/strong>
logger.info(\"partitionPath = \" + partitionPath)
try {
logger.info(\"SE VA A REALIZAR EL BORRADO SI EXISTE DE LA CARPETA \")
if (fs.exists(partitionPath)) {
logger.info(\"fs.exists \" + fs.exists(partitionPath))
fs.delete(partitionPath, true)<\/strong> \/\/ true = borrado recursivo
logger.info(s\"Partition deleted: $partitionPath\")
} else {
logger.info(partitionPath + \" does not exist!\")
}
}catch {
case ce: Exception =>
logger.error(\"An error has ocurred trying to remove an HDFS path\", ce)
}
}<\/pre>\n\n\n\n<\/p>\n","protected":false},"excerpt":{"rendered":"