En ocasiones querrá saber qué operaciones ha iniciado el controlador WASB con Azure Storage.There are times when you may want to understand what operations the WASB driver started with Azure Storage. En el lado del cliente, el controlador WASB genera registros para cada operación del sistema de archivos en el nivel DEBUG.For the client side, the WASB driver produces logs for each file system operation at DEBUG level. El controlador WASB usa log4j para controlar el nivel de registro, y el valor predeterminado es el nivel INFO.WASB driver uses log4j to control logging level and the default is INFO level. Para obtener registros de análisis del lado del servidor de Azure Storage, consulte Registro de análisis de Azure Storage.For Azure Storage server-side analytics logs, see Azure Storage analytics logging.
Los registros generados tendrán un aspecto similar al siguiente:A produced log will look similar to:
En un explorador web, vaya a https://CLUSTERNAME.azurehdinsight.net, donde CLUSTERNAME es el nombre del clúster de Spark.From a web browser, navigate to https://CLUSTERNAME.azurehdinsight.net, where CLUSTERNAME is the name of your Spark cluster.
Vaya a Spark2 > Configs > advanced spark2-log4j-properties.Navigate to Spark2 > Configs > advanced spark2-log4j-properties.
Alterar log4j.appender.la consola.El umbral de INFORMACIÓN para log4j.appender.la consola.El umbral.De DEPURACIÓN. Modifique log4j.appender.console.Threshold.INFO para log4j.appender.la consola.El umbral.De DEPURACIÓN.
Vaya a las propiedades avanzadas de 2 de log4j. Vaya a las propiedades avanzadas de 2 de log4j.
Agregue la propiedad siguiente:Add the following property:
Guarde los cambios realizados. Guarde los cambios realizados.
Los registros anteriores proporcionarán una descripción general de las operaciones del sistema de archivos.The above logs should provide high-level understanding of the file system operations. Si los registros anteriores no proporcionan información útil, o si desea investigar las llamadas API de Blob Storage, agregue fs.azure.storage.client.logging=true a core-site.If the above logs are still not providing useful information, or if you want to investigate blob storage api calls, add fs.azure.storage.client.logging=true to the core-site. Esta opción de configuración habilitará los registros del SDK de Java para el controlador de almacenamiento de WASB e imprimirá cada llamada en el servidor de Blob Storage.This setting will enable the java sdk logs for wasb storage driver and will print each call to blob storage server. Quite la opción de configuración después de terminar las investigaciones porque podría llenar el disco rápidamente y ralentizar el proceso.Remove the setting after investigations because it could fill up the disk quickly and could slow down the process.
Si el back-end se basa en Azure Data Lake, use la siguiente configuración de log4j para el componente (por ejemplo, spark/tez/hdfs):If the backend is Azure Data Lake based, then use the following log4j setting for the component(for example, spark/tez/hdfs):
Buscar en los registros en el archivo /var/log/adl/adl.el registro de los archivos de registro.
Si su problema no aparece o es incapaz de resolverlo, visite uno de nuestros canales para obtener ayuda adicional:If you didn’t see your problem or are unable to solve your issue, visit one of the following channels for more support:
Todas las respuestas de los expertos a la Montana, a través del Apoyo de la comunidad de las referencias.
Póngase en contacto con @AzureSupport, la cuenta oficial de Microsoft Azure para mejorar la experiencia del cliente.Connect with @AzureSupport – the official Microsoft Azure account for improving customer experience. Esta cuenta pone en contacto a la comunidad de Azure con los recursos adecuados: respuestas, soporte técnico y expertos.Connecting the Azure community to the right resources: answers, support, and experts.
Si necesita más ayuda, puede enviar una solicitud de soporte técnico desde Azure Portal.If you need more help, you can submit a support request from the Azure portal. Seleccione Soporte técnico en la barra de menús o abra la central Ayuda + soporte técnico.Select Support from the menu bar or open the Help + support hub. Para obtener información más detallada, revise Creación de una solicitud de soporte técnico de Azure.For more detailed information, review How to create an Azure support request. La suscripción a Microsoft Azure incluye acceso al soporte técnico para facturación y administración de suscripciones. El soporte técnico se proporciona a través de uno de los planes de soporte técnico de Azure.Access to Subscription Management and billing support is included with your Microsoft Azure subscription, and Technical Support is provided through one of the Azure Support Plans.
Muchas gracias.
Cargando las opiniones de…
Gracias.