xG \u2013 es una medida estad\u00edstica de la calidad de las oportunidades creadas y concedidas <\/p><\/blockquote>\n\n\n\n
Puede encontrar los datos con esta m\u00e9trica en understat.com<\/a>. Esta es la web que estoy a punto de raspar.<\/p>\n\n\n\n Entonces, \u00bfqu\u00e9 diablos es xG y por qu\u00e9 es importante. Respuesta que podemos encontrar en la p\u00e1gina de inicio de understat.com<\/a>.<\/p>\n\n\n\n Los goles esperados (xG) es la nueva m\u00e9trica del f\u00fatbol revolucionario, que le permite evaluar el rendimiento del equipo y del jugador.<\/p> Los investigadores entrenaron una red neuronal basada en situaciones que llevaron a los goles y ahora nos da una estimaci\u00f3n de cu\u00e1ntas oportunidades reales tuvo el equipo durante el partido. Porque puedes tener 25 tiros durante el juego, pero si todos son de larga distancia o de \u00e1ngulo bajo o demasiado d\u00e9biles, tiros m\u00e1s cortos y de baja calidad, no te llevar\u00e1n a la meta. Mientras que algunos \u201cexpertos\u201d que no vieron el juego dir\u00e1n que el equipo domin\u00f3, crearon muchas oportunidades bla-bla-bla-bla. La calidad de esas posibilidades importa. Y ah\u00ed es donde la m\u00e9trica xG se vuelve muy \u00fatil. Con esta m\u00e9trica, ahora entiendes que Messi crea goles en condiciones en las que es muy dif\u00edcil de marcar, o que el portero hace el \u201csave\u201d donde deber\u00eda haber sido el gol. Todas estas cosas se suman y vemos campeones que tienen jugadores h\u00e1biles y algo de suerte, y vemos perdedores que podr\u00edan tener buenos jugadores, pero no tienen suficiente suerte. Y mi intenci\u00f3n con este proyecto es comprender y presentar estos n\u00fameros para demostrar el rol de la suerte en el f\u00fatbol de hoy.<\/p>\n\n\n\n Comenzamos importando las librer\u00edas que se utilizar\u00e1n en este proyecto:<\/p>\n\n\n\n En la p\u00e1gina de inicio podemos observar que el sitio tiene datos para 6 ligas europeas:<\/p>\n\n\n\n Y tambi\u00e9n vemos que los datos recopilados comienzan a partir de la temporada 2014\/2015. Otra noci\u00f3n que hacemos es la estructura de la URL. Es \u2018 As\u00ed que creamos variables con estos datos para poder seleccionar cualquier temporada o liga.<\/p>\n\n\n\n El siguiente paso es comprender d\u00f3nde se encuentran los datos en la p\u00e1gina web. Para esto abrimos las Herramientas de desarrollo en Chrome, vaya a la pesta\u00f1a “Red”, busque el archivo con datos (en este caso, 2018) y verifique la pesta\u00f1a “Respuesta”. Esto es lo que obtendremos despu\u00e9s de ejecutar requests.get(URL)<\/em>.<\/p>\n\n\n\n Despu\u00e9s de revisar el contenido de la p\u00e1gina web, encontramos que los datos se almacenan bajo la etiqueta “script” y est\u00e1n codificados en JSON. As\u00ed que tendremos que encontrar esta etiqueta, obtener JSON de ella y convertirla en la estructura de datos legible de Python.<\/p>\n\n\n\n Descubrimos que los datos que nos interesan se almacenan en la variable teamsData, despu\u00e9s de crear una sopa de etiquetas html, se convierte en solo una string, por lo que encontramos ese texto y extraemos JSON de ella.<\/p>\n\n\n\n Una vez que hayamos obtenido nuestro JSON y lo hayamos limpiado, podemos convertirlo en el diccionario de Python y comprobar su aspecto (declaraci\u00f3n print comentada).<\/p>\n\n\n\n Cuando comenzamos a investigar los datos, entendemos que este es un diccionario de diccionarios de 3 claves: id<\/strong><\/em>, t\u00edtulo<\/strong><\/em> e historia<\/strong><\/em>. La primera capa del diccionario usa tambi\u00e9n las ids<\/em><\/strong> como claves.<\/p>\n\n\n\n Tambi\u00e9n de esto entendemos que history<\/em><\/strong> tiene datos con respecto a cada partido que el equipo jug\u00f3 en su propia liga (los juegos de la Copa de la Liga o de la Liga de Campeones no est\u00e1n incluidos).<\/p>\n\n\n\n Podemos reunir los nombres de los equipos despu\u00e9s de revisar el diccionario de la primera capa.<\/p>\n\n\n\n El history<\/em><\/strong> es el conjunto de diccionarios donde las claves son nombres de m\u00e9tricas (nombres de columnas) y los valores son valores, a pesar de lo tautol\u00f3gico que es :D.<\/p>\n\n\n\n Entendemos que los nombres de las columnas se repiten una y otra vez, por lo que los agregamos a una lista separada. Tambi\u00e9n verificando c\u00f3mo se ven los valores de la muestra.<\/p>\n\n\n\n Despu\u00e9s de emitir algunas declaraciones impresas, encontramos que Sevilla tiene el id = 138, por lo que obtener todos los datos para que este equipo pueda reproducir los mismos pasos para todos los equipos de la liga.<\/p>\n\n\n\n Por el bien de dejar este art\u00edculo limpio, no agregar\u00e9 el contenido del DataFrame creado, pero al final encontrar\u00e1s enlaces a las notebooks IPython en Github y Kaggle con todos los c\u00f3digos y resultados. Aqu\u00ed solo muestras para el contexto.<\/p>\n\n\n\n Entonces, wualya, felicidades! \u00a1Tenemos los datos de todos los partidos de Sevilla en la temporada 2018-2019 dentro de La Liga! Ahora queremos obtener esa informaci\u00f3n para todos los equipos espa\u00f1oles. \u00a1Vamos a dar vueltas por esas mordeduras beb\u00e9!<\/p>\n\n\n\n Despu\u00e9s de que este c\u00f3digo termine de ejecutarse, tenemos un diccionario de DataFrames donde key es el nombre del equipo y value es el DataFrame con todos los juegos de ese equipo.<\/p>\n\n\n\n Cuando observamos el contenido de DataFrame podemos observar que m\u00e9tricas como PPDA y OPPDA (ppda y ppda_allowed) se representan como cantidades totales de acciones de ataque \/ defensa, pero en la tabla original se muestran como coeficientes. \u00a1Vamos a arreglar eso!<\/p>\n\n\n\n Ahora tenemos todos nuestros n\u00fameros, pero para cada juego. Lo que necesitamos son los totales para el equipo. Averig\u00fcemos las columnas que tenemos que resumir. Para esto volvemos a la tabla original en understat.com y encontramos que todas las m\u00e9tricas deben resumirse y que solo PPDA y OPPDA son medios al final.<\/p>\n\n\n\n Estamos listos para calcular nuestros totales y medios. Para esto hacemos un bucle a trav\u00e9s del diccionario de marcos de datos y llamamos a .sum() y .mean() M\u00e9todos de DataFrame que devuelven Series, por eso agregamos .transpose() a esas llamadas Ponemos estos nuevos DataFrames en una lista y luego los convertimos en un nuevo DataFrame full_stat<\/em><\/strong>.<\/p>\n\n\n\n A continuaci\u00f3n, reorganizamos las columnas para una mejor legibilidad, ordenamos las filas seg\u00fan los puntos, restablecemos el \u00edndice y agregamos la columna “position”<\/p>\n\n\n\n Tambi\u00e9n en la tabla original tenemos valores de diferencias entre m\u00e9tricas esperadas y reales. Vamos a agregar esos tambi\u00e9n.<\/p>\n\n\n\n Convertir los flotantes a n\u00fameros enteros cuando sea apropiado.<\/p>\n\n\n\n Prettifying la vista final de nuestra DataFrame<\/p>\n\n\n\n Tabla original:<\/p>\n\n\n\n Ahora, cuando obtuvimos nuestros n\u00fameros para una temporada de una liga, podemos replicar el c\u00f3digo y ponerlo en el bucle para obtener todos los datos de todas las temporadas de todas las ligas. No pondr\u00e9 este c\u00f3digo aqu\u00ed, pero dejar\u00e9 un enlace a la soluci\u00f3n de raspado completa en Github<\/a> y Kaggle<\/a>.<\/p>\n\n\n\n Despu\u00e9s de loop por todas las ligas y todas las temporadas y unos pocos pasos de manipulaci\u00f3n para hacer que los datos sean exportables, tengo un archivo CSV con n\u00fameros raspados. El conjunto de datos est\u00e1 disponible aqu\u00ed.<\/a><\/p>\n\n\n\n Espero que lo hayas encontrado \u00fatil y tengas informaci\u00f3n valiosa. De todos modos, si llegaste a este punto solo quiero agradecerte por leer, por dedicar tu tiempo, energ\u00eda y atenci\u00f3n a mis 5 centavos y te deseo mucho amor y felicidad, \u00a1eres incre\u00edble!<\/p>\n\n\n\n Foto de Michael Lee<\/a> en Unsplash<\/a><\/p>\n","protected":false},"excerpt":{"rendered":" \u00daltimamente estaba debatiendo sobre el rol de la suerte en el f\u00fatbol. O tal vez no es pura suerte, sino…<\/p>\n","protected":false},"author":1,"featured_media":863,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[4,11],"tags":[],"translation":{"provider":"WPGlobus","version":"3.0.0","language":"es","enabled_languages":["gb","es","uk"],"languages":{"gb":{"title":true,"content":true,"excerpt":false},"es":{"title":true,"content":true,"excerpt":false},"uk":{"title":true,"content":true,"excerpt":false}}},"_links":{"self":[{"href":"https:\/\/www.sergilehkyi.com\/es\/wp-json\/wp\/v2\/posts\/859"}],"collection":[{"href":"https:\/\/www.sergilehkyi.com\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.sergilehkyi.com\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.sergilehkyi.com\/es\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.sergilehkyi.com\/es\/wp-json\/wp\/v2\/comments?post=859"}],"version-history":[{"count":17,"href":"https:\/\/www.sergilehkyi.com\/es\/wp-json\/wp\/v2\/posts\/859\/revisions"}],"predecessor-version":[{"id":1184,"href":"https:\/\/www.sergilehkyi.com\/es\/wp-json\/wp\/v2\/posts\/859\/revisions\/1184"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.sergilehkyi.com\/es\/wp-json\/wp\/v2\/media\/863"}],"wp:attachment":[{"href":"https:\/\/www.sergilehkyi.com\/es\/wp-json\/wp\/v2\/media?parent=859"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.sergilehkyi.com\/es\/wp-json\/wp\/v2\/categories?post=859"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.sergilehkyi.com\/es\/wp-json\/wp\/v2\/tags?post=859"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Entendiendo los datos<\/h3>\n\n\n\n
En un juego de baja puntuaci\u00f3n como el f\u00fatbol, el puntuaci\u00f3n final del partido no proporciona una imagen clara del rendimiento.<\/p>
Esta es la raz\u00f3n por la que cada vez m\u00e1s analistas deportivos recurren a modelos avanzados como xG, que es una medida estad\u00edstica de la calidad de las oportunidades creadas y concedidas.<\/p>
Nuestro objetivo era crear el m\u00e9todo m\u00e1s preciso para la evaluaci\u00f3n de la calidad del disparo.<\/p>
Para este caso, entrenamos algoritmos de predicci\u00f3n de redes neuronales con el gran conjunto de datos (> 100,000 disparos, m\u00e1s de 10 par\u00e1metros para cada uno). <\/p>understat.com<\/cite><\/blockquote>\n\n\n\nVamos a empezar<\/h3>\n\n\n\n
import numpy as np # linear algebra<\/em>\nimport pandas as pd # data processing, CSV file I\/O (e.g. pd.read_csv)<\/em>\nimport requests\nfrom bs4 import BeautifulSoup<\/pre>\n\n\n\n
La investigaci\u00f3n y la estructura de datos del sitio web<\/h3>\n\n\n\n
![\"\"](\"http:\/\/35.180.88.53\/wp-content\/uploads\/2019\/06\/leagues.jpg\")
https:\/\/understat.com\/league'<\/code> + \u2018\/name_of_the_league<\/code>\u2018 + \u2018\/year_start_of_the_season<\/code>\u2018<\/p>\n\n\n\n![\"\"](\"http:\/\/35.180.88.53\/wp-content\/uploads\/2019\/06\/seasons.jpg\")
<\/figure>\n\n\n\n# create urls for all seasons of all leagues<\/em>\nbase_url = 'https:\/\/understat.com\/league'\nleagues = ['La_liga', 'EPL', 'Bundesliga', 'Serie_A', 'Ligue_1', 'RFPL']\nseasons = ['2014', '2015', '2016', '2017', '2018']<\/pre>\n\n\n\n
![\"\"](\"http:\/\/35.180.88.53\/wp-content\/uploads\/2019\/06\/requests_response_1.jpg\")
<\/figure>\n\n\n\n![\"\"](\"http:\/\/35.180.88.53\/wp-content\/uploads\/2019\/06\/requests_response_2.jpg\")
<\/figure>\n\n\n\n# Starting with latest data for Spanish league, because I'm a Barcelona fan<\/em>\nurl = base_url+'\/'+leagues[0]+'\/'+seasons[4]\nres = requests.get(url)\nsoup = BeautifulSoup(res.content, \"lxml\")\n\n# Based on the structure of the webpage, I found that data is in the JSON variable, under 'script' tags<\/em>\nscripts = soup.find_all('script')<\/pre>\n\n\n\nTrabajando con JSON <\/h3>\n\n\n\n
import json\n\nstring_with_json_obj = ''\n\n# Find data for teams<\/em>\nfor el in<\/strong> scripts:\n if 'teamsData' in<\/strong> str(el):\n string_with_json_obj = str(el).strip()\n \n# print(string_with_json_obj)<\/em>\n\n# strip unnecessary symbols and get only JSON data<\/em>\nind_start = string_with_json_obj.index(\"('\")+2\nind_end = string_with_json_obj.index(\"')\")\njson_data = string_with_json_obj[ind_start:ind_end]\n\njson_data = json_data.encode('utf8').decode('unicode_escape')<\/pre>\n\n\n\nEntendiendo los datos con Python<\/h3>\n\n\n\n
# Get teams and their relevant ids and put them into separate dictionary<\/em>\nteams = {}\nfor id in<\/strong> data.keys():\n teams[id] = data[id]['title']<\/pre>\n\n\n\n# EDA to get a feeling of how the JSON is structured<\/em>\n# Column names are all the same, so we just use first element<\/em>\ncolumns = []\n# Check the sample of values per each column<\/em>\nvalues = []\nfor id in<\/strong> data.keys():\n columns = list(data[id]['history'][0].keys())\n values = list(data[id]['history'][0].values())\n break<\/pre>\n\n\n\n
sevilla_data = []\nfor row in<\/strong> data['138']['history']:\n sevilla_data.append(list(row.values()))\n \ndf = pd.DataFrame(sevilla_data, columns=columns)<\/pre>\n\n\n\n
# Getting data for all teams<\/em>\ndataframes = {}\nfor id, team in<\/strong> teams.items():\n teams_data = []\n for row in<\/strong> data[id]['history']:\n teams_data.append(list(row.values()))\n \n df = pd.DataFrame(teams_data, columns=columns)\n dataframes[team] = df\n print('Added data for {}<\/strong>.'.format(team))<\/pre>\n\n\n\nManipulaciones para hacer datos como en la fuente original<\/h3>\n\n\n\n
for team, df in<\/strong> dataframes.items():\n dataframes[team]['ppda_coef'] = dataframes[team]['ppda'].apply(lambda x: x['att']\/x['def'] if x['def'] != 0 else 0)\n dataframes[team]['oppda_coef'] = dataframes[team]['ppda_allowed'].apply(lambda x: x['att']\/x['def'] if x['def'] != 0 else 0)<\/pre>\n\n\n\n
cols_to_sum = ['xG', 'xGA', 'npxG', 'npxGA', 'deep', 'deep_allowed', 'scored', 'missed', 'xpts', 'wins', 'draws', 'loses', 'pts', 'npxGD']\ncols_to_mean = ['ppda_coef', 'oppda_coef']<\/pre>\n\n\n\n
frames = []\nfor team, df in<\/strong> dataframes.items():\n sum_data = pd.DataFrame(df[cols_to_sum].sum()).transpose()\n mean_data = pd.DataFrame(df[cols_to_mean].mean()).transpose()\n final_df = sum_data.join(mean_data)\n final_df['team'] = team\n final_df['matches'] = len(df)\n frames.append(final_df)\n \nfull_stat = pd.concat(frames)<\/pre>\n\n\n\n
full_stat = full_stat[['team', 'matches', 'wins', 'draws', 'loses', 'scored', 'missed', 'pts', 'xG', 'npxG', 'xGA', 'npxGA', 'npxGD', 'ppda_coef', 'oppda_coef', 'deep', 'deep_allowed', 'xpts']]\nfull_stat.sort_values('pts', ascending=False, inplace=True)\nfull_stat.reset_index(inplace=True, drop=True)\nfull_stat['position'] = range(1,len(full_stat)+1)<\/pre>\n\n\n\nfull_stat['xG_diff'] = full_stat['xG'] - full_stat['scored']\nfull_stat['xGA_diff'] = full_stat['xGA'] - full_stat['missed']\nfull_stat['xpts_diff'] = full_stat['xpts'] - full_stat['pts']<\/pre>\n\n\n\n
cols_to_int = ['wins', 'draws', 'loses', 'scored', 'missed', 'pts', 'deep', 'deep_allowed']\nfull_stat[cols_to_int] = full_stat[cols_to_int].astype(int)<\/pre>\n\n\n\n
col_order = ['position','team', 'matches', 'wins', 'draws', 'loses', 'scored', 'missed', 'pts', 'xG', 'xG_diff', 'npxG', 'xGA', 'xGA_diff', 'npxGA', 'npxGD', 'ppda_coef', 'oppda_coef', 'deep', 'deep_allowed', 'xpts', 'xpts_diff']\nfull_stat = full_stat[col_order]\nfull_stat.columns = ['#', 'team', 'M', 'W', 'D', 'L', 'G', 'GA', 'PTS', 'xG', 'xG_diff', 'NPxG', 'xGA', 'xGA_diff', 'NPxGA', 'NPxGD', 'PPDA', 'OPPDA', 'DC', 'ODC', 'xPTS', 'xPTS_diff']\npd.options.display.float_format = '{:,.2f}<\/strong>'.format\nfull_stat.head(10)<\/pre>\n\n\n\n![\"\"](\"http:\/\/35.180.88.53\/wp-content\/uploads\/2019\/06\/collab-1024x314.jpg\")
![\"\"](\"http:\/\/35.180.88.53\/wp-content\/uploads\/2019\/06\/full_table-1024x660.jpg\")
Dataset final<\/h3>\n\n\n\n
![\"\"](\"http:\/\/35.180.88.53\/wp-content\/uploads\/2019\/06\/banner-1024x216.jpg\")
<\/figure>\n\n\n\nConclusi\u00f3n<\/h3>\n\n\n\n
\n\n\n\n