From 15de4d3b9ab80562c33d9c065159b222c68619b0 Mon Sep 17 00:00:00 2001 From: Kingbox <37674310+lopezvg@users.noreply.github.com> Date: Wed, 14 Nov 2018 11:45:26 +0100 Subject: [PATCH] Mejoras en el cacheo de urls de emergencia --- plugin.video.alfa/channels/divxtotal.py | 2 +- plugin.video.alfa/channels/elitetorrent.py | 2 +- plugin.video.alfa/channels/estrenosgo.json | 22 + plugin.video.alfa/channels/estrenosgo.py | 479 ++++++++++-------- plugin.video.alfa/channels/grantorrent.py | 8 +- plugin.video.alfa/core/httptools.py | 10 +- plugin.video.alfa/lib/generictools.py | 292 ++++++++--- .../platformcode/platformtools.py | 38 +- 8 files changed, 547 insertions(+), 306 deletions(-) diff --git a/plugin.video.alfa/channels/divxtotal.py b/plugin.video.alfa/channels/divxtotal.py index e22794a1..e03a3c1b 100644 --- a/plugin.video.alfa/channels/divxtotal.py +++ b/plugin.video.alfa/channels/divxtotal.py @@ -599,7 +599,7 @@ def findvideos(item): item_local.url = scrapedurl if host not in item_local.url and host.replace('https', 'http') not in item_local.url and not item.armagedon: item_local.url = host + item_local.url - if item_local.url and not item.armagedon: + if item_local.url and not item.armagedon and item.emergency_urls: item_local.torrent_alt = item.emergency_urls[0][0] #Guardamos la url del .Torrent ALTERNATIVA if item.armagedon: #Si es catastrófico, lo marcamos item_local.quality = '[/COLOR][COLOR hotpink][E] [COLOR limegreen]%s' % item_local.quality diff --git a/plugin.video.alfa/channels/elitetorrent.py b/plugin.video.alfa/channels/elitetorrent.py index 5e940626..f413c1bd 100644 --- a/plugin.video.alfa/channels/elitetorrent.py +++ b/plugin.video.alfa/channels/elitetorrent.py @@ -398,7 +398,7 @@ def findvideos(item): if item.armagedon: #Si es catastrófico, lo marcamos item_local.quality = '[/COLOR][COLOR hotpink][E] [COLOR limegreen]%s' % item_local.quality item_local.url = link_torrent - if item_local.url and not item.armagedon: + if item_local.url and item.emergency_urls and not item.armagedon: item_local.torrent_alt = item.emergency_urls[0][0] #Guardamos la url del .Torrent ALTERNATIVA item_local.title = '[COLOR yellow][?][/COLOR] [COLOR yellow][Torrent][/COLOR] [COLOR limegreen][%s][/COLOR] [COLOR red]%s[/COLOR]' % (item_local.quality, str(item_local.language)) #Preparamos título de Torrent diff --git a/plugin.video.alfa/channels/estrenosgo.json b/plugin.video.alfa/channels/estrenosgo.json index 5ebbbafc..b7f0dc18 100755 --- a/plugin.video.alfa/channels/estrenosgo.json +++ b/plugin.video.alfa/channels/estrenosgo.json @@ -47,6 +47,28 @@ "VOSE" ] }, + { + "id": "emergency_urls", + "type": "list", + "label": "Se quieren guardar Enlaces de Emergencia por si se cae la Web?", + "default": 1, + "enabled": true, + "visible": true, + "lvalues": [ + "No", + "Guardar", + "Borrar", + "Actualizar" + ] + }, + { + "id": "emergency_urls_torrents", + "type": "bool", + "label": "Se quieren guardar Torrents de Emergencia por si se cae la Web?", + "default": true, + "enabled": true, + "visible": "!eq(-1,'No')" + }, { "id": "timeout_downloadpage", "type": "list", diff --git a/plugin.video.alfa/channels/estrenosgo.py b/plugin.video.alfa/channels/estrenosgo.py index 796c77e6..46c9e19d 100644 --- a/plugin.video.alfa/channels/estrenosgo.py +++ b/plugin.video.alfa/channels/estrenosgo.py @@ -657,7 +657,6 @@ def findvideos(item): if not data_torrent and not data_directo: logger.error("ERROR 01: FINDVIDEOS: La Web no responde o la URL es erronea: " + item.url) itemlist.append(item.clone(action='', title=item.channel.capitalize() + ': ERROR 01: FINDVIDEOS:. La Web no responde o la URL es erronea. Si la Web está activa, reportar el error con el log')) - return itemlist #si no hay más datos, algo no funciona, pintamos lo que tenemos patron = '
Ver Online<\/a>.*?href="([^"]+)">') != url: #error - logger.error("ERROR 02: FINDVIDEOS: No hay enlaces o ha cambiado la estructura de la Web " + " / PATRON: " + patron) - itemlist.append(item.clone(action='', title=item.channel.capitalize() + ': ERROR 02: FINDVIDEOS: No hay enlaces o ha cambiado la estructura de la Web. Verificar en la Web esto último y reportar el error con el log')) - if data_torrent: - logger.error(data_torrent) - if data_directo: - logger.error(data_directo) - return itemlist #si no hay más datos, algo no funciona, pintamos lo que tenemos + + if item.emergency_urls and not item.videolibray_emergency_urls: #Hay urls de emergencia? + matches_torrent = item.emergency_urls[1] #Guardamos los matches de los .Torrents + try: + matches_directo = item.emergency_urls[3] #Guardamos los matches de Directos, si los hay + except: + pass + item.armagedon = True #Marcamos la situación como catastrófica + else: + if len(itemlist) == 0: + logger.error("ERROR 02: FINDVIDEOS: No hay enlaces o ha cambiado la estructura de la Web " + " / PATRON: " + patron) + itemlist.append(item.clone(action='', title=item.channel.capitalize() + ': ERROR 02: FINDVIDEOS: No hay enlaces o ha cambiado la estructura de la Web. Verificar en la Web esto último y reportar el error con el log')) + if data_torrent: + logger.error(data_torrent) + if data_directo: + logger.error(data_directo) + if item.videolibray_emergency_urls: + return item + else: + return itemlist #si no hay más datos, algo no funciona, pintamos lo que tenemos #logger.debug("PATRON: " + patron) #logger.debug(matches_torrent) @@ -679,8 +691,17 @@ def findvideos(item): #logger.debug(data_torrent) #logger.debug(data_directo) + if item.videolibray_emergency_urls: + item.emergency_urls = [] #Iniciamos emergency_urls + item.emergency_urls.append([]) #Reservamos el espacio para los .torrents locales + item.emergency_urls.append(matches_torrent) #Guardamos los matches_torrent iniciales + item.emergency_urls.append([]) #Reservamos el espacio para los matches_torrent finales + item.emergency_urls.append(matches_directo) #Guardamos los matches_directo iniciales + item.emergency_urls.append([]) #Reservamos el espacio para los matches_directo finales + #Llamamos al método para crear el título general del vídeo, con toda la información obtenida de TMDB - item, itemlist = generictools.post_tmdb_findvideos(item, itemlist) + if not item.videolibray_emergency_urls: + item, itemlist = generictools.post_tmdb_findvideos(item, itemlist) #Si es un Episodio suelto, tratamos de poner un enlace a la Serie completa if item.extra3 == 'completa': @@ -702,7 +723,7 @@ def findvideos(item): item_local.contentType = 'tvshow' item_local.extra = 'series' item_local.action = 'episodios' - item_local.season_colapse = True #Muestra las series agrupadas por temporadas + item_local.season_colapse = True #Muestra las series agrupadas por temporadas #Buscamos la url de la serie y verificamos que existe patron_serie = '
' @@ -741,106 +762,130 @@ def findvideos(item): item_local.language = ["%s" % IDIOMAS[scrapedlang]] #Leemos la página definitiva para el enlace al .torrent - try: - data = re.sub(r"\n|\r|\t|\s{2}|()", "", httptools.downloadpage(item_local.url, timeout=timeout).data) - except: - pass - - patron = '
Descargar Torrent: <\/span>
»\s?(.*?)\s?«<\/a>' - matches = re.compile(patron, re.DOTALL).findall(data) + data = '' + if not item.armagedon: + try: + data = re.sub(r"\n|\r|\t|\s{2}|()", "", httptools.downloadpage(item_local.url, timeout=timeout).data) + except: + pass + + patron = '
Descargar Torrent: <\/span>
»\s?(.*?)\s?«<\/a>' + matches = re.compile(patron, re.DOTALL).findall(data) + else: + matches = item.emergency_urls[2][0] #Guardamos los matches de Directos, si los hay + del item.emergency_urls[2][0] #Una vez tratado lo limpiamos + data = 'xyz123' #iniciamos data para que no dé problemas + + if item.videolibray_emergency_urls: #Si esyamos añadiendo a Videoteca... + item.emergency_urls[2].append(matches) #Salvamos este matches if not data or not matches: logger.error("ERROR 02: FINDVIDEOS: El archivo Torrent no existe o ha cambiado la estructura de la Web " + " / PATRON: " + patron + " / URL: " + item_local.url + " / DATA: " + data) - continue #si no hay más datos, algo no funciona, pasamos a Ver Online + continue #si no hay más datos, algo no funciona, pasamos a Ver Online #logger.debug(patron) #logger.debug(matches) #logger.debug(data) - + for scrapedtorrent, scrapedtitle in matches: - item_local = item_local.clone() - quality = item_local.quality - qualityscraped = '' - if not item_local.contentEpisodeNumber and item_local.contentType == 'episode': - item_local.contentEpisodeNumber = 0 - - #Si son episodios múltiples, los listamos con sus títulos - if len(matches) > 1 or len(itemlist_alt) > 1: - if item_local.contentType == 'episode' or item_local.contentType == 'season': - if scrapertools.find_single_match(scrapedtitle, '(\d+[x|X]\d+(?:-\d{1,2})?)'): - qualityscraped = '%s' % scrapertools.find_single_match(scrapedtitle, '(\d+[x|X]\d+(?:-\d{1,2})?)') - if scrapertools.find_single_match(scrapedtitle, '\d+[x|X](\d+)'): - item_local.contentEpisodeNumber = int(scrapertools.find_single_match(scrapedtitle, '\d+[x|X](\d+)')) - elif scrapertools.find_single_match(scrapedtitle, '[c|C]ap.*?(\d+)'): - item_local.contentEpisodeNumber = int(scrapertools.find_single_match(scrapedtitle, '[c|C]ap.*?(\d+)')) - elif scrapertools.find_single_match(scrapedtorrent, '[s|S]\d{1,2}[e|E](\d{1,2})'): - item_local.contentEpisodeNumber = int(scrapertools.find_single_match(scrapedtorrent, '[s|S]\d{1,2}[e|E](\d{1,2})')) - if not qualityscraped: - qualityscraped = '%sx%s' % (str(item_local.contentSeason), str(item_local.contentEpisodeNumber).zfill(2)) - else: - qualityscraped = '%s' % scrapedtitle - - #Si todavía no sabemos el num de Episodio, lo buscamos - if not item_local.contentEpisodeNumber and item_local.contentType == 'episode': - try: - if scrapertools.find_single_match(scrapedtitle, '(\d+)[x|X](\d+)'): - item_local.contentSeason, item_local.contentEpisodeNumber = scrapertools.find_single_match(scrapedtitle, '(\d+)[x|X](\d+)') - qualityscraped = '%sx%s' % (str(item_local.contentSeason), str(item_local.contentEpisodeNumber).zfill(2)) - except: - pass - - #Buscamos calidades - if scrapertools.find_single_match(scrapedtitle, '(\d+p)'): - qualityscraped += ' ' + scrapertools.find_single_match(scrapedtitle, '(\d+p)') - if qualityscraped: - quality = '[%s] %s' % (qualityscraped, item_local.quality) + if item.videolibray_emergency_urls: + item.emergency_urls[0].append(host + scrapedtorrent) + else: + item_local = item_local.clone() + quality = item_local.quality + qualityscraped = '' + if not item_local.contentEpisodeNumber and item_local.contentType == 'episode': + item_local.contentEpisodeNumber = 0 + + #Si son episodios múltiples, los listamos con sus títulos + if len(matches) > 1 or len(itemlist_alt) > 1: + if item_local.contentType == 'episode' or item_local.contentType == 'season': + if scrapertools.find_single_match(scrapedtitle, '(\d+[x|X]\d+(?:-\d{1,2})?)'): + qualityscraped = '%s' % scrapertools.find_single_match(scrapedtitle, '(\d+[x|X]\d+(?:-\d{1,2})?)') + if scrapertools.find_single_match(scrapedtitle, '\d+[x|X](\d+)'): + item_local.contentEpisodeNumber = int(scrapertools.find_single_match(scrapedtitle, '\d+[x|X](\d+)')) + elif scrapertools.find_single_match(scrapedtitle, '[c|C]ap.*?(\d+)'): + item_local.contentEpisodeNumber = int(scrapertools.find_single_match(scrapedtitle, '[c|C]ap.*?(\d+)')) + elif scrapertools.find_single_match(scrapedtorrent, '[s|S]\d{1,2}[e|E](\d{1,2})'): + item_local.contentEpisodeNumber = int(scrapertools.find_single_match(scrapedtorrent, '[s|S]\d{1,2}[e|E](\d{1,2})')) + if not qualityscraped: + qualityscraped = '%sx%s' % (str(item_local.contentSeason), str(item_local.contentEpisodeNumber).zfill(2)) + else: + qualityscraped = '%s' % scrapedtitle + + #Si todavía no sabemos el num de Episodio, lo buscamos + if not item_local.contentEpisodeNumber and item_local.contentType == 'episode': + try: + if scrapertools.find_single_match(scrapedtitle, '(\d+)[x|X](\d+)'): + item_local.contentSeason, item_local.contentEpisodeNumber = scrapertools.find_single_match(scrapedtitle, '(\d+)[x|X](\d+)') + qualityscraped = '%sx%s' % (str(item_local.contentSeason), str(item_local.contentEpisodeNumber).zfill(2)) + except: + pass + + #Buscamos calidades + if scrapertools.find_single_match(scrapedtitle, '(\d+p)'): + qualityscraped += ' ' + scrapertools.find_single_match(scrapedtitle, '(\d+p)') + if qualityscraped: + quality = '[%s] %s' % (qualityscraped, item_local.quality) - #Ahora pintamos el link del Torrent - item_local.url = host + scrapedtorrent - size = generictools.get_torrent_size(item_local.url) #Buscamos el tamaño en el .torrent - if size: - quality += ' [%s]' % size - item_local.title = '[COLOR yellow][?][/COLOR] [COLOR yellow][Torrent][/COLOR] [COLOR limegreen][%s][/COLOR] [COLOR red]%s[/COLOR]' % (quality, str(item_local.language)) - - #Preparamos título y calidad, quitamos etiquetas vacías - item_local.title = re.sub(r'\s?\[COLOR \w+\]\[\[?\s?\]?\]\[\/COLOR\]', '', item_local.title) - item_local.title = re.sub(r'\s?\[COLOR \w+\]\s?\[\/COLOR\]', '', item_local.title) - item_local.title = item_local.title.replace("--", "").replace("[]", "").replace("()", "").replace("(/)", "").replace("[/]", "").strip() - quality = re.sub(r'\s?\[COLOR \w+\]\[\[?\s?\]?\]\[\/COLOR\]', '', quality) - quality = re.sub(r'\s?\[COLOR \w+\]\s?\[\/COLOR\]', '', quality) - quality = quality.replace("--", "").replace("[]", "").replace("()", "").replace("(/)", "").replace("[/]", "").strip() - - item_local.alive = "??" #Calidad del link sin verificar - item_local.action = "play" #Visualizar vídeo - item_local.server = "torrent" #Seridor Torrent - - itemlist_t.append(item_local.clone(quality=quality)) #Pintar pantalla, si no se filtran idiomas + #Ahora pintamos el link del Torrent + item_local.url = host + scrapedtorrent + if item.emergency_urls and not item.videolibray_emergency_urls: + item_local.torrent_alt = item.emergency_urls[0][0] #Guardamos la url del .Torrent ALTERNATIVA + if item.armagedon: + item_local.url = item.emergency_urls[0][0] #... ponemos la emergencia como primaria + del item.emergency_urls[0][0] #Una vez tratado lo limpiamos + + size = '' + if not item.armagedon: + size = generictools.get_torrent_size(item_local.url) #Buscamos el tamaño en el .torrent + if size: + quality += ' [%s]' % size + if item.armagedon: #Si es catastrófico, lo marcamos + quality = '[/COLOR][COLOR hotpink][E] [COLOR limegreen]%s' % quality + item_local.title = '[COLOR yellow][?][/COLOR] [COLOR yellow][Torrent][/COLOR] [COLOR limegreen][%s][/COLOR] [COLOR red]%s[/COLOR]' % (quality, str(item_local.language)) + + #Preparamos título y calidad, quitamos etiquetas vacías + item_local.title = re.sub(r'\s?\[COLOR \w+\]\[\[?\s?\]?\]\[\/COLOR\]', '', item_local.title) + item_local.title = re.sub(r'\s?\[COLOR \w+\]\s?\[\/COLOR\]', '', item_local.title) + item_local.title = item_local.title.replace("--", "").replace("[]", "").replace("()", "").replace("(/)", "").replace("[/]", "").strip() + quality = re.sub(r'\s?\[COLOR \w+\]\[\[?\s?\]?\]\[\/COLOR\]', '', quality) + quality = re.sub(r'\s?\[COLOR \w+\]\s?\[\/COLOR\]', '', quality) + quality = quality.replace("--", "").replace("[]", "").replace("()", "").replace("(/)", "").replace("[/]", "").strip() + + item_local.alive = "??" #Calidad del link sin verificar + item_local.action = "play" #Visualizar vídeo + item_local.server = "torrent" #Seridor Torrent + + itemlist_t.append(item_local.clone(quality=quality)) #Pintar pantalla, si no se filtran idiomas + + # Requerido para FilterTools + if config.get_setting('filter_languages', channel) > 0: #Si hay idioma seleccionado, se filtra + item_local.quality = quality #Calidad + itemlist_f = filtertools.get_link(itemlist_f, item_local, list_language) #Pintar pantalla, si no está vacío + + #logger.debug("TORRENT: " + scrapedtorrent + " / title gen/torr: " + item.title + " / " + item_local.title + " / calidad: " + item_local.quality + " / tamaño: " + scrapedsize + " / content: " + item_local.contentTitle + " / " + item_local.contentSerieName) + #logger.debug(item_local) + + if not item.videolibray_emergency_urls: + if len(itemlist_f) > 0: #Si hay entradas filtradas... + itemlist_alt.extend(itemlist_f) #Pintamos pantalla filtrada + else: + if config.get_setting('filter_languages', channel) > 0 and len(itemlist_t) > 0: #Si no hay entradas filtradas ... + thumb_separador = get_thumb("next.png") #... pintamos todo con aviso + itemlist.append(Item(channel=item.channel, url=host, title="[COLOR red][B]NO hay elementos con el idioma seleccionado[/B][/COLOR]", thumbnail=thumb_separador)) + itemlist_alt.extend(itemlist_t) #Pintar pantalla con todo si no hay filtrado - # Requerido para FilterTools - if config.get_setting('filter_languages', channel) > 0: #Si hay idioma seleccionado, se filtra - itemlist_f = filtertools.get_link(itemlist_f, item_local, list_language) #Pintar pantalla, si no está vacío - - #logger.debug("TORRENT: " + scrapedtorrent + " / title gen/torr: " + item.title + " / " + item_local.title + " / calidad: " + item_local.quality + " / tamaño: " + scrapedsize + " / content: " + item_local.contentTitle + " / " + item_local.contentSerieName) - #logger.debug(item_local) - - if len(itemlist_f) > 0: #Si hay entradas filtradas... - itemlist_alt.extend(itemlist_f) #Pintamos pantalla filtrada - else: - if config.get_setting('filter_languages', channel) > 0 and len(itemlist_t) > 0: #Si no hay entradas filtradas ... - thumb_separador = get_thumb("next.png") #... pintamos todo con aviso - itemlist.append(Item(channel=item.channel, url=host, title="[COLOR red][B]NO hay elementos con el idioma seleccionado[/B][/COLOR]", thumbnail=thumb_separador)) - itemlist_alt.extend(itemlist_t) #Pintar pantalla con todo si no hay filtrado - - #Si son múltiples episodios, ordenamos - if len(itemlist_alt) > 1 and (item.contentType == 'episode' or item.contentType == 'season'): - itemlist_alt = sorted(itemlist_alt, key=lambda it: (int(it.contentSeason), int(it.contentEpisodeNumber))) #clasificamos - tmdb.set_infoLabels(itemlist_alt, True) #TMDB de la lista de episodios - itemlist.extend(itemlist_alt) + #Si son múltiples episodios, ordenamos + if len(itemlist_alt) > 1 and (item.contentType == 'episode' or item.contentType == 'season'): + itemlist_alt = sorted(itemlist_alt, key=lambda it: (int(it.contentSeason), int(it.contentEpisodeNumber))) #clasificamos + tmdb.set_infoLabels(itemlist_alt, True) #TMDB de la lista de episodios + itemlist.extend(itemlist_alt) #Ahora tratamos los servidores directo itemlist_alt = [] - itemlist_t = [] #Itemlist total de enlaces - itemlist_f = [] #Itemlist de enlaces filtrados + itemlist_t = [] #Itemlist total de enlaces + itemlist_f = [] #Itemlist de enlaces filtrados if matches_directo: for scrapedurl, scrapedquality, scrapedlang in matches_directo: #leemos los torrents con la diferentes calidades #Generamos una copia de Item para trabajar sobre ella @@ -861,13 +906,22 @@ def findvideos(item): item_local.language = ["%s" % IDIOMAS[scrapedlang]] #Salvamos el idioma, si lo hay #Leemos la página con el enlace al Servidor - try: - data = re.sub(r"\n|\r|\t|\s{2}|()", "", httptools.downloadpage(item_local.url, timeout=timeout).data) - except: - pass - - patron = '
Video Online:\s?([^<]+)?<\/span>

)", "", httptools.downloadpage(item_local.url, timeout=timeout).data) + except: + pass + + patron = '
Video Online:\s?([^<]+)?<\/span>

 1 or len(itemlist_alt) > 1) and not servidor in scrapedtitle: - if not capitulo and (item_local.contentType == 'episode' or item_local.contentType == 'season'): - if scrapertools.find_single_match(scrapedtitle, '(\d+[x|X]\d+(?:-\d{1,2})?)'): - qualityscraped = '%s' % scrapertools.find_single_match(scrapedtitle, '(\d+[x|X]\d+(?:-\d{1,2})?)') - if scrapertools.find_single_match(scrapedtitle, '\d+[x|X](\d+)'): - item_local.contentEpisodeNumber = int(scrapertools.find_single_match(scrapedtitle, '\d+[x|X](\d+)')) - elif scrapertools.find_single_match(scrapedtitle, '[c|C]ap.*?(\d+)'): - item_local.contentEpisodeNumber = int(scrapertools.find_single_match(scrapedtitle, '[c|C]ap.*?(\d+)')) - elif scrapertools.find_single_match(scrapedtorrent, '[s|S]\d{1,2}[e|E](\d{1,2})'): - item_local.contentEpisodeNumber = int(scrapertools.find_single_match(scrapedtorrent, '[s|S]\d{1,2}[e|E](\d{1,2})')) - if not qualityscraped: - qualityscraped = '%sx%s' % (str(item_local.contentSeason), str(item_local.contentEpisodeNumber).zfill(2)) - elif capitulo: - if scrapertools.find_single_match(capitulo, '\d+[x|X](\d+)'): - item_local.contentEpisodeNumber = int(scrapertools.find_single_match(scrapedtitle, '\d+[x|X](\d+)')) - qualityscraped = '%s' % capitulo - else: - qualityscraped = '%s' % scrapedtitle - - #Si todavía no sabemos el num de Episodio, lo buscamos - if not item_local.contentEpisodeNumber and item_local.contentType == 'episode': - try: - if scrapertools.find_single_match(scrapedtitle, '(\d+)[x|X](\d+)'): - item_local.contentSeason, item_local.contentEpisodeNumber = scrapertools.find_single_match(scrapedtitle, '(\d+)[x|X](\d+)') - qualityscraped = '%sx%s' % (str(item_local.contentSeason), str(item_local.contentEpisodeNumber).zfill(2)) - except: - pass - - #Buscamos calidades - if scrapertools.find_single_match(scrapedenlace, '(\d+p)'): - qualityscraped += ' ' + scrapertools.find_single_match(scrapedenlace, '(\d+p)') - if qualityscraped: - quality = '[%s] %s' % (qualityscraped, item_local.quality) - - if scrapertools.find_single_match(item.url, '(\d+x\d+.*?\d+x\d+)') and not capitulo and not qualityscraped: - quality = '[%s] %s' % (scrapertools.find_single_match(scrapedenlace, '(\d+x\d+)'), quality) - elif capitulo and not qualityscraped: - quality = '[%s] %s' % (capitulo, quality) + if not item.videolibray_emergency_urls: + item_local = item_local.clone() + + enlace = '' + devuelve = '' + mostrar_server = '' + capitulo = '' + + servidor = scrapedtitle.strip() + servidor = servidor.replace("streamin", "streaminto") + if not servidor or "Capituo" in servidor or "Capitulo" in servidor or scrapertools.find_single_match(servidor, '(\d+[x|X]\d+)'): + capitulo = scrapertools.find_single_match(servidor, '(\d+[x|X]\d+)') + servidor = scrapertools.find_single_match(scrapedenlace, ':\/\/(.*?)\.') + quality = item_local.quality + + qualityscraped = '' + if not item_local.contentEpisodeNumber and item_local.contentType == 'episode': + item_local.contentEpisodeNumber = 0 + + #Si son episodios múltiples, los listamos con sus títulos + if (len(matches) > 1 or len(itemlist_alt) > 1) and not servidor in scrapedtitle: + if not capitulo and (item_local.contentType == 'episode' or item_local.contentType == 'season'): + if scrapertools.find_single_match(scrapedtitle, '(\d+[x|X]\d+(?:-\d{1,2})?)'): + qualityscraped = '%s' % scrapertools.find_single_match(scrapedtitle, '(\d+[x|X]\d+(?:-\d{1,2})?)') + if scrapertools.find_single_match(scrapedtitle, '\d+[x|X](\d+)'): + item_local.contentEpisodeNumber = int(scrapertools.find_single_match(scrapedtitle, '\d+[x|X](\d+)')) + elif scrapertools.find_single_match(scrapedtitle, '[c|C]ap.*?(\d+)'): + item_local.contentEpisodeNumber = int(scrapertools.find_single_match(scrapedtitle, '[c|C]ap.*?(\d+)')) + elif scrapertools.find_single_match(scrapedtorrent, '[s|S]\d{1,2}[e|E](\d{1,2})'): + item_local.contentEpisodeNumber = int(scrapertools.find_single_match(scrapedtorrent, '[s|S]\d{1,2}[e|E](\d{1,2})')) + if not qualityscraped: + qualityscraped = '%sx%s' % (str(item_local.contentSeason), str(item_local.contentEpisodeNumber).zfill(2)) + elif capitulo: + if scrapertools.find_single_match(capitulo, '\d+[x|X](\d+)'): + item_local.contentEpisodeNumber = int(scrapertools.find_single_match(scrapedtitle, '\d+[x|X](\d+)')) + qualityscraped = '%s' % capitulo + else: + qualityscraped = '%s' % scrapedtitle + + #Si todavía no sabemos el num de Episodio, lo buscamos + if not item_local.contentEpisodeNumber and item_local.contentType == 'episode': + try: + if scrapertools.find_single_match(scrapedtitle, '(\d+)[x|X](\d+)'): + item_local.contentSeason, item_local.contentEpisodeNumber = scrapertools.find_single_match(scrapedtitle, '(\d+)[x|X](\d+)') + qualityscraped = '%sx%s' % (str(item_local.contentSeason), str(item_local.contentEpisodeNumber).zfill(2)) + except: + pass + + #Buscamos calidades + if scrapertools.find_single_match(scrapedenlace, '(\d+p)'): + qualityscraped += ' ' + scrapertools.find_single_match(scrapedenlace, '(\d+p)') + if qualityscraped: + quality = '[%s] %s' % (qualityscraped, item_local.quality) + + if scrapertools.find_single_match(item.url, '(\d+x\d+.*?\d+x\d+)') and not capitulo and not qualityscraped: + quality = '[%s] %s' % (scrapertools.find_single_match(scrapedenlace, '(\d+x\d+)'), quality) + elif capitulo and not qualityscraped: + quality = '[%s] %s' % (capitulo, quality) + if item.armagedon: #Si es catastrófico, lo marcamos + quality = '[/COLOR][COLOR hotpink][E] [COLOR limegreen]%s' % quality - #Verificamos el si el enlace del servidor está activo - mostrar_server = True - if config.get_setting("hidepremium"): #Si no se aceptan servidore premium, se ignoran - mostrar_server = servertools.is_server_enabled(servidor) - - try: #Obtenemos el enlace - if mostrar_server: - devuelve = servertools.findvideosbyserver(scrapedenlace, servidor) #existe el link ? - if devuelve: - enlace = devuelve[0][1] #Se guarda el link - if not enlace: - continue + #Verificamos el si el enlace del servidor está activo + mostrar_server = True + if config.get_setting("hidepremium"): #Si no se aceptan servidore premium, se ignoran + mostrar_server = servertools.is_server_enabled(servidor) + + try: #Obtenemos el enlace + if mostrar_server: + devuelve = servertools.findvideosbyserver(scrapedenlace, servidor) #existe el link ? + if devuelve: + enlace = devuelve[0][1] #Se guarda el link + if not enlace: + continue + + item_local.alive = servertools.check_video_link(enlace, servidor, timeout=timeout) #activo el link ? + #Si el link no está activo se ignora + if "??" in item_local.alive: #dudoso + item_local.title = '[COLOR yellow][?][/COLOR] [COLOR yellow][%s][/COLOR] [COLOR limegreen][%s][/COLOR] [COLOR red]%s[/COLOR]' % (servidor.capitalize(), quality, str(item_local.language)) + elif "no" in item_local.alive.lower(): #No está activo. Lo preparo, pero no lo pinto + item_local.title = '[COLOR red][%s][/COLOR] [COLOR yellow][%s][/COLOR] [COLOR limegreen][%s][/COLOR] [COLOR red]%s[/COLOR]' % (item_local.alive, servidor.capitalize(), quality, str(item_local.language)) + logger.debug(item_local.alive + ": ALIVE / " + servidor + " / " + enlace) + raise + else: #Sí está activo + item_local.title = '[COLOR yellow][%s][/COLOR] [COLOR limegreen][%s][/COLOR] [COLOR red]%s[/COLOR]' % (servidor.capitalize(), quality, str(item_local.language)) + + #Ahora pintamos el link Directo + item_local.url = enlace - item_local.alive = servertools.check_video_link(enlace, servidor, timeout=timeout) #activo el link ? - #Si el link no está activo se ignora - if "??" in item_local.alive: #dudoso - item_local.title = '[COLOR yellow][?][/COLOR] [COLOR yellow][%s][/COLOR] [COLOR limegreen][%s][/COLOR] [COLOR red]%s[/COLOR]' % (servidor.capitalize(), quality, str(item_local.language)) - elif "no" in item_local.alive.lower(): #No está activo. Lo preparo, pero no lo pinto - item_local.title = '[COLOR red][%s][/COLOR] [COLOR yellow][%s][/COLOR] [COLOR limegreen][%s][/COLOR] [COLOR red]%s[/COLOR]' % (item_local.alive, servidor.capitalize(), quality, str(item_local.language)) - logger.debug(item_local.alive + ": ALIVE / " + servidor + " / " + enlace) - raise - else: #Sí está activo - item_local.title = '[COLOR yellow][%s][/COLOR] [COLOR limegreen][%s][/COLOR] [COLOR red]%s[/COLOR]' % (servidor.capitalize(), quality, str(item_local.language)) + #Preparamos título y calidad, quitamos etiquetas vacías + item_local.title = re.sub(r'\s?\[COLOR \w+\]\[\[?\s?\]?\]\[\/COLOR\]', '', item_local.title) + item_local.title = re.sub(r'\s?\[COLOR \w+\]\s?\[\/COLOR\]', '', item_local.title) + item_local.title = item_local.title.replace("--", "").replace("[]", "").replace("()", "").replace("(/)", "").replace("[/]", "").strip() + quality = re.sub(r'\s?\[COLOR \w+\]\[\[?\s?\]?\]\[\/COLOR\]', '', quality) + quality = re.sub(r'\s?\[COLOR \w+\]\s?\[\/COLOR\]', '', quality) + quality = quality.replace("--", "").replace("[]", "").replace("()", "").replace("(/)", "").replace("[/]", "").strip() - #Ahora pintamos el link Directo - item_local.url = enlace - - #Preparamos título y calidad, quitamos etiquetas vacías - item_local.title = re.sub(r'\s?\[COLOR \w+\]\[\[?\s?\]?\]\[\/COLOR\]', '', item_local.title) - item_local.title = re.sub(r'\s?\[COLOR \w+\]\s?\[\/COLOR\]', '', item_local.title) - item_local.title = item_local.title.replace("--", "").replace("[]", "").replace("()", "").replace("(/)", "").replace("[/]", "").strip() - quality = re.sub(r'\s?\[COLOR \w+\]\[\[?\s?\]?\]\[\/COLOR\]', '', quality) - quality = re.sub(r'\s?\[COLOR \w+\]\s?\[\/COLOR\]', '', quality) - quality = quality.replace("--", "").replace("[]", "").replace("()", "").replace("(/)", "").replace("[/]", "").strip() - - item_local.action = "play" #Visualizar vídeo - item_local.server = servidor #Seridor Directo - - itemlist_t.append(item_local.clone(quality=quality)) #Pintar pantalla, si no se filtran idiomas - - # Requerido para FilterTools - if config.get_setting('filter_languages', channel) > 0: #Si hay idioma seleccionado, se filtra - itemlist_f = filtertools.get_link(itemlist_f, item_local, list_language) #Pintar pantalla, si no está vacío - except: - logger.error('ERROR al procesar enlaces DIRECTOS: ' + servidor + ' / ' + scrapedenlace) + item_local.action = "play" #Visualizar vídeo + item_local.server = servidor #Servidor Directo + + itemlist_t.append(item_local.clone(quality=quality)) #Pintar pantalla, si no se filtran idiomas + + # Requerido para FilterTools + if config.get_setting('filter_languages', channel) > 0: #Si hay idioma seleccionado, se filtra + item_local.quality = quality #Calidad + itemlist_f = filtertools.get_link(itemlist_f, item_local, list_language) #Pintar pantalla, si no está vacío + except: + logger.error('ERROR al procesar enlaces DIRECTOS: ' + servidor + ' / ' + scrapedenlace) - #logger.debug("DIRECTO: " + scrapedenlace + " / title gen/torr: " + item.title + " / " + item_local.title + " / calidad: " + item_local.quality + " / tamaño: " + scrapedsize + " / content: " + item_local.contentTitle + " / " + item_local.contentSerieName) - #logger.debug(item_local) + #logger.debug("DIRECTO: " + scrapedenlace + " / title gen/torr: " + item.title + " / " + item_local.title + " / calidad: " + item_local.quality + " / tamaño: " + scrapedsize + " / content: " + item_local.contentTitle + " / " + item_local.contentSerieName) + #logger.debug(item_local) + + if item.videolibray_emergency_urls: #Si estamos cargados emergency_urls, no vamos + return item if len(itemlist_f) > 0: #Si hay entradas filtradas... itemlist_alt.extend(itemlist_f) #Pintamos pantalla filtrada @@ -997,11 +1058,11 @@ def findvideos(item): #Si son múltiples episodios, ordenamos if len(itemlist_alt) > 1 and (item.contentType == 'episode' or item.contentType == 'season'): itemlist_alt = sorted(itemlist_alt, key=lambda it: (int(it.contentSeason), int(it.contentEpisodeNumber))) #clasificamos - tmdb.set_infoLabels(itemlist_alt, True) #TMDB de la lista de episodios + tmdb.set_infoLabels(itemlist_alt, True) #TMDB de la lista de episodios itemlist.extend(itemlist_alt) # Requerido para AutoPlay - autoplay.start(itemlist, item) #Lanzamos Autoplay + autoplay.start(itemlist, item) #Lanzamos Autoplay return itemlist diff --git a/plugin.video.alfa/channels/grantorrent.py b/plugin.video.alfa/channels/grantorrent.py index 47e1b781..6214ef38 100644 --- a/plugin.video.alfa/channels/grantorrent.py +++ b/plugin.video.alfa/channels/grantorrent.py @@ -428,15 +428,17 @@ def findvideos(item): #logger.debug(item) timeout_find = timeout + follow_redirects=True if item.videolibray_emergency_urls: #Si se están cacheando enlaces aumentamos el timeout timeout_find = timeout * 2 elif item.emergency_urls: #Si se llama desde la Videoteca con enlaces cacheados... timeout_find = timeout / 2 #reducimos el timeout antes de saltar a los enlaces cacheados + follow_redirects=False #Bajamos los datos de la página data = '' try: - data = re.sub(r"\n|\r|\t|\s{2,}", "", httptools.downloadpage(item.url, timeout=timeout_find).data) + data = re.sub(r"\n|\r|\t|\s{2,}", "", httptools.downloadpage(item.url, timeout=timeout_find, follow_redirects=follow_redirects).data) except: pass @@ -633,6 +635,8 @@ def episodios(item): temp_next = '' item.extra = "episodios" + #logger.debug(item) + # Obtener la información actualizada de la Serie. TMDB es imprescindible para Videoteca if not item.infoLabels['tmdb_id']: tmdb.set_infoLabels(item, True) @@ -716,6 +720,8 @@ def episodios(item): if item.ow_force == '1': #Si viene formazado la reconstrucción de la serie, lo hacemo item.contentType = "tvshow" + if not modo_ultima_temp: #Si se quiere actualiar toda la serie en vez de la última temporada... + item.contentType = "tvshow" temp_lista = [] temp_bucle = 0 diff --git a/plugin.video.alfa/core/httptools.py b/plugin.video.alfa/core/httptools.py index b097ec6b..fe149f3c 100644 --- a/plugin.video.alfa/core/httptools.py +++ b/plugin.video.alfa/core/httptools.py @@ -267,11 +267,19 @@ def downloadpage(url, post=None, headers=None, timeout=None, follow_redirects=Tr if response["headers"].get('content-encoding') == 'gzip': logger.info("Descomprimiendo...") + data_alt = response["data"] try: response["data"] = gzip.GzipFile(fileobj=StringIO(response["data"])).read() logger.info("Descomprimido") except: - logger.info("No se ha podido descomprimir") + logger.info("No se ha podido descomprimir con gzip. Intentando con zlib") + response["data"] = data_alt + try: + import zlib + response["data"] = zlib.decompressobj(16 + zlib.MAX_WBITS).decompress(response["data"]) + except: + logger.info("No se ha podido descomprimir con zlib") + response["data"] = data_alt # Anti Cloudflare if bypass_cloudflare and count_retries < 5: diff --git a/plugin.video.alfa/lib/generictools.py b/plugin.video.alfa/lib/generictools.py index 9cca522d..5647fb0d 100644 --- a/plugin.video.alfa/lib/generictools.py +++ b/plugin.video.alfa/lib/generictools.py @@ -14,6 +14,7 @@ import urllib import urlparse import datetime import time +import traceback from channelselector import get_thumb from core import httptools @@ -183,7 +184,7 @@ def update_title(item): rating_new = round(rating_new, 1) item.title = item.title.replace("[" + str(rating_old) + "]", "[" + str(rating_new) + "]") except: - pass + logger.error(traceback.format_exc()) if item.wanted: #Actualizamos Wanted, si existe item.wanted = item.contentTitle if new_item.contentSeason: #Restauramos el núm. de Temporada después de TMDB @@ -236,7 +237,7 @@ def refresh_screen(item): xbmcplugin.setResolvedUrl(int(sys.argv[1]), False, xlistitem) #Preparamos el entorno para evitar error Kod1 18 time.sleep(1) #Dejamos tiempo para que se ejecute except: - pass + logger.error(traceback.format_exc()) platformtools.itemlist_update(item) #refrescamos la pantalla con el nuevo Item @@ -329,7 +330,7 @@ def post_tmdb_listado(item, itemlist): if rating == 0.0: rating = '' except: - pass + logger.error(traceback.format_exc()) __modo_grafico__ = config.get_setting('modo_grafico', item.channel) @@ -346,7 +347,7 @@ def post_tmdb_listado(item, itemlist): try: tmdb.set_infoLabels(item_local, __modo_grafico__) #pasamos otra vez por TMDB except: - pass + logger.error(traceback.format_exc()) logger.error(item_local) # Si TMDB no ha encontrado nada y hemos usado el año de la web, lo intentamos sin año @@ -357,7 +358,7 @@ def post_tmdb_listado(item, itemlist): try: tmdb.set_infoLabels(item_local, __modo_grafico__) #pasamos otra vez por TMDB except: - pass + logger.error(traceback.format_exc()) if not item_local.infoLabels['tmdb_id']: #ha tenido éxito? item_local.infoLabels['year'] = year #no, restauramos el año y lo dejamos ya @@ -539,7 +540,7 @@ def post_tmdb_seasons(item, itemlist): try: tmdb.set_infoLabels(item, True) #TMDB de cada Temp except: - pass + logger.error(traceback.format_exc()) item_season = item.clone() if item_season.season_colapse: #Quitamos el indicador de listado por Temporadas @@ -554,7 +555,7 @@ def post_tmdb_seasons(item, itemlist): rating = float(item_season.infoLabels['rating']) rating = round(rating, 1) except: - pass + logger.error(traceback.format_exc()) if rating and rating == 0.0: rating = '' @@ -586,7 +587,7 @@ def post_tmdb_seasons(item, itemlist): try: tmdb.set_infoLabels(item_local, True) #TMDB de cada Temp except: - pass + logger.error(traceback.format_exc()) if item_local.infoLabels['temporada_air_date']: #Fecha de emisión de la Temp item_local.title += ' [%s]' % str(scrapertools.find_single_match(str(item_local.infoLabels['temporada_air_date']), r'\/(\d{4})')) @@ -597,7 +598,7 @@ def post_tmdb_seasons(item, itemlist): # rating = float(item_local.infoLabels['rating']) # rating = round(rating, 1) # except: - # pass + # logger.error(traceback.format_exc()) #if rating and rating > 0.0: # item_local.title += ' [%s]' % str(rating) @@ -813,6 +814,7 @@ def post_tmdb_episodios(item, itemlist): num_episodios = item_local.infoLabels['temporada_num_episodios'] except: num_episodios = 0 + logger.error(traceback.format_exc()) #Preparamos el Rating del vídeo rating = '' @@ -823,7 +825,7 @@ def post_tmdb_episodios(item, itemlist): if rating == 0.0: rating = '' except: - pass + logger.error(traceback.format_exc()) # Si TMDB no ha encontrado el vídeo limpiamos el año if item_local.infoLabels['year'] == "-": @@ -883,7 +885,7 @@ def post_tmdb_episodios(item, itemlist): try: num_episodios_lista[item_local.contentSeason] = num_episodios except: - pass + logger.error(traceback.format_exc()) #logger.debug("title: " + item_local.title + " / url: " + item_local.url + " / calidad: " + item_local.quality + " / Season: " + str(item_local.contentSeason) + " / EpisodeNumber: " + str(item_local.contentEpisodeNumber) + " / num_episodios_lista: " + str(num_episodios_lista) + str(num_episodios_flag)) #logger.debug(item_local) @@ -900,6 +902,7 @@ def post_tmdb_episodios(item, itemlist): item_local.infoLabels['temporada_num_episodios'] = int(num_episodios_lista[item_local.contentSeason]) except: logger.error("ERROR 07: EPISODIOS: Num de Temporada fuera de rango " + " / TEMPORADA: " + str(item_local.contentSeason) + " / " + str(item_local.contentEpisodeNumber) + " / MAX_TEMPORADAS: " + str(num_temporada_max) + " / LISTA_TEMPORADAS: " + str(num_episodios_lista)) + logger.error(traceback.format_exc()) #Permitimos la actualización de los títulos, bien para uso inmediato, o para añadir a la videoteca itemlist.append(item.clone(title="** [COLOR yelow]Actualizar Títulos - vista previa videoteca[/COLOR] **", action="actualizar_titulos", tmdb_stat=False, from_action=item.action, from_title_tmdb=item.title, from_update=True)) @@ -938,6 +941,7 @@ def post_tmdb_episodios(item, itemlist): videolibrarytools.save_tvshow(item, itemlist_fake) #Se actualiza el .nfo except: logger.error("ERROR 08: EPISODIOS: No se ha podido actualizar la URL a la nueva Temporada") + logger.error(traceback.format_exc()) itemlist.append(item.clone(title="[COLOR yellow]Añadir esta Serie a Videoteca-[/COLOR]" + title, action="add_serie_to_library")) elif modo_serie_temp == 1: #si es Serie damos la opción de guardar la última temporada o la serie completa @@ -1006,6 +1010,7 @@ def post_tmdb_findvideos(item, itemlist): item.unify = config.get_setting("unify") except: item.unify = config.get_setting("unify") + logger.error(traceback.format_exc()) if item.contentSeason_save: #Restauramos el num. de Temporada item.contentSeason = item.contentSeason_save @@ -1027,7 +1032,7 @@ def post_tmdb_findvideos(item, itemlist): try: tmdb.set_infoLabels(item, True) #TMDB de cada Temp except: - pass + logger.error(traceback.format_exc()) #Restauramos la información de max num. de episodios por temporada despues de TMDB try: if item.infoLabels['temporada_num_episodios']: @@ -1036,7 +1041,7 @@ def post_tmdb_findvideos(item, itemlist): else: item.infoLabels['temporada_num_episodios'] = num_episodios except: - pass + logger.error(traceback.format_exc()) #Ajustamos el nombre de la categoría if item.channel == channel_py: @@ -1068,7 +1073,7 @@ def post_tmdb_findvideos(item, itemlist): if rating == 0.0: rating = '' except: - pass + logger.error(traceback.format_exc()) if item.quality.lower() in ['gb', 'mb']: item.quality = item.quality.replace('GB', 'G B').replace('Gb', 'G b').replace('MB', 'M B').replace('Mb', 'M b') @@ -1085,6 +1090,7 @@ def post_tmdb_findvideos(item, itemlist): tiempo = item.infoLabels['duration'] except: tiempo = item.infoLabels['duration'] + logger.error(traceback.format_exc()) elif item.contentChannel == 'videolibrary': #No hay, viene de la Videoteca? buscamos en la DB #Leo de la BD de Kodi la duración de la película o episodio. En "from_fields" se pueden poner las columnas que se quiera @@ -1095,7 +1101,7 @@ def post_tmdb_findvideos(item, itemlist): else: nun_records, records = get_field_from_kodi_DB(item, from_fields='c09') #Leo de la BD de Kodi la duración del episodio except: - pass + logger.error(traceback.format_exc()) if nun_records > 0: #Hay registros? #Es un array, busco el campo del registro: añadir en el FOR un fieldX por nueva columna for strFileName, field1 in records: @@ -1111,7 +1117,7 @@ def post_tmdb_findvideos(item, itemlist): if not scrapertools.find_single_match(item.quality, '(\[\d+:\d+)'): #si ya tiene la duración, pasamos item.quality += ' [/COLOR][COLOR white][%s:%s h]' % (str(horas).zfill(2), str(resto).zfill(2)) #Lo agrego a Calidad del Servidor except: - pass + logger.error(traceback.format_exc()) #Ajustamos el nombre de la categoría if item.channel != channel_py: @@ -1193,8 +1199,9 @@ def post_tmdb_findvideos(item, itemlist): return (item, itemlist) -def get_torrent_size(url): +def get_torrent_size(url, data_torrent=False): logger.info() + from core import videolibrarytools """ @@ -1203,9 +1210,11 @@ def get_torrent_size(url): Calcula el tamaño de los archivos que contienen un .torrent. Descarga el archivo .torrent en una carpeta, lo lee y descodifica. Si contiene múltiples archivos, suma el tamaño de todos ellos - Llamada: generictools.get_torrent_size(url) + Llamada: generictools.get_torrent_size(url, data_torrent=False) Entrada: url: url del archivo .torrent + Entrada: data_torrent: Flag por si se quiere el contenido del .torretn de vuelta Salida: size: str con el tamaño y tipo de medida ( MB, GB, etc) + Salida: torrent: dict() con el contenido del .torrent (opcional) """ @@ -1271,6 +1280,7 @@ def get_torrent_size(url): #Móludo principal size = "" + torrent = '' try: #torrents_path = config.get_videolibrary_path() + '/torrents' #path para dejar el .torrent @@ -1281,25 +1291,12 @@ def get_torrent_size(url): #urllib.urlretrieve(url, torrents_path + "/generictools.torrent") #desacargamos el .torrent a la carpeta #torrent_file = open(torrents_path + "/generictools.torrent", "rb").read() #leemos el .torrent - response = httptools.downloadpage(url, timeout=2) #Descargamos el .torrent - if not response.sucess: - size = '' - return size #Si hay un error, devolvemos el "size" vacío - torrent_file = response.data + torrents_path, torrent_file = videolibrarytools.caching_torrents(url, timeout=2, lookup=True, data_torrent=True) + if not torrent_file: + if data_torrent: + return (size, torrent) + return size #Si hay un error, devolvemos el "size" y "torrent" vacíos - if "used CloudFlare" in torrent_file: #Si tiene CloudFlare, usamos este proceso - #try: - # urllib.urlretrieve("http://anonymouse.org/cgi-bin/anon-www.cgi/" + url.strip(), - # torrents_path + "/generictools.torrent") - # torrent_file = open(torrents_path + "/generictools.torrent", "rb").read() - #except: - # torrent_file = "" - response = httptools.downloadpage("http://anonymouse.org/cgi-bin/anon-www.cgi/" + url.strip()) - if not response.sucess: - size = '' - return size #Si hay un error, devolvemos el "size" vacío - torrent_file = response.data - torrent = decode(torrent_file) #decodificamos el .torrent #si sólo tiene un archivo, tomamos la longitud y la convertimos a una unidad legible, si no dará error @@ -1311,20 +1308,27 @@ def get_torrent_size(url): #si tiene múltiples archivos sumamos la longitud de todos if not size: - check_video = scrapertools.find_multiple_matches(str(torrent["info"]["files"]), "'length': (\d+).*?}") - sizet = sum([int(i) for i in check_video]) - size = convert_size(sizet) + try: + check_video = scrapertools.find_multiple_matches(str(torrent["info"]["files"]), "'length': (\d+).*?}") + sizet = sum([int(i) for i in check_video]) + size = convert_size(sizet) + except: + pass except: logger.error('ERROR al buscar el tamaño de un .Torrent: ' + str(url)) + logger.error(traceback.format_exc()) #try: # os.remove(torrents_path + "/generictools.torrent") #borramos el .torrent #except: # pass - #logger.debug(str(url) + ' / ' + str(size)) + #logger.debug(str(url)) + logger.info(str(size)) + if data_torrent: + return (size, torrent) return size @@ -1401,7 +1405,7 @@ def get_field_from_kodi_DB(item, from_fields='*', files='file'): if nun_records == 0: #hay error? logger.error("Error en la SQL: " + sql + ": 0 registros") #No estará catalogada o hay un error en el SQL except: - pass + logger.error(traceback.format_exc()) return (nun_records, records) @@ -1455,7 +1459,7 @@ def fail_over_newpct1(item, patron, patron2=None, timeout=None): verify_torrent, patron1, patron_alt = patron.split('|') #Si es así, los separamos y los tratamos patron = patron1 except: - pass + logger.error(traceback.format_exc()) #Array con los datos de los canales alternativos #Cargamos en .json del canal para ver las listas de valores en settings @@ -1530,6 +1534,7 @@ def fail_over_newpct1(item, patron, patron2=None, timeout=None): url_alt += [scrapertools.find_single_match(item.url, 'http.*?\/temporada-\d+.*?\/capitulo.?-\d+.*?\/')] except: logger.error("ERROR 88: " + item.action + ": Error al convertir la url: " + item.url) + logger.error(traceback.format_exc()) logger.debug('URLs convertidas: ' + str(url_alt)) if patron == True: #solo nos han pedido verificar el clone @@ -1545,6 +1550,7 @@ def fail_over_newpct1(item, patron, patron2=None, timeout=None): data_comillas = data.replace("'", "\"") except: data = '' + logger.error(traceback.format_exc()) if not data: #no ha habido suerte, probamos con la siguiente url logger.error("ERROR 01: " + item.action + ": La Web no responde o la URL es erronea: " + url) continue @@ -1700,6 +1706,7 @@ def web_intervenida(item, data, desactivar=True): json.dump(json_data, outfile, sort_keys = True, indent = 2, ensure_ascii = False) except: logger.error("ERROR 98 al salvar el archivo: %s" % channel_path) + logger.error(traceback.format_exc()) #logger.debug(item) @@ -1764,10 +1771,11 @@ def redirect_clone_newpct1(item, head_nfo=None, it=None, path=False, overwrite=F delete_stat = 0 canal_org_des_list = [] json_path_list = [] + emergency_urls_force = False - if item.ow_force == '1': #Ha podido qudar activado de una pasada anteriores - del item.ow_force - logger.error('** item.ow_force: ' + item.path) #aviso que ha habido una incidencia + #if item.ow_force == '1': #Ha podido qudar activado de una pasada anteriores + # del item.ow_force + # logger.error('** item.ow_force: ' + item.path) #aviso que ha habido una incidencia if it.ow_force == '1': #Ha podido qudar activado de una pasada anteriores del it.ow_force if path and it.contentType != 'movies': @@ -1777,6 +1785,7 @@ def redirect_clone_newpct1(item, head_nfo=None, it=None, path=False, overwrite=F logger.error('** .nfo ACTUALIZADO: it.ow_force: ' + nfo) #aviso que ha habido una incidencia except: logger.error('** .nfo ERROR actualizar: it.ow_force: ' + nfo) #aviso que ha habido una incidencia + logger.error(traceback.format_exc()) #Array con los datos de los canales alternativos #Cargamos en .json de Newpct1 para ver las listas de valores en settings @@ -1819,46 +1828,72 @@ def redirect_clone_newpct1(item, head_nfo=None, it=None, path=False, overwrite=F if it.emergency_urls: item.emergency_urls = it.emergency_urls #Refrescar desde el .nfo + verify_cached_torrents() #TEMPORAL: verificamos si los .torrents son correctos + try: #Si ha habido errores, vemos la lista y los reparamos + json_error_path = filetools.join(config.get_runtime_path(), 'error_cached_torrents.json') + if filetools.exists(json_error_path): #hay erroer que hay que reparar? + from core import jsontools + json_error_file = jsontools.load(filetools.read(json_error_path)) #Leemos la lista de errores + if not json_error_file: + filetools.remove(json_error_path) #si ya no quedan errores, borramos el .json + elif path in json_error_file: #está este títu,o en la lista de errores? + json_error_file.pop(path) #sí. Lo quitamos + if not json_error_file: + filetools.remove(json_error_path) #si ya no quedan errores, borramos el .json + else: + filetools.write(json_error_path, jsontools.dump(json_error_file)) #si quedan, actualizamos el .json + if item.contentType == 'movie': #si es una pelicula, forzamos su actualización + emergency_urls_force = True + else: #si es una serie, que regenere los episodios que faltan (en error) + item.ow_force = '1' #... de todas las temporadas + except: + logger.error('Error en el proceso de REPARACION de vídeos con .torrents dañados') + logger.error(traceback.format_exc()) + #Arreglo temporal para Newpct1 - if channel in fail_over_list or channel_alt == 'videolibrary': - channel_bis = channel_py - if not item.url and it.library_urls and channel_alt == 'videolibrary': - for canal_vid, url_vid in it.library_urls.items(): #Se recorre "item.library_urls" para buscar canales candidatos + try: + if channel in fail_over_list or channel_alt == 'videolibrary': + channel_bis = channel_py + if not item.url and it.library_urls and channel_alt == 'videolibrary': + for canal_vid, url_vid in it.library_urls.items(): #Se recorre "item.library_urls" para buscar canales candidatos + canal_vid_alt = "'%s'" % canal_vid + if canal_vid_alt in fail_over_list: #Se busca si es un clone de newpct1 + channel_bis = channel_py + channel_alt = canal_vid + channel = "'%s'" % channel_alt + break + else: + channel_bis = canal_vid + if channel_bis == channel_py and config.get_setting("emergency_urls", channel_bis) == 1 and config.get_setting("emergency_urls_torrents", channel_bis) and item.emergency_urls and item.emergency_urls.get(channel_alt, False): + raiz, carpetas_series, ficheros = filetools.walk(path).next() + objetivo = '[%s]_01.torrent' % channel_alt + encontrado = False + for fichero in ficheros: + if objetivo in fichero: + encontrado = True + break + if not encontrado: + logger.error('REGENERANDO: ' + str(item.emergency_urls)) + item.emergency_urls.pop(channel_alt, None) + + if item.url: #Viene de actualización de videoteca de series + #Analizamos si el canal ya tiene las urls de emergencia: guardar o borrar + if (config.get_setting("emergency_urls", item.channel) == 1 and (not item.emergency_urls or (item.emergency_urls and not item.emergency_urls.get(channel_alt, False)))) or (config.get_setting("emergency_urls", item.channel) == 2 and item.emergency_urls.get(channel_alt, False)) or config.get_setting("emergency_urls", item.channel) == 3 or emergency_urls_force: + intervencion += ", ('1', '%s', '%s', '', '', '', '', '', '', '', '*', '%s', 'emerg')" % (channel_alt, channel_alt, config.get_setting("emergency_urls", item.channel)) + + elif it.library_urls: #Viene de "listar peliculas´" + for canal_vid, url_vid in it.library_urls.items(): #Se recorre "item.library_urls" para buscar canales candidatos canal_vid_alt = "'%s'" % canal_vid - if canal_vid_alt in fail_over_list: #Se busca si es un clone de newpct1 + if canal_vid_alt in fail_over_list: #Se busca si es un clone de newpct1 channel_bis = channel_py - channel_alt = canal_vid - channel = "'%s'" % channel_alt - break else: channel_bis = canal_vid - if channel_bis == channel_py and config.get_setting("emergency_urls", channel_bis) == 1 and config.get_setting("emergency_urls_torrents", channel_bis) and item.emergency_urls and item.emergency_urls.get(channel_alt, False): - raiz, carpetas_series, ficheros = filetools.walk(path).next() - objetivo = '[%s]_01.torrent' % channel_alt - encontrado = False - for fichero in ficheros: - if objetivo in fichero: - encontrado = True - break - if not encontrado: - logger.error('REGENERANDO: ' + str(item.emergency_urls)) - item.emergency_urls.pop(channel_alt, None) - - if item.url: #Viene de actualización de videoteca de series - #Analizamos si el canal ya tiene las urls de emergencia: guardar o borrar - if (config.get_setting("emergency_urls", item.channel) == 1 and (not item.emergency_urls or (item.emergency_urls and not item.emergency_urls.get(channel_alt, False)))) or (config.get_setting("emergency_urls", item.channel) == 2 and item.emergency_urls.get(channel_alt, False)) or config.get_setting("emergency_urls", item.channel) == 3: - intervencion += ", ('1', '%s', '%s', '', '', '', '', '', '', '', '*', '%s', 'emerg')" % (channel_alt, channel_alt, config.get_setting("emergency_urls", item.channel)) - - elif it.library_urls: #Viene de "listar peliculas´" - for canal_vid, url_vid in it.library_urls.items(): #Se recorre "item.library_urls" para buscar canales candidatos - canal_vid_alt = "'%s'" % canal_vid - if canal_vid_alt in fail_over_list: #Se busca si es un clone de newpct1 - channel_bis = channel_py - else: - channel_bis = canal_vid - #Analizamos si el canal ya tiene las urls de emergencia: guardar o borrar - if (config.get_setting("emergency_urls", channel_bis) == 1 and (not it.emergency_urls or (it.emergency_urls and not it.emergency_urls.get(canal_vid, False)))) or (config.get_setting("emergency_urls", channel_bis) == 2 and it.emergency_urls.get(canal_vid, False)) or config.get_setting("emergency_urls", channel_bis) == 3: - intervencion += ", ('1', '%s', '%s', '', '', '', '', '', '', '', '*', '%s', 'emerg')" % (canal_vid, canal_vid, config.get_setting("emergency_urls", channel_bis)) + #Analizamos si el canal ya tiene las urls de emergencia: guardar o borrar + if (config.get_setting("emergency_urls", channel_bis) == 1 and (not it.emergency_urls or (it.emergency_urls and not it.emergency_urls.get(canal_vid, False)))) or (config.get_setting("emergency_urls", channel_bis) == 2 and it.emergency_urls.get(canal_vid, False)) or config.get_setting("emergency_urls", channel_bis) == 3 or emergency_urls_force: + intervencion += ", ('1', '%s', '%s', '', '', '', '', '', '', '', '*', '%s', 'emerg')" % (canal_vid, canal_vid, config.get_setting("emergency_urls", channel_bis)) + except: + logger.error('Error en el proceso de ALMACENAMIENTO de URLs de Emergencia') + logger.error(traceback.format_exc()) #Ahora tratamos las webs intervenidas, tranformamos la url, el nfo y borramos los archivos obsoletos de la serie if channel not in intervencion and channel_py_alt not in intervencion and category not in intervencion and channel_alt != 'videolibrary': #lookup @@ -2009,7 +2044,7 @@ def redirect_clone_newpct1(item, head_nfo=None, it=None, path=False, overwrite=F try: response = httptools.downloadpage(url_total, only_headers=True) except: - pass + logger.error(traceback.format_exc()) if not response.sucess: logger.error('Web ' + canal_des_def.upper() + ' INACTIVA. Regla no procesada: ' + str(canal_org_des_list[i])) item = item_back.clone() #Restauro las imágenes inciales @@ -2122,6 +2157,101 @@ def redirect_clone_newpct1(item, head_nfo=None, it=None, path=False, overwrite=F return (item, it, overwrite) +def verify_cached_torrents(): + logger.info() + import json + + """ + Verifica que todos los archivos .torrent estén descomprimidos. Si no lo están, los descomprime y regraba + + Método para uso temporal y controlado + + Deja el archivo verify_cached_torrents.json como marca de que se ha ejecutado para esa versión de Alfa + """ + + try: + #Localiza los paths donde dejar el archivo .json de control, y de la Videoteca + json_path = filetools.exists(filetools.join(config.get_runtime_path(), 'verify_cached_torrents.json')) + if json_path: + logger.info('Torrents verificados anteriormente: NOS VAMOS') + return + json_path = filetools.join(config.get_runtime_path(), 'verify_cached_torrents.json') + json_error_path = filetools.join(config.get_runtime_path(), 'error_cached_torrents.json') + json_error_path_BK = filetools.join(config.get_runtime_path(), 'error_cached_torrents_BK.json') + + videolibrary_path = config.get_videolibrary_path() #Calculamos el path absoluto a partir de la Videoteca + movies = config.get_setting("folder_movies") + series = config.get_setting("folder_tvshows") + torrents_movies = filetools.join(videolibrary_path, config.get_setting("folder_movies")) #path de CINE + torrents_series = filetools.join(videolibrary_path, config.get_setting("folder_tvshows")) #path de SERIES + + #Inicializa variables + torren_list = [] + torren_list.append(torrents_movies) + torren_list.append(torrents_series) + i = 0 + j = 0 + k = 0 + descomprimidos = [] + errores = [] + json_data = dict() + + #Recorre las carpetas de CINE y SERIES de la Videoteca, leyendo, descomprimiendo y regrabando los archivos .torrent + for contentType in torren_list: + for root, folders, files in filetools.walk(contentType): + for file in files: + if not '.torrent' in file: + continue + i += 1 + torrent_file = '' + torrent_path = filetools.join(root, file) + torrent_file = filetools.read(torrent_path) + if not scrapertools.find_single_match(torrent_file, '^d\d+:\w+\d+:'): + logger.debug('Torrent comprimido: DESCOMPRIMIENDO: ' + str(torrent_path)) + try: + torrent_file_deco = '' + import zlib + torrent_file_deco = zlib.decompressobj(16 + zlib.MAX_WBITS).decompress(torrent_file) + except: + k += 1 + errores += [torrent_path] + logger.error(traceback.format_exc()) + logger.error('No es un archivo TORRENT. Archivo borrado: ' + str(torrent_path)) + if not json_data.get(root, False): + json_data[root] = 'ERROR' + if scrapertools.find_single_match(file, '^\d+x\d+'): + torrent_json = re.sub(r'\]_\d+.torrent$', '].json', torrent_path) + filetools.remove(torrent_json) + filetools.remove(torrent_path) + continue + + if not scrapertools.find_single_match(torrent_file_deco, '^d\d+:\w+\d+:'): + logger.error('Error de DESCOMPRESIÓN: ' + str(torrent_path)) + k += 1 + errores += [torrent_path] + else: + filetools.write(torrent_path, torrent_file_deco) + j += 1 + descomprimidos += [torrent_path] + else: + #logger.info('Torrent OK. No hace falta descompresión: ' + str(torrent_path)) + h = 0 + + if json_data: + filetools.write(json_error_path, json.dumps(json_data)) + filetools.write(json_error_path_BK, json.dumps(json_data)) + filetools.write(json_path, json.dumps({"torrent_verify": True})) + except: + logger.error('Error en el proceso de VERIFICACIÓN de los .torrents') + logger.error(traceback.format_exc()) + + logger.error(str(i) + ' archivos .torrent revisados. / ' + str(j) + ' descomporimidos / ' + str(k) + ' errores') + if descomprimidos: + logger.error('Lista de .torrents DESCOMPRIMIDOS: ' + str(descomprimidos)) + if errores: + logger.error('Lista de .torrents en ERROR: ' + str(errores)) + + def dejuice(data): logger.info() # Metodo para desobfuscar datos de JuicyCodes diff --git a/plugin.video.alfa/platformcode/platformtools.py b/plugin.video.alfa/platformcode/platformtools.py index d0781ef7..da05c1cc 100644 --- a/plugin.video.alfa/platformcode/platformtools.py +++ b/plugin.video.alfa/platformcode/platformtools.py @@ -1094,27 +1094,37 @@ def play_torrent(item, xlistitem, mediaurl): time.sleep(0.5) #Dejamos tiempo para que se ejecute #Nuevo método de descarga previa del .torrent. Si da error, miramos si hay alternatica local. Si ya es local, lo usamos + url = '' url_stat = False + torrents_path = '' videolibrary_path = config.get_videolibrary_path() #Calculamos el path absoluto a partir de la Videoteca if not filetools.exists(videolibrary_path): #Si no existe el path, pasamos al modo clásico - url_stat = True - elif not filetools.exists(videolibrary_path + 'temp_torrents_Alfa'): #Si no existe la carpeta temporal para .torrents, la creamos - filetools.mkdir(videolibrary_path + 'temp_torrents_Alfa') - torrents_path = filetools.join(videolibrary_path, 'temp_torrents_Alfa', 'cliente_torrent_Alfa.torrent') #path de descarga temporal - + videolibrary_path = False + else: + torrents_path = filetools.join(videolibrary_path, 'temp_torrents_Alfa', 'cliente_torrent_Alfa.torrent') #path descarga temporal + if videolibrary_path and not filetools.exists(filetools.join(videolibrary_path, 'temp_torrents_Alfa')): #Si no existe la carpeta temporal, la creamos + filetools.mkdir(filetools.join(videolibrary_path, 'temp_torrents_Alfa')) + #identificamos si es una url o un path de archivo. Los Magnets los tratamos de la forma clásica if not item.url.startswith("\\") and not item.url.startswith("/") and not item.url.startswith("magnet:") and not url_stat: timeout = 10 if item.torrent_alt: timeout = 5 - item.url = videolibrarytools.caching_torrents(item.url, torrents_path=torrents_path, timeout=timeout) #Descargamos el .torrent - if item.url: url_stat = True - - if not item.url and item.torrent_alt: #Si hay error, se busca un .torrent alternativo - item.url = item.torrent_alt #El .torrent alternativo puede estar en una url o en local + url = videolibrarytools.caching_torrents(item.url, torrents_path=torrents_path, timeout=timeout) #Descargamos el .torrent + if url: + url_stat = True + item.url = url + if "torrentin" in torrent_options[seleccion][1]: + item.url = 'file://' + item.url + + if not url and item.torrent_alt: #Si hay error, se busca un .torrent alternativo + if (item.torrent_alt.startswith("\\") or item.torrent_alt.startswith("/")) and videolibrary_path: + item.url = item.torrent_alt #El .torrent alternativo puede estar en una url o en local + elif not item.url.startswith("\\") and not item.url.startswith("/") and not item.url.startswith("magnet:"): + item.url = item.torrent_alt #Si es un archivo .torrent local, actualizamos el path relativo a path absoluto - if item.url.startswith("\\") or item.url.startswith("/") and not url_stat: #.torrent alternativo local + if (item.url.startswith("\\") or item.url.startswith("/")) and not url_stat and videolibrary_path: #.torrent alternativo local movies = config.get_setting("folder_movies") series = config.get_setting("folder_tvshows") if item.contentType == 'movie': @@ -1122,7 +1132,11 @@ def play_torrent(item, xlistitem, mediaurl): else: folder = series #o series item.url = filetools.join(videolibrary_path, folder, item.url) #dirección del .torrent local en la Videoteca - + if filetools.copy(item.url, torrents_path, silent=True): #se copia a la carpeta generíca para evitar problemas de encode + item.url = torrents_path + if "torrentin" in torrent_options[seleccion][1]: #Si es Torrentin, hay que añadir un prefijo + item.url = 'file://' + item.url + mediaurl = urllib.quote_plus(item.url) #Llamada con más parámetros para completar el título if ("quasar" in torrent_options[seleccion][1] or "elementum" in torrent_options[seleccion][1]) and item.infoLabels['tmdb_id']: