Ottimizzazione remove_host e contenuto dell'item al primo posto nella schermata InfoWindow

2021-05-15 20:37:00 +02:00
parent 8eb5881559
commit b6dcb8f716
9 changed files with 156 additions and 159 deletions
@@ -460,6 +460,7 @@ def scrape(func):
            logger.debug('PATRON= ', patron)
            if not data:
                page = httptools.downloadpage(item.url, headers=headers, ignore_response_code=True)
+                item.url = page.url  # might be a redirect
                data = page.data
            data = html_uniform(data)
            scrapingTime = time()