In diesem Post zeige ich euch wie ihr mit Python und Requests googeln könnt.
Funktionen
- Internationale Domains und URLs
- Browser-ähnliche SSL-Verifizierung
- Automatische Inhaltsdecodierung
- Authentifizierung
- Cookies
- Automatische Dekompression
- Unicode-Antwortkörper
- HTTP (S) -Proxy-Unterstützung
- Datei Uploads
- Streaming-Downloads
- Verbindungstimeouts
- ...
Installation
pip3 install requests
Programmieren
import requests
get_parameters = {'q':'irgendwas','start':0}
r2 = requests.get('https://www.google.de/search',get_parameters)
print(r2.text)
f = open('google-suche.html','w')
f.write(r2.text)
f.flush()
f.close()
Erklärung
In dem Dictionarie get_parameters = {'q':'irgendwas','start':0}
wird die Suchanfrage 'q':'irgendwas und die Startseite von der Google-Suche 'start':0
(0 = 1. Seite; 10 Ergebnisse pro Seite) festgelegt.
Die Seite wird mit r2 = requests.get('https://www.google.de/search',get_parameters) heruntergeladen.
Print output
<!doctype html><html itemscope="" itemtype="http://schema.org/SearchResultsPage" lang="de"><head><meta content="text/html; charset=UTF-8" http-equiv="Content-Type"><meta content="/images/branding/googleg/1x/googleg_standard_color_128dp.png" itemprop="image"><link href="/images/branding/product/ico/googleg_lodp.ico" rel="shortcut icon"><title>irgendwas - Google-Suche</title>(function(){window.google={kEI:'jfCOWtr1O8f4kwXBiqKoAg',kEXPI:'1354277,1354688,1354915,1355219,1355458,1355528,1355675,1355762,1356040,1356180,1356690,1356779,1356854,1357033,1357208,1357219,1357326,1357808,3700248,3700439,3700521,4029815,4031109,4043492,4045841,4048347,4081038,4089201,4097153,4097469,4097922,4097929,4098733,4098740,4103209,4107683,4109316,4109489,4114597,4116279,4116731,4116926,4116935,4118798,4120660,4122511,4123645,4124850,4125837,4126204,4126754,4127086,4127418,4127744,4128586,4129001,4129520,4129633,4131247,4131836,4133878,4134717,4135025,4135307,4136073,4137467,4137597,4137646,4137727,4139722,4139730,4140279,4140325,4141160,4141174,4141241,4141390,4141468,4142071,4142328,4142834,4143278,4143676,4143817,4143972,4144284,4144545,4144803,4145088,4145461,4145485,4145772,4145836,4146146,4147442,4147900,4147943,4148061,4148267,4148279,4148304,4148521,4148571,4148608,4148947,4149017,4149271,4149304,4149337,4149372,4149918,4150005,4150017,4150184,4150429,4151013,4151016,4151048,4151296,4151352,4151354,4151389,4151699,4152044,4152048,4152195,4152943,4153062,4153222,4153366,4153368,4153545,4153616,4153625,4153643,4153952,4154203,4154340,4154377,4154510,4155194,4155384,4155445,4155569,4155610,4155624,4155684,4156008,4156123,10200083,10202524,15807764',authuser:0,kscs:'c9c918f0_jfCOWtr1O8f4kwXBiqKoAg',u:'c9c918f0',kGL:'DE'};google.kHL='de';})();(function(){google.lc=[];google.li=0;google.getEI=function(a){for(var b;a&&(!a.getAttribute||!(b=a.getAttribute("eid")));)a=a.parentNode;return b||google.kEI};google.getLEI=function(a){for(var b=null;a&&(!a.getAttribute||!(b=a.getAttribute("leid")));)a=a.parentNode;return b};google.https=function(){return"https:"==window.location.protocol};google.ml=function(){return null};google.wl=function(a,b){try{google.ml(Error(a),!1,b)}catch(d){}};google.time=function(){return(new Date).getTime()};google.log=function(a,b,d,c,g){if(a=google.logUrl(a,b,d,c,g)){b=new Image;var e=google.lc,f=google.li;e[f]=b;b.onerror=b.onload=b.onabort=function(){delete e[f]};google.vel&&google.vel.lu&&google.vel.lu(a);b.src=a;google.li=f+1}};google.logUrl=function(a,b,d,c,g){var e="",f=google.ls||"";d||-1!=b.search("&ei=")||(e="&ei="+google.getEI(c),-1==b.search("&lei=")&&(c=google.getLEI(c))&&(e+="&lei="+c));c="";!d&&google.cshid&&-1==b.search("&cshid=")&&(c="&cshid="+google.cshid);a=d||"/"+(g||"gen_204")+"?atyp=i&ct="+a+"&cad="+b+e+f+"&zx="+google.time()+c;/^http:/i.test(a)&&google.https()&&(google.ml(Error("a"),!1,{src:a,glmm:1}),a="");return a};}).call(this);(function(){google.y={};google.x=function(a,b){if(a)var c=a.id;else{do c=Math.random();while(google.y[c])}google.y[c]=[a,b];return!1};google.lm=[];google.plm=function(a){google.lm.push.apply(google.lm,a)};google.lq=[];google.load=function(a,b,c){google.lq.push([[a],b,c])};google.loadAll=function(a,b){google.lq.push([a,b])};}).call(this);google.f={};(function(){var b={gen204:"dcl",clearcut:4};var c=[function(){google.c&&google.tick("load",b)}];google.dcl=!1;google.dclc=function(a){google.dcl?a():c.push(a)};function d(){if(!google.dcl){google.dcl=!0;for(var a;a=c.shift();)a()}}window.addEventListener?(document.addEventListener("DOMContentLoaded",d,!1),window.addEventListener("load",d,!1)):window.attachEvent&&window.attachEvent("onload",d);}).call(this);(function(){google.sham=function(c){for(var d=c.parentElement,a=null,b=0;b<d.childNodes.length;b++){var e=d.childNodes[b];-1<(" "+e.className+" ").indexOf(" am-dropdown-menu ")&&(a=e)}"none"==a.style.display?(a.style.display="",google.log("hpam","&ved="+c.getAttribute("data-ved"))):a.style.display="none"};}).call(this);(function(){var a=[];google.jsc={xx:a,x:function(b){a.push(b)}};}).call(this);
Search Options
- Beliebiges Land
- Land: Deutschland
- Beliebige Sprache
- Seiten auf Deutsch
- Beliebige Zeit
- Letzte Stunde
- Letzte 24 Std.
- Letzte Woche
- Letzter Monat
- Letztes Jahr
- Alle Ergebnisse
- Wortwörtlich
Ungefähr 13.900.000 Ergebnisse 
Yvonne Catterfeld - Irgendwas feat. Bengio - YouTube
https://www.youtube.com/watch?v=Tug849TyYCE Text: Sind auf der Suche nach irgendwas / Sind auf der Suche nach etwas mehr / Sind auf der Suche nach irgendwas / Nur was es ist, kann keiner erklären… Vollständiger Text bei Google Play MusikKünstlerin: Yvonne CatterfeldFeatured artist: BengioAlbum: Guten Morgen FreiheitVeröffentlicht: 2017Genre: PopWird auch oft gesucht
Lieber soYvonne Catterfeld
PendelYvonne Catterfeld
Ja, immer.Kalim
Besser werdenYvonne Catterfeld
Wenn sie tanztMax Giesinger
Lauf Baby laufTay Schmedtmann
Duden | irgendwas | Rechtschreibung, Bedeutung, Definition ...
https://www.duden.de/rechtschreibung/irgendwasDefinition, Rechtschreibung, Synonyme und Grammatik von 'irgendwas' auf
Duden online nachschlagen. Wörterbuch der deutschen Sprache.</span>
</div></div>?q=https://de.wiktionary.org/wiki/irgendwas&sa=U&ved=0ahUKEwia8Mmw-bnZAhVH_KQKHUGFCCUQFghHMAo&usg=AOvVaw3DKdKNCveKUSqRWmqFCDXP">irgendwas – Wiktionaryhttps://de.wiktionary.org/wiki/irgendwasIndefinitpronomen[Bearbeiten]. Worttrennung: ir·gend·was. Aussprache: IPA: [
ˈɪʁɡn̩tˈvas]: Hörbeispiele: —. Bedeutungen: [1] umgangssprachlich: etwas
Unbestimmtes; etwas nicht näher Spezifiziertes. Synonyme: [1] irgendetwas. <br>
Beispiele: [1] Lass uns heute <b>irgendwas</b> unternehmen! [1] Du bist so blass, ist <br>
<b>irgendwas</b> ...</span><br></div></div><div class="g"><h3 class="r"><a href="/url?q=https://genius.com/Yvonne-catterfeld-irgendwas-lyrics&sa=U&ved=0ahUKEwia8Mmw-bnZAhVH_KQKHUGFCCUQFghNMAs&usg=AOvVaw2vDjhAyF36qzbqHUgHgcLB">Yvonne Catterfeld – Irgendwas Lyrics | Genius Lyricshttps://genius.com/Yvonne-catterfeld-irgendwas-lyrics9. Dez. 2016 ... [Strophe 1: Yvonne Catterfeld] Irgendwas, das bleibt, irgendwas, das reicht.
<b>Irgendwas</b>, das zeigt, dass wir richtig sind. Bis wir etwas finden, was sich gut <br>
anfühlt. Was sich lohnt zu teil'n, würden gern sowas spür'n. Suchen überall,
finden scheinbar nichts. Was uns halten kann, was uns das verspricht</span>
</div></div>?q=https://de.wikipedia.org/wiki/Irgendwas_(Lied)&sa=U&ved=0ahUKEwia8Mmw-bnZAhVH_KQKHUGFCCUQFghUMAw&usg=AOvVaw2gNFN2uCGpVwvtKwaNNnm9">Irgendwas (Lied) – Wikipediahttps://de.wikipedia.org/wiki/Irgendwas_(Lied)Irgendwas ist ein Lied der deutschen Pop- und Soulsängerin Yvonne Catterfeld
und des Sängers Bengio. Es wurde am 9. Dezember 2016 als erste <br>
Singleauskopplung ihres am 10. März 2017 veröffentlichten siebten <br>
Studioalbums Guten Morgen Freiheit veröffentlicht. Catterfeld stellte die Single <br>
unter anderem in der ...</span>
</div></div>?q=https://www.openthesaurus.de/synonyme/irgendwas&sa=U&ved=0ahUKEwia8Mmw-bnZAhVH_KQKHUGFCCUQFghaMA0&usg=AOvVaw18qtRgEfcI9Z8I4MS57tHn">irgendwas - Synonyme bei OpenThesaurushttps://www.openthesaurus.de/synonyme/irgendwasGefundene Synonyme: etwas, irgendetwas, irgendwas,
irgendwas : Spanisch » Deutsch | PONS
https://de.pons.com/übersetzung/deutsch-spanisch/irgendwasÜbersetzungen für irgendwas im Deutsch » Spanisch-Wörterbuch von PONS
Online:<b>irgendwas</b>, fällt dir noch irgendwas</b> ein?, falls du <b>irgendwas</b> brauchst ...</span><br></div></div><div class="g"><h3 class="r"><a href="/url?q=https://www.songtexte-lyrics.de/irgendwas-lyrics-yvonne-catterfeld/&sa=U&ved=0ahUKEwia8Mmw-bnZAhVH_KQKHUGFCCUQFghlMA8&usg=AOvVaw3AuY4-7XruD0vZwbGPRv3z">Yvonne Catterfeld - <b>Irgendwas</b> Lyrics | Songtexte-Lyrics.de</a></h3>https://www.songtexte-lyrics.de/<b>irgendwas</b>-lyrics-yvonne-catterfeld/</cite></span></div>?q=http://webcache.googleusercontent.com/search%3Fq%3Dcache:aB8Vr0t7HSMJ:https://www.songtexte-lyrics.de/irgendwas-lyrics-yvonne-catterfeld/%252Birgendwas%26hl%3Dde%26ct%3Dclnk&sa=U&ved=0ahUKEwia8Mmw-bnZAhVH_KQKHUGFCCUQIAhoMA8&usg=AOvVaw0hhfzLYsuH3I7Z-3Gbx4XV">Im Cache- Ähnliche Seiten
Lyrics zu 'Irgendwas' von Yvonne Catterfeld. Irgendwas, das bleibt, irgendwas,
das reicht / <b>Irgendwas</b>, das zeigt, dass wir richtig sind / Bis wir etwas.</span>
</div></div>?q=https://dict.leo.org/englisch-deutsch/irgendwas&sa=U&ved=0ahUKEwia8Mmw-bnZAhVH_KQKHUGFCCUQFghrMBA&usg=AOvVaw0KTc4XFeOv-fv4c-oGH3yx">irgendwas - LEO: Übersetzung im Englisch ⇔ Deutsch Wörterbuchhttps://dict.leo.org/englisch-deutsch/irgendwasÜbersetzung für 'irgendwas' in LEOs Englisch ⇔ Deutsch Wörterbuch. Mit
Flexionstabellen, Aussprache und vielem mehr.</span>
</div></div>?q=http://www.myspass.de/shows/tvshows/luke-die-woche-und-ich/Yvonne-Catterfeld-und-Bengio-Irgendwas--/27630/&sa=U&ved=0ahUKEwia8Mmw-bnZAhVH_KQKHUGFCCUQFghwMBE&usg=AOvVaw09ir9DhypellyfTAEUFRjw">Yvonne Catterfeld und Bengio - Irgendwas - MySpasswww.myspass.de/shows/tvshows/luke...Irgendwas--/27630/Auch beim Jahresrückblick darf es mal was Neues geben: Yvonne Catterfeld und
Bengio präsentieren live im Studio ihren neuen Hit `<b>Irgendwas</b>´!</span><br></div></div></ol></div></div></div><div style="clear:both;margin-bottom:17px;overflow:hidden"><div style="font-size:16px;padding:0 8px 1px">Ähnliche Suchanfragen: <b>irgendwas</b></div><table border="0" cellpadding="0" cellspacing="0"><tr><td valign="top"><p class="_Bmc" style="margin:3px 8px"><a href="/search?ie=UTF-8&q=irgendwas+duden&sa=X&ved=0ahUKEwia8Mmw-bnZAhVH_KQKHUGFCCUQ1QIIdygA">irgendwas <b>duden</b></a></p></td><td valign="top" style="padding-left:10px"><p class="_Bmc" style="margin:3px 8px"><a href="/search?ie=UTF-8&q=irgendwas+silbermond&sa=X&ved=0ahUKEwia8Mmw-bnZAhVH_KQKHUGFCCUQ1QIIeCgB">irgendwas <b>silbermond</b></a></p></td></tr>
top
" style="padding-left:10px">_Bmc
" style="margin:3px 8px">/search?ie=UTF-8&q=irgendwas+ist+immer&sa=X&ved=0ahUKEwia8Mmw-bnZAhVH_KQKHUGFCCUQ1QIIeigD">irgendwas ist immer</b></a></p></td></tr><tr><td valign="top"><p class="_Bmc" style="margin:3px 8px"><a href="/search?ie=UTF-8&q=irgendwas+englisch&sa=X&ved=0ahUKEwia8Mmw-bnZAhVH_KQKHUGFCCUQ1QIIeygE">irgendwas <b>englisch</b></a></p></td><td valign="top" style="padding-left:10px"><p class="_Bmc" style="margin:3px 8px"><a href="/search?ie=UTF-8&q=irgendwas+synonym&sa=X&ved=0ahUKEwia8Mmw-bnZAhVH_KQKHUGFCCUQ1QIIfCgF">irgendwas <b>synonym</b></a></p></td></tr>top " style="padding-left:10px">_Bmc
" style="margin:3px 8px">/search?ie=UTF-8&q=irgendwas+chords&sa=X&ved=0ahUKEwia8Mmw-bnZAhVH_KQKHUGFCCUQ1QIIfigH">irgendwas chords</b></a></p></td></tr></table></div></div>" href="/search?q=irgendwas&ie=UTF-8&prmd=ivns&ei=jfCOWtr1O8f4kwXBiqKoAg&start=20&sa=N"></span>3</a></td><td><a class="fl" href="/search?q=irgendwas&ie=UTF-8&prmd=ivns&ei=jfCOWtr1O8f4kwXBiqKoAg&start=30&sa=N"><span class="csb" style="background-position:-74px 0;width:20px"></span>4</a></td>search ?q=irgendwas&ie=UTF-8&prmd=ivns&ei=jfCOWtr1O8f4kwXBiqKoAg&start=40&sa=N">csb" style="background-position:-74px 0;width:20px">5fl " href="/search?q=irgendwas&ie=UTF-8&prmd=ivns&ei=jfCOWtr1O8f4kwXBiqKoAg&start=50&sa=N"></span>6</a></td><td><a class="fl" href="/search?q=irgendwas&ie=UTF-8&prmd=ivns&ei=jfCOWtr1O8f4kwXBiqKoAg&start=60&sa=N"><span class="csb" style="background-position:-74px 0;width:20px"></span>7</a></td>search ?q=irgendwas&ie=UTF-8&prmd=ivns&ei=jfCOWtr1O8f4kwXBiqKoAg&start=70&sa=N">csb" style="background-position:-74px 0;width:20px">8fl " href="/search?q=irgendwas&ie=UTF-8&prmd=ivns&ei=jfCOWtr1O8f4kwXBiqKoAg&start=80&sa=N"></span>9</a></td><td><a class="fl" href="/search?q=irgendwas&ie=UTF-8&prmd=ivns&ei=jfCOWtr1O8f4kwXBiqKoAg&start=90&sa=N"><span class="csb" style="background-position:-74px 0;width:20px"></span>10</a></td>search ?q=irgendwas&ie=UTF-8&prmd=ivns&ei=jfCOWtr1O8f4kwXBiqKoAg&start=10&sa=N" style="text-align:left">csb" style="background-position:-96px 0;width:71px">display:block;margin-left:53px">Weiter_cD
" id="bfl" style="margin:19px 0 0;text-align:center">/advanced_search?q=irgendwas&ie=UTF-8&prmd=ivns">Erweiterte Suche</a><a href="/support/websearch/bin/answer.py?answer=134479&hl=de">Hilfe zur Suche</a> tools/feedback/survey/html?productId=196&query=irgendwas&hl=de">Feedback geben_cD" id="fll" style="margin:19px auto 19px auto;text-align:center">/">Google-Startseite</a> <a href="/intl/de/ads">Werbung</a> intl/de/policies/privacy/">Datenschutzerklärung /intl/de/policies/terms/">Nutzungsbedingungen /intl/de/about.html">Über Googlerhs_block " valign="top">text/javascript" nonce="/fGLTP30cFQIWqYV9Gns8w==">(function(){var eventid='jfCOWtr1O8f4kwXBiqKoAg';google.kEI = eventid;})();</script><script src="/xjs/_/js/k=xjs.hp.en.TSpUc5CqeZc.O/m=sb_he,d/rt=j/d=1/t=zcms/rs=ACT90oGHfCz4kYxc85bptyNZ101bBqkdww" nonce="/fGLTP30cFQIWqYV9Gns8w=="></script>javascript" nonce="/fGLTP30cFQIWqYV9Gns8w==">google.ac&&google.ac.c({"agen":true,"cgen":true,"client":"heirloom-serp","dh":true,"dhqt":true,"ds":"","fl":true,"host":"google.de","isbh":28,"jsonp":true,"lm":true,"msgs":{"cibl":"Suche löschen","dym":"Meintest du:","lcky":"Auf gut Glück!","lml":"Weitere Informationen","oskt":"Eingabetools","psrc":"Diese Suchanfrage wurde aus deinem \u003Ca href=\"/history\"\u003EWebprotokoll\u003C/a\u003E entfernt.","psrl":"Entfernen","sbit":"Bildersuche","srch":"Google-Suche"},"nds":true,"ovr":{},"pq":"irgendwas","refpd":true,"rfs":["irgendwas duden","irgendwas oder irgendetwas","irgendwas englisch","irgendwas fehlt","irgendwas silbermond","irgendwas ist immer","irgendwas synonym","irgendwas chords"],"sbpl":24,"sbpr":24,"scd":10,"sce":5,"stok":"H9JtF0g3ZRBmOgSdGZn9WNXE4GQ"})</script>fGLTP30cFQIWqYV9Gns8w==">(function(){window.google.cdo={height:0,width:0};(function(){var a=window.innerWidth,b=window.innerHeight;if(!a||!b){var c=window.document,d="CSS1Compat"==c.compatMode?c.documentElement:c.body;a=d.clientWidth;b=d.clientHeight}a&&b&&(a!=google.cdo.width||b!=google.cdo.height)&&google.log("","","/client_204?&atyp=i&biw="+a+"&bih="+b+"&ei="+google.kEI);}).call(this);})();</script></body></html>
Es wird also der komplette HTML-Code heruntergeladen.
Wenn man diesen dann mit dem Browser ausführt wird folgendes angezeigt:
Im folgenden Post zeige ich noch wie ihr den HTML-Code nach wichtigen Bestandteilen wie z.B. den URLs untersuchen könnt.
Weitere Informationen finden sie hier.