Süvaveeb

Allikas: Vikipeedia
(Ümber suunatud leheküljelt Peidetud veeb)

Süvaveeb[1] ehk nähtamatu veeb[2] ehk peidetud veeb[3] on World Wide Webi osa, mida standardsed otsingumootorid ei indekseeri. Selle vastand on pinnaveeb, mis on kättesaadav kõikidele Interneti kasutajatele.[4] Süvaveebi (inglise keeles deep web) termini võttis 2001. aastal kasutusele arvutiteadlane Michael K. Bergman oma internetiuuringute käigus.[5]

Süvaveebi sisu on peidetud HTTP vormidega[küsitav],[6][7] sisaldades väga paljusid tavakasutuse valdkondi, nagu näiteks veebimeil, internetipangandus, privaatse või piiratud kasutusega sotsiaalmeedialehed ja -profiilid, veebifoorumid, mille sisu nägemiseks tuleb registreeruda, ja tasulised teenused, mis on kaitstud nn maksumüüridega, nagu tellimusvideod ja ka mõned ajalehed ja ajakirjad.

Süvaveebi sisu ei saa otsida ja sellele pole võimalik ligi pääseda lihtsalt URL-i või IP-aadressiga, vaid ligipääs vajab kas parooli või teist turvalist pääsuteed, et mööduda avalikest veebilehtedest.

Terminid[muuda | muuda lähteteksti]

Esimest korda hakati kasutama sõna "süvaveeb" koos sõnaga "tumeveeb" 2009. aastal, kui süvaveebi otsingu terminoloogiat seostati illegaalsete tegevustega vabavõrgus (freenet) või pimevõrgus (darknet).[8]

Samal aastal, pärast Silk Roadi musta turu kajastamist meedias,[9][10] hakkasid paljud inimesed "süvaveebi" ja "tumeveebi" sünonüümideks pidama. Kuigi see samastamine on väär[11], aetakse neid sõnu jätkuvalt omavahel tihti segamini.[12] Kui süvaveebi näol on tegemist igasuguse sellise veebilehega, mis ei ole tavaliste otsingumootoritega ligipääsetav, siis tumeveeb kujutab endast süvaveebi sügavaimat osa, mis on ligipääsmatu ja peidetud standardsete veebibrauserite ja meetodite eest.[13][14][15][16][17]

Indekseerimata sisu[muuda | muuda lähteteksti]

Ajakirjas The Journal of Electronic Publishing kirjutas Michael Bergman, et Jill Ellsworth kasutas terminit "nähtamatu veeb" 1994. aastal, kirjeldamaks lehekülgi, mis ei ole registreeritavad ühegi otsingumootoriga.[18] Bergman tsiteeris Frank Garcia 1996. aasta jaanuaris avaldatud artiklit:[19]

"See võib olla sait, mis on tõenäoliselt mõistlikult kavandatud, kuid seda pole vaevutud registreerima üheski otsingumootoris. Seega keegi ei leia neid! Sa oled peidus. Ma nimetan seda nähtamatuks veebiks."

Teine termini "nähtamatu veeb" varajane kasutus esineb 1996. aasta detsembri pressiteates, kus Bruce Mount ja Matthew B. Koll kasutasid Personal Library Software tarkvara, et kirjeldada #1 tumeveebi tööriista.[20]

Esimest korda kasutati "süvaveebi" kui spetsiifilist terminit eelpool mainitud Bergmani 2001. aasta uuringus. [18]

Indekseerimist ära hoidvad meetodid[muuda | muuda lähteteksti]

Meetodid, mille abil välditakse veebilehtede indekseerimist tavaliste otsingumootorite poolt:

  1. Kontekstuaalne võrk – veebilehed, mille sisu varieerub erinevates juurdepääsu kontekstides.
  2. Dünaamiline sisu – dünaamilised leheküljed, mis ilmuvad alles päringu esitamisel või on juurdepääsetavad ainult läbi vormi, eriti kui kasutatakse avatud domeeni sisendelemente (tekstiväljad); selliseid välju on keeruline navigeerida ilma domeeni tundmata.
  3. Piiratud juurdepääsuga sisu – saidid, mis piiravad sisule juurdepääsu tehniliste viisidega (CAPTCHA, robotilõksud)
  4. Mitte-HTML / tekstisisu – tekstisisu on kodeeritud multimeedia failidesse (pilt või video) või spetsiifilistesse otsingumootorite poolt leidmatutesse failivormingutesse.
  5. Eravõrk – saidid, mis nõuavad registreerumist ja sisselogimist.
  6. Skriptitud sisu – lehed, mis on juurdepääsetavad ainult JavaScripti abil loodud linkide kaudu. Samuti veebiserveritest dünaamiliselt allalaaditud sisu Flashi või Ajaxi programmi lahendustega.
  7. Tarkvara – kindel sisu on tahtlikult peidetud tavainterneti eest ja ligipääsetav ainult eriprogrammidega (Tor, I2P). Näiteks Tor lubab kasutajal anonüümselt siseneda .onion domeeniga lehtedele, peites IP-aadressi.
  8. Linkimata sisu – lehed, mis ei ole lingitud teiste lehtede poolt, et vältida ämblikotsingut kasutavate programmide kättesaadavust sisule (veebilehed ilma taustalinkideta). Otsingumootorid ei tuvasta alati ka taustalinkidega lehtesid.
  9. Veebiarhiivid – veebiarhiiviteenused, nagu Wayback Machine, lubavad kasutajatel näha arhiivitud veebilehtede versioone, sealhulgas selleks ajaks kättesaamatuid ja Google'i jaoks indekseerimatuid veebilehti.[21]

Vaata ka[muuda | muuda lähteteksti]

Viited[muuda | muuda lähteteksti]

  1. ↑ Hamilton, Nigel (2003). "The Mechanics of a Deep Net Metasearch Engine". In Isaías, Pedro; Palma dos Reis, António (eds.). Proceedings of the IADIS International Conference on e-Society. pp. 1034–6. CiteSeerX 10.1.1.90.5847. ISBN 972-98947-0-1
  2. ↑ Devine, Jane; Egger-Sider, Francine (July 2004). "Beyond google: the invisible web in the academic library". The Journal of Academic Librarianship. 30 (4): 265–269. doi:10.1016/j.acalib.2004.04.010.
  3. ↑ Raghavan, Sriram; Garcia-Molina, Hector (September 11–14, 2001). "Crawling the Hidden Web". 27th International Conference on Very Large Data Bases.
  4. ↑ "Surface Web". Computer Hope. Retrieved June 20, 2018.
  5. ↑ Wright, Alex (February 22, 2009). "Exploring a 'Deep Web' That Google Can't Grasp". The New York Times. Retrieved September 2, 2019. [...] Mike Bergman, a computer scientist and consultant who is credited with coining the term Deep Web.
  6. ↑ Madhavan, J., Ko, D., Kot, Ł., Ganapathy, V., Rasmussen, A., & Halevy, A. (2008). Google's deep web crawl. Proceedings of the VLDB Endowment, 1(2), 1241–52.
  7. ↑ Shedden, Sam (June 8, 2014). "How Do You Want Me to Do It? Does It Have to Look like an Accident? – an Assassin Selling a Hit on the Net; Revealed Inside the Deep Web". Sunday Mail. Retrieved May 5, 2017 – via Questia.
  8. ↑ Beckett, Andy (November 26, 2009). "The dark side of the internet". Retrieved August 9, 2015.
  9. ↑ Daily Mail Reporter (October 11, 2013). "The disturbing world of the Deep Web, where contract killers and drug dealers ply their trade on the internet". Retrieved May 25, 2015.
  10. ↑ "NASA is indexing the 'Deep Web' to show mankind what Google won't". Fusion.
  11. ↑ "Clearing Up Confusion – Deep Web vs. Dark Web". BrightPlanet. March 27, 2014.
  12. ↑ Solomon, Jane (May 6, 2015). "The Deep Web vs. The Dark Web". Retrieved May 26, 2015.
  13. ↑ "The Impact of the Dark Web on Internet Governance and Cyber Security" (PDF). Retrieved January 15, 2017.
  14. ↑ Lam, Kwok-Yan; Chi, Chi-Hung; Qing, Sihan (November 23, 2016). Information and Communications Security: 18th International Conference, ICICS 2016, Singapore, Singapore, November 29 – December 2, 2016, Proceedings. Springer. ISBN 9783319500119. Retrieved January 15, 2017.
  15. ↑ "The Deep Web vs. The Dark Web | Dictionary.com Blog". Dictionary Blog. May 6, 2015. Retrieved January 15, 2017.
  16. ↑ Akhgar, Babak; Bayerl, P. Saskia; Sampson, Fraser (January 1, 2017). Open Source Intelligence Investigation: From Strategy to Implementation. Springer. ISBN 9783319476711. Retrieved January 15, 2017.
  17. ↑ "What is the dark web and who uses it?". The Globe and Mail. Retrieved January 15, 2017.
  18. ↑ 18,0 18,1 Bergman, Michael K (August 2001). "The Deep Web: Surfacing Hidden Value". The Journal of Electronic Publishing. 7 (1). doi:10.3998/3336451.0007.104.
  19. ↑ Garcia, Frank (January 1996). "Business and Marketing on the Internet". Masthead. 15 (1). Archived from the original on December 5, 1996. Retrieved February 24, 2009.
  20. ↑ @1 started with 5.7 terabytes of content, estimated to be 30 times the size of the nascent World Wide Web; PLS was acquired by AOL in 1998 and @1 was abandoned."PLS introduces AT1, the first 'second generation' Internet search service" (Press release). Personal Library Software. December 1996. Archived from the original on October 21, 1997. Retrieved February 24, 2009.
  21. ↑ Wiener-Bronner, Danielle (June 10, 2015). "NASA is indexing the 'Deep Web' to show mankind what Google won't". Fusion. Retrieved June 27, 2015. There are other simpler versions of Memex already available. "If you've ever used the Internet Archive's Wayback Machine", which gives you past versions of a website not accessible through Google, then you've technically searched the Deep Web, said Chris Mattmann.
Pärit leheküljelt "https://et.wikipedia.org/w/index.php?title=Süvaveeb&oldid=6605146"