Gondolkodó gép 2 Martin Wattenberg matematikus és Marek Walczak bemutatnak egy lépés–ellenlépés-sorozatot, amelyet a program a következő lépés megfontolásakor értékel

 

A rekurzív formula gyakran hatékonynak bizonyul a matematikában is. A játéklépések helyett a „lépések” az adott matematikai terület axiómái, valamint korábban bizonyított tételei. A lehetséges lépések kiterjesztése itt a lehetséges axiómák (vagy korábban bizonyított tételek) listája, amelyeket az adott szinteken alkalmazni lehet a bizonyításhoz. (Newell, Shaw és Simons Általános Problémamegoldója is ezt a megközelítést alkalmazta.)

Ezekből a példákból úgy tűnhet, hogy a rekurzív bizonyítás csak olyan problémákra alkalmazható, amelyekben világosan meghatározott szabályaink és céljaink vannak. Ám ígéretesnek bizonyult a számítógép által készített művészi alkotások terén is. Például az általam megalkotott Ray Kurzweil Kiberköltője nevezetű program is rekurzív megközelítést használ.{512} A program minden egyes szóra meghatároz egy adott célhalmazt – egy bizonyos ritmusképlet létrehozását, versstruktúrát és szóválasztást, amely a vers adott pontján kívánatos. Ha a program nem képes olyan szót találni, amely megfelel a kritériumoknak, visszalép, kitörli az azt megelőző szót, és újra meghatározza a kritériumokat, amelyeket a kitörölt szó esetén meghatározott, majd onnan újraindul. Ha az is zsákutcához vezet, újra visszalép egyet, és így lépeget vissza és előre. Végül, ha minden út zsákutca, döntésre kényszeríti magát azzal, hogy enyhít a kritériumok szigorúságán.

 

A módszerek kombinálása. Az tartós mesterségesintelligencia-rendszerek építésének leghatékonyabb módja a megközelítések kombinálása, ami az emberi agy működésének leképezése. Mint már mondottam, az agy nemcsak egyetlen nagy idegi háló, hanem több száz területből áll, amelyek mindegyike különböző információfeldolgozásra van optimalizálva. Önmagában a területek egyike sem működik az emberi teljesítőképesség szintjén, de az egész rendszer pontosan ezt teszi.

Saját, mesterséges intelligenciával kapcsolatos munkámban is alkalmaztam ezt a megközelítést, főként a mintafelismerésben. A beszédfelismerésben például létrehoztunk egy bizonyos számú különböző paradigmákon alapuló mintafelismerő rendszert. Némelyiket specifikusan szakértőktől beszerzett fonetikai és nyelvi követelmények ismeretével programoztuk. Egyesek mondatelemző szabályokon alapulnak (amibe beletartozik az általános iskolában tanított diagramokhoz hasonló, szóhasználatot jelző mondatdiagramok megalkotása is). Némelyik önszerveződő technikákon, például Markov-modelleken alapul, és rögzített, jegyzetekkel ellátott emberibeszéd-könyvtárak segítségével tanítottuk. Aztán programoztunk egy szoftveres „szakértő kezelőt”, amely felderíti a különböző „szakértők” (felismerők) erősségeit és gyengeségeit, és eredményeiket optimálisan egyesíti. Ebben a szellemben egy bizonyos, önmagában bizonytalan eredményeket hozó technika is hozzájárulhat a rendszer általános pontosságának növeléséhez.

Több kifinomult módszer létezik a mesterségesintelligencia-eszköztár különböző módszereinek kombinálására. Például használhatunk genetikai algoritmust a neurális hálók vagy Markov-modellek optimális topológiájának (csomópontok és kapcsolatok szervezetének) kifejlesztéséhez.

A GA által fejlesztett neurális háló végkimenetét aztán felhasználhatjuk egy rekurzív keresőalgoritmus paramétereinek vezérlésére. Az egészhez keverhetünk még mintafeldolgozó rendszerekhez kifejlesztett nagy teljesítményű jel- és képfeldolgozó technikákat. Minden meghatározott alkalmazási mód más architektúrát kíván. A számítógéptudós és mesterségesintelligencia-vállalkozó Ben Goertzel több könyvet és cikket írt az intelligencia mögött húzódó különféle módszerek kombinálásának stratégiáiról és architektúráiról. Novamente architektúrája az általános felhasználású mesterséges intelligencia keretéül szolgálhat.{513}

A fenti egyszerű leírások csak rövid pillanatfelvételt adnak arról, milyen egyre kifinomultabb mesterségesintelligencia-rendszereket terveznek nap mint nap. E könyvnek nem feladata a mesterségesintelligencia-technikák összefoglaló bemutatása, és még egy számítógép-tudományi doktori program sem elegendő minden napjainkban használt megközelítés bemutatásához.

A következő fejezetben bemutatandó, való világban használt gyenge mesterségesintelligencia-rendszerek többsége többféle, az adott feladatra integrált és optimalizált módszert alkalmaz. A gyenge MI-rendszerek gyorsan fejlődnek az olyan, korunkban párhuzamosan érvényesülő trendek hatására, mint amilyen a számítástechnikai erőforrások exponenciálisan megtérülő haszna, a sokezer alkalmazás által bővülő valóvilág-tapasztalat és az emberi agy intelligens döntéshozatali módszereit feltáró legújabb felfedezések.

 

A gyenge MI használatának példái

 

Amikor megírtam az első könyvemet a mesterséges intelligenciáról, „Az intelligens gépek kora” címmel az 1980-as évek végén, alapos kutatást kellett végeznem a gyakorlati mesterséges intelligencia sikeres példáiról. Az internet nem volt olyan széles körben elérhető, mint ma, így hát könyvtárakba jártam és mesterséges intelligencia kutatóközpontokat látogattam az Egyesült Államokban, Európában és Ázsiában. Könyvemben nagyjából minden fellelhető és ésszerű példát bemutattam. Jelenlegi könyvem előkészületeinél egészen mást tapasztaltam: többezernyi jobbnál jobb példa árasztott el. A KurzweilAI.net weboldalon szinte mindennap megjelentetünk egy vagy több drámaian újszerű rendszerről szóló hírt.{514}

2003-ban az Üzleti Kommunikációs Vállalat 21 milliárd dolláros piacot jósolt a mesterségesintelligencia-alkalmazásoknak 2007-re, átlagos évi 12,2 százalékos növekedéssel 2002 és 2007 között.{515} A mesterséges intelligencia alkalmazásában vezető iparágak az üzleti intelligencia, a vevőkapcsolatok, a pénzügy, a védelmi ipar és belbiztonság, valamint az oktatás. Lássuk, mire is használható a gyenge mesterséges intelligencia a gyakorlatban!

 

Hadügy és hírszerzés. Az Egyesült Államok katonasága előszeretettel használja a mesterségesintelligencia-rendszereket. Mintafelismerő szoftverrendszerek irányítják az önműködő fegyvereket, mint például a nagy hatótávolságú rakétákat, amelyek több ezer mérföldet is repülnek, hogy megtaláljanak egy bizonyos épületet vagy akár ablakot.{516} Bár a rakéták által átszelt terület megfelelő adatait előre betáplálják, a változó időjárási viszonyok, a növénytakaró és egyéb tényezők rugalmas valós idejű képfelismerést igényelnek.

A katonaság önszervező kommunikációs hálózatok („mesh hálózatok”) prototípusát fejlesztette ki, több ezernyi kommunikációs csomópont automatikus konfigurálása céljából, melyet például egy szakasz új helyszínre telepítése esetén alkalmaznának.{517}

A Bayes-hálózatokat és GA-kat integráló szakértői rendszerek optimalizálják a több millió készletet és fegyvert mozgató ellátási láncokat a gyorsan változó frontkövetelmények között. A mesterségesintelligencia-rendszerek nap mint nap szimulálják a fegyverek, például nukleáris robbanószerek és rakéták teljesítményét.

Úgy tudjuk, a 2001. szeptember 11-i terrortámadásokat a Nemzetbiztonsági Hivatal mesterségesintelligencia-alapú Echelon rendszere előre jelezte, amely a hivatal masszív kommunikációs tevékenységet figyelő rendszerének eredményeit elemzi.{518}

Sajnos az Echelon figyelmeztetéseit az emberi felelősök nem vették figyelembe, amíg már túl késő nem lett.

A 2002-es afganisztáni hadjáratban bevetették a felfegyverzett Predatort, egy robot-vadászrepülőgépet. Bár a légierő Predatorja már több éve fejlesztés alatt állt, a hadsereg által szállított rakétákkal való felszerelése egy utolsó percben végrehajtott improvizáció volt, ami meglehetősen sikeresnek bizonyult. A 2003-ban kezdődő iraki háborúban a felfegyverzett (és a CIA által alkalmazott) Predator és egyéb pilóta nélküli repülőgépek (UAV-ok, „drónok”) több ezer ellenséges harckocsit és rakétabázist semmisítettek meg.{14}

Minden katonai szolgálat alkalmaz robotokat. A hadsereg barlangok és épületek felderítésére használja őket (például Afganisztánban). A haditengerészet kis robothajókat működtet repülőgép-anyahajói védelmére. Mint a következő fejezetből is kitűnik majd, az élő katonák kivonása a harci cselekményekből egyre erősödő tendencia.

 

Űrkutatás. A NASA önmegismerő rendszereket épít robotrepülőgépeit vezérlő szoftverjeibe.

Mivel a Mars körülbelül három fénypercre van a Földtől, és a Jupiter úgy negyven fénypercre (a bolygók pontos elhelyezkedésétől függően), az oda tartó űrhajók és a földi irányítás közti kommunikáció lényegesen késleltetett. Ezért fontos, hogy a küldetéseket irányító szoftver képes legyen saját taktikai döntéshozatalra. Ennek érdekében a NASA-szoftvert úgy tervezik, hogy az a saját és az űrjármű képességeinek modelljét is tartalmazza, valamint a küldetésen valószínűsíthetően tapasztalható nehézségeket.

Az ilyen MI-alapú rendszerek képesek új szituációkban gondolkodni, és nem csak előre programozott szabályokat követnek. Ez a megközelítés tette lehetővé, hogy a Deep Space One űrjármű 1999-ben a saját technikai ismereteinek felhasználásával önálló terveket készítsen a küldetést veszélyeztető beragadt kapcsoló problémájának megoldására, egy aszteroida felderítése közben.{519} A mesterségesintelligencia-rendszer első terve csődöt mondott, de a második megmentette a küldetést. Brian Williams, a Deep Space One robotszoftverének egyik feltalálója, valamint az MIT-űrrendszerek és a Mesterséges Intelligencia Laboratóriumának kutatója szerint „ezek a rendszerek rendelkeznek belső alkatrészeik fizikájának egyszerű modelljeivel. [A jármű] e modellekből következtetve meg tudja határozni, mi a baj, és tudja, miként cselekedjen”.

Számítógépek hálózatát használva a NASA GA-kat (genetikai algoritmusokat) alkalmazott három Space Technology 5 műhold esetén az antenna kialakítására, amelyeknek a feladata a Föld mágneses mezejének vizsgálata. Több millió lehetséges terv versenyzett egymással a szimulált evolúciós folyamatban.

A NASA tudósa és projektvezetője, Jason Lohn szerint, „a [GA] szoftvert most apró, mikroszkopikus gépek, például giroszkópok kialakítására használjuk, az űrnavigáció elősegítése céljából. A szoftver olyan megoldásokat is feltalálhat, amelyekre egy emberi tervező sem gondolna.”{520}

Egy másik NASA mesterségesintelligencia-rendszer magától megtanulta, hogyan különböztesse meg a nagyon elmosódott képeken látott csillagokat és galaxisokat olyan pontossággal, ami meghaladta az emberi csillagászokét.

Az új földi robotteleszkópok képesek saját döntéseket hozni arról, hová figyeljenek, és hogyan optimalizálják a kívánt jelenség megtalálásának valószínűségét. Az „autonóm, félintelligens obszervatóriumoknak” nevezett rendszerek képesek az időjárástól függően átállítani magukat, észrevenni a számukra érdekes jelenségeket, és döntést hozni a nyomon követésükről. Képesek alig látható jelenségeket is felderíteni, mint például egy nanoszekundum időtartamig elhalványuló csillagot, amely egy, a naprendszerünk külső régióiban elhaladó kis aszteroidát jelezhet, amint elhalad a csillag előtt, kitakarva annak fényét.{521} Az egyik ilyen, MOTESS-nek (Mozgó Tárgy és Tranziens Esemény Kereső Rendszernek) nevezett rendszer magától azonosított 180 új aszteroidát és több üstököst működése első két évében. „Intelligens megfigyelő rendszerünk van” – magyarázta az Exeter Egyetem csillagásza, Alasdair Allan. „Magától gondolkodik és reagál, eldönti, hogy valami, amit felfedezett, elég érdekes-e, hogy további megfigyeléseket tegyen. Ha ezekre szükség van, folytatja a kutatást és megszerzi az adatokat.”

A katonaság is hasonló rendszereket használ a kémműholdak adatainak automatikus elemzésére. A jelenlegi műhold-technológia képes megfigyelni a hüvelyk nagyságú földfelszíni kiszögelléseket, és nem akadályozza a rossz idő, a felhők, vagy a sötétség.{522} A folyamatosan generált hatalmas adathalmaz nem volna kezelhető releváns változások észlelésére programozott automatizált képfelismerés nélkül.

 

Orvostudomány. Ha valaki elektrokardiogramot (EKG-t) készíttet, az orvosa valószínűleg egy EKG-felvételre alkalmazott mintafelismerést tartalmazó automatizált diagnózist kap. A saját vállalatom (a Kurzweil Technologies) együttműködve az Egyesült Terapeutikával automatizált EKG-elemzők új generációját fejleszti a szívbetegségek korai figyelmeztető jeleinek hosszú távú, feltűnés nélküli megfigyelése céljából (a ruházatba épített szenzorok és mobiltelefonos, drót nélküli kommunikáció használatával).{523} Egyéb mintafelismerő rendszereket is használnak képi adatok értelmezésére.

Minden jelentősebb gyógyszercég használ mesterségesintelligencia-programokat az új gyógyszeres kezelések kifejlesztését segítő mintafelismerés és intelligens adatbányászat céljából. Például az SRI International rugalmas tudásbázisokat épít, amelyek egy tucat patogénről, köztük a TBC-ről és H. pyloriról (a fekélyeket okozó baktériumról) felhalmozott összes tudásunkat kódolják.{524} A cél intelligens adathalászó eszközök alkalmazása (olyan szoftver, amely új kapcsolatokat keres az adatok között) az ezen patogének metabolizmusának elpusztítására vagy szétverésére alkalmas új módszerek megtalálása érdekében.

Hasonló rendszereket alkalmaznak egyéb betegségek új terápiáinak automatikus felfedezésére, és a gének funkciójának, illetve betegségekben vállalt szerepének megismerésére is.{525} Például az Abbott Laboratórium azt állítja, hogy egyik új, mesterségesintelligencia-alapú robot- és adatelemző rendszerrel felszerelt laboratóriumában hat emberi kutató ugyanannyi munkát végez el, mint kétszáz kutató régebbi gyógyszerfejlesztési laborjaikban együttesen.{526}

A magas prosztataspecifikus antigén (PSA) szintekkel rendelkező férfiak általában biopszián esnek át, de körülbelül 75 százalékuknak nincsen prosztatarákja. A vérben található fehérjék mintáinak felismerésére alapuló új vizsgálat 29 százalékra csökkentheti a hamis pozitív eredmények arányát.{527} A vizsgálat a Marylandben található bethesdai Correlogic Systems vállalat által kifejlesztett mesterségesintelligencia-programra épül, amelynek pontosságában további javulás várható a későbbi fejlesztések révén.

A fehérjemintákra alkalmazott mintafelismerést a petefészekrák kimutatására is használták már. A legjobb mai petefészekrák-vizsgálat, a CA–125, hiába kombinálják az ultrahangos módszerrel, szem elől téveszt szinte minden korai stádiumban lévő tumort. „Mire diagnosztizálják, a petefészekrák túl gyakran már gyógyíthatatlan” – állítja Emanuel Petricoin III, az FDA és az Országos Rákintézet által működtetett Klinikai Proteomika Program társigazgatója. Petricoin egy új mesterségesintelligencia-alapú vizsgálat fő fejlesztője, amely csak a rák esetén megjelenő, egyedülálló fehérjemintákat keresi. A több száz vérmintát tartalmazó értékelésben a vizsgálat – a Petricoin szerint – „megdöbbentő, 100%-os pontossággal mutatta ki a rákot, a legkorábbi stádiumaiban is.”{528}

Az összes egyesült államokbeli Pap-teszt (méhnyakrákteszt) körülbelül tíz százalékát egy a TriPath Imaging fejlesztette FocalPoint nevű öntanító MI-program elemzi. A fejlesztők úgy kezdték munkájukat, hogy megkérdezték a patológusokat, milyen kritériumokat használnak. A mesterségesintelligencia-rendszer aztán megfigyelte a szakértő patológusokat. A programnak csak a legjobb emberi diagnosztáktól volt szabad tanulnia. „Ez a szakértői rendszer előnye” – magyarázza Bob Schmidt, a TriPath műszaki termékmenedzsere. „Lehetővé teszi, hogy lemásoljuk a legjobb dolgozókat.”

Az Ohio Állami Egyetem Egészségügyi Rendszere kidolgozott egy számítógépes orvosi előírási (CPOE) rendszert, amely többféle orvosi diszciplína kiterjedt ismeretével rendelkező szakértői rendszeren alapul.{529} A rendszer automatikusan leellenőrzi az orvos javaslatait, a beteg lehetséges allergiáit, a gyógyszerek kölcsönhatásait, a kétszeres felírásokat, a gyógyszerallergiákat, az adagolási irányelveket, valamint információt a betegről a kórház labor és radiológiai osztályáról.

 

Természettudományok és matematika. A Walesi Egyetem egy eredeti elméleteket megfogalmazni képes mesterségesintelligencia-alapú rendszert a robotrendszerrel ötvöző „robottudóst” fejlesztett ki, amely, amely képes automatikusan kísérleteket végrehajtani, és egy okfejtő egységgel is rendelkezik, amely kiértékeli az eredményeket. A kutatók adtak a teremtményüknek egy élesztőgomba-génexpressziós modellt.

A rendszer „automatikusan származtat hipotéziseket a megfigyelések megmagyarázására, kísérleteket tervez a hipotézisek ellenőrzésére, fizikailag levezényli a kísérleteket a laborrobot segítségével, értelmezi a kapott eredményeket, megcáfolja az adatoknak ellentmondó hipotéziseket, és aztán megismétli a kört.”{530} A rendszer képes javítani a saját teljesítményét azáltal, hogy tanul a saját tapasztalataiból. A robottudós által kitalált kísérletek háromszor olcsóbbak lettek, mint az emberi tudósok által megalkotottak. A gépet egy csoport emberi tudós ellen tesztelve bebizonyosodott, hogy a gép felfedezései egy szinten álltak az emberekével.

Mike Young, a Walesi Egyetem biológiai igazgatója az egyik olyan emberi tudós, aki veszített a géppel szemben. Azt mondja, „a robot tényleg megvert, de csak azért, mert egy ponton rossz gombot nyomtam meg”.

Az algebra egyik régi sejtését is egy MI-rendszer oldotta meg az Argonne Nemzeti Laboratóriumban.

Az emberi matematikusok a bizonyítást „kreatívnak” nevezték.

 

Üzleti élet és pénzügy. A vállalatok minden iparágban felhasználják az MI-rendszereket a logisztika vezérlésére és optimalizálására, a csalások és pénzmosás felderítésére, és a nap mint nap összegyűjtött információáradatban végzett intelligens adatbányászatra. A Wal-Mart például nagy mennyiségű információt gyűjt vásárlókkal történő tranzakcióiból. A mesterségesintelligencia-alapú, neurális hálókat és szakértői rendszereket használó eszközök felülvizsgálják ezeket az adatokat, hogy piackutatási jelentési rendszerrel szolgáljanak a menedzsereknek. Ez az intelligens adatbányászat teszi lehetővé, hogy a rendszer megdöbbentően pontos jóslatokat adjon arról, mekkora üzletben melyik termékből milyen mennyiségben lesz szükség.{531}

Az MI-alapú programokat rendszerint pénzügyi tranzakciókban elkövetett csalások felderítésére is használják. A Future Route, egy angol cég, például az iHexet kínálja, amely az Oxfordi Egyetemen kifejlesztett mesterségesintelligencia-rutinokon alapul, és a hitelkártya-tranzakciókban, illetve hitelkérelmekben elkövetett csalásokat fedezi fel.{532} A rendszer tapasztalatai alapján folyamatosan generálja és frissíti saját szabályait. A First Union Home Equity Bank Charlotte-ban, Észak-Karolinában, a Hitelrendezőt, egy hasonló MI-alapú rendszert használ annak eldöntésére, hogy elfogadja-e a lakáshitel-kérelmeket.{533}

A NASDAQ hasonló, tanulni képes Értékpapír Megfigyelő, Hírelemző és Szabályzó (SONAR) elnevezésű rendszert alkalmaz a csalások és lehetséges házon belüli tranzakciók kiszűrésére.{534} 2003 végére a SONAR több mint 180 esetet derített fel és jelzett az Egyesült Államok Értékpapír és Tőzsdefelügyeletének, illetve az Igazságügyi Minisztériumnak. Ezek között több olyan ügy is szerepelt, amely később jelentős sajtófigyelmet is kapott.

A Patrick Winston (az MIT Mesterséges Intelligencia Laboratórium igazgatója, 1972–1997) alapította Ascent Technology által tervezett Okos Reptéri Műveleti Központ (SAOC) elnevezésű, GA-alapú rendszer képes optimalizálni egy repülőtér komplex logisztikáját, úgymint a több száz dolgozó munkafeladatainak egyensúlyban tartását, a kapu- és felszereléskiosztásokat, és megannyi egyéb részletet.{535} Winston felhívja a figyelmet arra, hogy „a genetikai algoritmusok pontosan a bonyolult helyzetek optimalizálására születtek”. Az SAOC körülbelül 30 százalékkal növelte a termelékenységet azokon a reptereken, ahol bevezették.

Az Ascentnek először az 1991-es iraki Sivatagi Vihar hadművelet logisztikájának szervezésében kellett alkalmaznia mesterséges intelligenciáját. A Fejlett Védelmi Kutatási Projektek Ügynöksége (DARPA) állítása szerint az MI-alapú logisztikatervező rendszerek, mint az Ascent-rendszer, több megtakarítást eredményeztek, mint a kormány összes kutatási beruházása a mesterséges intelligenciába évtizedek alatt.

A mai szoftveres trend szerint az MI-rendszerek figyelemmel követik a komplex szoftverrendszerek teljesítményét, felismerik a működési zavarokat, és megállapítják, mi a legjobb módja az automatikus javításnak anélkül, hogy feltétlenül jelentenék az emberi felhasználónak.{536}

Az elképzelés abból a felismerésből ered, hogy míg a szoftverrendszerek egyre komplexebbé válnak, az emberekhez hasonlóan soha nem lesznek tökéletesek, és lehetetlen minden bugot, minden szoftverhibát kiiktatni. Mi, emberek ugyanazt a stratégiát alkalmazzuk: nem akarunk tökéletesek lenni, de általában megpróbáljuk kijavítani a nyilvánvaló hibákat. „A feje tetejére akarjuk állítani a rendszermenedzsment gondolatát” – mondja Armando Fox, a Stanford Egyetem Szoftverinfrastruktúra Csoportjának vezetője, aki az „autonóm számítástechnikának” nevezett területen dolgozik. Fox szerint „a rendszernek képesnek kell lenni beállítani, optimalizálni magát. Ki kell javítania a saját hibáját, és ha valami baj van, tudnia kell, hogyan reagáljon a külső veszedelmekre.” Az IBM, Microsoft és egyéb szoftverforgalmazók mind autonóm képességeket integráló rendszereket fejlesztenek.

 

Gyártás és robotika. A számítógéppel integrált gyártás (CIM) egyre inkább kihasználja a mesterségesintelligencia-technikák nyújtotta előnyöket az erőforrások optimalizálása, a logisztika karcsúsítása és a készletcsökkentés területein, az alkatrészek és készletek éppen időben történő beszerzésével. A CIM-rendszerek legújabb trendje az „esetalapú következtetés” a hardverbe kódolt, szabályalapú szakértői rendszerek helyett. Az ilyen gondolkodás a tudást „esetek” formájában kódolja, amelyek problémapéldák megoldásokkal. A kezdeti helyzeteket általában mérnökök tervezik, de a sikeres esetalapú rendszer kulcsa az a képesség, hogy a tényleges tapasztalatból új eseteket generáljon. A rendszer ekkor már képessé válik a tárolt esetek alapján történő okfejtésre új helyzetek bekövetkeztekor.

A gyártásban egyre szélesebb körben használnak robotokat. A robotok legújabb nemzedéke a massachusettsi Natickben lévő Cognex Corporation által kifejlesztett, MI-alapú gépilátás-rendszereket alkalmaz, amelyek rugalmasan reagálnak a változó helyzetekre. Ez csökkenti a robotok pontos beállításának szükségességét. Brian Carlisle, a kaliforniai Livermore-ban bejegyzett Adept Technologies gyáriautomatizálás-vállalat vezérigazgatója rámutat, hogy „még ha ki is vonjuk a munkaerő költségét [a számításból], a robotikus és egyéb rugalmas automatizálás még úgy is hasznosnak bizonyul. A minőségen és teljesítményen túl olyan gyors termékváltást és -evolúciót tudunk biztosítani a felhasználóknak, amelyeknek a gépsorok átalakítása a nyomába sem érhet.”

Az MI-alapú robotika vezető kutatóinak egyike, Hans Moravec, megalapította Seegrid nevű vállalatát, hogy gépilátás-technológiáját a gyártás, anyagmozgatás és a katonai küldetések terén alkalmazza.{537} Moravec szoftverjei képessé tesznek egy eszközt (egy robotot vagy egy egyszerű anyagmozgató kocsit) arra, hogy végigsétáljon vagy -guruljon egy rendezetlen környezetben, és egy bejárás után megbízható „voxel” (háromdimenziós pixel) térképet rajzoljon arról a környezetről. A robot aztán fel tudja használni a térképet és a saját okfejtési képességeit ahhoz, hogy meghatározza a feladat végrehajtásának optimális és akadálymentes útját.

Ez a technológia képessé teszi az autonóm kocsikat arra, hogy anyagokat szállítsanak a gyártási folyamatban a hagyományos, előre programozott robotrendszerek esetén szükséges, magas fokú előkészületek nélkül. Katonai helyzetekben az autonóm járművek precíz küldetéseket képesek végrehajtani, miközben alkalmazkodnak a gyorsan változó feltételekhez és harctéri körülményekhez.

A gépi látás továbbá javítja a robotok abbéli képességét, hogy emberekkel kommunikáljanak. Az apró, olcsó kamerák használatával a fej- és szemkövető szoftverek képesek érzékelni az emberi felhasználó elhelyezkedését, miáltal a robotok és a képernyőn megjelenő virtuális személyiségek szemkontaktust létesíthetnek, ami a természetes beszélgetés egyik kulcsfontosságú eleme. A fej- és szemkövető rendszereket a Carnegie Mellon Egyetemen és az MIT-n fejlesztették ki, és az olyan kis cégek is forgalmazzák, mint a Seeing Machines of Australia.

A gépi látás egyik meggyőző demonstrációján egy MI-rendszer kormányozta jármű szinte teljesen egyedül eljutott Washington, D.C.-ből San Diegóba.{538} Bruce Buchanan, a Pittsburghi Egyetem IT-professzora és az Amerikai Mesterséges Intelligencia Egyesület elnöke felhívta a figyelmet arra, hogy ez a fegyvertény „tíz évvel ezelőtt elképzelhetetlen lett volna”.

A Palo Alto Kutatóközpont (PARC) olyan robotrajt fejleszt, amely képes bonyolult környezetekben, például katasztrófa sújtotta övezetekben navigálni, és megkeresni különböző dolgokat, például sérült embereket. Egy MI-bemutatón, a 2004. szeptemberi San José-i mesterségesintelligencia-konferencián önszerveződő robotcsoportot mutattak be egy realisztikus katasztrófa sújtotta övezetben.{539} A robotok képesek voltak a terepen tájékozódni, kommunikáltak egymással, képi mintafelismerést alkalmaztak, és testhő alapján azonosították az embereket.

 

Beszéd és nyelv. A mesterséges intelligencia előtt álló egyik legnagyobb kihívás a nyelv természetes használata.

Az egyszerű trükkök nem, csak az emberi intelligencia elveinek teljes megismerése teszi majd képessé a számítógépes rendszereket arra, hogy meggyőzően emulálják az emberi párbeszédet, még ha az csak szöveges üzenetekre korlátozódik is. Ez volt Turing máig érvényes felfedezése is, amikor megalkotta teljesen az írott szövegre épülő tesztjét.

Bár még nem érik el az emberi szintet, a természetes nyelvfeldolgozó rendszerek erőteljesen fejlődnek. A keresőszolgáltatások olyan népszerűek lettek, hogy a „Google” tulajdonnévből köznapi ige lett, és technológiája forradalmasította a kutatást, valamint a tudáshoz való hozzáférést. A Google és az egyéb keresőszolgáltatások mesterségesintelligencia-alapú statisztikai tanulási módszereket és logikai következtetéseket alkalmaznak a linkek osztályozásának meghatározásában. Ezen keresőprogramok legnyilvánvalóbb hibája az, hogy nem képesek megérteni a szavak mögötti kontextust. Bár egy gyakorlott felhasználó megtanulja, hogyan alkosson úgy kulcsszósorozatokat, hogy megtalálja a legmegfelelőbb oldalakat (például a „computer chip” keresés valószínűleg nem dobja ki azokat a burgonyaszirommal kapcsolatos találatokat, amiket a „chip” önmagában kidobna), amit igazán elérni szeretnénk, az az, hogy természetes nyelvet használva beszélgethessünk a keresőszolgáltatással. A Microsoft kifejlesztett egy Kérdezd az MSR-t (Kérdezd a Microsoft Kutatót) elnevezésű, természetes nyelvet alkalmazó keresőprogramot, amely valóban természetes nyelven feltett kérdésekre válaszol, olyanokra, mint „Mikor született Mickey Mantle?”{540} Miután a rendszer elemzi a mondatot, hogy megtalálja a megfelelő elemeket (alany, állítmány, tárgy, jelzők, határozók és így tovább), egy speciális keresőprogram megkeresi az elemzett mondat alapján a kért információt. A megtalált dokumentumokban a kérdésre válasznak látszó mondatokat keres, és találati pontosság szerint listázza a lehetséges válaszokat. A helyes válasz legalább 75 százalékban szerepel az első három helyen, és a helytelen válaszok gyakorta nyilvánvalóak (mint például „Mickey Mantle 3-ban született”). A kutatók azt remélik, olyan tudásbázisokat adhatnak a rendszerükhöz, amelyek csökkentik az értelmetlen válaszok fontosság szerinti megjelenési arányát.

A Microsoft kutatója, Eric Brill, a Kérdezd az MSR-t kutatás vezetője egy még bonyolultabb feladatot is megkísérelt megoldani: olyan rendszert akart építeni, amely ötven vagy még több szóban válaszol olyan komplex kérdésekre, mint „Hogyan választják ki a Nobel-díjasokat?” A rendszer által alkalmazott egyik stratégia az, hogy keres egy megfelelő GYIK-et az interneten, ami válaszol a kérdésre.

A piacra kezdenek betörni a természetes nyelvű rendszerek nagy szókincsű, beszélőfüggetlen (azaz bármely beszélőnek válaszoló) telefonos beszédfelismerő rendszerek, amelyek alkalmasak hétköznapi tranzakciók végrehajtására. A British Airways virtuális utazási ügynökével bármiről lehet beszélgetni, ha a téma a jegyfoglalás.{541} Amennyiben az ember a Verizon ügyfélszolgálatát vagy a Charles Schwabet és Merrill Lynchet hívja pénzügyi tranzakciók ügyében, valószínű, hogy virtuális személyiségekkel beszélget. Ezek a rendszerek, míg egyeseket idegesítenek, egész tűrhetően válaszolnak az emberek gyakran kétértelmű és töredezett kérdéseire. A Microsoft és egyéb cégek olyan rendszereket kínálnak, amelyek képesek egy vállalatnak virtuális ügynököt létrehozni, aki jegy- és hotelfoglalásokat intéz utazások esetére, és mindenféle rutintranzakciót elvégez kétirányú, viszonylag természetes hangú párbeszédekkel.

Nem minden telefonáló van megelégedve a virtuális ügynökök képességeivel, de a legtöbb rendszer felkínálja, hogy emberi ügyintézővel is beszélgethessünk. Az ezeket a rendszereket alkalmazó vállalatok azt jelentették, hogy 80 százalékkal csökkentették emberi ügyintézőik számát. A megtakarításon túl a telefonközpontok méretének csökkentése is haszonként jelenik meg. A telefonközpontos munkák fluktuációja rendkívül magas az alacsony munkaelégedettség miatt.

Állítólag a férfiak gyűlölik megkérdezni az utat, ha eltévednek, de az autókereskedők szerint mind a férfi, mind a női vezetők segítséget kérnek a saját autójuktól, amikor el akarnak jutni valahová. 2005-ben az Acura RL és Honda Odyssey olyan IBM-rendszert kínál majd, amelynek segítségével a felhasználók beszélgethetnek az autójukkal.{542}{15} A navigálási rendszerek utcaneveket fognak tartalmazni (például „forduljon balra a Fő utcán, aztán jobbra a Második sugárúton”). A felhasználók feltehetnek kérdéseket, például „Hol van a legközelebbi olasz étterem?”, vagy szóban is megadhatnak pontos helyeket, útbaigazítást kérhetnek és parancsokat adhatnak az autónak (például „Állítsd erősebbre a légkondicionálást!”). Az Acura RL az útviszonyokat és csúcsidőben a forgalmi dugókat is valós időben nyomon követi majd a képernyőjén.

A beszédfelismerés állítólag beszélőfüggetlen, és nincsenek rá hatással a motorzajok, a szél és egyéb zavaró tényezők. Úgy hírlik, a rendszer 1,7 millió utca- és városnevet, továbbá közel ezer parancsot ismer.

A számítógépes fordítás is fokozatosan fejlődik. Mivel ez egy Turing-szintű feladat – tehát ahhoz, hogy emberi szinten végrehajtható legyen, a nyelv emberi szintű ismerete szükséges –, az egyik utolsó olyan alkalmazási terület lesz, amely versenyre kel az emberi teljesítménnyel. Franz Josef Och, a Dél-Kaliforniai Egyetem számítógéptudósa kifejlesztett egy technikát, amely képes létrehozni egy új nyelvi fordítórendszert bármilyen két nyelv között órák vagy napok leforgása alatt.{543} Mindössze egy „rosette-i kőre” van szüksége – egy szövegre az egyik nyelven és a fordítására a másikon –, bár az igaz, hogy ebből a kettőből több millió szóra. Egy önszerveződő technika használatával a rendszer képes megalkotni saját statisztikai modelljeit arról, hogyan lett lefordítva a szöveg az egyik nyelvről a másikra, és mindkét irányban továbbfejleszti ezeket a modelleket.

Ez szemben áll a más fordítórendszerekben használatos módszerekkel, amelyekben a nyelvészek fáradságot nem kímélve kódolják a nyelvtani szabályokat, és minden szabályhoz hosszú kivételjegyzéket csatolnak. Och rendszere nemrégiben a legmagasabb pontszámot kapta az Egyesült Államok Kereskedelmi Minisztériuma Szabvány- és Technológiai Intézete által szervezett fordítórendszer-versenyen.

 

Szórakoztatás és sport. A GA-k egyik érdekes és szórakoztató alkalmazásában az oxfordi tudós, Torsten Reil animált figurákat alkotott szimulált ízületekkel és izmokkal, és agy helyett neurális hálóval. Adott nekik egy feladatot: hogy járjanak. Egy GA használatával kifejlesztette ezt a képességet, melyhez hétszáz paramétert kellett megfelelően beállítani. „Ha emberi szemmel tekintünk a rendszerre, rájövünk, hogy ez nem lehetséges, hiszen a rendszer annyira komplex” – állítja Reil. – „Itt jön be az evolúció a képbe.”{544}

Míg kifejlődött teremtményei könnyedén és meggyőzően jártak, a kutatás a GA-k egy jól ismert tulajdonságát is bemutatta: azt kapod, amire befizettél. Néhány teremtmény új járási módokat talált ki. Reil szerint, „voltak ott olyan teremtmények, amelyek nem is jártak, hanem fura módon közlekedtek: kúsztak vagy cigánykerekeztek”.

Már fejlesztés alatt állnak olyan szoftverek, amelyek képesek automatikusan kivágni olyan részleteket egy sportmérkőzés felvételéből, amelyek a legfontosabb pillanatokat tartalmazzák.{545} A Dublini Trinity College csapata olyan asztali játékokon kísérletezik, mint a biliárd, amelyben egy szoftver nyomon követi a labdák elhelyezkedését, és arra van programozva, hogy észrevegye, mikor történik jelentős pontszerzés. A Firenzei Egyetem csapata a focival kísérletezik. Ez a bizonyos szoftver a játékosok elhelyezkedését jegyzi meg, és képes azonosítani a játék jellegzetes mozzanatait – például a szabadrúgást, a gólszerzést, a büntetőket és egyéb lényeges történéseket.

A Londoni Egyetem (UCL) Digitális Biológiai Csoportja Formula–1-es versenyautókat tervez GA-k segítségével történő tenyésztés útján.{546}

A mesterséges intelligencia telének már régen vége. Ma már jócskán benne járunk a gyenge MI tavaszában. A legtöbb fenti példa mindössze tíz-tizenöt éves kutatási projektről mesél. Ha a világon minden mesterségesintelligencia-rendszer egyszercsak megszűnne működni, a gazdasági infrastruktúránk összeroppanna. A bankrendszer tönkremenne. A közlekedés nagy része megbénulna. A kommunikáció nem működne. Egy évtizede még nem ez volt a helyzet. Természetesen MI-rendszereink még nem elég okosak ahhoz, hogy ilyen összeesküvést tervezzenek ellenünk.

 

Erős mesterséges intelligencia

 
„Ha csak egyféleképpen értesz meg valamit, akkor nem érted igazán. Ez azért van, mert ha valami balul üt ki, ott ragadsz a gondolatoddal, ami csak csücsül a fejedben anélkül, hogy valami történne. Hogy a valami valójában mit jelent, az attól függ, hogyan sikerült összekapcsolnunk minden egyébbel, amit tudunk. Ezért van az, hogy amikor valaki magolva tanul, azt mondjuk, nem igazán értette meg az anyagot. Ám ha sok különböző reprezentációt őrzünk valamiről, kipróbálhatunk egy másik megközelítést, amikor az egyik elképzelés csődöt mond. Persze a túl sok felesleges kapcsolat is meglágyítja az agyunkat. Ám a jól összekapcsolt reprezentációk elősegítik, hogy megforgassuk a gondolatokat a fejünkben, hogy több szempontból megvizsgálhassunk dolgokat, amíg meg nem találjuk, melyik a megfelelő a számunkra. És pont ezt értjük gondolkodás alatt!”
(Marvin Minsky){547}
 
„A számítógépes teljesítmény fejlesztése olyan, mint a tájat lassan elárasztó víz. Fél évszázada elkezdte elönteni az alacsonyabb területeket, elűzve az emberi kártevőket és nyilvántartó hivatalnokokat, ám a legtöbben szárazak maradtunk. Mostanra az ár elérte a hegyek lábát, és az ottani előőrseink a visszavonulást fontolgatják. Biztonságban érezzük magunkat a csúcsokon, de ha az események a jelenlegi sebességgel folytatódnak, egy fél évszázad alatt ezek a csúcsok is víz alá kerülnek. Azt javaslom, amikor közeleg az a nap, építsünk bárkákat és szálljunk vízre! Egyelőre azonban csak az alacsonyabb területeken élő társainkra számíthatunk, ha tudni akarjuk, milyen a víz. A sakk és tételbizonyítás dombságában tanyázó társaink az intelligencia megjelenését jelentették. Miért nem kaptunk hasonló jelentéseket a síkságokról évtizedekkel ezelőtt, amikor a számítógépek már meghaladták az emberi számolás és memorizálás szintjét? Igazából kaptunk. A több ezer matematikushoz hasonló számolási képességű számítógépeket »nagy elméknek« kiáltották ki, és rájuk alapozták a mesterségesintelligencia-kutatás első nemzedékét. Végül is a gépek olyasmire lettek képesek, ami túlment minden állati szinten, amihez emberi intelligenciára, koncentrációra és évekig tartó tanulásra volt szükség. De nehéz az idő távlatából újra átélni azt a varázst.
Ennek az egyik oka az, hogy a számítógépek más területeken tanúsított ostobasága elfogulttá teszi az ítéletünket.
Egy másik ok a saját együgyűségünkkel van összefüggésben: csak nagy erőfeszítések árán és rajtunk kívül álló eszközök segítségével tudunk számolni és nyilvántartásokat vezetni, és így a hosszú számítások kis mechanikus lépései nyilvánvalóvá válnak, miközben a nagyobb összefüggések rejtve maradnak előttünk. Mint a Deep Blue építői, túlzottan a saját oldalunkról látjuk a folyamatot ahhoz, hogy értékelni tudjuk azt a kifinomultságot, amit a külső szemlélő talán észrevesz. Ám van valami nem egyértelmű a hóviharokban és tornádókban, ami előbukkan az időjárási szimulációk ismétlődő számításai mögül, vagy a Tyrannosaurus rex bőrének animációs kalkulációkból felmerülő hullámzásában. Nemigen hívjuk intelligenciának, de a »mesterséges valóság« talán még a mesterséges intelligenciánál is mélyebb értelmű fogalom.
A jó emberi sakkjáték és tételbizonyítás mögött rejlő mentális lépcsőfokok komplexek és rejtettek, miáltal a mechanikus értelmezés lehetetlennek tűnik. Azok, akik képesek követni a játékot, természetesen inkább olyan kifejezésekkel jellemzik, mint a stratégia, megértés, kreativitás és hasonlók.
Amikor egy gépnek sikerül egyszerre jelentést létrehoznia és produktív meglepetést okoznia, kénytelenek vagyunk az elmével magyarázni a dolgot. Természetesen valahol a színfalak mögött programozók ülnek, akik elvileg mechanikus magyarázattal szolgálnak. De a magyarázat még számukra is elveszíti az értelmét, amint a működő program olyan részletekkel tölti meg a memóriáját, amelyek túl nagyszabásúnak bizonyulnak az emberi felfogás számára.
Ahogyan az egyre emelkedő ár éri el a lakottabb magaslatokat, úgy fognak a gépek jól teljesíteni olyan területeken, amelyeket egyre többen értékelhetnek. A gépben lévő gondolkodó jelenlét elképzelése mind elfogadottabbá válik. Ha majd a legmagasabb csúcsokat is elönti az ár, a gépek olyan intelligensen beszélgetnek bármilyen tárgyról, mint az emberek. A gépek elméjének valósága akkor mindenki számára magától értetődő lesz.”
(Hans Moravec){548}
A szingularitás küszöbén
titlepage.xhtml
jacket.xhtml
A_szingularitas_kuszoben_split_000.html
A_szingularitas_kuszoben_split_001.html
A_szingularitas_kuszoben_split_002.html
A_szingularitas_kuszoben_split_003.html
A_szingularitas_kuszoben_split_004.html
A_szingularitas_kuszoben_split_005.html
A_szingularitas_kuszoben_split_006.html
A_szingularitas_kuszoben_split_007.html
A_szingularitas_kuszoben_split_008.html
A_szingularitas_kuszoben_split_009.html
A_szingularitas_kuszoben_split_010.html
A_szingularitas_kuszoben_split_011.html
A_szingularitas_kuszoben_split_012.html
A_szingularitas_kuszoben_split_013.html
A_szingularitas_kuszoben_split_014.html
A_szingularitas_kuszoben_split_015.html
A_szingularitas_kuszoben_split_016.html
A_szingularitas_kuszoben_split_017.html
A_szingularitas_kuszoben_split_018.html
A_szingularitas_kuszoben_split_019.html
A_szingularitas_kuszoben_split_020.html
A_szingularitas_kuszoben_split_021.html
A_szingularitas_kuszoben_split_022.html
A_szingularitas_kuszoben_split_023.html
A_szingularitas_kuszoben_split_024.html
A_szingularitas_kuszoben_split_025.html
A_szingularitas_kuszoben_split_026.html
A_szingularitas_kuszoben_split_027.html
A_szingularitas_kuszoben_split_028.html
A_szingularitas_kuszoben_split_029.html
A_szingularitas_kuszoben_split_030.html
A_szingularitas_kuszoben_split_031.html
A_szingularitas_kuszoben_split_032.html
A_szingularitas_kuszoben_split_033.html
A_szingularitas_kuszoben_split_034.html
A_szingularitas_kuszoben_split_035.html
A_szingularitas_kuszoben_split_036.html
A_szingularitas_kuszoben_split_037.html
A_szingularitas_kuszoben_split_038.html
A_szingularitas_kuszoben_split_039.html
A_szingularitas_kuszoben_split_040.html
A_szingularitas_kuszoben_split_041.html
A_szingularitas_kuszoben_split_042.html
A_szingularitas_kuszoben_split_043.html
A_szingularitas_kuszoben_split_044.html
A_szingularitas_kuszoben_split_045.html
A_szingularitas_kuszoben_split_046.html
A_szingularitas_kuszoben_split_047.html
A_szingularitas_kuszoben_split_048.html
A_szingularitas_kuszoben_split_049.html
A_szingularitas_kuszoben_split_050.html
A_szingularitas_kuszoben_split_051.html
A_szingularitas_kuszoben_split_052.html
A_szingularitas_kuszoben_split_053.html
A_szingularitas_kuszoben_split_054.html
A_szingularitas_kuszoben_split_055.html
A_szingularitas_kuszoben_split_056.html
A_szingularitas_kuszoben_split_057.html
A_szingularitas_kuszoben_split_058.html
A_szingularitas_kuszoben_split_059.html
A_szingularitas_kuszoben_split_060.html
A_szingularitas_kuszoben_split_061.html
A_szingularitas_kuszoben_split_062.html
A_szingularitas_kuszoben_split_063.html
A_szingularitas_kuszoben_split_064.html
A_szingularitas_kuszoben_split_065.html
A_szingularitas_kuszoben_split_066.html
A_szingularitas_kuszoben_split_067.html
A_szingularitas_kuszoben_split_068.html
A_szingularitas_kuszoben_split_069.html
A_szingularitas_kuszoben_split_070.html
A_szingularitas_kuszoben_split_071.html
A_szingularitas_kuszoben_split_072.html
A_szingularitas_kuszoben_split_073.html
A_szingularitas_kuszoben_split_074.html
A_szingularitas_kuszoben_split_075.html
A_szingularitas_kuszoben_split_076.html
A_szingularitas_kuszoben_split_077.html
A_szingularitas_kuszoben_split_078.html
A_szingularitas_kuszoben_split_079.html
A_szingularitas_kuszoben_split_080.html
A_szingularitas_kuszoben_split_081.html
A_szingularitas_kuszoben_split_082.html
A_szingularitas_kuszoben_split_083.html
A_szingularitas_kuszoben_split_084.html
A_szingularitas_kuszoben_split_085.html
A_szingularitas_kuszoben_split_086.html
A_szingularitas_kuszoben_split_087.html
A_szingularitas_kuszoben_split_088.html
A_szingularitas_kuszoben_split_089.html
A_szingularitas_kuszoben_split_090.html
A_szingularitas_kuszoben_split_091.html
A_szingularitas_kuszoben_split_092.html
A_szingularitas_kuszoben_split_093.html
A_szingularitas_kuszoben_split_094.html
A_szingularitas_kuszoben_split_095.html
A_szingularitas_kuszoben_split_096.html
A_szingularitas_kuszoben_split_097.html
A_szingularitas_kuszoben_split_098.html
A_szingularitas_kuszoben_split_099.html
A_szingularitas_kuszoben_split_100.html
A_szingularitas_kuszoben_split_101.html
A_szingularitas_kuszoben_split_102.html
A_szingularitas_kuszoben_split_103.html
A_szingularitas_kuszoben_split_104.html
A_szingularitas_kuszoben_split_105.html
A_szingularitas_kuszoben_split_106.html
A_szingularitas_kuszoben_split_107.html
A_szingularitas_kuszoben_split_108.html
A_szingularitas_kuszoben_split_109.html
A_szingularitas_kuszoben_split_110.html
A_szingularitas_kuszoben_split_111.html
A_szingularitas_kuszoben_split_112.html
A_szingularitas_kuszoben_split_113.html
A_szingularitas_kuszoben_split_114.html
A_szingularitas_kuszoben_split_115.html
A_szingularitas_kuszoben_split_116.html
A_szingularitas_kuszoben_split_117.html
A_szingularitas_kuszoben_split_118.html
A_szingularitas_kuszoben_split_119.html
A_szingularitas_kuszoben_split_120.html
A_szingularitas_kuszoben_split_121.html
A_szingularitas_kuszoben_split_122.html
A_szingularitas_kuszoben_split_123.html
A_szingularitas_kuszoben_split_124.html
A_szingularitas_kuszoben_split_125.html
A_szingularitas_kuszoben_split_126.html
A_szingularitas_kuszoben_split_127.html
A_szingularitas_kuszoben_split_128.html
A_szingularitas_kuszoben_split_129.html
A_szingularitas_kuszoben_split_130.html
A_szingularitas_kuszoben_split_131.html
A_szingularitas_kuszoben_split_132.html
A_szingularitas_kuszoben_split_133.html
A_szingularitas_kuszoben_split_134.html
A_szingularitas_kuszoben_split_135.html
A_szingularitas_kuszoben_split_136.html
A_szingularitas_kuszoben_split_137.html
A_szingularitas_kuszoben_split_138.html
A_szingularitas_kuszoben_split_139.html
A_szingularitas_kuszoben_split_140.html
A_szingularitas_kuszoben_split_141.html
A_szingularitas_kuszoben_split_142.html
A_szingularitas_kuszoben_split_143.html
A_szingularitas_kuszoben_split_144.html
A_szingularitas_kuszoben_split_145.html
A_szingularitas_kuszoben_split_146.html