Codename Mira

 

 

A képzők a magyar nyelvű mondatértelmezésben mindig is nehéz tényezőknek számítottak. Na de mostmár ennek is vége!

Közel 5 nap munkájának eredményeképpen létrehoztam egy olyan programot amely képes 100 (tényleg!) %-ban felismerni és kezelni a legtöbb képzőt.

A program számokban: Több mint 100 különböző képző felismerése 100%-os pontossággal. A forráskód mintegy 150KB. 

Még egy emberi tulajdonság amit sikerült algoritmusba foglalni.

A rendszer képes asszociálni. Néhány példa, hogy mikor mire asszociál:

(német keresztnév)hans>keresztnév,név,ember

(francia festő)hanoteau>kép

kenyér>étel,pékség,pék

Persze még rengeteg finomítanivaló van rajta, de már most komoly eredményt értem el ezen a téren. Sajnos még csak közel 90.000 szó esetén tud asszociálni, de ezt folyamatosan bővítem.

A hardverigénye az asszociatív rendszernek a legnagyobb. 2,16 GHz-es MacBookomon közel 3,5 óráig dolgozott 100%-os rendszerterheléssel, mire a 90.000 szó asszociatív párjait megkereste.

Persze voltak hibák is, de elmondható, hogy az esetek 85%-ában a rendszer jól tud asszociálni.

Egy asszociációs rendszer felhasználási köre pedig határtalan...

Elnézést, hogy mostanában nem írtam.

Sajnos nem mondhatom meg az okát, de a teljes rendszert át kellett írnom. Ezt körülbelül 2 hónapja elkezdtem és kürölbelül egy hónap múlva fejezem be.

Már vannak munkatársak is akikkel öröm lesz együtt dolgozni, mindenkinek tetszik a projekt és látszik rajtuk, hogy teljes erőbedobással fogják a haladást segíteni.

Új ötlet alapján újraírom az igeértelmezést. A régivel sincs különösebb baj, de az új sokkal kevesebb információ alapján képes ugyanarra az eredményre. A beépített szóadatbázisból mindössze 2 (esetenként 3) információra van szüksége (a szótő pl. születni igénél: szület, szófaj, és a szótő abban az esetben ha ragozásnál megváltozik). A rendszer egyébként képes (igék esetében) elemeire bontani az igét. Képes meghatározni a képzőt,jelet,ragot, igeidőt, alanyi vagy tárgyas e az ige. 

Mindez természetesen működik visszafelé, tehát ha megadom neki, hogy T/2 múlt idő akkor a rendszer (a születni igénél) "születtetek" választ fogja adni. Sebességben 5-6 %-al lassabb a feldolgozás, viszont a legtöbb igénél a szótő sem kellene (csak ellenőrzés céljából van mégis, sokkal lassabb lenne, ha neki kellene meghatározni, így nem fut le feleslegesen 300 sor kód) mert a rendszer annyira inteligensen képes lebontani azokat.

A régi értelmezőnek 12 darab (igénél, minden szófajnál változó) járulékos információra volt szüksége az értelmezéshez, az újnak szinte semmi (max 3 de az is csak ellenőrzés céljából+gyorsabb működés miatt). 

Múlt és jelen idő már kész, a jövőidőt kell csak megírni, bár elvileg keresőt írok nem jövendőmondót.

Új szolgáltatás a rendszerben. A találatlistát érinti.

A dolog lényege, hogy ha a kulcsszavas módon keres a felhasználó (elhagyja a mondatvégi írásjelet) és olyan kulcsszavat ír be ami benne van a beépített kis fogalomtárban akkor a rendszer az első találat elé (vagy oldalra oda ahová a Google a szponzorált linkeket teszi) a rendszer ír egy néhány soros magyarázatot az adott kulcsszóról. Jelenleg egész sok fogalom rövid magyarázata van meg.

Pl beírja: ASF formátum a rendszer a következő rövid magyarázószöveget fogja írni: 

ASF

(Advanced Streaming Format) A Microsoft által kifejlesztett audió és videó formátum az interneten történő sugárzásra. 

Így sok esetben a felhasználó hamarabb juthat információhoz. A kis fogalomtárban a rendszer a "Mi az a xy?" kérdésre is keres. Így ha valaki beírja "Mi az ASF?" vagy egyszerűen "asf?" akkor a rendszer a fogalomtárban talált információt mutatja a felhasználónak.

Most fogalomtárakat keresek a neten, hogy a lehető legtöbb fogalomnál a rendszer képes legyen kis magyarázatot tenni a találatok elé. Van már többek között irodalmi, gasztronómiai, számítástechnikai fogalomtáram. 

Aki tud, kérem linkelje be a hozzászólásokba vagy küldjön e-mailt, vagy töltse fel valamilyen ingyenes file megosztóra.

 Megosztom veletek a blog néhány statisztikáját. Több mint érdekesek az adatok:

 Teljesen véletlenül, miközben az indexelést próbáltam a lehető a leggyorsabb működésre rábírni megtaláltam a módját a(z eddig) hatékony(nak tűnő) képkeresésnek. Az indexelést végző kód véletlen átírásával teljesen jól elmentette a kép helyét és a körülötte lévő szöveget, ami néhány próbált oldal esetében rengeteg információt tartalmaz a képről. Sőt néhány esetben szinte a szövegnek csak azon részét amely a képre vonatkozik. Eddig az indexelő modul csak abban az esetben foglalkozott a képpel ha a kép is egy hivatkozás.

 

 

 Most, hogy végre van rendes (egyetemi) internetem, kicsit gyakrabban fogom frissíteni a blogot.

Természetesen amíg nem írtam a fejlődés nem állt meg. Megszületett a koncepció amire a megjelenés fog épülni.

Többféle nézetből választhat a kedves user. 

Az első nézet már látható volt a bemutató videóban. Mindössze annyi a változás, hogy testreszabható. Kikapcsolható a dock (természetesen ebben az esetben ha ki volt kapcsolva a menüsor, automatikusan visszakapcsol). A hírek között pedig kedvünkre kapcsolhatjuk ki és be a témákat. Például, ha ki vesszük a pipát a sporthírektől akkor a rendszer nem fog nekünk sporthíreket mutatni. Természetesen az automaikus hírrendezés megmarad és ebben a nézetben nem kapcsolható ki.

A második nézet ugyanolyan mint az első mindössze annyi a különbség, hogy kicsit interaktívabb felülete lesz (Ajax). Tehát fogd és vidd módszerrel rendezhetjük a híreket. Ebben az esetben a hírek automatikus rendezése kikapcsol.

 

A harmadik nézet csak a keresési funkciókat fogja tartalmazni. A menüsorban pedig a következők fognak szerepelni: hírek bekapcsolása, dock bekapcsolása, beállítások.

A negyedik nézetnek pedig már neve is van, ő lesz a Speed mode. Nincsenek képek, itt csak egy cél van a lehető leggyorsabb működés. Ettől függetlenül természetesen a képkeresés továbbra is fog működni. Mobilos és régi modemes internetfelhasználóknak szántam ezt a nézetet. Ha az oldal megtekintésére használt böngésző valamilyen mobilos változat (Opera Mini...stb) automaikusan ebben a nézetben indul a rendszer. Felépítése hasonló az első nézethez, csak nincs Dock menü. Ebben a nézetben (eddig) semmi sem szabható személyre. (nem lehet dockot bekapcsolni, nem lehet manuálisan rendezgetni a híreket...stb)

Hamarosan a találatlistát is bemutatom. Itt 3 nézet lesz. A bemutatott ábrák csak a felépítést mutatják.  

 

Ma már kb 10. alkalommal próbálok feltölteni egy videót. A videó 130 MB-os tehát elég hosszú. De hála az internetszolgáltatómnak óránként minimum 1X megszakad az internet 5 percre. Kitartó embernek érzem magam, de ma már nem idegesítem magam tovább. Macintosh ugye stabil platform de az összes FTP program(muCommander, YummiFTP, CaptainFTP...stb) leáll a videó feltöltése közben.

Sajnos a településen ahol lakom ez az egyetlen lehetőség internetelérés szempontjából, így ezek a ....(nagyon gyenge minőséget nyújtó cég) az 1 Megabites internetet 7.000 Ft/hó ért adják. Ok értem én, hogy ki kellett építeni a hálózatot meg minden, de egy településsel tovább 4 megabit wifin csak 4800 Ft/hó. Bónuszként a hét elején valami IQ bajnok szerelőjük felrakott valami szűrőt (saját elmondásuk alapján) ami miatt az egész utcának nem volt internet. Ők azt hitték, hogy a mi utcánkba senkinek nincs bekötve. 10-ből 8 embernek be van...

Szóval nem áll a cég a helyzet magaslatán. Ha hibabejeltési szándékkal felhívom őket eleve így szólnak a telefonba:"a fiúk már dolgoznak rajta" - nem látszik.

Szerencsére az egyetemig már csak néhány nap van, ott meg wifin 54 megabit/sec kábelen meg 100 Megabit/sec, így sokkal gyakrabban tudom frissíteni a blogot és haladni a rendszer tesztelésével. 

A videóban pedig lesz meglepetés bőven... csak töltsem fel...

 

Természetesen, amíg nem írtam a fejlődés nem állt meg. A következő ötletem, az indexelés felgyorsításáról szól. (Egyébként az internetszolgáltatásom is akadozott 60%-ban nem működött)

Bizonyára mindenki olvasta, hogy a jelenlegi hardverkörülmények (és a programom) kb. 31 nap alatt teszik lehetővé a teljes magyar web indexelését. Leginkább ez a híroldalak miatt rossz hír, hiszen van olyan, hogy percenként jelenik meg új hír egy oldalon. Ezért arra gondoltam (és persze félig már készen is van), hogy RSS-t hívom segítségül.

Tehát, ha egy oldal RSS csatornája frissül, a rendszer automatikusan indexeli az új bejegyzést, így elérhető, hogy a felhasználók a lehető legkevesebbet vegyenek észre az indexelés lassúságából, hiszen a hírekre gyakorlatilag megjelenésük után kb 2-3 perccel már keresni lehet. Például ha egyszer végre nyerünk egy aranyat az olimpián és ezt valahol megírják, 2-3 perc múlva már a rendszer tud válaszolni a "Nyertünk e már arnyérmet?" kérdésre. Igyekszem a lehető legtöbb oldal RSS csatornáját beilleszteni a rendszerbe.

És természetesen az induláskor szeretnék több szerverrel indulni. Mondjuk 2 szerver esetében már az indexelés lehet, hogy 15 nap alatt megtörténhet.

+Arra gondoltam, hogy ha kész az új design, készítek egy hosszabb minimum 20 perces videót hanggal (én leszek a narrátor), amiben a rendszer kezelését, működését és főbb irányelveit fogom bemutatni. Megmutatom, hogy mire képes és mire nem a rendszer (hol a határ a kérdések összetettségében).

Nagy gondban vagyok nem tudom eldönteni, hogy a rendszeremnek a fejlesztési kódnévként használt Mira legyen a végleges neve vagy a jStart aminek a tervezett logóját láthatjátok www.jstart.hu oldalon. Fontos hozzátenni, hogy a mira.hu domain már foglalt.

Ezért is kérdezem nektek mi lenne szimpatikusabb?

Hamarosan a találatlistára és néhány kicsit összetettebb kérdésre válaszoló rendszerről láthattok videót. A videón ritka csúnya állapotban lesz a rendszer ezt szeptember 2. feléig (végleges design kialakítása) nézzétek el nekem.

Mostanában a betegségek témakört vettem kezelés alá: Mit is jelent ez? Olyan kérdésekre képes oldalt találni, hogy "Mik a terhesség jelei?" Vagy képes arra, hogy ha beírsz tüneteket mint pl:"fáj a fejem, émelyeg a gyomrom, szédülök" képes a rendszer kihozni a lehetséges betegségeket amiknek ezek a tünetei. Természetesen a következő videóban ezt szeretném tüzetesebben bemutatni.

Az indexes cikkbe belekerült a rendszer cégkereső része.

Most egy videót is töltöttem fel a dologról működés közben. Az ott szereplő cégeket tesztből és nem reklámból raktam fel.

A cégkeresés a rendszeren úgy működne, hogy egy kis összegért évente mondjuk 5-8 ezer HUFért benne lehetnének az adatbázisban. Mindenki azonos jogokkal, a találatlistában a felhasználóktól való távolság döntene, tehát egy debreceni user valószínű, hogy nem fog győri találatokat látni. Két okból jó ez megoldás: a user hozzá közel tudja elintézni amit akar és a cégeknek is könnyebb a kapcsolattartás és az ügyintézés, ha hozzá közeliek az ügyfelek. Nem hiszem, hogy egy nyíregyházi usernek van értelme békéscsabai TV-szerelőt találatok közé tenni. A rendszer találatlistája befolyásolható ha így kérdezünk: Hol kölcsönözhetek autót Egerben? Ilyenkor a rendszer -akármi a user lakhelye- Egerhez fog viszonyítani.

A cégek megadhatják: elérhetőségeiket, képeket magukról, tevékenységi körüket, és egy rövid max 700 karakteres leírást cégükről. Ezeket szabadon módosíthatják a regisztráció ideje alatt. Hogy tetszik nektek?

Az ígért videó:

www.jstart.hu/mira3ceg.mov 

 Mindenki azt hinné, hogy a kezdetek könnyűek voltak. De nekem először az ötlet volt meg. Programozni tudtam C-ben Pascalban de a programom nyelvén nem. Megtanultam az alapokat olyan 2 nap alatt, hatalmas lökés volt, hogy az alapalgoritmust már akkor meg tudtam írni, viszont a nyelv internetes funkcióinak használatával nem voltam tisztában.

Ekkor írtam a prog.hu-ra. Viszont olyan hülyének kellett nézetni magam, hogy az már fájt. Ugye féltem, hogy valaki lenyúlja az ötletemet, ezért mindenki csak nevetett rajtam, úgy a 40. hozzászólás környékén valaki segített is. Aztán amikor kész volt a rendszer gondoltam az egyik topicba beszúrom a videót róla. Sikerült is de a 3. pozitív bocsánatkérés után a főfikázó a moderátor törölte. 

Utána amikor csak időm volt vonaton, órák között...stb a rendszert fejlesztettem.

Most nagyon fáradt vagyok, de holnap linkelek be képeket az első verziókról

 Életemben először szerepeltem egy országos oldalon szereplő cikkben. Képzelhetitek hatalmas erőt adott. Valami elképesztő jó érzés, mintahogy eszembe jutottak további ötletek is a fejlesztéshez.

Nézzétek meg aki nem látta: http://index.hu/tech/net/lcsp080805/

A videók elérési útja változott, és fogom módosítani.

 Sajnos a rendszer eddigi ütemtervét módosítanom kell egy Augusztus 25.-ei nagyon fontos tárgyalás miatt.

Ez alapján:

2008 Szeptember közepe - Október eleje: BETA tesztelés (jelenleg 180 felhasználó jelentkezett - több mint amennyit akartam)

2008 November eleje : A BETA tesztelés kiértékelése, a rendszer esetleges bugjainak javítása

2008 December közepe, 2009 Január eleje : Reklámkampány tervezése kivitelezése

2009 Január 5 : A rendszer indítása reszkess Cuil,Yahoo,MSN Search (szándékosan hagytam ki a Google-t nem akarok nagyképű lenni)

2009 Február 5 : A rendszeren történő hirdetés elindítása

Sikerült a keresőrobotom tesztje. 100%-os leterheltséget okozott a 4 magos Xeon processzor hajtotta szerveren. Ehhez képest közepes eredményt ért el. Kb. 1 perc alatt 6000 oldalt sikerült indexelnie. Az indexelt oldalakon leteszteltem a keresést, ami viszont nagyon jól zárult.

Ezek alapján: indexelés 50%-ban kész. Mondatértelmezés 80 %-ban kész. Kezelői felület 80 %-ban kész. Felhasználói alkalmazkodás 95 %-ban kész.

A rendszer jelenleg áll, még videót sem tudok feltölteni, a próbakeresést is egy változó programkódon belüli értékadásával tudtam lefuttatni.

 

 A minap amikor a rendszerem keresőképességeit szerettem volna tökéletesíteni, szembesültem a problémával: letiltotta a tárhelyszolgáltatóm a külső url elérést. Egyik napról a másikra -ami ugye keresőknél nagy érvágás-. Megérteném ha ingyenes tárhelyszolgáltató lenne. Ők biztonsági megfontolásból tiltották le immár globálisan az említett szolgáltatást nemtudom, hogyan mehetnék tovább.

 

Szerettem volna a füles böngészést megoldani, de amíg nem találok megoldást a külső url feldolgozás problémájára, addig a rendszer kényelmi funkcióit veszem kezelésbe.

Nem mondtam, de a rendszer képes alkalmazkodni a felhasználóihoz. Pl. megyjegyzi mi a kedvenc focicsapata, megkérdezi a felhasználót van e autója(ha 7 fok alá esik a hőmérséklet automatikusan megkeresi a hozzá legközelebb eső gumiműhelyet és figyelmeztet a cserére) (mindezt a keresési és hírolvasási szokásokból)...stb

Nagyon szerettem volna ha a 3. videóban már a füles megoldású találatlistát mutathattam volna. Sajnos nem de remélem így is jó lesz.

Innen letöltheted a második videót.
Nézd meg a második videót

A harmadik videó kicsit késni fog. Késés oka: Néhány fórumon közzétettem a rendszeremet és felvetettek egy problémát. A rendszer fő ismérve,hogy nincs találat, hanem egyből a megoldás. Mi van ha több megoldás van. Pl receptet keres de több oldalon is megvan ugyanaz a recept?

Erre találtam ki a füleket. Kicsit olyan lesz mint az Internet Explorer 7 füles böngészése, tehát a lehetséges megoldások egymás mellett fülekként fognak elhelyezkedni és a felhasználó dönt melyiket nézi meg. Majd írjatok, hogy szerintetek jó lesz e?

Kb 1 hét mire készen lesz (valami ütőset akarok grafikailag is). Addig folyamatosan írok.

Íme az első videó a rendszerről. Néhány próbakeresést mutat be. Várom a kommenteket.

A videó letölthető az alábbi 4 címről:

http://data.hu/get/325314/Mira_elozetes_960.mov.html
http://j-sys.extra.hu/Mira960.mov
http://j-sys.extra.hu/Mira960.avi
http://www.jstart.hu/mira1.mov

A videó MOV és AVI (DivX) formátumban 960x600-as felbontásban látható. Mérete: 38 MB

Szűcs József vagyok. 2. éve a Debreceni Egyetem Mérnök Informatikus hallgatója. Középiskola előtt mindig is az volt az álmom, hogy én fogom megcsinálni az első olyan számítógépes programot amely gondolkodik. De a középiskola valahogy elhitette velem, hogy nem tudom megcsinálni, igaz szerepet játszhatott, hogy az én figyelmem sem igazán az intelligens programozás felé irányult. De jött az egyetem és minden megváltozott.

Egy hirtelen jött ötlet, rá 2 hónapra az első működőképes prototípus. Már egy éve fejlesztem a rendszert és majdnem kész. Nem tud gondolkodni viszont a keresési algoritmusa...

Megfejelve az egyedülálló mondatértelmezéssel...

Mit jelent ez? Beírod neki: "Mit jelent a window?" Válaszként megkapod, hogy ablak. Vagy beírod: "Mikor indul busz Budapestről Debrecenbe?" Válaszként megkapod a megfelelő menetrendet.

A következőkben mindenki nyomon követheti a rendszer fejlesztésének befejező szakaszát. Videókat és képeket fogok feltölteni. A rendszerem címét nem árulom el.

Az első videót hamarosan feltöltöm.

Várom a rendszerrel kapcsolatos hozzászólásokat.