Ohlednuti po 2023
Tento rok dopadl uplne jinak, nez jsem si predstavoval a planoval. Moc veci nedopadlo dobre, jine veci zas naopak naprosto neocekavane.
Tento rok dopadl uplne jinak, nez jsem si predstavoval a planoval. Moc veci nedopadlo dobre, jine veci zas naopak naprosto neocekavane.
Ja a Crawler, to je taky dlouha story 😀 Prvni verzi svyho crawlera jsem mel nekdy v letech kolem roku 2012 v kombinaci PHP+MySQL .. o par mesicu pozdeji pak PHP+Cassandra … az nakonec jsem dosel k zaveru ze se na cely Crawler vykaslu a budu analyzovat CommonCrawl data … . . . Read more
Posledni dobou vyuzivam hodne ChatGPT jako junior programatora po ruce pro scripty ktery jsem liny psat … nicmene se hodi i jako docela dobry konzultant pro veci, ktere jsou slozitejsi a clovek si neni jisty jak je resit, nebo ze jdou vubec resit. Dneska jsem diky nemu sprovoznil vyhledavani v . . . Read more
Rok plny dvojek, rok, kdy doslo k mnoha zmenam, znatelnemu progresu a kdy se castecne vratil zivot po covidu do normalu.
Analyza dat je krasna prace. Clovek se tak nauci ruzne nastroje, ktere mu umoznuji shromazdovat a nasledne analyzovat obrovsky mnozstvi zaznamu. Ja trebas aktualne zpracovavam az 5 miliard dat denne. Neni to malo ? 🙂 Nicmene, muj zajem o data se tyka trafficu domen. Tzn prakticky by cela prace sla . . . Read more
Dneska jsem si jen tak ze zvedavosti vyjel, na cem ze vlastne provozuju parking a analytiku dat.
Posledni dobou se dostavam do stavu, kdy me uz nestaci vydefinovat sloupce v tabulce a nasazet tam hodnoty. Duvodu je mnoho, ale hlavni je predevsim ten, ze potrebuju k radkum prirazovat ruznorody hodnoty, podle nich pak hledat, pracovat – napriklad konfigurace v ramci nejaky aplikace. Zacal jsem se tedy zajimat . . . Read more
Ale jo … i přes tu situaci v naši zemi a ve světě obecně to byl docela dobrý rok 🙂
V ramci zpracovani zones files z CZDS do Elastic Search potrebuju nejak prevest i zonefile od .com do JSON pro import do ES. Problem je, ze zabaleny ma 4,5GB, rozbaleny pak neco okolo 23 GB.
Vcera jsem resil, ze se mi neskutecne hromadi data v Elastiku. Mam denni prijem novych dat okolo 250GB a to proste z dlouhodobeho hlediska je neunosny. Faktem zustava, ze ale nerad mazu stary data, protoze se vzdycky najde neco k cemu se hodilo je mit. Napad byl tedy jasny – . . . Read more