docWygeneruj PDF do wydruku
download 
Reklamacja Transkrypt
Wygeneruj PDF do wydruku
Subject: Squid a pamięć RAM Posted by kaju007 on Tue, 26 Feb 2008 09:00:34 GMT View Forum Message <> Reply to Message Witam Mam mały problem odpaliłem squida niedawno po trzech dniach prawie brak pamięci ram. Wrzuciłem sobie wersje squid-2.6.STABLE17 z takimi parametrami ./configure --prefix=/squid --enable-cache-digests --enable-dlmalloc --enable-removal-policies="heap,lru" --enable-linux-netfilter --enable-truncate --enable-useragent-log --enable-delay-pools --enable-default-err-language=Polish --enable-err-languages="Polish" squid.conf http_port 8080 transparent #httpd_accel_port 80 #httpd_accel_with_proxy on #httpd_accel_host virtual #httpd_accel_uses_host_header on hierarchy_stoplist cgi-bin ? acl QUERY urlpath_regex cgi-bin \? no_cache deny QUERY cache_dir ufs /cache 2048 16 256 cache_swap_low 90% cache_swap_high 95% cache_mem 40 MB maximum_object_size 61440 KB minimum_object_size 1 KB maximum_object_size_in_memory 50 KB ipcache_size 10240 ipcache_low 90 ipcache_high 95 Page 1 of 11 ---- Generated from Linuksowe by FUDforum 2.8.1 Linuksowo.pl - Linux forum - Polskie Forum fqdncache_size 10240 cache_replacement_policy heap LFUDA memory_replacement_policy heap GDSF #acl blok_reklam url_regex "/etc/squid/reklamy.acl refresh_pattern -i \.(gif|jpg|jpeg|png|html|bmp) 0 50% 7200 reload-into-ims refresh_pattern -i \.(zip|gz|bz2|exe|rar|mp3|mpg|avi|wmv|vqf|ogg) 43200 100% 43200 reload-into-ims refresh_pattern windowsupdate.com/.*\.(cab|exe|dll) 43200 100% 43200 reload-into-ims refresh_pattern download.microsoft.com/.*\.(cab|exe|dll) 43200 100% 43200 reload-into-ims refresh_pattern au.download.windowsupdate.com/.*\.(cab|exe|dll) 43200 100% 43200 reload-into-ims refresh_pattern symantecliveupdate.com/.*\.(zip|exe) 43200 100% 43200 reload-into-ims refresh_pattern windowsupdate.com/.*\.(cab|exe) 43200 100% 43200 reload-into-ims refresh_pattern download.microsoft.com/.*\.(cab|exe) 43200 100% 43200 reload-into-ims refresh_pattern avast.com/.*\.(vpu|vpaa) 43200 100% 43200 reload-into-ims refresh_pattern . 0 20% 4320 cache_access_log /cache/access.log cache_log /cache/cache.log cache_store_log /cache/store.log pid_filename /cache/squid.pid acl all src 0.0.0.0/0.0.0.0 acl manager proto cache_object acl localhost src 127.0.0.1/255.255.255.255 acl to_localhost dst 127.0.0.0/8 acl SSL_ports port 443 563 acl Safe_ports port 80 # http acl Safe_ports port 21 # ftp acl Safe_ports port 443 563 # https, snews acl Safe_ports port 1025-65535 # pozostałe porty acl CONNECT method CONNECT http_access allow manager localhost http_access deny manager http_access deny !Safe_ports http_access deny CONNECT !SSL_ports acl server src 192.168.0.1 http_access allow server acl our_networks src 192.168.0.1-192.168.0.250 http_access allow our_networks Page 2 of 11 ---- Generated from Linuksowe by FUDforum 2.8.1 Linuksowo.pl - Linux forum - Polskie Forum http_access deny all http_reply_access allow all icp_access allow all cache_effective_user squid cache_effective_group squid coredump_dir /cache ie_refresh on redirector_bypass on redirect_program /sbin/lms-squid dns_testnames serwer zph_tos_local 8 zph_tos_peer 0 zph_tos_parent off a tyle pamięci używa bez squida po paru dniach Chciał bym żeby ten squid śmigał u mnie bo jest różnica wielka ale nie będę resetował kompa co 2 czy 3 dzień Subject: Odp: Squid a pamięć RAM Posted by luck_skywalker on Tue, 26 Feb 2008 09:46:49 GMT View Forum Message <> Reply to Message Po pierwsze nie musisz kompa restartować wystarczy przy zmianie konfiguracji chyba: squid reload lub squid reconfigure Page 3 of 11 ---- Generated from Linuksowe by FUDforum 2.8.1 Linuksowo.pl - Linux forum - Polskie Forum W zależności od dystrybucji. Co do uzycia pamięci RAM podstawowy wzor na cache_mem cache_mem = (RAM - linux - apache - mysql - MTA - userzy - etc) / 3 Squid potrzebuje duzo miejsca na swój cache # Np 6GB cache # Liczba środkowa w parametrze cache_dir to liczba katalogów pierwszego poziomu. # Wyliczamy ją dzieląc miejsce przeznaczone na cache przez średnią wielkość obiektu, # a nastepnie wynik jeszcze raz dzielimy przez 32. Przykładowo: # Liczba katalogów pierwszego poziomu = (6144 / (16 * 32)) cache_dir ufs /usr/local/squid/var/cache 6144 12 256 Wywalamy logowanie squid cache_log /dev/null cache_store_log none Dopisz timeouty half_closed_clients off Obniż jeszcze: cache_swap_low 90% na np .65 - 70 % by wcześniej zrzucał cache na dysk. To na tyle . Przeładuj i zobacz na MRTG. Może sie to poprawiło. Najważniejsze w Squidzie to pamięć i duży cache. Ma on niestety zawsze niezły apetyt na te wielkości. Subject: Odp: SQUID A PAMI?? RAM Posted by kaju007 on Tue, 26 Feb 2008 10:47:38 GMT Page 4 of 11 ---- Generated from Linuksowe by FUDforum 2.8.1 Linuksowo.pl - Linux forum - Polskie Forum View Forum Message <> Reply to Message kiedy robie squid -k reload squid -k kill Nawet jak zabije proces to pomięć zmniejsza się o tyle ile jest zapisane w squid.conf w opcji cache_mem czyli 40MB a reszta zostaje, tak jak by nie czyścił pamięci. a co mam zrobić z tą obcją? cache_mem = (RAM - linux - apache - mysql - MTA - userzy - etc) / 3 jak wrócę z pracy to sprawdzę te parametry i zobaczymy jak będzie śmigać Administrator: Poprawione kodowanie Subject: Odp: Squid a pamięć RAM Posted by luck_skywalker on Tue, 26 Feb 2008 12:11:37 GMT View Forum Message <> Reply to Message Podam ci również po południu wartości. RAM - ogólna pamięć, linux - pamięć dla systemu, apache - pamięć dla serwera WWW + potomne, mysql - pamięć dla serwera baz MTA - pamięć dla serwera poczty, antywira i antyspama + potomne, userzy - RAM dla każdego użytkownika lokalnego, etc - pamięć dla pozostałych usług. Mam to w wersji papierowej, więc to może trochę potrwać. Osobiście nie skąpiłbym na RAM i dysku dla Squida. ps. Page 5 of 11 ---- Generated from Linuksowe by FUDforum 2.8.1 Linuksowo.pl - Linux forum - Polskie Forum Z rysunku wynika, że nie przekracza założonych przez ciebie 90% użycia pamięci. Ogólna zasada to duża ilość RAM - szybsze proxy, mała ilość pamięci przy szybkich duzych dyskach dyskach - wolniejsze (czas na odczyt z dysku) ale niezbyt częste odświeżanie cache (co jest niekiedy plusem, gdy pacjenci łącza sie z tymi samymi stronami). Pokaż przy okazji top dla squid. Subject: Odp: SQUID A PAMI?? RAM Posted by kaju007 on Tue, 26 Feb 2008 17:46:52 GMT View Forum Message <> Reply to Message Właśnie odpaliłem go z twoimi proponowanymi ustawieniami ale jak zaznaczę te logi to nie chce się uruchomić zobaczę jutro rano jakie efekty Administrator: Poprawione kodowanie Subject: Odp: SQUID A PAMI?? RAM Posted by luck_skywalker on Wed, 27 Feb 2008 05:09:00 GMT View Forum Message <> Reply to Message Ze strony wiki.squid.cache.org cytat Cytuj: As a rule of thumb on Squid uses approximately 10 MB of RAM per GB of the total of all cache_dirs (more on 64 bit servers such as Alpha), plus your cache_mem setting and about an additional 10-20MB. It is recommended to have at least twice this amount of physical RAM available on your Squid server. For a more detailed discussion on Squid's memory usage see the sections above. The recommended extra RAM besides what is used by Squid is used by the operating system to improve disk I/O performance and by other applications or services running on the server. This will be true even of a server which runs Squid as the only tcp service, since there is a minimum level of memory needed for process management, logging, and other OS level routines. If you have a low memory server, and a large disk, then you will not necessarily be able to use all the disk space, since as the cache fills the memory available will be insufficient, forcing Squid to Page 6 of 11 ---- Generated from Linuksowe by FUDforum 2.8.1 Linuksowo.pl - Linux forum - Polskie Forum swap out memory and affecting performance. A very large cache_dir total and insufficient physical RAM + Swap could cause Squid to stop functioning completely. The solution for larger caches is to get more physical RAM; allocating more to Squid via cache_mem will not help. Tamtego wzoru nie udało mi sie znaleźć :( Administrator: Poprawione kodowanie Subject: Odp: SQUID A PAMI?? RAM Posted by kaju007 on Thu, 28 Feb 2008 11:35:58 GMT View Forum Message <> Reply to Message tak wygląda do dzisiejszego dnia widać na rysunku że ok godz 16 uruchomiłem sarga to pamięć drastycznie wzrosła o ok 100mb ale po skończeniu nie zmalała ustawiłem cache_swap_low 55% a max na 65% Administrator: Poprawione kodowanie Subject: Odp: SQUID A PAMI?? RAM Posted by luck_skywalker on Thu, 28 Feb 2008 12:13:41 GMT View Forum Message <> Reply to Message Sarge czy squida? Napiszę tak : dla proxy najlepszą maszyną jest komputer z dużą ilością pamięci oraz z szybkimi dyskami (nie muszą być ogromne). Najlepiej by to był komputer nieobciążony dodatkowo jakimiś innymi "pamięciożernymi" procesami. Nie mówiąc juz o pracy lokalnej. Więc jeśli odpalasz Debiana w X-ach to reakcja jest prawidłowa. Page 7 of 11 ---- Generated from Linuksowe by FUDforum 2.8.1 Linuksowo.pl - Linux forum - Polskie Forum Ustawione masz czyszczenie na 12 godzin, a pokazujesz wycinek 16:00 - 12:30. Zobacz co się będzie działo po 16:00 . Myślę ,że nie wyłączyłeś. Jeśli tak to zmień wartości 4320 na mniejsze np na 1800 (30 minut - taka rozdziałka twojego wykresu) i przeladuj squida. Potem obserwuj co sie bedzie działo. Powinny pojawiać sie skoki w dol co 0,5 godziny. Na proxę wybitnie nie nadają się małowydajne maszyny. Administrator: Poprawione kodowanie Subject: Odp: SQUID A PAMI?? RAM Posted by kaju007 on Thu, 28 Feb 2008 15:51:09 GMT View Forum Message <> Reply to Message To jest slack 10 bez srodowiska graficznego ale pakiety niektóre z x sa zainstalowane chodzi mi o to że jak coś uruchomię jakiś program to po jego zakończeniu nie czyści pamięci zmieniłem wartość we wszystkich Refresh Rules na podaną 1800 zobaczymy jaki bedzie efekt dyski mam scsi 10k Administrator: Poprawione kodowanie Subject: Odp: SQUID A PAMI?? RAM Posted by lowca_s on Thu, 28 Feb 2008 17:00:54 GMT View Forum Message <> Reply to Message qrde, bedzie ktos tak dobry i wyjasni mi w jaki sposob z tych obrazkow wynika ze brakuje pamieci??? bo dla mnie to czarna magia jak to zostalo wyczytane a akurat tez walcze ze squidem wiec kazde info mile widziane zas co do niezwalniania pamieci po zakonczeniu programu, juz chyba na wszyskich forach bylo po kilanascie razy bylo walkowane ze linux tego nie robi dopuki nie zostanie odpalony kolejny program ktory jej potrzebuje Administrator: Poprawione kodowanie Page 8 of 11 ---- Generated from Linuksowe by FUDforum 2.8.1 Linuksowo.pl - Linux forum - Polskie Forum Subject: Odp: SQUID A PAMI?? RAM Posted by kaju007 on Thu, 28 Feb 2008 17:05:57 GMT View Forum Message <> Reply to Message lowca_s napisał(a) dnia Thu, 28 February 2008 06:00qrde, bedzie ktos tak dobry i wyjasni mi w jaki sposob z tych obrazkow wynika ze brakuje pamieci??? bo dla mnie to czarna magia jak to zostalo wyczytane a akurat tez walcze ze squidem wiec kazde info mile widziane nie wynika bo jak by wynikało to by była zwiecha juz tak mniałem Administrator: Poprawione kodowanie Subject: Odp: SQUID A PAMI?? RAM Posted by lowca_s on Thu, 28 Feb 2008 17:18:15 GMT View Forum Message <> Reply to Message heh nie rozumiem :) w pierwszym poscie piszesz "po trzech dniach prawie brak pamięci ram", jest screen z lstata, itd, w domysle wszyscy sie z Toba zgadzaja skoro probuja pomoc, a jak dla mnie ten obrazek wyglada calkowicie normalnie tak dziala linux ze zawsze "zezre" cala pamiec czy jej potrzebuje czy nie wiec sie pytam bo moze o czyms nie wiem Administrator: Poprawione kodowanie Subject: Odp: SQUID A PAMI?? RAM Posted by b00rt00s on Thu, 28 Feb 2008 17:18:26 GMT View Forum Message <> Reply to Message Ludzie... Miałem nie pisać w tym wątku, bo nie znam tego programu, ale z ciekawości zobaczyłem screenshoty i widzę, że wszytko jest w porządku. Na tych wykresach powinna was interesować tylko grubość niebieskiego pola, podpisanego w legendzie jako "programy". Jak dobrze popatrzycie, to ta grubość jest cały czas mniej-więcej taka sama, a zatem fizyczne zużycie ramu się nie zmienia. Pola zielone i żółte to cache i bufory, a te nie mają nic wspólnego z fizycznym zużyciem ramu. Administrator: Poprawione kodowanie Subject: Odp: SQUID A PAMI?? RAM Posted by kaju007 on Thu, 28 Feb 2008 17:59:09 GMT Page 9 of 11 ---- Generated from Linuksowe by FUDforum 2.8.1 Linuksowo.pl - Linux forum - Polskie Forum View Forum Message <> Reply to Message a niby TOP kłamie? top - 18:57:48 up 2 days, 16 min, 2 users, load average: 0.05, 0.08, 0.09 Tasks: 77 total, 3 running, 73 sleeping, 1 stopped, 0 zombie Cpu(s): 11.6% user, 4.0% system, 0.0% nice, 84.4% idle Mem: 904456k total, 873664k used, 30792k free, 200060k buffers Swap: 124952k total, 0k used, 124952k free, 514652k cached Przyciąłem nieco długość podanego log'a. Proszę nie wklejać długich i niepotrzebnych logów, bo to utrudnia przeglądanie forum - moderator. Administrator: Poprawione kodowanie Subject: Odp: SQUID A PAMI?? RAM Posted by b00rt00s on Thu, 28 Feb 2008 19:08:41 GMT View Forum Message <> Reply to Message kaju007 napisał(a) dnia Thu, 28 February 2008 06:59a niby TOP kłamie? Nie nie kłamie, mówi dokładnie to samo, co ten graficzny program. Od całkowitego zużycia ramu pokazywanemu przez top musisz odjąć cache i bufory i wtedy wyjdzie Ci faktyczne zużycie: 873664k used - 200060k buffers - 514652k cached = 158952K = 155,2MB Użyj komendy free -m, jest tam taka pozycja, która pokazuje zużycie po odjęciu buforów i cache. Administrator: Poprawione kodowanie Subject: Odp: SQUID A PAMI?? RAM Posted by kaju007 on Thu, 28 Feb 2008 20:43:24 GMT View Forum Message <> Reply to Message Nie znam się aż tak na pamięci bo jak nie miałem wcześniej squida to pamięć ciągle była na ok 100mb. Mi też w webminie pokazuje 169mb używanych ale ciągle myślałem że coś z nim jest sugerowałem się wykresami z lstata-trochę to wprowadza w błąd zobaczymy jutro lstat pokazuje wolne 7mb zobacze co się stanie rano. Page 10 of 11 ---- Generated from Linuksowe by FUDforum 2.8.1 Linuksowo.pl - Linux forum - Polskie Forum Administrator: Poprawione kodowanie Subject: Odp: SQUID A PAMI?? RAM Posted by b00rt00s on Thu, 28 Feb 2008 21:12:21 GMT View Forum Message <> Reply to Message Poczytaj to. Całkiem prosto wytłumaczony twój problem. Administrator: Poprawione kodowanie Page 11 of 11 ---- Generated from Linuksowe by FUDforum 2.8.1 Linuksowo.pl - Linux forum - Polskie Forum
