[so] [Tema4][Linux] Memcheck failed

Sat Apr 27 15:39:33 EEST 2019

Observ pe mașina virtuală că procesul de Valgrind consumă atât de mult și
durează vreo 15 secunde pe sistemul meu (i5). Nu observ un proces separat
pt executabil. Când rulez executabilul fără Valgrind, se termină prea
repede pentru a putea monitoriza consumul, dar Valgrind raportează 15xx
alocări împerecheate corect cu eliberările (xx variază de la rulare la
rulare). Consumul total de memorie a procesului în sine e raportat de
Valgrind ca fiind în jur de 200MB.

On Sat, Apr 27, 2019, 3:33 PM Mihai Barbulescu <b12mihai at gmail.com> wrote:

> Îmi poți spune și ce procese consuma atât? Monitorizează testele (binarul)
> tema ta și memcheck.
>
> Cu stimă,
> Mihai Bărbulescu
>
>
> -------- Original Message --------
> Subject: Re: [so] [Tema4][Linux] Memcheck failed
> From: Paul Olaru
> To: Mihai Barbulescu
> CC: Sisteme de Operare ,Rares Folea
>
>
> Revin. Făcând valgrind ./run_test 15 pe mașina virtuală de SO obțin mereu
> all heap blocks are freed și observ că se consumă tot RAM-ul (1.5GB) plus
> 200-300MB de swap (una din rulări s-a dus chiar la vreo 400MB de swap).
> Testul 19 urcă și el la vreo 700MB de consum dar e fine că în configurația
> originală avem 1GB de swap.
>
> On Sat, Apr 27, 2019, 3:20 PM Paul Olaru <olarupaulstelian97 at gmail.com>
> wrote:
>
>> O să încerc să cresc RAM-ul la 1.5GB (atâta plus swap ar trebui să fie
>> suficient). În timpul testului pe un alt tab chiar văd cum memoria liberă
>> scade (watch -n0.1 free -h), inclusiv swap-ul, până își ia kill, pe mașina
>> de SO și cu checkerul.
>>
>> Join-urile le dau după ce se termină tot. Ar trebui să le dau mai din
>> timp? Tema cu problema e de asemenea și pe VMchecker și pe git
>> (paul_stelian.olaru).
>>
>> On Sat, Apr 27, 2019, 3:17 PM Mihai Barbulescu <b12mihai at gmail.com>
>> wrote:
>>
>>> Salut,
>>>
>>> Testele "personale" si WSL-ul - am mai spus ca nu ma intereseaza.
>>> Singurul relevant e vm-ul de SO. Nu oferim suport si nu stam sa
>>> investigam pe alte tipuri de setup.
>>>
>>> Daca aloci mai multe resurse VM-ului de SO - mai apare acel OOM kill?
>>>
>>> De asemenea, fara sa ma uit pe tema ca nu am cum zilele astea: esti
>>> sigur ca astepti corect toate threadurile sau ca ti-ai facut
>>> sincronizarea cum trebuie? Am mai vazut filmul in care ruland de 3 ori
>>> consecutiv acel test sa pice. Incearca si un helgrind in VM-ul de SO
>>> pe testul cu round robin.
>>>
>>> On Sat, 27 Apr 2019 at 00:54, Paul Olaru <olarupaulstelian97 at gmail.com>
>>> wrote:
>>> >
>>> > Salut, testul de round robin îmi face și mie probleme. Pe VMchecker
>>> îmi pică, pe o mașină virtuală de Linux a mea primesc în mod consistent
>>> mesajul de Killed (și checkerul face fițe: îmi dă fail pe toate, dar rulând
>>> manual par să meargă toate celelalte) – out of memory în Valgrind. Pe
>>> mașina de SO îmi dau pass și același kill de la out of memory. Pe WSL, îmi
>>> dă pass și acesta dar Valgrind consumă peste 1.4GB de RAM când termină,
>>> ceea ce este peste resursele oferite atât de mașina mea custom cât și de
>>> cea de SO, ambele fiind setate la 512MB (și probabil depășește și
>>> capacitatea swap-ului?)
>>> >
>>> >
>>> >
>>> > Celelalte îmi trec și pe VMchecker.
>>> >
>>> >
>>> >
>>> > Sent from Mail for Windows 10
>>> >
>>> >
>>> >
>>> > From: Mihai Barbulescu via so
>>> > Sent: Wednesday, April 24, 2019 10:10 PM
>>> > To: Rares Folea
>>> > Cc: Sisteme de Operare
>>> > Subject: Re: [so] [Tema4][Linux] Memcheck failed
>>> >
>>> >
>>> >
>>> > Salut Rares,
>>> >
>>> >
>>> >
>>> > Tu ce comanda folosesti ca sa rulezi testele pe  Linux?
>>> >
>>> > Se foloseste comanda make -f Makefile.checker.
>>> >
>>> > Folosesti si ultima versiune de pe github [1] - e33f8600 ?
>>> >
>>> >
>>> >
>>> > Vedeti ca am facut un upgrade ca erau punctajele aiurea, tu esti
>>> >
>>> > singurul care a submis tema, ti-am facut eu resubmit la ea pe
>>> >
>>> > vmchecker acum ai 95 nu 90 cum afisa el aiurea.
>>> >
>>> >
>>> >
>>> > Faceti git pull si de pe:
>>> https://github.com/systems-cs-pub-ro/so-assignments
>>> >
>>> > versiunea noua ar trebui sa fie: 2126edd
>>> >
>>> >
>>> >
>>> > In rest am verificat testele si sunt consistente github vs. vmchecker
>>> >
>>> > - deci nu inteleg cum la tine sunt numerotate aiurea.
>>> >
>>> >
>>> >
>>> > [1]
>>> https://github.com/systems-cs-pub-ro/so-assignments/commit/e33f86007baf2e2a25e6827b94613c62ec298250
>>> >
>>> >
>>> >
>>> > On Wed, 24 Apr 2019 at 20:29, Mihai Barbulescu <b12mihai at gmail.com>
>>> wrote:
>>> >
>>> > >
>>> >
>>> > > Salut.
>>> >
>>> > >
>>> >
>>> > > Mulțumesc ca ai semnalat. E posibil sa fie o inconsistenta între
>>> github și vmchecker trebuie sa o verific.
>>> >
>>> > >
>>> >
>>> > > Cu stimă,
>>> >
>>> > > Mihai Bărbulescu
>>> >
>>> > >
>>> >
>>> > >
>>> >
>>> > > -------- Original Message --------
>>> >
>>> > > Subject: Re: [so] [Tema4][Linux] Memcheck failed
>>> >
>>> > > From: Rares Folea
>>> >
>>> > > To: Mihai Barbulescu
>>> >
>>> > > CC: Sisteme de Operare
>>> >
>>> > >
>>> >
>>> > >
>>> >
>>> > > Salut Mihai,
>>> >
>>> > >
>>> >
>>> > > Testul 16) din setul de teste locale se refera la “Test Round
>>> Robin”, dar pe vmchecker, acest test are indentificatorul 15).
>>> >
>>> > > Referitor la modul de rulare, pe masina virtuala de linux rulam
>>> testul 16 astfel:
>>> >
>>> > >
>>> >
>>> > > LD_LIBRARY_PATH=. valgrind --tool=memcheck ./_test/run_test 16
>>> >
>>> > >
>>> >
>>> > > Outputul valgrind-ului este:
>>> >
>>> > > ==16733== Memcheck, a memory error detector
>>> >
>>> > > ==16733== Copyright (C) 2002-2017, and GNU GPL'd, by Julian Seward
>>> et al.
>>> >
>>> > > ==16733== Using Valgrind-3.15.0.GIT and LibVEX; rerun with -h for
>>> copyright info
>>> >
>>> > > ==16733== Command: ./_test/run_test 16
>>> >
>>> > > ==16733==
>>> >
>>> > > Killed
>>> >
>>> > >
>>> >
>>> > > Logurile de sistem ce apar indica:
>>> >
>>> > > Apr 24 20:09:14 vagrant kernel: [118109.973987] Out of memory: Kill
>>> process 16733 (memcheck-amd64-) score 863 or sacrifice child
>>> >
>>> > > Apr 24 20:09:14 vagrant kernel: [118109.976517] Killed process 16733
>>> (memcheck-amd64-) total-vm:4716800kB, anon-rss:302812kB, file-rss:0kB,
>>> shmem-rss:0kB
>>> >
>>> > > Apr 24 20:09:14 vagrant kernel: [118110.013082] oom_reaper: reaped
>>> process 16733 (memcheck-amd64-), now anon-rss:0kB, file-rss:0kB,
>>> shmem-rss:0k
>>> >
>>> > >
>>> >
>>> > > Acest comportament se manifesta doar pe masina virtuala care ruleaza
>>> pe calculatorul meu, doar pe testul 16. (celelalte teste nu dau erori la
>>> verificarea cu valgrind).
>>> >
>>> > >
>>> >
>>> > >
>>> >
>>> > >
>>> >
>>> > >
>>> >
>>> > > Dar pe vmchecker trec toate testele de memcheck. :)
>>> >
>>> > > Multumesc,
>>> >
>>> > > Rares
>>> >
>>> > >
>>> >
>>> > >
>>> >
>>> > >
>>> >
>>> > >
>>> >
>>> > > On 24 Apr 2019, at 14:30, Mihai Barbulescu <b12mihai at gmail.com>
>>> wrote:
>>> >
>>> > >
>>> >
>>> > > Salut Rares,
>>> >
>>> > >
>>> >
>>> > > Sunt mai multe chestii pe care nu le inteleg:
>>> >
>>> > >
>>> >
>>> > > 1. Cum adica test 16 (15 pe vm)? Ele au un identificator clar, deci
>>> nu
>>> >
>>> > > inteleg ce test pica
>>> >
>>> > > 2. OOM manager din Linux da kill atunci cand se fac alocari (page
>>> >
>>> > > faults) excesive peste o limita setata daca imi amintesc bine de
>>> >
>>> > > ulimit. Eroarea pare una de vagrant, deci e posibil sa fi pornit
>>> >
>>> > > folosind vagrant masina si sa ti se fi dat kill la vagrant.
>>> >
>>> > >
>>> >
>>> > > Ne dai atat de putine detalii despre cum rulezi incat nu putem face
>>> >
>>> > > altceva decat sa speculam mai ceva ca la bursa.
>>> >
>>> > >
>>> >
>>> > > On Wed, 24 Apr 2019 at 10:16, Rares Folea via so <
>>> so at cursuri.cs.pub.ro> wrote:
>>> >
>>> > >
>>> >
>>> > >
>>> >
>>> > > Multumesc de hint.
>>> >
>>> > > Intradevar, problema era ca nu asteptam in toate scenariile, dupa
>>> toate threadurile.
>>> >
>>> > >
>>> >
>>> > > Acum vad ca trec toate testele de memorie pe vmchecker.
>>> >
>>> > >
>>> >
>>> > >
>>> >
>>> > > Doar pe masina virtuala, cand rulez valgrind peste acel test 16 (15
>>> pe vm), logurile de sistem indica out-of-memory:
>>> >
>>> > > Apr 24 10:11:14 vagrant kernel: [109075.123564] Out of memory: Kill
>>> process 11250 (memcheck-amd64-) score 866 or sacrifice child
>>> >
>>> > > Apr 24 10:11:14 vagrant kernel: [109075.124387] Killed process 11250
>>> (memcheck-amd64-) total-vm:4736696kB, anon-rss:309400kB, file-rss:0kB,
>>> shmem-rss:0kB
>>> >
>>> > > Apr 24 10:11:14 vagrant kernel: [109075.153180] oom_reaper: reaped
>>> process 11250 (memcheck-amd64-), now anon-rss:0kB, file-rss:0kB,
>>> shmem-rss:0kB
>>> >
>>> > >
>>> >
>>> > >
>>> >
>>> > > On 23 Apr 2019, at 22:27, Razvan Crainea <razvan.crainea at gmail.com>
>>> wrote:
>>> >
>>> > >
>>> >
>>> > > Salut, Rareș!
>>> >
>>> > >
>>> >
>>> > > Cel mai probabil nu aștepți toate thread-urile, de acolo apare
>>> leak-ul.
>>> >
>>> > > Legat de faptul că că procesul este omorât, poți verifica log-urile
>>> de
>>> >
>>> > > sistem să te asiguri că nu este un crash?
>>> >
>>> > >
>>> >
>>> > > Numai bine,
>>> >
>>> > > Răzvan
>>> >
>>> > >
>>> >
>>> > > On Tue, Apr 23, 2019 at 9:10 PM Rares Folea via so <
>>> so at cursuri.cs.pub.ro> wrote:
>>> >
>>> > >
>>> >
>>> > >
>>> >
>>> > > Buna seara!
>>> >
>>> > >
>>> >
>>> > > Ma confrunt cu urmatoarele probleme referitoare la testele de
>>> memorie:
>>> >
>>> > >
>>> >
>>> > > La rularea pe masina virtuala cu valgrind a testelor 15 si 19 (14 si
>>> 18 pe vmchecker), obtin 2 erori similare:
>>> >
>>> > >
>>> >
>>> > > ==4684== 288 bytes in 1 blocks are possibly lost in loss record 2 of
>>> 2
>>> >
>>> > > ==4684==    at 0x4C3204A: calloc (vg_replace_malloc.c:762)
>>> >
>>> > > ==4684==    by 0x40134A6: allocate_dtv (dl-tls.c:286)
>>> >
>>> > > ==4684==    by 0x40134A6: _dl_allocate_tls (dl-tls.c:530)
>>> >
>>> > > ==4684==    by 0x5049227: allocate_stack (allocatestack.c:627)
>>> >
>>> > > ==4684==    by 0x5049227: pthread_create@@GLIBC_2.2.5
>>> (pthread_create.c:644)
>>> >
>>> > > ==4684==    by 0x4E3E65B: so_fork (in
>>> /home/student/l3-so-assignments/4-scheduler/checker-lin/libscheduler.so)
>>> >
>>> > > ==4684==    by 0x10ABDE: test_sched_handler_15 (test_exec.c:282)
>>> >
>>> > > ==4684==    by 0x4E3E47E: start_thread (in
>>> /home/student/l3-so-assignments/4-scheduler/checker-lin/libscheduler.so)
>>> >
>>> > > ==4684==    by 0x50486DA: start_thread (pthread_create.c:463)
>>> >
>>> > > ==4684==    by 0x538188E: clone (clone.S:95)
>>> >
>>> > >
>>> >
>>> > > ==4684==      possibly lost: 576 bytes in 2 blocks
>>> >
>>> > >
>>> >
>>> > > ==4684== ERROR SUMMARY: 2 errors from 2 contexts (suppressed: 0 from
>>> 0)
>>> >
>>> > >
>>> >
>>> > > Nu reusesc sa-mi dau seama de la ce ar putea fi cele doua erori si
>>> de ce se manifesta doar la aceste doua teste.
>>> >
>>> > > Mentionez ca astept terminarea thread-urilor cu pthread_join, care
>>> ar trebui sa efectueze eliberarea resurselor din structura pthread_t.
>>> >
>>> > > In plus, la testul 16 (15 vmchecker), se pare ca valgrind ocupa mult
>>> prea multa memorie locala, iar ca urmare este omorat.
>>> >
>>> > >
>>> >
>>> > > student at vagrant:~/l3-so-assignments/4-scheduler/checker-lin$
>>> LD_LIBRARY_PATH=. valgrind --tool=memcheck --track-origins=yes
>>> --leak-check=full _test/run_test 16
>>> >
>>> > > ==4693== Memcheck, a memory error detector
>>> >
>>> > > ==4693== Copyright (C) 2002-2017, and GNU GPL'd, by Julian Seward et
>>> al.
>>> >
>>> > > ==4693== Using Valgrind-3.15.0.GIT and LibVEX; rerun with -h for
>>> copyright info
>>> >
>>> > > ==4693== Command: _test/run_test 16
>>> >
>>> > > ==4693==
>>> >
>>> > > Killed
>>> >
>>> > >
>>> >
>>> > >
>>> >
>>> > > Multumesc
>>> >
>>> > > _______________________________________________
>>> >
>>> > > http://ocw.cs.pub.ro/courses/so/info/lista-discutii
>>> >
>>> > >
>>> >
>>> > >
>>> >
>>> > >
>>> >
>>> > >
>>> >
>>> > > --
>>> >
>>> > > Răzvan Crainea
>>> >
>>> > >
>>> >
>>> > >
>>> >
>>> > > _______________________________________________
>>> >
>>> > > http://ocw.cs.pub.ro/courses/so/info/lista-discutii
>>> >
>>> > >
>>> >
>>> > >
>>> >
>>> > >
>>> >
>>> > >
>>> >
>>> > > --
>>> >
>>> > > Cu stimă,
>>> >
>>> > > Mihai Bărbulescu
>>> >
>>> > >
>>> >
>>> > >
>>> >
>>> >
>>> >
>>> >
>>> >
>>> > --
>>> >
>>> > Cu stimă,
>>> >
>>> > Mihai Bărbulescu
>>> >
>>> > _______________________________________________
>>> >
>>> > http://ocw.cs.pub.ro/courses/so/info/lista-discutii
>>> >
>>> >
>>>
>>>
>>>
>>> --
>>> Cu stimă,
>>> Mihai Bărbulescu
>>>
>>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://cursuri.cs.pub.ro/pipermail/so/attachments/20190427/55df919d/attachment-0001.html>