<div dir="ltr">Hi Stuart,<div><br></div><div>Thanks very much for the insightful report. While there are indeed many open() calls, they shouldn't be concurrent (unless you are using --fork, in which case you would only ever get as many as the number of forks you specify).</div><div><br></div><div>It's something we've been intending to look at doing anyway, as the fewer system calls there are, the better (assuming they can be replaced by module subroutines from the Perl core). We will take a look at doing this for the next release of VEP.</div><div><br></div><div>Regards</div><div><br></div><div>Will McLaren</div><div>Ensembl Variation</div><div><br></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On 7 March 2016 at 15:48, Stuart Watt <span dir="ltr"><<a href="mailto:morungos@gmail.com" target="_blank">morungos@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi all<br>
<br>
I’m seeing hefty peak memory use from VEP and it’s breaking some of my cluster jobs. I think one of the issues is that it can spin up many gzip processes temporarily, these showed clearly in top. This was something of a surprise to me, as all the code I could see used IO::Uncompress::* when it was available.<br>
<br>
However, I did eventually find that deserialize_from_file in the ensemble-variation API is probably where this is happening. Can I maybe suggest that an option for in-process Perl based deserialization is allowed? My guess is that not running this through piped open() calls will actually speed performance here?<br>
<br>
Am I on a sensible track with this?<br>
<br>
All the best<br>
Stuart<br>
_______________________________________________<br>
Dev mailing list    <a href="mailto:Dev@ensembl.org">Dev@ensembl.org</a><br>
Posting guidelines and subscribe/unsubscribe info: <a href="http://lists.ensembl.org/mailman/listinfo/dev" rel="noreferrer" target="_blank">http://lists.ensembl.org/mailman/listinfo/dev</a><br>
Ensembl Blog: <a href="http://www.ensembl.info/" rel="noreferrer" target="_blank">http://www.ensembl.info/</a><br>
</blockquote></div><br></div>