Hi,<br /><br />On Jun 6, 2009 3:11pm, Chris Colbert <sccolbert@gmail.com> wrote:<br />> it definately found your threaded atlas libraries. How do you know<br />> <br />> it's numpy is using lapack_lite?<br /><br />I don't, actually.  But it is importing it.  With python -v, this is the error I get if I don't set LD_LIBRARY_PATH to my scipy_build directory<br /><br /><br />import numpy.linalg.linalg # precompiled from /data10/users/rich/usr/galois/lib64/python/numpy/linalg/linalg.pyc<br />dlopen("/data10/users/rich/usr/galois/lib64/python/numpy/linalg/lapack_lite.so", 2);<br />Traceback (most recent call last):<br />  File "<stdin>", line 1, in <module><br />  File "/data10/users/rich/usr/galois//lib64/python/numpy/__init__.py", line 130, in <module><br />    import add_newdocs<br />  File "/data10/users/rich/usr/galois//lib64/python/numpy/add_newdocs.py", line 9, in <module><br />    from lib import add_newdoc<br />  File "/data10/users/rich/usr/galois//lib64/python/numpy/lib/__init__.py", line 13, in <module><br />    from polynomial import *<br />  File "/data10/users/rich/usr/galois//lib64/python/numpy/lib/polynomial.py", line 18, in <module><br />    from numpy.linalg import eigvals, lstsq<br />  File "/data10/users/rich/usr/galois//lib64/python/numpy/linalg/__init__.py", line 47, in <module><br />    from linalg import *<br />  File "/data10/users/rich/usr/galois//lib64/python/numpy/linalg/linalg.py", line 22, in <module><br />    from numpy.linalg import lapack_lite<br />ImportError: liblapack.so: cannot open shared object file: No such file or directory<br />>>><br /><br /><br />Here blas_opt_info seems to be missing ATLAS version.<br /><br />>>> numpy.show_config()<br />atlas_threads_info:<br />    libraries = ['lapack', 'lapack', 'f77blas', 'cblas', 'atlas']<br />    library_dirs = ['/usr/local/rich/src/scipy_build/lib']<br />    language = f77<br /><br />blas_opt_info:<br />    libraries = ['lapack', 'f77blas', 'cblas', 'atlas']<br />    library_dirs = ['/usr/local/rich/src/scipy_build/lib']<br />    define_macros = [('NO_ATLAS_INFO', 2)]<br />    language = c<br /><br />atlas_blas_threads_info:<br />    libraries = ['lapack', 'f77blas', 'cblas', 'atlas']<br />    library_dirs = ['/usr/local/rich/src/scipy_build/lib']<br />    language = c<br /><br />lapack_opt_info:<br />    libraries = ['lapack', 'lapack', 'f77blas', 'cblas', 'atlas']<br />    library_dirs = ['/usr/local/rich/src/scipy_build/lib']<br />    define_macros = [('NO_ATLAS_INFO', 2)]<br />    language = f77<br /><br />lapack_mkl_info:<br />  NOT AVAILABLE<br /><br />blas_mkl_info:<br />  NOT AVAILABLE<br /><br />mkl_info:<br />  NOT AVAILABLE<br /><br /><br />> <br />> <br />> <br />> when I do:<br />> <br />> <br />> <br />> python<br />> <br />> >>import numpy<br />> <br />> >>numpy.show_config()<br />> <br />> atlas_threads_info:<br />> <br />>     libraries = ['lapack', 'ptf77blas', 'ptcblas', 'atlas']<br />> <br />>     library_dirs = ['/usr/local/lib']<br />> <br />>     language = f77<br />> <br />> <br />> <br />> blas_opt_info:<br />> <br />>     libraries = ['ptf77blas', 'ptcblas', 'atlas']<br />> <br />>     library_dirs = ['/usr/local/lib']<br />> <br />>     define_macros = [('ATLAS_INFO', '"\\"3.8.3\\""')]<br />> <br />>     language = c<br />> <br />> <br />> <br />> atlas_blas_threads_info:<br />> <br />>     libraries = ['ptf77blas', 'ptcblas', 'atlas']<br />> <br />>     library_dirs = ['/usr/local/lib']<br />> <br />>     language = c<br />> <br />> <br />> <br />> lapack_opt_info:<br />> <br />>     libraries = ['lapack', 'ptf77blas', 'ptcblas', 'atlas']<br />> <br />>     library_dirs = ['/usr/local/lib']<br />> <br />>     define_macros = [('NO_ATLAS_INFO', 2)]<br />> <br />>     language = f77<br />> <br />> <br />> <br />> lapack_mkl_info:<br />> <br />>   NOT AVAILABLE<br />> <br />> <br />> <br />> blas_mkl_info:<br />> <br />>   NOT AVAILABLE<br />> <br />> <br />> <br />> mkl_info:<br />> <br />>   NOT AVAILABLE<br />> <br />> <br />> <br />> <br />> <br />> also try:<br />> <br />> >>> a = numpy.random.randn(6000, 6000)<br />> <br />> >>> numpy.dot(a,a)<br />> <br />> <br />> <br />> and make sure all your cpu cores peg at 100%<br />> <br />> <br />> <br /><br />Unfortunately only one cpu.  What does that mean?  Threaded libraries not used?<br /><br />from top:<br /><br />Cpu0  :100.0%us,  0.0%sy,  0.0%ni,  0.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st<br />Cpu1  :  0.0%us,  0.2%sy,  0.0%ni, 99.4%id,  0.0%wa,  0.2%hi,  0.2%si,  0.0%st<br />Cpu2  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st<br />Cpu3  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st<br /><br />Thanks much for the help.<br /><br />Rich<br /><br />> <br />> <br />> On Sat, Jun 6, 2009 at 3:35 PM, llewelr@gmail.com> wrote:<br />> <br />> > Oops. Thanks, that makes more sense:<br />> <br />> ><br />> <br />> > http://pastebin.com/m7067709b<br />> <br />> ><br />> <br />> > On Jun 6, 2009 12:15pm, Chris Colbert sccolbert@gmail.com> wrote:<br />> <br />> >> i need the full link to pastebin.com in order to view your post.<br />> <br />> >><br />> <br />> >><br />> <br />> >><br />> <br />> >> It will be something like http://pastebin.com/m6b09f05c<br />> <br />> >><br />> <br />> >><br />> <br />> >><br />> <br />> >><br />> <br />> >><br />> <br />> >> chris<br />> <br />> >><br />> <br />> >><br />> <br />> >><br />> <br />> >><br />> <br />> >><br />> <br />> >> On Sat, Jun 6, 2009 at 2:32 PM, Richard Llewellynllewelr@gmail.com> wrote:<br />> <br />> >><br />> <br />> >> > I posted the setup.py build output to pastebin.com, though missed the<br />> <br />> >><br />> <br />> >> > uninteresting stderr (forgot tcsh command to redirect both).<br />> <br />> >><br />> <br />> >> > Also, used setup.py build --fcompiler=gnu95.<br />> <br />> >><br />> <br />> >> ><br />> <br />> >><br />> <br />> >> ><br />> <br />> >><br />> <br />> >> > To be clear, I am not certain that my ATLAS libraries are not found. But<br />> <br />> >><br />> <br />> >> > during the build starting at line 95 (pastebin.com) I see a compilation<br />> <br />> >><br />> <br />> >> > failure, and then NO_ATLAS_INFO, 2.<br />> <br />> >><br />> <br />> >> ><br />> <br />> >><br />> <br />> >> > I don't think I can use ldconfig without root, but have set<br />> <br />> >> > LD_LIBRARY_PATH<br />> <br />> >><br />> <br />> >> > to point to the scipy_build/lib until I put them somewhere else.<br />> <br />> >><br />> <br />> >> ><br />> <br />> >><br />> <br />> >> > importing numpy works, though lapack_lite is also imported. I wonder if<br />> <br />> >> > this<br />> <br />> >><br />> <br />> >> > is normal even if my ATLAS was used.<br />> <br />> >><br />> <br />> >> ><br />> <br />> >><br />> <br />> >> > Thanks,<br />> <br />> >><br />> <br />> >> > Rich<br />> <br />> >><br />> <br />> >> ><br />> <br />> >><br />> <br />> >> > On Sat, Jun 6, 2009 at 10:46 AM, Chris Colbert sccolbert@gmail.com><br />> <br />> >> > wrote:<br />> <br />> >><br />> <br />> >> >><br />> <br />> >><br />> <br />> >> >> and where exactly are you seeing atlas not found? during the build<br />> <br />> >><br />> <br />> >> >> process, are when import numpy in python?<br />> <br />> >><br />> <br />> >> >><br />> <br />> >><br />> <br />> >> >> if its the latter, you need to add a .conf file  in /etc/ld.so.conf.d/<br />> <br />> >><br />> <br />> >> >>  with the line /usr/local/rich/src/scipy_build/lib  and then run  sudo<br />> <br />> >><br />> <br />> >> >> ldconfig<br />> <br />> >><br />> <br />> >> >><br />> <br />> >><br />> <br />> >> >> Chris<br />> <br />> >><br />> <br />> >> >><br />> <br />> >><br />> <br />> >> >><br />> <br />> >><br />> <br />> >> >> On Sat, Jun 6, 2009 at 1:42 PM, Chris Colbertsccolbert@gmail.com><br />> <br />> >> >> wrote:<br />> <br />> >><br />> <br />> >> >> > can you run this and post the build.log to pastebin.com:<br />> <br />> >><br />> <br />> >> >> ><br />> <br />> >><br />> <br />> >> >> > assuming your numpy build directory is /home/numpy-1.3.0:<br />> <br />> >><br />> <br />> >> >> ><br />> <br />> >><br />> <br />> >> >> > cd /home/numpy-1.3.0<br />> <br />> >><br />> <br />> >> >> > rm -rf build<br />> <br />> >><br />> <br />> >> >> > python setup.py build &&> build.log<br />> <br />> >><br />> <br />> >> >> ><br />> <br />> >><br />> <br />> >> >> ><br />> <br />> >><br />> <br />> >> >> > Chris<br />> <br />> >><br />> <br />> >> >> ><br />> <br />> >><br />> <br />> >> >> ><br />> <br />> >><br />> <br />> >> >> > On Sat, Jun 6, 2009 at 1:37 PM, Richard Llewellynllewelr@gmail.com><br />> <br />> >><br />> <br />> >> >> > wrote:<br />> <br />> >><br />> <br />> >> >> >> Hi Chris,<br />> <br />> >><br />> <br />> >> >> >>  thanks much for posting those installation instructions.  Seems<br />> <br />> >><br />> <br />> >> >> >> similar to<br />> <br />> >><br />> <br />> >> >> >> what I pieced together.<br />> <br />> >><br />> <br />> >> >> >><br />> <br />> >><br />> <br />> >> >> >> I gather ATLAS not found.  Oops, drank that beer too early.<br />> <br />> >><br />> <br />> >> >> >><br />> <br />> >><br />> <br />> >> >> >> I copied Atlas libs to /usr/local/rich/src/scipy_build/lib.<br />> <br />> >><br />> <br />> >> >> >><br />> <br />> >><br />> <br />> >> >> >> This is my site.cfg.  Out of desperation I tried search_static_first<br />> <br />> >> >> >> =<br />> <br />> >><br />> <br />> >> >> >> 1,<br />> <br />> >><br />> <br />> >> >> >> but probably of no use.<br />> <br />> >><br />> <br />> >> >> >><br />> <br />> >><br />> <br />> >> >> >> [DEFAULT]<br />> <br />> >><br />> <br />> >> >> >> library_dirs =<br />> <br />> >> >> >> /usr/local/rich/src/scipy_build/lib:$HOME/usr/galois/lib<br />> <br />> >><br />> <br />> >> >> >> include_dirs =<br />> <br />> >><br />> <br />> >> >> >> /usr/local/rich/src/scipy_build/lib/include:$HOME/usr/galois/include<br />> <br />> >><br />> <br />> >> >> >> search_static_first = 1<br />> <br />> >><br />> <br />> >> >> >><br />> <br />> >><br />> <br />> >> >> >> [blas_opt]<br />> <br />> >><br />> <br />> >> >> >> libraries = f77blas, cblas, atlas<br />> <br />> >><br />> <br />> >> >> >><br />> <br />> >><br />> <br />> >> >> >> [lapack_opt]<br />> <br />> >><br />> <br />> >> >> >> libraries = lapack, f77blas, cblas, atlas<br />> <br />> >><br />> <br />> >> >> >><br />> <br />> >><br />> <br />> >> >> >> [amd]<br />> <br />> >><br />> <br />> >> >> >> amd_libs = amd<br />> <br />> >><br />> <br />> >> >> >><br />> <br />> >><br />> <br />> >> >> >> [umfpack]<br />> <br />> >><br />> <br />> >> >> >> umfpack_libs = umfpack, gfortran<br />> <br />> >><br />> <br />> >> >> >><br />> <br />> >><br />> <br />> >> >> >> [fftw]<br />> <br />> >><br />> <br />> >> >> >> libraries = fftw3<br />> <br />> >><br />> <br />> >> >> >><br />> <br />> >><br />> <br />> >> >> >><br />> <br />> >><br />> <br />> >> >> >> Rich<br />> <br />> >><br />> <br />> >> >> >><br />> <br />> >><br />> <br />> >> >> >><br />> <br />> >><br />> <br />> >> >> >><br />> <br />> >><br />> <br />> >> >> >><br />> <br />> >><br />> <br />> >> >> >> On Sat, Jun 6, 2009 at 10:25 AM, Chris Colbert sccolbert@gmail.com><br />> <br />> >><br />> <br />> >> >> >> wrote:<br />> <br />> >><br />> <br />> >> >> >>><br />> <br />> >><br />> <br />> >> >> >>> when you build numpy, did you use site.cfg to tell it where to find<br />> <br />> >><br />> <br />> >> >> >>> your atlas libs?<br />> <br />> >><br />> <br />> >> >> >>><br />> <br />> >><br />> <br />> >> >> >>> On Sat, Jun 6, 2009 at 1:02 PM, Richard Llewellynllewelr@gmail.com><br />> <br />> >><br />> <br />> >> >> >>> wrote:<br />> <br />> >><br />> <br />> >> >> >>> > Hello,<br />> <br />> >><br />> <br />> >> >> >>> ><br />> <br />> >><br />> <br />> >> >> >>> > I've managed a build of lapack and atlas on Fedora 10 on a quad<br />> <br />> >><br />> <br />> >> >> >>> > core,<br />> <br />> >><br />> <br />> >> >> >>> > 64,<br />> <br />> >><br />> <br />> >> >> >>> > and now (...) have a numpy I can import that runs tests ok. :]<br />> <br />> >> >> >>> > I<br />> <br />> >><br />> <br />> >> >> >>> > am<br />> <br />> >><br />> <br />> >> >> >>> > puzzled, however, that numpy builds and imports lapack_lite.<br />> <br />> >> >> >>> > Does<br />> <br />> >><br />> <br />> >> >> >>> > this<br />> <br />> >><br />> <br />> >> >> >>> > mean<br />> <br />> >><br />> <br />> >> >> >>> > I have a problem with the build(s)?<br />> <br />> >><br />> <br />> >> >> >>> > Upon building numpy, I see the troubling output:<br />> <br />> >><br />> <br />> >> >> >>> ><br />> <br />> >><br />> <br />> >> >> >>> > ########################<br />> <br />> >><br />> <br />> >> >> >>> ><br />> <br />> >><br />> <br />> >> >> >>> > C compiler: gcc -pthread -fno-strict-aliasing -DNDEBUG -O2 -g<br />> <br />> >> >> >>> > -pipe<br />> <br />> >><br />> <br />> >> >> >>> > -Wall<br />> <br />> >><br />> <br />> >> >> >>> > -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protecto<br />> <br />> >><br />> <br />> >> >> >>> > r --param=ssp-buffer-size=4 -m64 -mtune=generic -D_GNU_SOURCE<br />> <br />> >> >> >>> > -fPIC<br />> <br />> >><br />> <br />> >> >> >>> > -fPIC<br />> <br />> >><br />> <br />> >> >> >>> ><br />> <br />> >><br />> <br />> >> >> >>> > compile options: '-c'<br />> <br />> >><br />> <br />> >> >> >>> > gcc: _configtest.c<br />> <br />> >><br />> <br />> >> >> >>> > gcc -pthread _configtest.o -L/usr/local/rich/src/scipy_build/lib<br />> <br />> >><br />> <br />> >> >> >>> > -llapack<br />> <br />> >><br />> <br />> >> >> >>> > -lptf77blas -lptcblas -latlas -o _configtest<br />> <br />> >><br />> <br />> >> >> >>> > /usr/bin/ld: _configtest: hidden symbol `__powidf2' in<br />> <br />> >><br />> <br />> >> >> >>> > /usr/lib/gcc/x86_64-redhat-linux/4.3.2/libgcc.a(_powidf2.o) is<br />> <br />> >><br />> <br />> >> >> >>> > reference<br />> <br />> >><br />> <br />> >> >> >>> > d by DSO<br />> <br />> >><br />> <br />> >> >> >>> > /usr/bin/ld: final link failed: Nonrepresentable section on<br />> <br />> >> >> >>> > output<br />> <br />> >><br />> <br />> >> >> >>> > collect2: ld returned 1 exit status<br />> <br />> >><br />> <br />> >> >> >>> > /usr/bin/ld: _configtest: hidden symbol `__powidf2' in<br />> <br />> >><br />> <br />> >> >> >>> > /usr/lib/gcc/x86_64-redhat-linux/4.3.2/libgcc.a(_powidf2.o) is<br />> <br />> >><br />> <br />> >> >> >>> > reference<br />> <br />> >><br />> <br />> >> >> >>> > d by DSO<br />> <br />> >><br />> <br />> >> >> >>> > /usr/bin/ld: final link failed: Nonrepresentable section on<br />> <br />> >> >> >>> > output<br />> <br />> >><br />> <br />> >> >> >>> > collect2: ld returned 1 exit status<br />> <br />> >><br />> <br />> >> >> >>> > failure.<br />> <br />> >><br />> <br />> >> >> >>> > removing: _configtest.c _configtest.o<br />> <br />> >><br />> <br />> >> >> >>> > Status: 255<br />> <br />> >><br />> <br />> >> >> >>> > Output:<br />> <br />> >><br />> <br />> >> >> >>> >   FOUND:<br />> <br />> >><br />> <br />> >> >> >>> >     libraries = ['lapack', 'ptf77blas', 'ptcblas', 'atlas']<br />> <br />> >><br />> <br />> >> >> >>> >     library_dirs = ['/usr/local/rich/src/scipy_build/lib']<br />> <br />> >><br />> <br />> >> >> >>> >     language = f77<br />> <br />> >><br />> <br />> >> >> >>> >     define_macros = [('NO_ATLAS_INFO', 2)]<br />> <br />> >><br />> <br />> >> >> >>> ><br />> <br />> >><br />> <br />> >> >> >>> > ##########################<br />> <br />> >><br />> <br />> >> >> >>> ><br />> <br />> >><br />> <br />> >> >> >>> > I don't have root on this machine, but could pester admins for<br />> <br />> >><br />> <br />> >> >> >>> > eventual<br />> <br />> >><br />> <br />> >> >> >>> > temporary access.<br />> <br />> >><br />> <br />> >> >> >>> ><br />> <br />> >><br />> <br />> >> >> >>> > Thanks much for any help,<br />> <br />> >><br />> <br />> >> >> >>> > Rich<br />> <br />> >><br />> <br />> >> >> >>> ><br />> <br />> >><br />> <br />> >> >> >>> > _______________________________________________<br />> <br />> >><br />> <br />> >> >> >>> > Numpy-discussion mailing list<br />> <br />> >><br />> <br />> >> >> >>> > Numpy-discussion@scipy.org<br />> <br />> >><br />> <br />> >> >> >>> > http://mail.scipy.org/mailman/listinfo/numpy-discussion<br />> <br />> >><br />> <br />> >> >> >>> ><br />> <br />> >><br />> <br />> >> >> >>> ><br />> <br />> >><br />> <br />> >> >> >>> _______________________________________________<br />> <br />> >><br />> <br />> >> >> >>> Numpy-discussion mailing list<br />> <br />> >><br />> <br />> >> >> >>> Numpy-discussion@scipy.org<br />> <br />> >><br />> <br />> >> >> >>> http://mail.scipy.org/mailman/listinfo/numpy-discussion<br />> <br />> >><br />> <br />> >> >> >><br />> <br />> >><br />> <br />> >> >> >><br />> <br />> >><br />> <br />> >> >> >> _______________________________________________<br />> <br />> >><br />> <br />> >> >> >> Numpy-discussion mailing list<br />> <br />> >><br />> <br />> >> >> >> Numpy-discussion@scipy.org<br />> <br />> >><br />> <br />> >> >> >> http://mail.scipy.org/mailman/listinfo/numpy-discussion<br />> <br />> >><br />> <br />> >> >> >><br />> <br />> >><br />> <br />> >> >> >><br />> <br />> >><br />> <br />> >> >> ><br />> <br />> >><br />> <br />> >> >> _______________________________________________<br />> <br />> >><br />> <br />> >> >> Numpy-discussion mailing list<br />> <br />> >><br />> <br />> >> >> Numpy-discussion@scipy.org<br />> <br />> >><br />> <br />> >> >> http://mail.scipy.org/mailman/listinfo/numpy-discussion<br />> <br />> >><br />>%