컴퓨터~~난아무것도몰라요

ㅇ 생활코딩 PHP 수업을 들으면서, 개발단계와 운영단계에 있을 때 PHP 환경설정(php.ini)파일의 설정방법에 대해서 나와 있었고, 나중에 개발할 때 도움이 될 꺼 같아서....

[출처] http://opentutorials.org/course/62/5110

ㅇ 운영단계

• display_errors = Off
• display_startup_errors = Off
• error_reporting = E_ALL
• log_errors = On

ㅇ 개발단계

• display_errors = On
• display_startup_errors = On
• error_reporting = -1
• log_errors = On

ㅇ Tor 프로젝트는 익히 알고 있다고 가정하고, 어떤 사이트를 대상으로 Crawling을 한다고 할때 본인의 IP 노출에 따른 서비스 블럭킹을 경험할 수 있다.

ㅇ 이를 회피하는 방법은 프록시를 사용하거나, Tor를 사용하는 방법이 있다. 이번 블로그에는 Tor 기반의 python 스크립트를 사용해서 크롤링하는 법에 대해서 알아보자.

ㅇ Tor 사용에 대한 책임은 본인이 지는 것임을 명심하자.

ㅇ 본 게시물은 ubunu 12.04 LTS 환경에서 테스트하였다.

ㅇ 본 게시물의 출처는 아래와 같다.

http://sacharya.com/crawling-anonymously-with-tor-in-python/

1. Tor를 설치한다.

• sudo apt-get update
• sudo apt-get install tor
• sudo /etc/init.d/tor restart

           ** 자 이러면 이런 socks listener가 9050포트상에서 동작하고 있다는 문구를 보게 될것이다.

2. 원하는 패스워드에 대해서 hashed password를 만든다.

• tor --hash-password mypassword

3. 셋팅값(ControlPort, HashedControlPassword)을 적용하고, Tor를 다시 시작한다.

• sudo vim(or vi or gedit) /etc/tor/torrc 

• sudo /etc/init.d/tor restart

4. pytorctl 를 설치한다. pytorctl은 Tor Controller와 interaction하는 파이썬 기반의 모듈이다.

• sudo apt-get install git
• sudo apt-get install python-dev python-pip
• git clone git://github.com/aaronsw/pytorctl.git
• sudo pip install pytorctl/

5. privoxy 를 설치한다. Tor 자체가 http 프록시가 아니기 때문에 Tor 네트워크에 접속하기 위해서는 socks5를 이용하는 http-proxy포서 privoxy를 설치해야 한다. 나도 정확한 개념은 모른다. 일단 이렇게 해야 Tor 네트워크에 접속할 수 있다.

• sudo apt-get install privoxy

6. Tor를 사용하기 위해서는 privoxy에게 관련된 정보를 넘겨야 한다. 즉 localhost port 9050에서 SOCKS 서버를 통과하는 모든 트래픽을 라우팅한다는 정보를 privoxy에게 알린다.

sudo vim(vi or gedit) /etc/privoxy/config로 이동하여 forward-socks5를 활성화시킨다.

• sudo vim(vi or gedit) /etc/privoxy/config

7. Configuration을 적용하기 위하여 privoxy를 다시 시작한다.

• sudo /etc/init.d/privoxy restart

8. Tor를 동작하기 위한 간단한 python 스크립트를 소개한다.

안드로이드 커널 빌드에 필요한 패키지를 설치한다. http://source.android.com/source/initializing.html에 따라, 아래와 같은 패키지를 설치하면 되는데, libgl1-mesa-glx:i386를 설치하면, 디스플레이와 관련된 Ubuntu 패키지를 삭제하게 되어 부팅시 먹통이 된다. 이를 방지하기 위해서는 아래와 같은 절차가 추가로 필요하다.

출처1 http://blog.naver.com/PostView.nhn?blogId=kukhyun1234&logNo=130178131221

출처2 http://source.android.com/source/initializing.html

• sudo apt-get install libgl1-mesa-glx:i386
• 의존성에 걸려있는 패키지 때문에 설치 불가 메세지가 나오면, dependecy 패키지를 먼저 설치하고 apt-get install libgl1-mesa-glx:i386   패키지를 설치한다. 그 후에 아래에 순서대로 패키지를 설치한다.
• sudo apt-get install git gnupg flex bison gperf build-essential \
  zip curl libc6-dev libncurses5-dev:i386 x11proto-core-dev \
  libx11-dev:i386 libreadline6-dev:i386 libgl1-mesa-glx:i386 \
  libgl1-mesa-dev g++-multilib mingw32 tofrodos \
  python-markdown libxml2-utils xsltproc zlib1g-dev:i386
• sudo ln -s /usr/lib/i386-linux-gnu/mesa/libGL.so.1 /usr/lib/i386-linux-gnu/libGL.so
• 여기서 부터 중요
• sudo apt-get install ubuntu-desktop
• sudo apt-get update
• sudo apt-get install xserver-xorg-video-intel libgl1-mesa-dri libgl1-mesa-glx libglu1-mesa libosmesa6 mesa-utils
• sudo dpkg-reconfigure xorg -phigh
• sudo reboot

※ http://source.android.com/source/initializing.html 상에는 openjdk를 설치하는 것으로

   나와 있으나, 대부분 openjdk를 지우고, JAVA 6 이상 설치하는 것을 권장하고 있다.

   사실 source.andorid.com에서 이야기하는 건, 옛날버전의 SDK 환경을 구성할 때 JAVA 5

   내지 6을 필요로 한다는 식으로 되어 있으나, 인터넷 블로거님들의 의견을 받들어,

   나도 JAVA 7을 설치하였다. 분명한 건 Cross Compile Chain을 이용하여 컴파일 할 때 

   애러가 날 때 그 원인이 JAVA 버전일 수도 있음을 기억해 두자

To develop older versions of Android, download and install the corresponding version of the Java JDK:
Java 6: for Gingerbread through KitKat
Java 5: for Cupcake through Froyo

  <source.android.com 해당 부분 발췌>

1. JAVA 7에 대한 Repo를 등록하고, 설치한다.

    openjdk가 설치된 경우라면, openjdk는 삭제하고 설치해 주는 것이 좋다.

• sudo add-apt-repository ppa:upubuntu-com/java
• sudo apt-get update
• sudo apt-get install oracle-java7-installer

           oracle-java7-installer 설치시 애러가 발생하는 경우는 다음과 같이 해결할 수 있다.

           (출처 : http://askubuntu.com/questions/163429/error-when-installing-oracle-java7-installer)

• sudo rm /var/lib/dpkg/info/oracle-java7-installer*
• sudo apt-get purge oracle-java7-installer*
• sudo rm /etc/apt/sources.list.d/*java*
• sudo apt-get update
• sudo add-apt-repository ppa:webupd8team/java
• sudo apt-get update
• sudo apt-get install oracle-java7-installer

2. JAVA PATH에 대해서 환경변수 등록을 한다.

• gedit ~/.bashrc

• JAVA_HOME=/usr/lib/jvm/java-7-oracle  export JAVA_HOME  export PATH=$PATH:$JAVA_HOME/bin  export CLASSPATH=.:$JAVA_HOME/lib/*

• source ~/.bashrc  

3. JAVA 기본환경을 다음과 같이 지정해 줄 수 있다. 

• sudo update-java-alternatives -s java-7-oracle