드라이빙 인사이트

HDFS Short Circuit Read 코드 테스트를 위해서 도커에 컨테이너 세팅을 하고 원격 디버거로 붙어서 보다가 Short Circuit Read 설정으로 안들어가서 찾아보니 로그에 다음과 같은 내용이 찍혀 있었다. 19/12/02 20:46:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 19/12/02 20:46:05 WARN shortcircuit.DomainSocketFactory: The short-circuit local reads feature cannot be used because libhad..

Docker 엔진 위에 하둡 클러스터를 띄워놓고 호스트 머신에서 IntelliJ를 통해 Docker에 구축해놓은 하둡 클러스터로 접근하는 테스트를 해봤다. (코드 분석 때문에 IntelliJ의 디버깅을 사용하고 싶었는데 실제로 구축해놓은 테스트용 하둡 클러스터에 붙기보다는 테스트를 위해 즉석으로 도커에 띄운 클러스터로 접근하는 것을 해보고 싶었다.) 구축한 하둡 클러스터의 데이터 노드들은 172.17.0.x 의 내부 IP를 할당 받았고 같은 포트로 구동되어 있었다. IntelliJ로 DFSClient 예제를 작성하여 도커에 떠있는 하둡 클러스터로 붙어서 돌려보는데 동작이 네트워크 IO 쪽에서 멈춰버렸다. 네트워크 문제인가해서 'ping 172.17.0.2'로 컨테이너에 ping을 보내보니 $ ping 1..