티스토리 뷰
https://thebook.io/006908/part01/ch04/02/
스파크를 다루는 기술: 4.2 데이터 파티셔닝을 이해하고 데이터 셔플링 최소화
thebook.io
[spark] RDD, Transformation, Action, Dependency 용어
RDD operation RDD를 제어하는 API operation은 크게 2개의 타입 Transformation: RDD에서 새로운 RDD를 생성하는 함수 Action: RDD에서 RDD가 아닌 타입의 data 로 변환하느 함수들 RDD MR의 단점 복잡하고 Multi..
118k.tistory.com
https://thebook.io/006908/part01/ch04/02/02-01/
스파크를 다루는 기술: 4.2.2 불필요한 셔플링 줄이기 - 1
thebook.io
[Apache Spark] Partition 개수와 크기 정하기
Holden Karau-High Performance Spark(Jpub)를 공부하며 정리한 글
medium.com
다시정리하는 HADOOP - 9. 셔플(shuffle)
hadoop의 mapreduce 내부 동작에서 셔플 이라는 중요한 동작 방식이 있다. 셔플의 동작을 잘 이해해야지만 ...
blog.naver.com
하둡 공부 - MapReduce 작동 방법
- MapReduce Job 실행 상세 ResourceManager(RM), NodeManager(NM), Application Master(AM) 잡 제출 1단계 Job을 제출하면 waitForCompletion() 메서드가 1초에 한 번씩 변경 내역이 있으면 콘솔로 보여줌 2단계..
nabillera.tistory.com
'데이터 엔지니어 > ApacheSpark' 카테고리의 다른 글
| Spark 프로그래밍 (0) | 2020.07.03 |
|---|