克隆虚拟机后新的虚拟机出现这种情况怎么回事：

老师

worker在处理并发时，遇到阻塞停止处理继续待命，若此时有新的请求进来，这个worker去处理请求，在这个请求未处理完成时，上一次请求阻塞结束，那么当前的worker会有什么样的操作，是继续处理当前的请求，还是停止当前的工作去完成上一个请求呢

我的理解：
HDFS客户端一个大文件，将文件进行block分块(每块128M)写，然后再将每个划分为多个package包（每个包64KB），然后将每个包传入到数据队列中，进行数据写操作。
我的疑问：
我以上的理解是否正确？如果正确，那么在由于在DataNode中，数据是按块存储的，对于在存储过程中，是不是要把这些包先合并成每个大小为128MB的块，再把合并后的块存储到block池中呢？希望老师解答疑惑

我ping不通Baidu，经过查询我的本机IP是192.168.1.3 连这个也ping不通这个如何解决

我这是带答疑的还是不带答疑的？为什么提问好几个月都没人回答呢？

这个视频里面的离线文档能不能共享一下？？？

老师好，这个问题为什么呀，在集群里运行注释掉的spark 是正常的

location的目录是自动创建的吧

为什么会报这个错误

创建相同的表结构同时复制数据的时候，新表没有数据是怎么回事啊？

设置策略中除了滚动策略还有什么？。。。。。。。。。。。。

SparkStreaming写错啦。。。。。。。。。。。。

老师，还是不太明白，有gzip属性的是什么意思啊？

为啥我的Linux系统装好之后，每次启动虚拟机都会进入安装界面？

from pyspark import SparkConf, SparkContext


def myprint(one):
    print(one)


def top2list(one):
    website = one[0]
    locals = one[1]
    localdic = {}
    for local in locals:
        if local in localdic:
            localdic[local] += 1
        else:
            localdic[local] = 1
    site_locallist = sorted(localdic.items(), key=lambda tp: tp[1], reverse=True)
    returnlist = []
    if (len(site_locallist) > 2):
        for i in range(2):
            returnlist.append(site_locallist[i])
    else:
        returnlist = site_locallist
    return website, returnlist


def get_site_uid_count(one):
    uid = one[0]
    sites = one[1]
    siteDic = {}
    for site in sites:
        if site in siteDic:
            siteDic[site] += 1
        else:
            siteDic[site] = 1
    returnlist = []
    for site, count in siteDic.items():
        returnlist.append((site, (uid, count)))
    return returnlist


def top3list(one):
    website = one[0]
    uid_count_itr = one[1]
    top3lists = ['', '', '']
    for uid_count in uid_count_itr:
        count = uid_count[1]
        for i in range(len(top3lists)):
            if top3lists[i] == "":
                top3lists[i] = uid_count
                break
            elif top3lists[i][1] < count://运行时总是提示这行，str与int之间不能比较，打印type(top3lists[i][1])为int)
                for j in range(2, i, -1):
                    top3lists[j] = top3lists[j - 1]
                top3lists = uid_count
                break

    return website, top3lists


def getApv():
    conf = SparkConf()
    conf.setMaster("local")
    conf.setAppName("pv")
    sc = SparkContext(conf=conf)
    linesRDD = sc.textFile("D:\mypython\date\website")
    # linesRDD.map(lambda line:(line.split("\t")[2],1)).reduceByKey(lambda v1,v2:v1+v2).\
    #     sortBy(lambda tp:tp[1],ascending=False).foreach(lambda one:myprint(one=one))
    # 每个网站访问最多的top2地区
    # site_local = linesRDD.map(lambda line:(line.split("\t")[4],line.split("\t")[2])).groupByKey()
    # site_local.map(lambda one:top2list(one)).foreach(print)
    # 每个网站最活跃的用户top3
    linesRDD.map(lambda line: (line.split("\t")[3], line.split("\t")[4])).groupByKey() \
        .flatMap(lambda one: get_site_uid_count(one)).groupByKey().map(lambda one: top3list(one)).foreach(print)


if __name__ == "__main__":
    getApv()