正文 第六章 数据地图
文承回过神来,重新整理思路。
既然是失踪案,那就换一个出发点,从失踪抓起。
他打开新闻站,发现密密麻麻早已铺满了各种各样失踪的新闻和求助帖子。
城西两名高中生已经失联三天,最后一次出现是放学结伴去的游戏厅,家长已将周边游戏厅搜遍,仍未现身。
城东女子赵某两天前出门夜跑后再也没回家,警方根据其男友ti g一ng的常用夜跑路线展开搜索,未见踪迹。
19岁女孩夜间出租车后失踪,出租车的x hà一也在案发当晚离奇消失,目前仍在进一步搜索中。
14岁的初中女孩小韩,四天前放学回家途中走丢。
钱唐市警方提示,最近城西和城南地区犯罪分子猖獗,夜间出行要结伴,注意安全。
他皱着眉头一篇一篇看着,突然露出兴奋的笑,快速在白纸画出路径图。
忍住冲动的喜悦,首先打开爬虫ruǎn jiàn,ruǎn jiàn图标虽然是个小蜘蛛,不过倒也没那么令人心慌,不过是顺藤摸瓜抓取信息的可爱小工具而已。
什么?会员到期了?
文承露出不满,一个月都得一百多元的会员费,不能就此放过,可是自己口袋里也就几百块零花钱了都是省吃俭用拼出来的,如果跟母亲要钱买ruǎn jiàn总觉得很奇怪吧。
既然没钱,那就自己做一个。文承咬着牙用力点头,舒展手指,跃跃欲试。
开源框架很多,短板在主机的配置和调试,各种版本各种语言的爬虫都有,冗余是最大的敌人,尤其是要装在文承那个可怜巴巴的远程主机,小水管的带宽和小松鼠心脏一样的配置。
他苦笑了一下,对更适合爬虫的pyth一n自然是不熟悉的,他在开源网站找到熟悉的php版,作者是一个印度孩子,不同的主机操作系统,远程安装的命令都不一样,好在开源网站支持远程kè l一ng,一瞬间部署完毕。
奇怪,硬是没起作用?果然是系统不对,为了用一rch开发人工智障,文承已经忍痛洗成乌班图了,如今又要回到php可不又得换回ent才好么,男孩捶了自己胸口一下,将那些被同学称为人工智障的诗篇一一备份存好,重装主机。
20分钟过去,爬虫部署完毕,文承测试了一个本地新闻站,路径设置是比较困难的,不同网站的页面结构有所不同,有些标题的ss属性都是乱写的,他一边忍着怒气一边一个一个调整好,过了半个小时,三个新闻站已经爬取完毕,最近7天只要带着失踪两字的新闻全都被抓下来。
趁热打铁,他又添加了十个本地新闻站和两个本地论坛,两三个网站的反爬虫机制很厉害,不到一分钟就被禁止访问了,他苦笑了一声耸了耸肩,无论如何已经有千条新闻进来了。
新闻抓取,达成!文承带着明亮的眼眸笑着,带着欣喜回望了身后熟睡的女孩们,又紧握拳头再次振作。
接下来是提取工作,首先是去重,用distct命令就可以。去重之后剩下700多条新闻和帖子,他倒吸一口凉气。
短短几天,全市竟然发生了700多起失踪案!
提取工作最难的一部分是地点识别,他没有字典,如果是有物流公司的数据就好了思忖片刻,问题很快解决。
他打开无极公司的地图网页,找到接口,用网页提取的方式将钱唐市的所有街道小区名c路名c饭馆名c桥名c河名全部提取下来,毕竟工作量不大,于是他连公共厕所也没有放过。导入新的数据表后,自制的字典完成。
借着字典和熟悉的命令,几十万字的新闻在5分钟化为700个零碎地名的文件,再次去重之后,只剩下500多个地名。
早知道刚刚顺便把坐标也提取下来了,文承挑了挑漫不经心的眉毛,喝了一口茶舒展身体,靠着椅背略微休息一会回到屏幕前,重新调用无极公司的。
这才发现无极公司早就ti g一ng了数据地图的功能,作为测试版本还是免费的,文承露出欣喜的笑容,他重新下载好地名的数据包,再次敲击好命令之后,500多个地名后面纷纷出现对应的坐标。
从开始到现在一共过去了两个小时,文承望着屏幕密密麻麻标着红点的地图露出兴奋的笑,如此短的时间内取得如此进展真是叹为观止!这是过去以往都没有达到的推进速度。
看着屏幕,文承喜悦的嘴巴逐渐大张,满脸惊恐。
红点分布一共呈现出多个大圆,大多分布在城南城西,离自己最近的圆,其圆心是自己家南侧两个街区的十字路口,半径在两公里左右,无论是学校c自己家都被覆盖!
最后是数据拟合,不管怎么样数据都是符合幂律分布的,他首先删去除了其他地方的数据,只剩下自己所在片区的一个圆,他将噪点中心都去掉,只剩下最外围的点状分布,拼成一个圆环的轮廓,圆形拟合可以使用最小二乘法,他还没用过这样的公式,文承皱起眉头。
他快速搜索到最小二乘法的原理,花了十几分钟快速啃完,接着来到开源代码网站,却找不到php版本的,有的是语言版本,他还不是很熟,不过原理是相通的,更何况直接应用就可以,根本不需要二次开发。
他深吸一口气,下载了atb之后将数据重新导入,一个清脆的回车键,拟合结束!
文承看着屏幕一个完美的圆形满意地笑起来,揉了揉眼睛,将数据再次导入地图。
地图的圆心名叫远拓大厦,
文承突然想起来,那是一个烂尾楼。
将结果保存后关了电脑,忍住将dá àn告诉熟睡女孩的冲动,文承来到房门外悄悄关了门,来到沙发躺下。
他看了看sh一u ji,已是凌晨五点,即便是一个小时,还是够睡的。
兴奋的情绪似乎是小鬼的舞蹈一样纠缠在脑中,文承无论怎么努力闭眼睛都沉不下心,他在sh一u ji胡乱翻着,突然翻到了前阵子刚拍下的一个女孩的zhà一 piàn,一下子就平静下来,他就那样静静地静静地看着,心绪逐渐平稳,困意排山倒海般涌来。
松语文学免费小说阅读_www.16sy.com
既然是失踪案,那就换一个出发点,从失踪抓起。
他打开新闻站,发现密密麻麻早已铺满了各种各样失踪的新闻和求助帖子。
城西两名高中生已经失联三天,最后一次出现是放学结伴去的游戏厅,家长已将周边游戏厅搜遍,仍未现身。
城东女子赵某两天前出门夜跑后再也没回家,警方根据其男友ti g一ng的常用夜跑路线展开搜索,未见踪迹。
19岁女孩夜间出租车后失踪,出租车的x hà一也在案发当晚离奇消失,目前仍在进一步搜索中。
14岁的初中女孩小韩,四天前放学回家途中走丢。
钱唐市警方提示,最近城西和城南地区犯罪分子猖獗,夜间出行要结伴,注意安全。
他皱着眉头一篇一篇看着,突然露出兴奋的笑,快速在白纸画出路径图。
忍住冲动的喜悦,首先打开爬虫ruǎn jiàn,ruǎn jiàn图标虽然是个小蜘蛛,不过倒也没那么令人心慌,不过是顺藤摸瓜抓取信息的可爱小工具而已。
什么?会员到期了?
文承露出不满,一个月都得一百多元的会员费,不能就此放过,可是自己口袋里也就几百块零花钱了都是省吃俭用拼出来的,如果跟母亲要钱买ruǎn jiàn总觉得很奇怪吧。
既然没钱,那就自己做一个。文承咬着牙用力点头,舒展手指,跃跃欲试。
开源框架很多,短板在主机的配置和调试,各种版本各种语言的爬虫都有,冗余是最大的敌人,尤其是要装在文承那个可怜巴巴的远程主机,小水管的带宽和小松鼠心脏一样的配置。
他苦笑了一下,对更适合爬虫的pyth一n自然是不熟悉的,他在开源网站找到熟悉的php版,作者是一个印度孩子,不同的主机操作系统,远程安装的命令都不一样,好在开源网站支持远程kè l一ng,一瞬间部署完毕。
奇怪,硬是没起作用?果然是系统不对,为了用一rch开发人工智障,文承已经忍痛洗成乌班图了,如今又要回到php可不又得换回ent才好么,男孩捶了自己胸口一下,将那些被同学称为人工智障的诗篇一一备份存好,重装主机。
20分钟过去,爬虫部署完毕,文承测试了一个本地新闻站,路径设置是比较困难的,不同网站的页面结构有所不同,有些标题的ss属性都是乱写的,他一边忍着怒气一边一个一个调整好,过了半个小时,三个新闻站已经爬取完毕,最近7天只要带着失踪两字的新闻全都被抓下来。
趁热打铁,他又添加了十个本地新闻站和两个本地论坛,两三个网站的反爬虫机制很厉害,不到一分钟就被禁止访问了,他苦笑了一声耸了耸肩,无论如何已经有千条新闻进来了。
新闻抓取,达成!文承带着明亮的眼眸笑着,带着欣喜回望了身后熟睡的女孩们,又紧握拳头再次振作。
接下来是提取工作,首先是去重,用distct命令就可以。去重之后剩下700多条新闻和帖子,他倒吸一口凉气。
短短几天,全市竟然发生了700多起失踪案!
提取工作最难的一部分是地点识别,他没有字典,如果是有物流公司的数据就好了思忖片刻,问题很快解决。
他打开无极公司的地图网页,找到接口,用网页提取的方式将钱唐市的所有街道小区名c路名c饭馆名c桥名c河名全部提取下来,毕竟工作量不大,于是他连公共厕所也没有放过。导入新的数据表后,自制的字典完成。
借着字典和熟悉的命令,几十万字的新闻在5分钟化为700个零碎地名的文件,再次去重之后,只剩下500多个地名。
早知道刚刚顺便把坐标也提取下来了,文承挑了挑漫不经心的眉毛,喝了一口茶舒展身体,靠着椅背略微休息一会回到屏幕前,重新调用无极公司的。
这才发现无极公司早就ti g一ng了数据地图的功能,作为测试版本还是免费的,文承露出欣喜的笑容,他重新下载好地名的数据包,再次敲击好命令之后,500多个地名后面纷纷出现对应的坐标。
从开始到现在一共过去了两个小时,文承望着屏幕密密麻麻标着红点的地图露出兴奋的笑,如此短的时间内取得如此进展真是叹为观止!这是过去以往都没有达到的推进速度。
看着屏幕,文承喜悦的嘴巴逐渐大张,满脸惊恐。
红点分布一共呈现出多个大圆,大多分布在城南城西,离自己最近的圆,其圆心是自己家南侧两个街区的十字路口,半径在两公里左右,无论是学校c自己家都被覆盖!
最后是数据拟合,不管怎么样数据都是符合幂律分布的,他首先删去除了其他地方的数据,只剩下自己所在片区的一个圆,他将噪点中心都去掉,只剩下最外围的点状分布,拼成一个圆环的轮廓,圆形拟合可以使用最小二乘法,他还没用过这样的公式,文承皱起眉头。
他快速搜索到最小二乘法的原理,花了十几分钟快速啃完,接着来到开源代码网站,却找不到php版本的,有的是语言版本,他还不是很熟,不过原理是相通的,更何况直接应用就可以,根本不需要二次开发。
他深吸一口气,下载了atb之后将数据重新导入,一个清脆的回车键,拟合结束!
文承看着屏幕一个完美的圆形满意地笑起来,揉了揉眼睛,将数据再次导入地图。
地图的圆心名叫远拓大厦,
文承突然想起来,那是一个烂尾楼。
将结果保存后关了电脑,忍住将dá àn告诉熟睡女孩的冲动,文承来到房门外悄悄关了门,来到沙发躺下。
他看了看sh一u ji,已是凌晨五点,即便是一个小时,还是够睡的。
兴奋的情绪似乎是小鬼的舞蹈一样纠缠在脑中,文承无论怎么努力闭眼睛都沉不下心,他在sh一u ji胡乱翻着,突然翻到了前阵子刚拍下的一个女孩的zhà一 piàn,一下子就平静下来,他就那样静静地静静地看着,心绪逐渐平稳,困意排山倒海般涌来。
松语文学免费小说阅读_www.16sy.com