您正在查看: 项目开发 分类下的文章
icon-plus

CentOS 7 上安装python爬虫框架Scrapy

最近听说Python写爬虫很厉害,想体验一下

于是我就抱着这样的心态开始了我的Scrapy之旅

第一步当然是Scrapy的安装了,这玩意我发现在windows下倒是挺好装的,照着教程一路走就行了

官方的安装教程在这

http://doc.scrapy.org/en/latest/intro/install.html

想要麻烦点的话可以看开源中国的某大神写的教程

http://my.oschina.net/dragonblog/blog/173290

整个Scrapy的环境依赖如下:

icon-plus

git转移源代码到oschina

最近一直在开发私有项目,之前听说bitbucket不错,能支持团队开发就选了它

但是由于众所周知的一些原因,每次上传代码到bitbucket都是一件很痛苦的事情

于是最近听说oschina的这一块做的不错,打算试一试

他们官网地址:https://git.oschina.net/

由于本人对git还不是非常熟,稍微记一下这一次转移的过程

icon-plus

【手记】Cisco VEN401刷OpenWRT成功

参考原文:https://forum.openwrt.org/viewtopic.php?id=54484
第一次玩OpenWRT,弄了个思科的路由器,刷这个玩意失败了好几次,不过最后还是刷成功了
随手写个笔记吧,首先VEN401这个玩意第一次访问要借助其他带DHCP的路由器来用,手头上原本就有个TP-LINK的路由器连接到外网,所以用这个正好。
给VEN401上电源:Reset,然后接上网线
进TP-LINK的路由器查一下VEN401的IP地址,然后复制到浏览器登上去
VEN401默认用户名和密码:

Default login user: ATTadmin 
Default login password: 401!VEN 

icon-plus

OpenWRT系统研究,查看基础设备信息

在OpenWRT下默认没有自带lspci,lshw,今晚断网之后自己尝试去摸索,以下是今晚摸索到的信息
按了下Tab键,看了下命令表,发现在OpenWRT里的基础程序屈指可数,真不愧是嵌入式系统

 clear dropbearkey halt ip6tables-save lock modinfo opkg reset swconfig true 
which [[ cmp du head ipcalc.sh logd modprobe passwd rm switch_root ubus wifi arping cp 
echo hexdump iptables logger mount pgrep rmdir sync ubusd wpa_supplicant ash crond egrep 
hostapd iptables-restore login.sh mount_root pidof rmmod sysctl uci wpad askfirst crontab 
env hostid iptables-save logread mtd ping route sysupgrade udevtrigger xargs awk cut expr 
hotplug-call iw ls mv ping6 scp tail udhcpc xtables-multi basename date false hwclock jffs2mark 
lsmod nc pivot_root sed tar uhttpd yes brctl dbclient fgrep id jffs2reset lua netifd poweroff 
seq tee umount zcat bunzip2 dd find ifconfig jshn luci-bwc netmsg pppd sh telnet uname busybox 
devmem firstboot ifdown jsonfilter luci-reload netstat printf sleep telnetd uniq bzcat devstatus 
free ifstatus kill md5sum nice procd snapshot test uptime cat df fsync ifup killall mkdir 
nslookup ps snapshot_tool time validate_data chgrp dirname fw3 init kmodloader mkfifo ntpd pwd 
sort top vconfig chmod dmesg grep insmod led.sh mknod odhcp6c readlink ssh touch vi chown dnsmasq 
gunzip ip6tables less mkswap odhcpd reboot start-stop-daemon tr wc chroot dropbear gzip 
ip6tables-restore ln mktemp odhcpd-update reload_config strings traceroute wget 

发现有几个比较好玩的命令 

以前学C语言的时候一直以为printf只是一个普通的IO流函数,没想到在linux下居然有这个命令
printf 

其实这个跟echo差不多,但是它支持转义字符和字符串,比如这样

icon-plus

在linuxmint上编译自己的OpenWRT,并安装到DIR-615 D4上

下载OpenWRT barrier_breaker源代码

   svn co svn://svn.openwrt.org/openwrt/branches/barrier_breaker

下载完后进入目录

   cd barrier_breaker/

根据feeds.conf.default生成一份新的feeds.conf

   cp feeds.conf.default feeds.conf

编辑feeds.conf

   pluma feeds.conf

添加scutclient

   src-svn scut https://github.com/liuqun/openwrt-clients/tree/master/scut/