Network

tcpcopy的基础函数有个bug，流量比较大的时候，内核buffer满了。send系统调用发不完用户缓冲中的数据才会出现。然后加入了tcpcopy的QQ群，和作者稍稍讨论了一点时间。问了关于写论文和tc_session.c过于复杂的问题。 (wangb) 10:00:55 https://github.com//tcpcopy/pull/162 (wangb) 10:01:04 The bug arises when send system call returns with part of data transfered and part of data still need to be sent again. (wangb) 10:01:13 常见于压力比较大的场合 (wangb) 10:02:14 当然如果系统参数设置好的话，这样的情况不常见。这也是为啥我这边无法重现的原因所在 (wangb) 10:02:46 当然昨天在开发gryphon，貌似遇到过一次 (wangb) 10:03:06 gryphon给的压力，有时候真不是一般快和大 siu1ooooooo(16236914) 10:03:14 我在tcpcopy上作二次开发。碰到了个bug，最后追踪到了 tc_socket_send函数。 siu1ooooooo(16236914) 10:03:52 流量比较大的时候，内核buffer满了。send系统调用发不完用户缓冲中的数据才会出现。 siu1ooooooo(16236914) 10:05:21 希望能贡献更多代码的。。但是tc_session.c这个模拟tcp状态机的代码太难看懂了。 (wangb) 10:05:49 有些bug，程序员自身很难发现，往往需要依赖于用户的反馈，当然有上面的bug提出，就更好了 tc_session.c这个模拟tcp状态机，其实不仅模拟tcp状态机，而为复杂的是模拟上层应用交互 光模拟tcp状态机，是远远不够的 siu1ooooooo(16236914) 10:07:27 有个想法， 把TCP的11个标准状态加入到tc_session中。可不可以做的。. (wangb) 10:09:13 数据是死的，但测试服务器是活的。应该可以吧，但加入可能会更复杂。tc_session.c这个会进一步改进的，代码需简化和功能需独立，使其易懂 siu1ooooooo(16236914) 10:09:31 🙂 (wangb) 10:10:33 2010～2012.5月，初步探索阶段；2012.5～2014.5，为进一步探索阶段 2014.5～以后，进一步优化 因为tcpcopy刚开始，开发人员是无法知道复杂的互联网的各种应用的特性的，只有积累到一定程度，才能进一步优化。与其说是开发，不如说是探索 siu1ooooooo(16236914) 10:12:10 期待工程paper siu1ooooooo(16236914) 10:12:43 tcpcopy稳定到了一个版本。先别加功能了。写paper吧 siu1ooooooo(16236914) 10:13:01 投中EI应该问题不大。 siu1ooooooo(16236914) 10:13:55 中了paper，贡献者会迅速增多。 wangb() 10:15:43 其实写过sigcomm论文，但被拒，说应该投USENIX ATC wangb() 10:16:18 I don’t think that the research contribution of the paper is a good match for Sigcomm. Perhaps it would be a better match for a more practice-oriented conference like USENIX ATC. siu1ooooooo(16236914) 10:16:50 后来呢 wangb() 10:17:05 确实，tcpcopy是基于实践的，从实践中摸索爬行的。后来我就先不写论文了 siu1ooooooo(16236914) 10:17:22 嗯。这是个工程实践性很强的探索啊 wangb() 10:17:27 要写论文，必须要有条件 siu1ooooooo(16236914) 10:17:45 喔。 wangb() 10:18:06 从交换机或者其它设备。镜像过来，这样测试系统和在线系统就没有关联，这样的论文是能够中USENIX ATC 的 wangb() 10:19:13 tcpcopy最高端的应用，就是在交换机，利用分光镜或者其它镜像设备，利用高性能硬件，把用户的请求数据包复制给测试系统，可惜我没有这样的条件 wangb() 10:19:38 要是有这样的条件，我肯定要写论文了 siu1ooooooo(16236914) 10:19:55 呃。。没怎么看懂 siu1ooooooo(16236914) 10:21:49 是说复制的流量要非常非常大才能中论文么 siu1ooooooo(16236914) 10:21:59 而非常大的流量需求硬件支持 wangb() 10:22:02 twitter梦想的测试环境，其实完全可以用我们的tcpcopy来实现。交换机上面不是有来来往往的数据包吗？在那上面把请求数据包镜像到测试系统，测试系统搭一个跟在线类似的完整系统，这样测试系统跟在线系统承受类似的压力 wangb() 10:22:17 高端大气，才能中论文 wangb() 10:22:48 屌丝环境，写论文，还不被批啊 siu1ooooooo(16236914) 10:23:14 呃。是 。。。明白了。。想起以前学校的事情，懂了。 wangb() 10:24:38 总之，tcpcopy值得你去研究，期望有更多接班人把思想传承下去，代码可以推掉重来 wangb() 10:25:10 只要tcp协议还存在，这个思想，应该是最先进的，无法再先进了 siu1ooooooo(16236914) 10:26:11 需要好多的开发时间啊。..嗯。先上班了啊。多谢wangbin…. wangb() 10:27:16 慢慢来，这方面反正国外没有人做 ...

流量筛选中的 “只导入某频道的流量”功能已经实现了。 技术层面上，实际上是通过指定正则式的方法匹配HTTP请求中的GET方法中的URL来达到过滤的目的。 所以，也可以用ty，ad_type, pf, coverid, oadid, v，plugin等出现在GET方法中的参数编写正则式来过滤流量。 流量筛选中的“地域纬度筛选”暂时没有实现。 因为地域纬度的信息不是以参数形式出现在GET方法的URL中，需要通过IP地址或者cookie的中QQ号信息来判断。 还没最终决定是否实现这个功能。 tcpcopy官方版本主要的应用场景是复制实时流量。所以部署的时候至少两台机器，一台线上机，另一台测试用机。为了方便压力测试，还引入了至少三台机器的高级模式。 部署起来比较麻烦。 如果“视频CPM广告的模拟投放，以及订单效果预估“只是从磁盘中读入以往的流量，针对这种场景，可以探索tcpcopy的单机离线模式，做到方便部署和使用。 部分同学有一个误解. “将线上的实际访问流量，复制一份保存到本地服务器，用于后续使用” 目前，tcpcopy的官方的版本没有把流量保存下来的功能，保存流量这个目前是用tcpdump的-w选项来做的。 另外，技术上，tcpdump只能在IP层和TCP层指定过滤条件，不能用业务的逻辑过滤流量。第1点提到的流量筛选工作在tcpcopy读入实时流量时，或者从tcpdump存下的文件中读入流量时，在应用层指定过滤条件。 copyright ykyi.net

Linux抓包技术简介 Author: zausiu@gmail.com 1. 简介 大多数应用常景下，我们在IP层上用AF_INET或AF_INET6作为socket的第一个参数，SOCK_STREAM或SOCK_DGRAM作为socket的第二个参数创建最为常见的IPv4或IPv6的TCP或UDP套接字。这样的套接字满足了绝大多数网络应用常景。   本文简单介绍三种Linux平台下抓包，截获包的技术。它们提供一些更酷的功能。每种技术的水都很深，作者个人水平有限，按照自己的理解做一般的介绍。仅仅旨在起到科谱的作用。   2. RAW SOCKET 参数SOCK_RAW可以作为socket函数的第二个参数传入，这样创建的套接字称为原始套接字。设置Socket的第一个参数可以让指定原始套接字开在数据链路层上或者网络层。   下面的语句创建在数据链路层上的原始socket。 Socket(AF_PACKET, SOCK_RAW, htons(ETH_P_ALL));   在负载不大的情况下，读这个socket可以拿到本机收到的所有数据包。写入这个socket需要程序员负责填充各种包头的数据。   Socket(AF_INET, SOCK_RAW, xxxxx协议号)； 在IP层上创建IPv4的RAW socket，可以拿到各种经由IPv4的数据包，比如ICMP包，IGMP包等。Steven的第三版第28.4节，第二段：“系统收到的UDP包和TCP包不会传给原始套接字”。但读tcpcopy的源代码时，确实用了原始套接字在网络层读UDP和TCP包。难道书上写的过时了。见代码，来自tcpcopy： #if (TCPCOPY_UDP)         fd = socket(AF_INET, SOCK_RAW, IPPROTO_UDP); #else         fd = socket(AF_INET, SOCK_RAW, IPPROTO_TCP); #endif 另外，在IP层上创建的原始套接字有一个选项：IP_HDRINCL，它被开启时，则内核帮助填充IP包头。Linux默认没有开启这个选项。   3. NF_Queue NF_Queue是用户空间的一个库，需要内核模块NETFILTER_NETLINK_QUEUE的支持。官方网址：http://www.netfilter.org。通过这个库可以在数据包被发往用户空间处理前截获数据包，或者在数据包被发往网卡前截获数据库。截获后，可以修改数据包的内容，并决定是否丢充这个数据库。 NF_Queue可以用来编写防火墙等安全软件。 Tcpcopy使用NF_Queue丢弃测试中的程序回复给真实客户程序的数据包，使测试中程序回复的报文不影响真实客户程序。 另一个提供类似功能的库是IP_Queue，它已经被废弃。NF_Queue可以完全取代IP_Queue。我们用的tlinux，内核中built-in了NF_Queue模块。   4. libpcap 大名鼎鼎的Libpcap是一个古老的可以工作在所有Unix-like平台上的抓包库，比linux年纪更大。Tcpdump的广泛使用让libpcap成为事实上的行业标准。它可以很方便的编写抓取数据链路层上的数据包，并可以设置过滤条件在内核级别只复制关心的数据包，而数据链路层上的原始套接字会尽最大努力复制所有的包，所以libpcap的工作效率高。而且，pcap使用方便。下面是一个很简单的使用pcap抓到发往80端口的tcp包并打印源IP，目的IP，和目的端口号的程序。非常短，很容易看，起到介绍libpcap的作用。  int main(int argc, char *argv[])  { pcap_t *handle; // pcap用的句柄，和其它各种句柄一样。 char *dev;         // 网络接口名，如eth0, eth1, tunl0 之类 char errbuf[PCAP_ERRBUF_SIZE]; // 存描述出错原因的缓冲 struct bpf_program fp;         // pcap用来过滤数据包用 char filter_exp[] = "tcp and dst port 80"; // 过滤字符串，和tcpdump的写法一样 struct pcap_pkthdr header;      // pcap自己用的包头 const u_char *packet;         // pcap包头后的数据，即抓到的数据   int len_of_iphdr;         // ip头的长度 struct in_addr src_ip;    // 源IP地址 struct in_addr dst_ip;    // 目的IP const u_char *ip_hdr_addr; // IP头的首地址 const u_char *tcp_hdr_addr;     // tcp头的首地址 struct tcphdr *tcp_hdr;         // tcp头结构体 u_short dst_port;             // 目的端口   // 如果命令行指定网卡名 if (argv[1]) dev = argv[1]; //就用指定的网卡 else dev = "eth0"; //否则用eth0   }                  // 用pcap打开这个网卡 handle = pcap_open_live(dev, BUFSIZ, 0, 1000, errbuf); if (handle == NULL) {  // 打开网卡出错 fprintf(stderr, "Couldn't open device %s: %s\n", dev, errbuf); return(2); }                // 编译过滤文件 if (pcap_compile(handle, &fp, filter_exp, 0, net) == -1) { fprintf(stderr, "Couldn't parse filter %s: %s\n", filter_exp, pcap_geterr(handle)); return(2); }         // 设置过滤条件 if (pcap_setfilter(handle, &fp) == -1) { fprintf(stderr, "Couldn't install filter %s: %s\n", filter_exp, pcap_geterr(handle)); return(2); }           // 抓包 packet = pcap_next(handle, &header);   // 至此packet指向抓到的一个目标端口号是80的数据链路层的包 // 它的包结构是 14字节以太网包头 + 可变IPv4包头 + TCP包头 ip_hdr_addr = (u_char*)(packet + sizeof(struct ethernet_hdr)); src_ip.s_addr = ((struct iphdr*)ip_hdr_addr)->saddr; dst_ip.s_addr = ((struct iphdr*)ip_hdr_addr)->daddr; len_of_iphdr = ((struct iphdr*)ip_hdr_addr)->ihl * 4; tcp_hdr_addr = ip_hdr_addr + len_of_iphdr; tcp_hdr = (struct tcphdr*)tcp_hdr_addr; dst_port = tcp_hdr->dest;   // 经过上面的各种指针偏移，下面打印源IP和目标IP和目标端口. printf("src addr %s\n", inet_ntoa(src_ip)); printf("dst addr %s\n", inet_ntoa(dst_ip)); printf("dst_port %d\n", ntohs(dst_port));   /* And close the session */ pcap_close(handle);   return(0);  }   5. 总结 本文只是一个非常简单的介绍。如需要进阶学习，Stevens的网络编译有更详细地关于Raw Socket的内容，研究NF_Queue技术则需要读源代码和收集散在社区各个角落的资料了，而讲libpcap有两篇很好的文章： "Programming with Libpcap – Sniffing the network from our own application "用Libpcap编程，在我们的程序中嗅探网络。非常漂亮的pdf文档。 http://recursos.aldabaknocking.com/libpcapHakin9LuisMartinGarcia.pdf The Sniffer’s Guide to Raw Traffic 嗅探器教程。斯坦福大学的Geek于大概2001年写的。 http://yuba.stanford.edu/~casado/pcap/section1.html copyright ykyi.net

 epoll学习报告                              kamuszhou 周霄 Jul/26/2013   这几天通读了内核中对epoll I/O模型的实现代码，结合网络上很多介绍epoll的文章，对epoll的实现原理已经很熟悉，下面谈谈我的几点体会。下文引用的内核代码来自3.9.6版本的内核，见URL：http://lxr.oss.org.cn/source/fs/eventpoll.c。   一. epoll的边沿触发(ET)的效率高于电平(LT)触发的效率     首先简单介绍一个背景：epoll实现中，把已经有事件发生的文件用一个双链表链接一起，这个双链表是在struct eventpoll结构中的rdllist域。用户空间调用epoll_wait()，陷入内核后就会立即检查这个双链表，如果链表中非空，就通过文件的poll()函数询问文件有无事件发生。如果有事件发生且是用户关心的，就会向用户空间报告，否则就睡眠。     epoll的实现代码中实际上只有两行代码与触发方式有关，如下图所示。  上图所示的代码运行的上下文情况是：用户加入到epoll中的某个文件，只要支持poll()，(可以是socket，FIFO，裸设备，whatever)有关心的事件到达(或可读，或可写，或报错)，内核空间已经把发生的事件复制到了用户空间，但还没有从内核态返回用户空间。在返回用户空间之前代码检查用被epoll监视的这个文件是否是ET触发，如果不是(那就是LT),就把监视的文件重新放回就绪队列，下次epoll_wait()调用的时候会立即重新检查这个文件有否有事件到达。如果这文件的确有事件发生，则epoll_wait()报告给调用者。如果没有，而且其它被监视的文件也没有事件发生，则调用epoll_wait()的task就让出处理器，开始睡觉(TASK_INTERRUPTIBLE)。这段逻辑在static int ep_poll(struct eventpoll *ep, struct epoll_event __user *events, int maxevents, long timeout)中，第1494行。 如果监听的文件开启的是边沿触发(默认)，则不会执行上图中的list_add_tail()逻辑。这就是边沿触发只会向用户报告一次，直到下一个关心事件发生才向用户空间报告的原因。 那么为什么ET触发效率高于LT触发呢？看一个例子，假如客户端监视一个TCP的Socket，服务端这时发来1M数据，客户端的主机网卡驱动缓存足够大，一次性接收到了所有1M数据。下面看两段客户端的接收伪代码(没有写read调用返回时socket被关闭的情况；另socket描述符fd被设为非阻塞)。    上图的代码使用了LT触发，这段代码依赖epoll_wait()通知还有数据可供读取。所以共调用了1024次epoll_wait()，1024次read()，共2048次系统调用才读完1M数据。   上图使用ET触发，epoll_wait()只报告一次，然后代码循环调用1024次read()读完数据，直到第1025次read()返回-1，出错码为EAGAIN(EAGAIN等于EWOULDBLOCK)，于是代码知道已经接收完数据。一共只使用了1026次系统调用就读完了数据。 总结：即使使用电平触发也不要依赖epoll_wait()通知调用者到达事件，需要循环调用IO函数直到被通知EAGAIN，这样就把epoll_wait()的调用次数降到最低，仅管有可能在下次epoll_wait()时会有可能浪费一次文件的poll()调用，但这个很小的开销可以忽略。   二. 为什么epoll支持嵌套调用 读epoll的实现代码发现，一个epoll的文件描述符epfd可以嵌套的加入另一个epoll。这样有什么用呢？ epoll的实现中“平等的”对待每个被监视的文件，它们维护在一棵红黑树之中，假如有十万个文件被监视，那么查找某个文件时就要在这十万个文件中查找。即使红黑树的查找效率是log(n)，文件非常大时也是比较消耗时间的。 那么假如有这样一种情况，如果这十万个文件中只有1000个是活跃的，或者说这1000个文件优先级最高。那么则有一种优化方案是，创建两个epoll，第一个epoll（epfd0）监控100000 – 1000 个文件，第二个epoll (epfd1) 监控1000个高优先级文件以及epfd0。这样的好处是，大多数情况下epoll实现只在1001个元素的红黑树中查找，自然效率提高了。 总结：epoll的嵌套调用给开发者提供了一个在高并发环境下的优化方案。   三. epoll的效率一定比select/poll高吗。     答案是不一定。 Select的缺点大致有： 1. 内核中写死了最多只能监视1024个文件. 2. 每次调用select都要把关心的文件描述符和关心的文件件从一个用户空间的长长的数组拷贝到内核空间. 3. select若使得caller进程进入睡眠后，某个文件有事件到达此进程被唤醒，那么所有被监视的文件全部会被调用poll()询问“你有没有事件到达”，这是一个线性的时间复杂度。 epoll针对select的三个缺点的改进： 1. 监视的文件数由取决于系统中有多少低端内存(x86_64架构中的所有内存都是低端内存)。3.9.6版本的内核实现中，对于每个登录用户，最多使用系统中低端内存的4%用来创建监视用的数据结构。见第1951行代码。max_user_watches = (((si.totalram – si.totalhigh) / 25) << PAGE_SHIFT) / EP_ITEM_COST; 2. 用户只需要把关心的文件对应的数据结构在调用epoll_wait()前用epoll_ctl()一次性传入内存，以后调用epoll_wait()时不需要像select一样拷贝大量数据。 3. 当调用epoll_wait()的caller进程睡眠时，突然有事件到达，caller进程被唤醒，epoll_wait()返回用户空间，内核并不遍历没有监视的文件，而只报告在一个即短时间内发生的事件。下面更详细的描述这个场景，以监视tcp socket举例，大致是：某进程调用epoll_wait()，此时没有任何它关心的事件发生，于是caller进程进入睡眠。处理器调度了其它进程。数据到达时，当前进程被硬件中断，网卡驱动收到数据包，数据包在中断处理函数中被拷入内核，中断处理函数设置中断下半部(Half Bottom)。下半部被处理器调度，调用epoll实现代码注册的回调函数ep_poll_callback()。ep_poll_callback()函数唤醒之前的caller进程，caller进程重新获得CPU，从epoll实现的ep_poll()函数中恢复执行，在3.9.6内核中的第1564行： if (!schedule_hrtimeout_range(to, slack, HRTIMER_MODE_ABS))。然后，内核代码开始收集已经就绪的文件和发生的事件，发回用户空间。只有从第一次回调函数ep_poll_callback()被驱动的代码调用（caller进程还在睡眠时执行的ep_poll_callback()算第一次）到epoll实现代码走到第586行关闭中断关闭中断的代码 spin_lock_irqsave(&ep->lock, flags);之间发生的事件才会被收集。     对于第3点，这是epoll的优点，但在某种情况下却会是epoll的缺点。网上很多比较poll, select, epoll性能的文章，没来得及仔细看，我个人认为结论是可靠的。结论引入了一个概念active-to-total ratio，设所有被监控的文件数是n，活跃的文件数是m，active-to-total比则是m/n，如果这个比非常高，比如大于0.7，则poll或select的性能要高过epoll，反之则epoll胜出。     对比前文对select的第3个缺点和epoll的改进点3的叙述可以解释这个原因。因为select在返回用户空间前又轮循了所有关心的文件，而这些文件又大部分是有事件发生的，所以select所做的工作并没有浪费，但epoll只收集了一小段时间中发生的事件，于是select较之epoll减少了用户空间和内核空间的频繁切换，从而让select的性能反超epoll。 那么如何改进呢？明白了以上的原因，那么就可以对epoll做出改进，理论上对于active-to-total比较高的应用环境下，可以在epoll的实现中加入与select做法相同逻辑，即退出前询问所有的监控文件，反正active-to-total比很高。或者更好的方案，用一个链表链接活跃的文件，在epoll返回用户空间前遍历这个链表，争取每一个epoll_wait()调用返回尽可能多的事件。   附：epoll的主要数据结构简介. epoll接口的主要数据结构有struct eventpoll，struct epitem，struct eppoll_entry。     在讲述这三个数据结构前先提一下struct file。Unix设计初期希望它的设计遵从“一切皆文件”的理念。在Linux内核中，每个抽象的文件对应一个内核struct file结构体。Struct file结构体中有一个void *private_data域。不同的文件类型会在private_data域中存放特定的信息。Struct file中另一个域f_op是函数指针的列表，它记录了对应该文件的操作。所有epoll文件的f_op都指向static const struct file_operations eventpoll_fops，因此可以代码判断一个文件是不是epoll如下： static inline int is_file_epoll(struct file *f) {          return f->f_op == &eventpoll_fops; }       每次成功调用epoll_create时就会创建一个struct file的结构体，和一个struct eventpoll。Struct file中的private_data指向struct eventpoll。eventpoll维护了这个epoll的重要信息。其中比较重要的几个字段有：一个循环列表struct list_head  rdllist链接了该epll中已经可以读写或者有出错的文件描述符。一个红黑树的根结点struct rb_root  rbr，eventpoll维护了一棵红黑树，树中的结点是struct epitem。 每个被加入到epoll中被关注的文件描述符都对应一个struct epitem结构体。所有加入到同一个epoll中对应的所有epitem都挂在红黑树上。该红黑树的根结构保存在struct eventpoll中。epitem中记录了对应的文件的文件描述符和文件指针。 struct eppoll_entry是用来挂接到设备文件中的结构体。设备驱动在得知自己可读或可写或有错误时通过这个结构体通知有事件发生。每个eppoll_entry都指向一个epitem，一个epitem可能对应多个eppoll_entry。eppoll_entry中的域wait_queue_t  wait就是被用来挂接到设备文件中的等待队列。设备文件通过wait可以拿到eppoll_entry，再通过eppoll_entry拿到epitem，再拿到eventpoll。    

IPv6最终全面取待IPv6是不可逆的潮流。本文则讲一下在Linux下如何配置IPv6地址。当然本文假设你使用静态IP（不必是公共IPv6地址或公共IPv4地址，可以是私有IPv4地址）。本文不适用使用DHCP获取地址的情况。 首先，你要确保你使用的Linux的内核已经支持IPv6。当前比较新的Linux都已经内建IPv6了。 用root用户登录，运行： # lsmod | grep ipv6 看看系统有没有已经加载了IPv6模块。如果没有，尝试用以下命令加载： # /sbin/modprobe ipv6 第二，你需要有你的静态IP地址。 **IPv4地址如何转成IPv6地址呢？**如果你的IP是一个IPv4地址，那么可以换算得到IPv6的地址形式。比较简单的作法可以去到 http://grox.net/utils/ipv6.php。在左边的下拉列表中选择: IPv4 to 6to4 Address，在右边的编辑框中填上你的IPv4地址。点击: Calculate 则得到了你的IPv4地址的IPv6转化格式。 配置IPv6地址 一般的Linux发行版用 /etc/network/interfaces 文件配置网卡。如果没有这个文件，那么请注意 /etc/network 目录下其它文件或者目录。 假如要配置的Linux的静态IPv4地址是 192.168.1.10，这个IPv4地址转换成对应的IPv6地址则是 2002:c0a8:10a:: 。再提醒一下，上文提到过如何把IPv4地址转成IPv6地址。 网关的IPv4地址是 192.168.1.1，这个IPv4地址转成对应的IPv6的地址是:2002:c0a8:0101:: 。 那么 /etc/network/interfaces 文件应该配置成如下： #IPV6 static configuration(我是注释) iface eth0 inet6 static pre-up modprobe ipv6 address 2002:c0a8:10a:: netmask 64 gateway 2002:c0a8:0101:: 注意 “pre-up” 命令。这一行保证系统在启动的时候加载支持ipv6的模块。 最后重新启发动网络，如下： # /etc/init.d/networking restart 你现在可以使用你的IPv6地址了。 测试IPv6地址： 检测路由： # ip -6 route show 如果IPv6工作正常的话，应该会有如下的提示。 2002:c0a8:0100/64 dev eth0 proto kernel scope link src 2002:c0a8:10a ...

Today, I ran the traceroute program on a machine running FreeBSD. It failed once and again. Traceroute complained: traceroute: sendto: Permission denied. So I tried to ping. Ping failed, too. I then checked out the configuration of the firewall, which actually denied the pass through of ICMP packet. So I set it to allow ICMP pacakges to pass through the firewall. Ping worked as I expected. But traceroute still failed. ...

# The syslogd daemon runs in an infinite loop that calls select, waiting for any one of its three descriptors to be readable. it reads the log message and does what the configuration file says to do with that message. If the daemon receives the SIGHUP signal, it rereads its configuration file. So, what are the three descriptors that the select system call is waiting for ? 1. A unix domain socket is created and bound to the pathname /var/run/log (/dev/log on some systems). 2. A udp socket is created and bound to port 514(the syslog service). 3. The pathname /devklog is opened. Any error messages from within the kernel appears as input on this device. Newer implementation disable the creation of the UDP socket, unless specified by the administrator, as allowing anyone to send UDP datagrams to this port opens the system up to denial-of-service attacks, where some one could fill up the filesystem. ...

# Ethernet header contains a type fileld of 0x0800, which identifies the frame as an IPv4 frame. # 若支持dual-stack的server既有IPv4又有IPv6。则IP层让server透明地既可处理IPv4又可处理IPv6.该server需要绑定到wildcard且未设置IPV6_V6ONLY socket option. # UNP Page359 Figure 12.5 Summary of interoperability between IPv4 and IPv6 clients and servers. # 尽可能用IPv6, since an IPv6 client can still communicate with IPv4 servers, and vice versa.

# gethostbyname 和 gethostbyaddr 用来在 IPv4 地址和 hostname 之间转换. getservbyport 和 getservbyname 则是与服务相关。gethostbyname出错时不设errno而是设h_errno，并有hstrerror()函数。 # FQDN的全称是: Fully Qualified domain name. 技术上说必须以点号(period)终止. # AAAA 被称为 “quad A” rcord, 给出了从hostname到Ipv6地址的映射。 PTR用来把IP地址到hostname. # Entries in the DNS are known as Resource Records(RRs). # 一个点分十进制(dotted-decimal)IPv4的地址前加 0::ffff:就是 IPv6的字符串形式。 # 与getpeername对应的函数不是gethostname而是getsockname. # getaddrinfo函数的host参数指定为dotted-decimal IPv4或 IPv6 hex string,会使得只有IPv4或IPv6的addrinfo返回。 # 不给UDP套接字设置SO_REUSEADDR选项。We do not set the SO_REUSEADDR socket option for the UDP socket because this socket option can allow multiple sockets to bind the same UDP port on hosts that support multicasting. Since there is nothing like TCP’s TIME_WAIT state for a UDP socket, there is no need to set this socket option when the server is started. ...

这一章的内容还是满少的。也就是给出一个SCTP的简单例子。所以也没有太多需要做笔记的。 什么是 head-of-line blocking. Head-of-line blocking occurs when a TCP segment is lost and a subsequent TCP segment arrives out of order. That subsequent segment is held until the first TCP segment is retransmitted and arrives at the receiver. 怎么更改SCTP连接的stream的数量。 SCTP连接的streams的数量是在association的握手之前协商好的。对于FreeBSD的KAME实现，SCTP的outbound streams默认为10。这个值可以用setsocket函数更改。与SCTP_INITMSG scoket option相关，设置struct sctp_initmsg结构体。 也可以用sendmsg函数发送ancillary数据来到达同样的目标。但发送ancillary data只对one-to-many形式的sctp socket有效。 怎么结束一个SCTP连接。 可以设置sctp_sndrcvinfo结构的sinfo_flags值的MSG_EOF flag来关闭一个sctp连接gracefully. This flag forces an association to shut down after the message being sent is acknowledged. 还可以给sinfo_flags设置 MSG_ABORT。这样就会立即发送一个ABORT给peer端。任何还没来得及发送出的数据会被丢弃。