Всем доброго времени суток.
Появилась такая необходимость в сборке из сорцов пакета iptables для ванильного ядра версии 2.6.27.53.
Собирается всё через самосборный toolchain, состоящий из:
uClibc-0.9.29,
arm-linux-uclibc-{gcc,g++,cpp} - version (GCC) 4.2.4,
arm-linux-uclibc-{ld,ar,strip} - version GNU ld (GNU Binutils) 2.18
процессор для которого это собиралось:
Processor : ARM920T rev 0 (v4l)
Микроконтроллер: AT91RM9200 http://www.gaw.ru/html.cgi/txt/ic/Atmel/micros/arm/AT91RM9200.htm
в качестве утилит используется busybox 1.18.5
Попытки сборки были со следующими версиями пакета iptables:
1.3.8 (не подошла из-за невозможности поддержки этой версии ядра) ,
1.4.2 - make заканчивался ошибкой:
[console]iptables_static-xtables.o: In function `ip6parse_hostnetworkmask':
/home/aidjek/iptables-1.4.2.orig/build/../xtables.c:1191: undefined reference to `in6addr_any'
collect2: ld returned 1 exit status
make[2]: *** [iptables-static] Error 1[/console]
также был найден баг по этому поводу http://bugzilla.netfilter.org/show_bug.cgi?id=569, который решили в более поздних версиях.
1.4.3 - make заканчивался ошибкой:
[console]./.libs/libxtables.a(xtables.o): In function `host_to_ip6addr':
xtables.c:(.text+0x3174): undefined reference to `ip6addr_to_numeric'
./.libs/libxtables.a(xtables.o): In function `xtables_ip6parse_any':
xtables.c:(.text+0x37a8): undefined reference to `in6addr_any'
collect2: ld returned 1 exit status
make[2]: *** [iptables-xml] Error 1[/console]
после этого решил собрать 1.4.3.2.
1.4.3.2 - собралось без проблем:
sbin directory:
iptables: ELF 32-bit LSB executable, ARM, version 1, dynamically linked (uses shared libs), not stripped
iptables-multi: ELF 32-bit LSB executable, ARM, version 1, dynamically linked (uses shared libs), not stripped
iptables-restore: ELF 32-bit LSB executable, ARM, version 1, dynamically linked (uses shared libs), not stripped
iptables-save: ELF 32-bit LSB executable, ARM, version 1, dynamically linked (uses shared libs), not stripped
iptables-static: ELF 32-bit LSB executable, ARM, version 1, dynamically linked (uses shared libs), not stripped
lib directory:
libiptc.a: current ar archive
libiptc.la: libtool library file
libiptc.so: symbolic link to `libiptc.so.0.0.0'
libiptc.so.0: symbolic link to `libiptc.so.0.0.0'
libiptc.so.0.0.0: ELF 32-bit LSB shared object, ARM, version 1, dynamically linked, not stripped
libxtables.a: current ar archive
libxtables.la: libtool library file
libxtables.so: symbolic link to `libxtables.so.2.0.0'
libxtables.so.2: symbolic link to `libxtables.so.2.0.0'
libxtables.so.2.0.0: ELF 32-bit LSB shared object, ARM, version 1, dynamically linked, not stripped
после попытки запуска на самом устройстве с ARM процессором, получаем следующую ошибку:
[console][root@Router7:/mnt/db/updates]# /mnt/db/iptables/sbin/iptables -L
iptables v1.4.3.2: can't initialize iptables table `filter': Invalid argument
Perhaps iptables or your kernel needs to be upgraded.[/console]
ясно, что нужно копать в сторону модулей ядра:
[console]lsmod
nf_conntrack_ftp 7296 0 - Live 0xbf054000
iptable_nat 5576 0 - Live 0xbf051000
nf_nat 17622 1 iptable_nat, Live 0xbf04b000
nf_conntrack_ipv4 14956 3 iptable_nat,nf_nat, Live 0xbf046000
nf_conntrack 67916 4 nf_conntrack_ftp,iptable_nat,nf_nat,nf_conntrack_ipv4, Live 0xbf034000
ipt_LOG 5440 0 - Live 0xbf02f000
iptable_raw 2208 0 - Live 0xbf032000
iptable_filter 2752 0 - Live 0xbf02d000
ip_tables 11472 3 iptable_nat,iptable_raw,iptable_filter, Live 0xbf029000
x_tables 15268 3 iptable_nat,ipt_LOG,ip_tables, Live 0xbf024000
[/console]
но тут видно что модули подгружены и в логах также никаких проблем:
[console]Aug 8 10:16:46 Router7 user.info kernel: [250628.812500] ip_tables: (C) 2000-2006 Netfilter Core Team[/console]
после этого решил собрать самую последнюю стабильную версию iptables 1.4.12
1.4.12 - сборка прошла успешно, как и предыдуший вариант делалось скриптом вида:
[console]#!/bin/bash
export STRIP=/PATH/projects/buildroot/build_arm/staging_dir/usr/bin/arm-linux-strip
export AR=/PATH/projects/buildroot/build_arm/staging_dir/usr/bin/arm-linux-ar
export CROSS_COMPILE=/PATH/projects/buildroot/build_arm/staging_dir/usr/bin/arm-linux-uclibc-
export CC=/PATH/projects/buildroot/build_arm/staging_dir/usr/bin/arm-linux-gcc
export CXX=/PATH/projects/buildroot/build_arm/staging_dir/usr/bin/arm-linux-g++
export LD=/PATH/projects/buildroot/build_arm/staging_dir/usr/bin/arm-linux-ld
export LDFLAGS="-L/PATH/projects/buildroot/project_build_arm/router_7/root/usr/lib -liconv"
export CPPFLAGS="-DARM_FPU_NONE=1 -DNO_UNALIGNED_ACCESS"
export CFLAGS="-mcpu=arm9 -msoft-float -mtp=soft -DDEBUG -ggdb3 -O0"
../configure --prefix=/home/aidjek/iptables-1.4.12/build/bin \
--enable-devel \
--disable-ipv6 \
--enable-static \
--disable-shared \
--disable-libipq \
--build=i686-pc-linux-gnu \
--host=arm-linux \
--with-ksource=/PATH/projects/router_7/linux/linux-2.6.27.53-add[/console]
но при запуске на самом устройстве, ошибки при запуске абсолютно такие же.
хотя сам бинарник iptables работает без проблем (help и version выдаёт)
[console]/mnt/db/iptables/sbin/iptables -h
iptables v1.4.12
Usage: iptables -[ACD] chain rule-specification [options]
iptables -I chain [rulenum] rule-specification [options]
iptables -R chain rulenum rule-specification [options]
iptables -D chain rulenum [options]
iptables -[LS] [chain [rulenum]] [options]
iptables -[FZ] [chain] [options]
iptables -[NX] chain
iptables -E old-chain-name new-chain-name
iptables -P chain target [options]
iptables -h (print this help information)
Commands:
Either long or short options are allowed.
--append -A chain Append to chain
--check -C chain Check for the existence of a rule
--delete -D chain Delete matching rule from chain
--delete -D chain rulenum
Delete rule rulenum (1 = first) from chain
--insert -I chain [rulenum]
Insert in chain as rulenum (default 1=first)
--replace -R chain rulenum
Replace rule rulenum (1 = first) in chain
--list -L [chain [rulenum]]
List the rules in a chain or all chains
--list-rules -S [chain [rulenum]]
Print the rules in a chain or all chains
--flush -F [chain] Delete all rules in chain or all chains
--zero -Z [chain [rulenum]]
Zero counters in chain or all chains
--new -N chain Create a new user-defined chain
--delete-chain
-X [chain] Delete a user-defined chain
--policy -P chain target
Change policy on chain to target
--rename-chain
-E old-chain new-chain
Change chain name, (moving any references)
Options:
--ipv4 -4 Nothing (line is ignored by ip6tables-restore)
--ipv6 -6 Error (line is ignored by iptables-restore)
[!] --proto -p proto protocol: by number or name, eg. `tcp'
[!] --source -s address[/mask][...]
source specification
[!] --destination -d address[/mask][...]
destination specification
[!] --in-interface -i input name[+]
network interface name ([+] for wildcard)
--jump -j target
target for rule (may load target extension)
--goto -g chain
jump to chain with no return
--match -m match
extended match (may load extension)
--numeric -n numeric output of addresses and ports
[!] --out-interface -o output name[+]
network interface name ([+] for wildcard)
--table -t table table to manipulate (default: `filter')
--verbose -v verbose mode
--line-numbers print line numbers when listing
--exact -x expand numbers (display exact values)
[!] --fragment -f match second or further fragments only
--modprobe=<command> try to insert modules using this command
--set-counters PKTS BYTES set the counter during insert/append
[!] --version -V print package version.[/console]
Делая вывод, что скорее всего проблема в модулях ядра: начал их пересборку с включенным дебаггингом, но положительных результатов это не принесло.
первые отличительные ошибки были:
[console]Aug 5 15:59:12 Router7 user.warn kernel: [11974.734375] translate_table: size 632
Aug 5 15:59:12 Router7 user.warn kernel: [11974.750000] Finished chain 1
Aug 5 15:59:12 Router7 user.warn kernel: [11974.757812] Finished chain 2
Aug 5 15:59:12 Router7 user.warn kernel: [11974.765625] Finished chain 3
Aug 5 15:59:12 Router7 user.warn kernel: [11974.781250] get_entries: 668 != 672[/console]
погуглив, нашёл такое решение http://www.spinics.net/lists/netfilter-devel/msg05839.html - но сильно с исходниками на Си не игрался, только пару значение поменял для XT_ALIGN, а точнее:
#define XT_ALIGN(s) (((s) + (__alignof__(struct _xt_align)-1)) \
& ~(__alignof__(struct _xt_align)-1))поменял интуитивно на
#define XT_ALIGN(s) (((s) + (__alignof__(struct _xt_align))) \
& ~(__alignof__(struct _xt_align)))потому что в исходниках пакета iptables было так:
#define XT_ALIGN(s) __ALIGN_KERNEL((s), __alignof__(struct _xt_align))но ИМХО возможно сделал бред, потому что после этого ошибки в логе ядра приобрели такой вид:
[console]Aug 5 16:45:09 Router7 user.info kernel: [14732.476562] ip_tables: (C) 2000-2006 Netfilter Core Team
Aug 5 16:45:10 Router7 user.warn kernel: [14732.531250] translate_table: size 632
Aug 5 16:45:10 Router7 user.warn kernel: [14732.554687] Finished chain 1
Aug 5 16:45:10 Router7 user.warn kernel: [14732.562500] Finished chain 2
Aug 5 16:45:10 Router7 user.warn kernel: [14732.570312] Finished chain 3
Aug 5 16:45:10 Router7 user.warn kernel: [14732.578125] ip_tables: target: invalid size 4 != 8[/console]
поигравшись ещё с настройками для XT_ALIGN получилось уже такие ошибки:
[console]Aug 5 17:09:49 Router7 user.warn kernel: [16211.789062] translate_table: size 632
Aug 5 17:09:49 Router7 user.warn kernel: [16211.812500] Finished chain 1
Aug 5 17:09:49 Router7 user.warn kernel: [16211.820312] Finished chain 2
Aug 5 17:09:49 Router7 user.warn kernel: [16211.828125] Finished chain 3
Aug 5 17:09:49 Router7 user.warn kernel: [16211.835937] ip_tables: ERROR target: invalid size 38 != 32[/console]
как конкретно избавиться от этой проблемы так и не понял.
Дошёл до абсурда, пересобрал busybox c поддержкой dpkg утилиты и попробовал поставить пакет http://packages.debian.org/ru/lenny/arm/iptables, но только потом увидел зависимость от libc6, которого конечно у меня нет.
Начал пересобирать модули с оригинальных исходников для ядра 2.6.27.53, но также не получил должных результатов.
почти во всех случаях сборки, проблем с модулями нет - они корректно подгружаются, в
[root@Router7:/mnt/db/updates]# cat /proc/net/ip_tables_names
filter всё в порядке, но iptables упорно игнорирует наличие таблиц.
после этого решил пересобрать iptables c поддержкой дебаггинга, используя http://www.spinics.net/lists/netfilter-devel/msg00887.html и http://backreference.org/2010/06/11/iptables-debugging/, но также столкнулся с тем, что iptables не хочет писать ничего в kernel log.
Решил открыть тему типа баг http://bugzilla.netfilter.org/show_bug.cgi?id=734, но вряд ли ответ будет раньше, чем через месяц. Также там и представлены strace для этих ошибок и конфиг для ядра, но если нужно могу выложить их и тут
Ну после всего этого не найдя нормального решения, решил обратиться уже к тем, кто возможно сталкивался с подобными проблемами.
Судя по http://backreference.org/2010/06/11/iptables-debugging/, а точнее по последнему абзацу
Also, this could be generated in case you are trying to use a match that is not available, either because you did not load the proper module, it was not compiled into kernel or iptables failed to automatically load the module
возникает вопрос: а как вообще проверить то, что Iptables не может подгрузить модули? (хотя на самом деле модули он подгружает, потому что они не стоят в автозагрузке ядра)
В связи с этим следующий вопрос: может кто то включал дебаггинг по максимуму для iptables и модулей ядра для него.
Ну и может кто то собирал Iptables для таких нужд и возможно поделится опытом.
Буду очень признателен за любую помощь в этих вопросах и могу предоставить всё что попросите.
P.S. данный toolchain является рабочим, на нём были собраны другие пакеты, которые успешно работают. Также все вопросы по поводу обновления каких либо пакетов, не рассматриваются, т.к. это довольно трудоёмкая работа и нерентабельна для данного случая.
