[TOC] 首先我要說明,我失敗了~ 我把我的進度和經驗放出來,希望能夠幫助別人完成編譯工作~ 背景:最近接手一個華為某型號的嵌入式設備,需要在上面搭建 .NET Core 環境。 設備是 Armel 架構的,Linux 內核 3.10;.NET Core ARM 只有 Armhf。 因此編譯出來的 ...
目錄
首先我要說明,我失敗了~
我把我的進度和經驗放出來,希望能夠幫助別人完成編譯工作~
背景:最近接手一個華為某型號的嵌入式設備,需要在上面搭建 .NET Core 環境。
設備是 Armel 架構的,Linux 內核 3.10;.NET Core ARM 只有 Armhf。
因此編譯出來的二進位文件無法在此設備下運行。
然後想嘗試在 Git 上下載源碼,手動編譯出 Armel 版本的 .NET Core SDK/Runtime。
感謝張隊提供了大量的參考資料。
一,工作開始前
.NET Core SDK/Runtime 並不是只有一個 Git 庫,而是多個:
- CoreCLR 最小化的運行時
- CoreFX 類庫和框架功能
- CLI .NET SDK 核心
- Core-SetUp 被分割為 CoreCLR、CoreFX
Core-SetUp 最終生成的是 https://dotnet.microsoft.com/download#core
在編譯工作開始前,需要確認要編譯的庫。
源碼地址:
https://github.com/dotnet/coreclr/
https://github.com/dotnet/corecfx/
https://github.com/dotnet/cli/
你需要一臺 Linux x86/x64 的伺服器,記憶體大於 1G,使用 Ubuntu/Debian 系統。
可以安裝的便利工具:
apt install lrzsz
一個用於跨終端傳輸文件的工具,如果使用xshell遠程終端,可以直接通過拖拉文件上傳到Linux伺服器中。
apt install tree
以樹的形式顯示目錄下的文件。
二,編譯工具組件
安裝必備工具鏈
- cmake
- llvm-3.9
- clang-3.9
- lldb-3.9
- liblldb-3.9-dev
- libunwind8
- libunwind8-dev
- gettext
- libicu-dev
- liblttng-ust-dev
- libcurl4-openssl-dev
- libssl-dev
- libkrb5-dev
- libnuma-dev (optional, enables numa support)
一鍵安裝命令:
sudo apt-get install cmake llvm-3.9 clang-3.9 lldb-3.9 liblldb-3.9-dev libunwind8 libunwind8-dev gettext libicu-dev liblttng-ust-dev libcurl4-openssl-dev libssl-dev libnuma-dev libkrb5-dev
克隆 CoreCLR 倉庫
git clone https://github.com/dotnet/coreclr.git
cross 文件夾可以看到:
[root@instance-wxxixh4k cross]# tree -L 1
.
├── android
├── arm
├── arm64
├── armel
├── build-android-rootfs.sh
├── build-rootfs.sh
├── toolchain.cmake
├── tryrun.cmake
└── x86
編譯前配置檢查
①文件句柄最大數量
查看支持的文件句柄最大數量
sysctl fs.file-max
如果顯示小於100000,那麼要設置超過這個數字,例如
#打開文件
nano /etc/sysctl.conf
#添加一行
fs.file-max = 100000
然後
sudo sysctl -p
②記憶體要大於 1G
如果伺服器記憶體不足 1G ,是無法開始編譯的,因為腳本限制必須大於 1G 記憶體才可以進行編譯。
還好,工良找到了一個辦法。
創建交換分區
sudo dd if=/dev/zero of=/swapfile bs=64M count=16
sudo mkswap /swapfile
sudo swapon /swapfile
bs:每個分區大小,count:分區個數。
在編譯完成後,記得刪除交換分區:
sudo swapoff /swapfile
sudo rm /swapfile
三,編譯 MUSL
安裝需要的庫
sudo apt-get install qemu qemu-user-static binfmt-support debootstrap
sudo apt-get install binutils-arm-linux-gnueabihf
下載 Git 庫
git clone https://github.com/richfelker/musl-cross-make.git
打開 MUSL 庫的目錄,創建 config.mak 文件
touch config.mak
在裡面添加如下內容
TARGET = armv7-alpine-linux-musleabihel
OUTPUT = /usr
BINUTILS_CONFIG=--enable-gold=yes
關於 config.mak
文件,第一行的格式 arm[eb]-linux-musleabi[hf]
CPU 架構/指令集版本可以通過 cat /proc/cpuinfo
命令獲取。
四,構建 Armel 的 Rootfs
sudo ./cross/build-rootfs.sh armel
#或者
sudo ./cross/build-rootfs.sh armel tizen
編譯完畢,可以在 ./coreclr/cross/rootfs/
下看到相應版本的 rootfs。
使用 第一種命令,雖然出現相應的 rootfs,但是最終出現了問題,另外我無法 使用 sudo ./cross/build-rootfs.sh armel tizen
命令。
問題:
umount: /var/test/0828/coreclr/cross/rootfs/armel/bin: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/boot: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/dev: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/etc: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/home: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/lib: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/media: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/mnt: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/opt: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/proc: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/root: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/run: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/sbin: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/srv: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/sys: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/tmp: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/usr: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/var: not mounted.
但是既沒有出現 Error、faild,也沒有出現異常提示,不確定是否失敗。查看目錄,發現 Rootfts 是完整的,沒毛病呀。
五,交叉編譯 CoreCLR
./build.sh armel debug verbose cross
#或者
./build.sh armel release verbose cross
示例:
root@ubuntu:/var/netcore/0828/coreclr# ./build.sh armel debug verbose cross
Commencing CoreCLR Repo build
__DistroRid: debian.8-armel
__RuntimeId: debian.8-armel
Setting up directories for build
Checking prerequisites...
執行命令後,會出現 Checking prerequisites...
(檢查先決條件中),說明離成功近了一步。
當然,可能會報這個錯誤:
dotnet_install: Error: Could not find/download: `.NET Core SDK` with version = 3.0.100-preview6-012264
dotnet_install: Error: Refer to: https://aka.ms/dotnet-os-lifecycle for information on .NET Core support
Failed to install dotnet SDK (exit code '1').
Failed to get PGO data package version.
原因是無法下載 .NET Core SDK。
打開 /tmp
目錄,可以看到很多下載 SDK
失敗的緩存,因為是下載源在國外,國內下載速度可能只有 幾kb。
而要下載的文件大小 120MB 左右,下載時間長達數個小時,可能會出現中斷或超時,因此會失敗。
root@ubuntu:/tmp# ls -lah
total 90M
drwxrwxrwt 10 root root 4.0K Aug 28 01:48 .
drwxr-xr-x 24 root root 4.0K Aug 27 09:37 ..
-rw-rw---- 1 netdata netdata 240 Aug 20 05:28 as.log
-rw------- 1 root root 34M Aug 27 06:30 dotnet.9TuQ60VOK
-rw------- 1 root root 3.2M Aug 28 01:18 dotnet.a3WI49nPx
-rw------- 1 root root 0 Aug 27 03:30 dotnet.CxR2scA4h
-rw------- 1 root root 0 Aug 27 01:38 dotnet.DuAMYKCT4
-rw------- 1 root root 16K Aug 27 01:38 dotnet.gEYeUSXYy
-rw------- 1 root root 0 Aug 28 00:06 dotnet.HWdDnC5Hl
-rw------- 1 root root 0 Aug 27 10:03 dotnet.hX7K3ac76
-rw------- 1 root root 0 Aug 28 00:08 dotnet.ijQuG82B1
-rw------- 1 root root 34M Aug 28 01:47 dotnet.ImT2CM9gt
-rw------- 1 root root 3.9M Aug 27 10:03 dotnet.KnQlzjA4g
-rw------- 1 root root 1.4M Aug 28 01:49 dotnet.o3nnapWHT
-rw------- 1 root root 14M Aug 27 03:30 dotnet.XKVdUNje0
-rw------- 1 root root 0 Aug 28 01:47 dotnet.xVEb3C7Bl
方法一:給你的伺服器翻牆
方法二:下載我上傳的包
鏈接:https://eyun.baidu.com/s/3dGnzGC5 密碼:GWuV
把下載的包,放到 ./coreclr/.dotnet/
裡面解壓。
再重新執行 ./build.sh armel debug verbose cross
構建成功?
若是成功,會出現提示。
Build succeeded.
0 Warning(s)
0 Error(s)
Time Elapsed 00:00:00.64
/var/test/0828/coreclr/bin/obj/Linux.armel.Debug /var/test/0828/coreclr
Invoking "/var/test/0828/coreclr/src/pal/tools/gen-buildsys-clang.sh" "/var/test/0828/coreclr" 5 "0" armel /var/test/0828/coreclr/src/pal/tools Debug -DCLR_CMAKE_TARGET_OS=Linux -DCLR_CMAKE_PACKAGES_DIR=/var/test/0828/coreclr/.packages -DCLR_CMAKE_PGO_INSTRUMENT=0 -DCLR_CMAKE_OPTDATA_VERSION=99.99.99-master-20190716.1 -DCLR_CMAKE_PGO_OPTIMIZE=1
Unable to locate llvm-ar
雖然提示成功,但是高興得太早。
官方文檔說:
As usual, the resulting binaries will be found inbin/Product/BuildOS.BuildArch.BuildType/
意思是,構建成功的話, 在 bin/Product/
目錄下,會出現 [系統類型].[架構版本].[構建版本]
的文件夾。
打開目錄 ./bin/Product
drwxr-xr-x 3 root root 4.0K Aug 28 01:12 Linux.armel.Debug
drwxr-xr-x 2 root root 4.0K Aug 28 00:06 Linux.x64.Debug
嗯,的確出現了!
但是...
Linux.armel.Debug
下沒有文件,打開 ./coreclr/cross/rootfs/ armel
目錄,看看裡面的文件。
root@ubuntu:/var/test/0828/coreclr/bin/Product# tree -L 3
.
├── Linux.armel.Debug
│ └── x64
├── Linux.armel.Release
│ └── x64
├── Linux.x64.Debug
│ ├── coreconsole
│ ├── corerun
│ ├── createdump
│ ├── crossgen
│ ├── gcinfo
│ │ └── gcinfoencoder.cpp
│ ├── IL
│ │ ├── System.Private.CoreLib.deps.json
│ │ ├── System.Private.CoreLib.dll
│ │ └── System.Private.CoreLib.xml
... ...
參考 x64,編譯成功目錄下會出現這些文件,而 armel 下麵,沒有文件。。。
所以,最終確定失敗。
因為時間問題和複雜程度,工良已經放棄了治療... ...
六,參考資料
需要使用到的 Git 庫或文件,我已上傳到網盤
鏈接:https://eyun.baidu.com/s/3qZVI8sk 密碼:u5Xd
Build .NET Core from source:https://docs.microsoft.com/en-us/dotnet/core/build/
CoreCLR 構建:https://github.com/dotnet/coreclr/blob/master/Documentation/building/linux-instructions.md#Environment
CoreCLR交叉編譯:https://github.com/dotnet/coreclr/blob/master/Documentation/building/cross-building.md
官方已經收錄的 .NET Core SDK/Runtime 版本:https://github.com/dotnet/core-setup
MUSL編譯:https://github.com/richfelker/musl-cross-make
三個很有幫助的 Issue
Enabling Linux ARM32 for .NET Core:https://github.com/dotnet/core-setup/issues/725
Can't build 2.0.0 for armel (debian rootfs) :https://github.com/dotnet/core-setup/issues/3100
Enabling Linux ARM32 for SDK:https://github.com/dotnet/cli/issues/5289