Rclone stalo sa jeden z najkomplexnejších nástrojov pre cloudové úložiskoJeden nástroj príkazového riadka schopný komunikovať s desiatkami rôznych služieb, kopírovať dáta medzi nimi, pripájať cloudové služby, akoby to boli lokálne disky… A to všetko so šifrovaním a pokročilou automatizáciou. Ak spravujete servery, používate viacero cloudových služieb alebo jednoducho chcete mať robustné zálohy, rclone je nástroj, ktorý zmení spôsob vašej práce.
En tejto príručky Naučíte sa, ako nainštalovať rclone na hlavné systémy, konfigurovať vzdialené ovládače pre služby ako Google Drive, OneDrive, S3 alebo B2, porozumieť rozdielom s rsync, nastaviť cloudy pomocou FUSE, šifrovať dáta, automatizovať zálohy pomocou cronu alebo systemd a riešiť typické problémy s výkonom, autentifikáciou alebo obmedzeniami API.
Čo je rclone a ako sa líši od rsync?
Rclone je Open-source program príkazového riadka určený na správu súborov v cloudovom úložiskuPodporuje viac ako 70 poskytovateľov: Google Drive, Google Photos, OneDrive (osobný, firemný a SharePoint), Dropbox, Box, MEGA, pCloud, Proton Drive, služby S3 (AWS, Wasabi, Cloudflare R2, Backblaze B2…), Google Cloud Storage, Azure Blob, WebDAV (Nextcloud, ownCloud), SFTP/FTP, SMB/CIFS, HTTP a mnoho ďalších.
Na koncepčnej úrovni, rclone Rozširuje myšlienku rsync do cloudového sveta. Synchronizuje adresáre, kopíruje dáta a vykonáva jednosmerné alebo obojsmerné zrkadlenie, ale rozumie aj cloudovým API, opakovaným pokusom, obmedzeniam šírky pásma, vyrovnávacím pamätiam a metadátam špecifickým pre backend. Zatiaľ čo rsync sa zameriava na lokálne cesty alebo SSH, rclone hovorí jazykom API každého poskytovateľa.
Kľúčovým praktickým rozdielom je zameranie. Rsync funguje dobre v lokálnom alebo SSH prostredí, rclone je optimalizovaný pre cloudyVie, kedy využiť kopírovanie na strane servera (kopírovanie priamo medzi sekciami bez prechodu cez váš počítač), ako rozdeliť veľmi veľké súbory na časti alebo čo robiť s metadátami, ako je typ obsahu, povolenia alebo verzie.
S možnosťami ako --multi-thread-streams alebo paralelné prevody, rclone dokáže ľahko prekonať rsync až 4-krát pri kopírovaní cez sieť. Obzvlášť s backendmi, ktoré podporujú blokové nahrávanie (S3, GCS, B2 atď.). Ponúka tiež transparentné šifrovanie, montáž FUSE, vrstvy s viacerými vzdialenými spojmi a malý integrovaný server HTTP/WebDAV/FTP.
Kompatibilné služby a vnútorná architektúra rclone
El podpora dodávateľov Toto je jedna zo silných stránok rclone. V praxi môžete definovať toľko „vzdialených zariadení“, koľko chcete: každé diaľkové zariadenie popisuje pripojenie (napríklad gdrive: pre osobný Disk Google, onedrive: pre OneDrive pre firmy, s3-backup: pre vedro S3, nextcloud: cez WebDAV atď.).
Pre koncových používateľov rclone jednoducho pokrýva najbežnejšie cloudové služby.Disk Google/Fotografie, OneDrive (vrátane SharePointu), Dropbox, Box, MEGA, pCloud, Proton Drive a ďalšie služby zamerané na ochranu súkromia. To vám umožňuje centralizovať úlohy do jedného príkazu, ktoré predtým vyžadovali viacero aplikácií alebo oficiálnych klientov.
V podnikových a vývojových prostrediach dominuje rclone celému svetu S3 a podobných systémov.Amazon S3 Standard, Google Cloud Storage, Azure Blob Storage, Backblaze B2, Wasabi, Cloudflare R2 a množstvo kompatibilných poskytovateľov (MinIO, Ceph atď.). Všetky sú spravované rovnakou základnou syntaxou, mení sa iba vzdialený ovládač.
Týkajúce sa protokoly a systémy s vlastným hosťovanímrclone podporuje SFTP, FTP, WebDAV, SMB/CIFS a dokonca aj HTTP. To znamená, že ho môžete použiť na kopírovanie zo SFTP servera do S3 bucketu, prenos dát z Nextcloudu do lokálneho priečinka alebo hromadné sťahovanie z webového servera bez potreby akýchkoľvek ďalších nástrojov.
Interne je rclone organizovaný do niekoľkých vrstiev: jadro, ktoré riadi operácie (Rclone Core), vrstva VFS používaná pri pripájaní do vyrovnávacej pamäte, vrstva Crypt, ktorá šifruje/dešifruje za chodu, a vrstva Chunker, ktorá rozdeľuje veľké súbory do blokov v backendoch, ktoré to vyžadujú. Základom toho všetkého je spoločná abstrakcia backendu, ktorá skrýva špecifiká každého dodávateľa.
Systémové požiadavky a inštalácia v systémoch Windows, Linux a macOS
Rclone je veľmi ľahký, ale je dôležité pochopiť základné požiadavky. Funguje s 512 MB RAM, hoci pre intenzívne používanie (pripájanie s vyrovnávacou pamäťou, veľa simultánnych prenosov) sa odporúča 2 GB alebo viac. Na úrovni CPU stačí 1 vCPU, ale niekoľko jadier pomáha využiť paralelné prenosy. Na disku sa bootuje so 100 MB voľného miesta, ale ak budete používať vyrovnávaciu pamäť VFS, odporúča sa rezervovať aspoň 1 GB.
V Linuxe sa odporúča moderné jadro (ideálne 5.4+ s FUSE3)Obzvlášť ak chcete pripájať vzdialené zariadenia ako súborové systémy. Čo sa týka distribúcií, rclone funguje prakticky na každej súčasnej verzii (Ubuntu, Debian, Fedora atď.), pokiaľ máte privilégiá curl alebo wget a sudo.
Podrobná inštalácia vo Windowse
V systéme Windows máte tri hlavné spôsoby inštalácie rclone.Od najkontrolovanejšieho po najautomatickejší. Podstatné je, že nakoniec dosiahnete rclone.exe prístupné z ľubovoľnej konzoly (CMD alebo PowerShell).
A) Stiahnite si manuál z oficiálnej webovej stránky (odporúčané, ak chcete mať jasno v tom, čo inštalujete):
- Stiahnite si ZIP súbor pre vašu architektúru.Napríklad
rclone-v1.xx.x-windows-amd64.zippre 64 bitov. - Rozbaľte súbor do pevne určeného priečinkanapríklad
C:\rclonekde to zostanerclone.exea niekoľko textových súborov. - pridáva
C:\rclonek systémovej CESTE (Ovládací panel → Systém → Rozšírené nastavenia → Premenné prostredia → Upraviť CESTA → Nový →C:\rclone).
B) Inštalácia s Wingetom na Windows 10/11Perfektné, ak už používate správcu balíkov spoločnosti Microsoft:
- Nainštalujte rclone:
winget install Rclone.Rclone - V prípade potreby odinštalujte:
winget uninstall Rclone.Rclone --force
C) Čokoládový pre tých, ktorí majú automatizovaný systémový softvér:
- Nainštalujte rclone:
choco install rclone - Ak chcete pripojiť disky, nainštalujte si aj WinFsp:
choco install winfsp
Inštalácia na Ubuntu/Debian a iné Linuxové systémy
V Linuxe je najjednoduchšou a vždy aktuálnou metódou oficiálny skript.Stiahnite a nainštalujte najnovšiu stabilnú verziu (alebo beta) jedným príkazom:
- Stabilná verzia:
sudo -v ; curl https://rclone.org/install.sh | sudo bash - Beta verzia:
sudo -v ; curl https://rclone.org/install.sh | sudo bash -s beta
Ak uprednostňujete absolútnu kontrolu, môžete si stiahnuť balík .deb betón a spravovať to s dpkg:
- Stiahnuť:
wget https://downloads.rclone.org/v1.xx.x/rclone-v1.xx.x-linux-amd64.deb - Inštalácia:
sudo dpkg -i rclone-v1.xx.x-linux-amd64.deb - Ak chýbajú závislosti:
sudo apt -f install
Pre zostavy poistiek je dôležité nainštalovať fuse3 a povoliť allow_other en /etc/fuse.confodkomentovanie príslušného riadku. Potom zvyčajne postačí reštart alebo opätovné načítanie služby.
Inštalácia v systéme macOS
V systéme macOS vám Homebrew výrazne uľahčuje život.S niekoľkými príkazmi máte rclone pripravený na použitie:
- Inštalácia s Brew:
brew install rclone - Pravidelne aktualizujte s
brew upgrade rclone
Ak sa nechcete spoliehať na Homebrew, môžete zvoliť manuálnu inštaláciu. Stiahnutie ZIP súboru macOS, jeho rozbalenie a presunutie binárneho súboru do /usr/local/bin rovnako ako v Linuxe. Ďalšie použitie je identické: rclone version skontrolovať, či je všetko v poriadku.
Prvé kroky: základné nastavenie a koncept „vzdialeného“ ovládania
Srdcom rclone je konfiguračný súborkde definujete svoje diaľkové ovládače. Predvolene sa nachádza v ~/.config/rclone/rclone.conf (Linux/macOS) alebo v ceste označenej %APPDATA% v systéme Windows a spravuje sa pomocou interaktívneho sprievodcu rclone config.
Každý vzdialený komponent je sekcia INI, ktorá zoskupuje parametre pripojenia.: typ backendu, poverenia, región, špeciálne možnosti atď. Typickým príkladom pre Disk Google by bolo niečo ako [gdrive] s jeho type = drive, scope = drive a token OAuth uložený vo formáte JSON.
Ak chcete spustiť sprievodcu, Otvorte terminál a spustite ho rclone configZobrazí sa vám ponuka s niekoľkými možnosťami: vytvoriť nový diaľkový ovládač, upraviť existujúci, odstrániť ho, premenovať ho, zašifrovať konfiguráciu atď. Zvyčajne najprv stlačíte tlačidlo n pre „Nové diaľkové ovládanie“.
V prípade Disku GoogleTypický postup vzdialeného vytvárania zahŕňa niekoľko krokov: výber typu „disku“, rozhodnutie, či použiť vlastné ID klienta (odporúča sa, aby sa predišlo prísnym obmedzeniam spoločnosti Google), výber rozsahu (drive úplný, iba na čítanie atď.), použiť automatické overenie v prehliadači a voliteľne uviesť, či ide o zdieľaný disk.
Ak ste v a server bez prehliadača (SSH, VPS, kontajner bez GUI), rclone umožňuje autorizáciu z iného počítača. Keď sa sprievodca opýta „Použiť automatickú konfiguráciu?“, odpovedzte nie a rclone zobrazí príkaz. rclone authorize "drive" ktorý musíte spustiť na svojom počítači pomocou prehliadača, skopírovať výsledný token a vložiť ho do príslušného poľa na server.
Základná syntax, vzdialené trasy a základné príkazy
Všeobecná syntax príkazu rclone je veľmi konzistentné a ľahko zapamätateľné: rclone [opciones] subcomando origen [destino]Podpríkaz môže byť copy, sync, ls, mount, moveatď. Pôvod a cieľ sú lokálne alebo vzdialené trasy štýlu remote:path/to/dir.
Trasa /path/to/dir ukazuje na lokálny súborový systémKým remote:path/to/dir Toto sa vzťahuje na adresár v rámci vzdialeného zariadenia definovaného v konfigurácii. Vo väčšine backendov, remote:/path/to/dir Je to ekvivalent toho istého, s výnimkou niekoľkých zvláštnych prípadov (FTP, SFTP, Dropbox Business), kde predpona / mení význam (koreňový adresár vs. domovský adresár).
Najužitočnejšie príkazy na výpis, s ktorými môžete začať, sú ls, lsl, lsd y treeNapríklad, ak chcete zobraziť súbory v priečinku Disku Google s veľkosťou: rclone ls gdrive:DocumentosAk chcete zobraziť iba adresáre: rclone lsd gdrive:Ak chcete vizuálnejší strom: rclone tree gdrive:Proyectos --level 3.
Kopírovanie súborov je také jednoduché ako rclone copy origen destino. Praktické príklady:
- Lokálne → cloud:
rclone copy C:\Users\usuario\Documents onedrive:backup/documents -P - Cloud → lokálne:
rclone copy onedrive:photos C:\Users\usuario\Pictures -P - Cloud → cloud (ak je to možné, na strane servera):
rclone copy gdrive:data onedrive:backup -P
Podpríkaz sync zhoduje cieľ s pôvodomVymaže z osudu to, čo už neexistuje v počiatku. Je dosť nebezpečné, ak ho nepoužívate rozumne, takže ho na začiatku vždy sprevádzajte... --dry-run a ak chcete, --interactive vyžiadať si potvrdenie pred deštruktívnymi operáciami.
Pre obojsmernú synchronizáciu existuje rclone bisyncktorý je stále experimentálnySleduje zmeny na oboch stranách, aby boli zosúladené, čo je užitočné v určitých offline pracovných scenároch, ale predtým, ako ho zveríte do svojho digitálneho života, je najlepšie ho dôkladne otestovať s nekritickými údajmi.
Pripojte cloudové disky ako lokálne disky pomocou FUSE a vyrovnávacej pamäte VFS
Jednou z hlavných funkcií rclone je možnosť pripojiť diaľkové ovládanie, ako keby to bol pevný diskTo vám umožňuje prehliadať cloud z prieskumníka súborov, priamo upravovať dokumenty alebo smerovať aplikácie (indexátory médií, editory atď.) na vzdialené cesty bez toho, aby vedeli, že za nimi je cloud.
V systéme Windows sa pripojenie vykonáva priradením písmena jednotky alebo vytvorením sieťovej jednotky., Napríklad:
- Pripojte OneDrive ako disk X:
rclone mount onedrive: X: --vfs-cache-mode full - Pripojiť ako sieťový disk:
rclone mount onedrive: X: --network-mode --vfs-cache-mode full
V systémoch Linux a macOS sa v súborovom systéme používa bod pripojenia., zvyčajne s POISTKOU:
- Vytvoriť adresár:
mkdir -p ~/OneDrive - Pripojiť na pozadí (démon):
rclone mount onedrive: ~/OneDrive --vfs-cache-mode full --daemon
Kľúčovým parametrom je tu --vfs-cache-mode, ktorý riadi správanie vyrovnávacej pamäte:
offbez vyrovnávacej pamäte, maximálny výkon čítania, ale niektoré aplikácie s tým nefungujú dobre.minimalMinimálna vyrovnávacia pamäť potrebná na fungovanie základných funkcií zápisu.writes: ukladá ich do vyrovnávacej pamäte, zapisuje ich a neskôr ich nahráva, čo je užitočné, ak upravujete súbory, ale nepotrebujete agresívne čítanie vyrovnávacej pamäte.fullÚplné ukladanie do vyrovnávacej pamäte pre čítanie a zápis, odporúčané pre pripojenia, ktoré sa budú používať ako skutočné disky (multimédiá, IDE atď.).
Pre streamovacie služby alebo mediálne katalógy (Plex, Jellyfin atď.) sa zvyčajne používa --vfs-cache-mode full plus dobrá veľkosť vyrovnávacej pamäte (--vfs-cache-max-size, --buffer-size) a dlhý retenčný čas (--vfs-cache-max-age, --dir-cache-time), aby server nemusel neustále generovať zoznamy.
Grafické rozhranie: Rclone Web GUI, Rclone UI a RcloneBrowser
Hoci sa rclone zrodil ako čisto CLI nástroj, dnes... Existuje niekoľko spôsobov, ako ho použiť s grafickým rozhranímToto je perfektné, ak chcete delegovať úlohy na niekoho, kto nie je zvyknutý na používanie terminálu, alebo ak chcete mať jednoducho vizuálnejší prehľad o prevodoch.
Samotný nástroj obsahuje experimentálne webové grafické rozhranie., ktorý sa spúšťa s:
rclone rcd --rc-web-gui --rc-user=admin --rc-pass=password- Potom nasmerujete prehliadač na
http://localhost:5572a prihláste sa s týmto používateľským menom a heslom.
Okrem toho, Existujú veľmi prepracované grafické rozhrania tretích stránJednou z najkomplexnejších možností je Rclone UI, desktopová aplikácia pre Windows, macOS a Linux, ktorá podporuje funkciu drag and drop, plánovanie úloh, viacero súbežných prenosov a vizuálne indikátory priebehu. Ďalšou dlhodobo používanou alternatívou je Rclone Browser, dostupný dokonca ako AppImage v systéme Linux, čo postačuje pre mnohých používateľov, ktorí potrebujú spravovať iba občasné zálohy.
Ak patríte k ľuďom, ktorí síce žijú na konzole, ale nechcú mať toľko problémov na mobile, Existuje aj niekoľko aplikácií pre Android, ktoré integrujú rclone.mnohí z nich priamo opätovne používajú súbor rclone.conf ktoré vygenerujete v počítači. Jednoducho skopírujte tento konfiguračný súbor do cesty uvedenej aplikáciou a diaľkové ovládače budete mať pripravené aj v mobilnom zariadení.
Transparentné šifrovanie s kryptografickým a konfiguračným zabezpečením
Jednou z veľkých atrakcií rclone je aby ste mohli šifrovať svoje dáta predtým, ako opustia váš počítač. Backend crypt Funguje ako vrstva nad inou vzdialenou vrstvou: vidíte bežné názvy súborov, ale šifrované názvy a obsah sú uložené v cloude.
Typická konfigurácia vzdialeného šifrovania zahŕňa vytvoriť nový diaľkový ovládač typu crypt a nasmerujte ho na trasu z iného diaľkového ovládača, napríklad: remote = gdrive:encryptedOkrem toho si vyberiete režim šifrovania mena (štandardný, zahmlievať alebo vypnuté) a definujete heslo (a voliteľne aj druhú „soľ“ na posilnenie šifrovania).
Po vytvorení Prevádzka so vzdialeným šifrovaním je úplne transparentnáAk to urobíte rclone copy /datos/sensibles gdrive-crypt:Na Disku Google uvidíte iba zvláštne názvy a nečitateľný obsah. Z šifrovaného diaľkového ovládača sa však vaše cesty a súbory zobrazia presne tak, ako sú.
Konfiguračný súbor rclone môže a mal by byť chránený, keď obsahuje citlivé prihlasovacie údaje.Samotný príkaz rclone vám umožňuje zašifrovať tento súbor: v ponuke rclone config Vyberiete si možnosť nastaviť konfiguračné heslo, zadáte kľúč a odvtedy si program bude vyžadovať toto heslo na prečítanie rclone.conf.
V automatizovaných prostrediach môžete heslo zadať pomocou premennej prostredia.RCLONE_CONFIG_PASS alebo s --password-commandaby skripty, cron alebo služby systemd mohli používať rclone bez manuálneho zásahu, ale bez toho, aby heslo zostalo viditeľné v čistom texte.
Automatizácia záloh a plánovaných úloh
Kde rclone skutočne vyniká, sú opakované zálohy a plánované synchronizácie.Môžete použiť natívne plánovače jednotlivých systémov (Plánovač úloh vo Windowse, cron v Linuxe, časovače systemd) aj vlastné skripty, ktoré zahŕňajú upozornenia a čistenie starých verzií.
V systéme Windows vám Plánovač úloh umožňuje spustiť rclone v určitých časoch so špecifickými parametrami.Napríklad, ak chcete každú noc synchronizovať dôležitý priečinok s OneDrive. Výstup môžete uložiť do súboru denníka a povoliť opakované pokusy, ak úloha zlyhá.
V Linuxe je najbežnejšou praxou pripraviť si malý zálohovací skript a pripojiť ho do cronu.. Napríklad a rclone sync /datos/ gdrive-crypt:backups/ denne o 2:00, s --log-file, --fast-list a filtre na vylúčenie dočasných súborov alebo veľkých protokolov.
Ak chcete ísť ešte o krok ďalej, môžete Kombinujte rclone so systemd na pripojenie vzdialených zariadení pri bootovaní alebo spúšťanie záložných skriptov ako služieb a časovačovToto poskytuje oveľa lepšiu viditeľnosť (logy integrované do žurnálov, kontrola sieťových závislostí, automatické reštartovanie v prípade zlyhania atď.) a na moderných systémoch je zvyčajne vhodnejšie ako cron.
Skvelé je, že rclone ponúka príznaky určené pre seriózne zálohy.: --backup-dir y --suffix odoslať staršie verzie do priečinka histórie, --checksum porovnávať s hashmi, keď to backend podporuje, --max-transfer y --bwlimit aby sa predišlo preťaženiu šírky pásma alebo prekročeniu denných kvót, alebo --track-renames na detekciu premenovaných súborov namiesto ich mazania a opätovného nahrávania.
Optimalizácia výkonu, pokročilé filtre a riešenie problémov
Keď začnete presúvať veľa gigabajtov alebo miliónov súborov, detaily robia veľký rozdiel.Rclone ponúka arzenál možností výkonu: --transfers nastaviť počet paralelných stúpaní/klesaní, --checkers pre šeky, --multi-thread-streams y --multi-thread-cutoff pre viacvláknové nahrávanie veľkých súborov, --buffer-size definovať veľkosť vyrovnávacích pamätí v RAM atď.
Pre kolekcie s mnohými malými súbormi je zvyčajne vhodné ich zvýšiť --transfers y --checkersa pridajte --fast-list v backendoch, ktoré podporujú efektívne rekurzívne výpisy. Ano, naozaj, --fast-list Spotrebúva viac pamäte, pretože rclone vopred ukladá celý zoznam, takže je vhodné ho merať a nepreháňať s ním na počítačoch s obmedzenou RAM.
Obmedzenie šírky pásma je riadené pomocou --bwlimitktorý dokonca podporuje cestovné poriadkyNiečo také --bwlimit "08:00,1M 18:00,off" Umožňuje plynulú prevádzku počas úradných hodín a vysokú rýchlosť v noci. Použitie tejto možnosti pomáha zabrániť tomu, aby zálohovanie prerušilo internetové pripojenie celej kancelárie.
Filtre sú ďalším základným pilierom: s --include, --exclude, --filter-from, --min-size, --max-ageatď., môžete presne určiť, čo sa skopíruje a čo nie.Dobre navrhnutý súbor filtra vám ušetrí hodiny zbytočného prenosu (napríklad vylúčením node_modules, .git, kešky, obrovské protokoly atď.).
Pokiaľ ide o typické problémy, v službe Disk Google a podobných službách sa väčšinou stretnete s chybami overovania alebo obmedzeniami rozhrania API.V takýchto prípadoch je vhodné znova pripojiť diaľkový ovládač k rclone config reconnectZvážte použitie vlastného ID klienta v konzole Google a zníženie paralelizmu a TPS (--tpslimit) ak dosahujete limity rýchlosti.
Keď sa veci naozaj pokazia, ladiaci režim a výpisy hlavičiek v rclone sú obrovskou pomocou.spustite príkaz pomocou -vv --dump headers alebo dokonca --dump bodies (Opatrne, pretože je to veľmi podrobné) Zvyčajne to odhalí, čo backend vracia a prečo. A ak máte podozrenie na chybu, urobte snímku obrazovky pomocou -vv A otvorenie problému v repozitári projektu na GitHube je najrýchlejší spôsob, ako získať pomoc.
Vďaka všetkému vyššie uvedenému sa rclone stáva ústrednou súčasťou pre každého, kto sa denne spolieha na cloudové úložisko.Či už ho používate na šifrované zálohy medzi viacerými poskytovateľmi, nastavenie Disku Google na mediálnom serveri, migráciu údajov medzi úložiskami S3, automatizáciu zálohovania databáz alebo jednoducho na zabránenie zaplnenia pevného disku vášho Raspberry Pi, akonáhle si osvojíte syntax a vzdialený prístup, stane sa nástrojom, ku ktorému sa vždy vrátite, keď si pomyslíte: „Toto sa určite dá urobiť pomocou rclone.“