Węzły Js i dane binarne UPDATE: Żadne z tych nie powinno być konieczne, ponieważ FileReadStream w najnowszym węźle domyślnie używa buforów. Wydaje się jednak, że albo robi coś źle, albo dokumenty są nieaktualne, ponieważ nie działa w ten sposób na węźle HEAD. Dwa obszary, na których niestety brakuje rozbudowywanego Node. js, jest obsługa danych binarnych i dużych ciągów znaków. W tym poście chciałbym omówić kilka technik postępowania z danymi binarnymi w węźle, z których większość koncentruje się wokół zajmowania się kolekcjonerami śmieciarki V839 oraz faktem, że ciągi w węźle nie są tworzone dla danych binarnych, są one utworzone dla UTF-8 i Dane UTF-16. Istnieją trzy główne szczegóły, które sprawiają, że praca w plikach z Node. js jest bolesna: duże struny (gt 64K) nie są Twoimi przyjaciółmi. Dane binarne (i ASCII) w łańcuchu węzła są przechowywane jako pierwszy bajt łańcucha UTF-16. Dane binarne mogą być najbardziej efektywnie przechowywane w Node. js jako bufor Pozwala spojrzeć na pierwszą pozycję, duże struny aren39t twój przyjaciel. Twórca Node. js sam sobie z tym poradził w porównywaniu osiągnięć z nginxem. Jeśli wyświetli się plik pdf, (lub spójrz na wyciągnięty wykres poniżej), zobaczysz, że węzeł ma przyzwoitą pracę, trzymając się z nginx aż do momentu pojawienia się 64-bajtowego znacznika, wtedy wydajność spada. Powód, wedle słów: V8 ma generatywnego kolektora śmieci, który porusza obiekty losowo. Node cant get wskaźnik do surowego danych ciąg do zapisu do gniazda. Widać to na odpowiednim wykresie slajdów w ryanie. które wygodnie wyciągnęłam i opublikowałem poniżej (mam nadzieję, że nie masz nic przeciwko Ryanowi). To, co nie było oczywiste dla mnie po przeczytaniu, było takie, jak to miało miejsce w przypadkach, w których jeden używał węzła do przekazywania dużych bitów danych binarnych wchodzących w skład łańcuchów. jeśli używasz węzła do powiedzenia, odczytu z systemu plików otrzymasz ciąg binarny, a nie bufor. Moje pytanie brzmi: "Jeśli mam dane binarne utkwione już w kiepskim ciągu znaków UTF-16, a następnie przyklej go do bufora przed wysłaniem go, pomoże to z prędkością. quot Odpowiedź zwiększa przepustowość od 100 MiBSec do 160 MiBSec. Sprawdź poniższy wykres z własnych testów wydajności, w których grałem z różnymi rozmiarami ReadChunk (ile danych FileReadStream odczytuje na raz i rozmiar buforów (ile danych przechowujemy w buforze przed spłukaniem do gniazda): jak widać wydajność z użyciem buforów (Buf) bije spodnie z pisania za pomocą łańcuchów (Str). string (jak dane z FileReadStream jest), można również przepuścić go do gniazda i kontynuować. To sprawia, że zastanawiam się, czy inne aplikacje byłoby również najlepiej akumulować ich wyjścia (być może nawet ich UTF-8 wyjście) w Buforuj, gdzie tylko jest to możliwe, a następnie wciskając bufor, zamiast powtarzać powtórne wywołania res. write. Ktoś musi to przetestować. Dodatkowo, to sprawia, że zastanawiam się, czy udoskonalenie moich własnych testów można poprawić, jeśli obiekt FileReadStream w węźle został zmodyfikowany do zwróć bufor zamiast łańcuch. Dodatkowo możesz pytać o większe rozmiary bufSize niż readChunk, które rzeczywiście testowałem, ale stwierdzono, że nie ma większego znaczenia przy używaniu większego buforu, więc optymalna strategia naprawdę wydaje się czytać fragment 64KiB w bufor 64KiB. Możesz zobaczyć te dane na dole postu. W danych z powyższego wykresu wykonałem szereg przebiegów z ab-c 100 - n 1000 przeciwko 1 plikowi MiB, zmieniając rozmiar klucza i odczytać rozmiar. Poniżej przedstawiono przykładowy kod przykładowy. Pełny przykładowy kod byłby moim rozwidleniem węzła-paperboy. Storing danych z Node. js strumieni zapisywalnych Ten samouczek będzie wyjaśnić, jak przechowywać dane z Node. js strumieni zapisywalnych i jak tworzyć własne strumień zapisu. Informacje o wersji Autor: Jeff Barczewski Opublikowano: 18 sierpnia 2017 Tagi: nodejs, streams Poziom: średnio zaawansowany Wymagania wstępne: bufory, zdarzenia, instalowanie modułów npm Node. js v0.10 (najnowsza stabilność to v0.10.16 od tego pisma), ale strumienie generalnie były częścią Node. js od jej wczesnych dni Streams2 Klasa abstrakcyjna do zapisu może być używana w starszych wersjach (przed v0.10) węzła przy użyciu modułu do odczytu strumienia modułu npm (przetestowane z v1.0.15) Zapisywanie danych z zapisywaniem Strumienie Pisanie pliku tekstowego Najprostszym przykładem jest tylko pisanie tekstu utf8, ponieważ kodowanie domyślne podczas pisania łańcuchów to utf8. Jeśli chcesz pisać struny z innym kodowaniem, możesz po prostu zmienić wiersz createWriteStream lub dodać kodowanie do każdego zapisu. Pisanie pliku binarnego Pisanie pliku binarnego to tylko kwestia użycia buforów zamiast ciągów do zapisu. W powyższym przykładzie używam crypto. createRandomBytes (), aby utworzyć bufor danych, ale można łatwo tworzyć lub czytać dane binarne z innego źródła. Wiedząc, kiedy plik został zapisany Wejście i wyjście są operacjami asynchronicznymi w Node. js, więc co zrobić, jeśli chcemy wiedzieć, kiedy plik został w całości napisany Odpowiedzi jest ustawienie słuchaczy na zdarzenia, które strumień emituje. Zdarzenie końcowe (dodane w pliku Node. js v0.10) wskazuje, że wszystkie dane zostały spłukane do systemu bazowego. W pliku Node. js przed v0.10 można dodać cb do pliku. end (), aby uzyskać informację o tym, kiedy zostało zarżone, ale uwzględnia inne transformacje niższego i tym samym. Tworzenie niestandardowych strumieni zapisywalnych Node. js Gdy musisz utworzyć własny strumień zapisu do przechowywania danych w bazie danych lub w innym obiekcie pamięci masowej, łatwo jest użyć nowej klasy abstrakcyjnej do zapisu strumieniowego Streams2 dostępnej natywnie w Node. js 0.10 lub za pośrednictwem npm strumień czytający strumień polifilu. Aby utworzyć strumień zapisu, który wykonuje wszystkie normalne działanie strumienia Node. js, musisz tylko podklasy zapisu i wdrożyć zapis (fragment, kodowanie, cb). Tworzenie zapisywalnego strumienia pamięci Poniżej znajduje się przykład, który zapisuje do prostego magazynu danych w pamięci. Używamy nazwy podanej podczas tworzenia strumienia jako klucza, a do zakończenia dodawania danych do wartości. Pliki do zapisu są eleganckie i proste w obsłudze Pisanie tekstu lub danych binarnych do strumieni Node. js jest łatwe, a nawet tworzenie w pełni funkcjonalnych, niestandardowych strumieni zapisu to spacer po parku z nowymi funkcjami strumieni 2 wprowadzonymi w Node. js v0.10 (lub z wykorzystaniem modułu strumieniowego odczytu polifilu). Aby uzyskać dodatkowe informacje Udostępnij tę stronęTworzenie jest znacznie trudniejsze, niż trzeba. Obiekt buforu węzła przyjmuje base64 jako wejście i robi to wszystko, co dekoduje. Możesz po prostu usunąć dane: obraz. część z łańcucha base64 i przekazać te dane do WriteFileAssistant. WriteFileAssistant potrzebuje tylko podania łańcucha base64 i przekazania go jako argumentu konstruktora buforującego. Ponadto, mając na wywołanie openSync, złamie też to. Bufor pobiera ciąg znaków i kodowanie, a następnie używa wartości kodowania, aby przetworzyć łańcuch na szereg bajtów, więc gdy powiesz, że jest to base64, będzie dekodować bazę 64 i utworzyć właściwą dekodowaną tablicę bajtów do zapisu w pliku. odpowiedziało 8 września o 11:30
No comments:
Post a Comment