Synchronization of Event-Driven Management During Data Collection

The article considers an approach to implementing the architecture of a microservice system for processing large volumes of data based on the event-oriented approach to managing the sequence of using individual microservices. This becomes especially important when processing large volumes of data from information sources with different performance levels when the task is to minimize the total time for processing data streams. In this case, as a rule, the task is to minimize the number of requests for information sources to obtain a sufficient amount of data relevant to the request. The efficiency of the entire software system as a whole depends on how the microservices that provide extraction and primary processing of the received data are managed. To obtain the required amount of relevant data from diverse information sources, the software system must adapt to the request during its operation so that the maximum number of requests are directed to sources that have the maximum probability of finding the data necessary for the request in them. An approach is proposed that allows adaptively managing the choice of microservices during data collection and by emerging events and, thus, forming a choice of information sources based on an assessment of the efficiency of obtaining relevant information from these sources. Events are generated as a result of data extraction and primary processing from certain sources in terms of assessing the availability of data relevant to the request in each of the sources considered within the framework of the selected search scenario. Event-oriented microservice architecture adapts the system operation to the current loads on individual microservices and the overall performance by analyse the relevant events. The use of an adaptive event-oriented microservice architecture can be especially effective in the development of various information and analytical systems constructed by real-time data collection and design scenarios of analytical activity. The article considers the features of synchronous and asynchronous options in the implementation of event-oriented architecture, which can be used in various software systems depending on their purpose. An analysis of the features of synchronous and asynchronous options in the implementation of event-oriented architecture, their quantitative parameters, and features of their use depending on the type of tasks is carried out.

W artykule rozważono podejście do implementacji architektury systemu mikrousług do przetwarzania dużych ilości danych w oparciu o podejście zorientowane na zdarzenia do zarządzania sekwencją korzystania z poszczególnych mikrousług. Staje się to szczególnie ważne podczas przetwarzania dużych ilości danych ze źródeł informacji o różnych poziomach wydajności, gdy zadaniem jest zminimalizowanie całkowitego czasu przetwarzania strumieni danych. W tym przypadku, co do zasady, zadaniem jest zminimalizowanie liczby żądań do źródeł informacji w celu uzyskania wystarczającej ilości danych istotnych dla żądania. Wydajność całego systemu oprogramowania jako całości zależy od sposobu zarządzania mikrousługami, które zapewniają ekstrakcję i podstawowe przetwarzanie otrzymanych danych. Aby uzyskać wymaganą ilość odpowiednich danych z różnych źródeł informacji, system oprogramowania musi dostosować się do żądania podczas jego działania, tak aby maksymalna liczba żądań była kierowana do źródeł, które mają maksymalne prawdopodobieństwo znalezienia w nich danych niezbędnych do żądania. Zaproponowano podejście, które pozwala adaptacyjnie zarządzać wyborem mikrousług podczas gromadzenia danych i pojawiających się zdarzeń, a tym samym kształtować wybór źródeł informacji w oparciu o ocenę skuteczności uzyskiwania odpowiednich informacji z tych źródeł. Zdarzenia są generowane w wyniku ekstrakcji danych i przetwarzania pierwotnego z określonych źródeł w zakresie oceny dostępności danych istotnych dla żądania w każdym ze źródeł uwzględnionych w ramach wybranego scenariusza wyszukiwania. Architektura mikrousług zorientowana na zdarzenia dostosowuje działanie systemu do bieżących obciążeń poszczególnych mikrousług i ogólnej wydajności poprzez analizę odpowiednich zdarzeń. Wykorzystanie adaptacyjnej architektury mikrousług zorientowanej na zdarzenia może być szczególnie skuteczne w rozwoju różnych systemów informacyjnych i analitycznych zbudowanych w oparciu o gromadzenie danych w czasie rzeczywistym i projektowanie scenariuszy działalności analitycznej. W artykule rozważono cechy opcji synchronicznych i asynchronicznych w implementacji architektury zorientowanej na zdarzenia, które mogą być wykorzystywane w różnych systemach oprogramowania w zależności od ich przeznaczenia. Przeprowadzono analizę cech opcji synchronicznych i asynchronicznych w implementacji architektury zorientowanej na zdarzenia, ich parametrów ilościowych oraz cech ich wykorzystania w zależności od rodzaju zadań.