{"id":176,"date":"2021-03-22T14:51:23","date_gmt":"2021-03-22T14:51:23","guid":{"rendered":"https:\/\/ibigworld.ath.edu.pl\/?p=176"},"modified":"2021-03-22T14:51:23","modified_gmt":"2021-03-22T14:51:23","slug":"big-data-dzisiaj","status":"publish","type":"post","link":"https:\/\/ibigworld.ath.edu.pl\/index.php\/2021\/03\/22\/big-data-dzisiaj\/","title":{"rendered":"Big Data dzisiaj!"},"content":{"rendered":"<p>Big Data to stosunkowo nowy obszar bada\u0144, kt\u00f3ry \u0142\u0105czy r\u00f3\u017cne obszary, takie jak przetwarzanie w chmurze, analiza danych i sztuczna inteligencja. Jej definicj\u0119 zaproponowano w 2012 r. [1], gdzie przetwarzano du\u017c\u0105 ilo\u015b\u0107 danych (ang. Velocity), r\u00f3\u017cnorodnych \u00a0w naturze (ang. Variety), oraz uwzgl\u0119dniono jej pr\u0119dko\u015b\u0107 (ang. Velocity &#8211; st\u0105d wi\u0119c 3V). Obecnie definicja ewoluowa\u0142a do 5V [2] i bierze pod uwag\u0119 zar\u00f3wno prawdziwo\u015b\u0107 (ang. Veracity) traktowan\u0105 jako jako\u015b\u0107 pozyskiwanych danych, jak i ich warto\u015b\u0107 (ang. Value).<\/p>\n<p>Na przestrzeni ostatniej dekady powsta\u0142 wzorzec przetwarzania Big Data, kt\u00f3ry uwzgl\u0119dnia nast\u0119puj\u0105ce elementy: pozyskiwanie (faza zbierania danych), przechowywanie (zarz\u0105dzanie i przechowywanie danych &#8211; tak\u017ce generowanych w czasie rzeczywistym), przetwarzanie (zarz\u0105dzanie danymi), analiza (pozyskiwanie istotnych informacji) ) i przegl\u0105danie (wykorzystanie danych w postaci informacji lub danych do dalszych zastosowa\u0144).<\/p>\n<p>Proces zwykle rozpoczyna si\u0119 od zebrania danych (dane s\u0105 zgodne z definicj\u0105 5V). Dane s\u0105 zwykle przetwarzane jako dzienniki logowanych danych (np. Flume), dane zbiorcze (np. Sqoop), wiadomo\u015bci (np. Kafka), przep\u0142yw danych (np. NiFi). Nast\u0119pnie du\u017ce dane s\u0105 przetwarzane za pomoc\u0105 silnika obliczeniowego partiami (np. MapReduce) lub jako strumie\u0144 (np. Flink, Spark, Storm, Flink). Dane (ustrukturyzowane lub nie) s\u0105 analizowane przy u\u017cyciu metod uczenia maszynowego (np. Caffe, Tensorflow, Python), podej\u015bcia statystycznego (SparkR, R), a nast\u0119pnie wizualizowane (np. Tableau, GraphX). Warto mie\u0107 na uwadze, \u017ce tworzone rozwi\u0105zanie ci\u0105gle si\u0119 zmienia i nale\u017cy je aktualizowa\u0107 (np. Oozie, Kepler, Apache NiFi). Uzyskanymi danymi mog\u0105 zarz\u0105dza\u0107 r\u00f3\u017cne rozwi\u0105zania, np. Apache Falcon, Apache Atlas, Apache Sentry, Apache Hive. Wa\u017cn\u0105 kwesti\u0105 jest te\u017c bezpiecze\u0144stwo danych (np. Apache Metron czy Apache Knox) \u200b\u200bczy nowa technologia zmieniaj\u0105ca sposoby i typy danych (jak InfiniBand czy 5G).<\/p>\n<p>Big data ma ponad 10 lat i osi\u0105ga nowe szczyty dzi\u0119ki szerokiej adaptacji i firmom, kt\u00f3re dostarczaj\u0105 nowe narz\u0119dzia. Patrz\u0105c na podsumowanie [3], liczba technologii i rozwi\u0105za\u0144 jest przyt\u0142aczaj\u0105ca (<a href=\"http:\/\/mattturck.com\/wp-content\/uploads\/2020\/09\/2020-Data-and-AI-Landscape-Matt-Turck-at-FirstMark-v1.pdf\">link<\/a>).<\/p>\n<p>W trakcie naszych bada\u0144 poszukujemy kompetencji wymaganych na rynku mi\u0119dzynarodowym i lokalnym. Na podstawie naszej analizy i trend\u00f3w [4] zidentyfikowali\u015bmy klasyczne rozwi\u0105zania i technologie open source Hadoop, Spark i Storm, kt\u00f3re zyskuj\u0105 na popularno\u015bci. Nasze badania koncentruj\u0105 si\u0119 na rozwi\u0105zaniach typu open source, kt\u00f3re mo\u017cna wykorzysta\u0107 w dedykowanej infrastrukturze lub us\u0142ugach chmurowych Big Data dostarczanych przez wiod\u0105ce platformy, takie jak AWS, Microsoft Azure czy Big Query firmy Google.<\/p>\n<p>W naszych badaniach pami\u0119tamy, \u017ce rynek jest nieustannie zalewany nowymi mechanizmami i potokami, aby umo\u017cliwi\u0107 prostsze i ujednolicone radzenie sobie z Big Data. Przedstawione rozwi\u0105zania upraszczaj\u0105 analiz\u0119 Big Data i u\u0142atwiaj\u0105 jej u\u017cycie. Istnieje kilka rozwi\u0105za\u0144 [3], kt\u00f3re pokazuj\u0105 aktualne trendy:<\/p>\n<ul>\n<li>wizualne narz\u0119dzia analityczne, kt\u00f3re pozwalaj\u0105 skupi\u0107 si\u0119 na analizie danych za pomoc\u0105 prostych oblicze\u0144 lub podej\u015bcia typu \u201ewska\u017c i kliknij\u201d, jednocze\u015bnie zyskuj\u0105c wsparcie w zakresie przechowywania du\u017cych zbior\u00f3w danych, zarz\u0105dzania w czasie rzeczywistym i bezpiecze\u0144stwa. Us\u0142ugi, kt\u00f3re na to pozwalaj\u0105, to Arcadia Enterprise 4.0, AtScale 5.0 lub Dataguise DgSecure 6.0.5;<\/li>\n<li>frameworki pozwalaj\u0105ce na tworzenie aplikacji w oparciu o Big Data z wykorzystaniem mo\u017cliwo\u015bci DevOps oraz wsparcie dla transformacji Big Data. Pozwalaj\u0105 na wykorzystanie znanych j\u0119zyk\u00f3w jak R, Python czy SQL. S\u0105 to Attunity Compose 3.0, Cazena Data Science Sandbox as a Service lub Lucidworks Fusion 3. Niekt\u00f3re rozwi\u0105zania, takie jak pakiet Couchbase, s\u0105 przeznaczone dla aplikacji internetowych, mobilnych i Internetu rzeczy (IoT).<\/li>\n<li>rozwi\u0105zania pomagaj\u0105ce w dostarczaniu danych jako us\u0142ugi dla aplikacji. Korzystaj\u0105 z potok\u00f3w, takich jak ekosystem Microsoft Azure lub Hadoop, i przekszta\u0142caj\u0105 je w platform\u0119 informacyjn\u0105 (Paxata Spring \u201917, Pentaho 7.0 lub Qubole Data Service).<\/li>\n<\/ul>\n<p>Bibliografia:<\/p>\n<p>[1] Wu, X., Zhu, X., Wu, G.-Q. and Ding, W. (2014) Data Mining with Big Data. IEEE Transactions on Knowledge and Data Engineering, 26, 97-107.<br \/>\nhttps:\/\/doi.org\/10.1109\/TKDE.2013.109<br \/>\n[2] Nagorny K., Lima \u2013 Monteiro, P. Barata J., Colombo A.W., Big Data analysis in smart manufacturing. Int.J.Commun.Netw.Syst.Sci.10(2017)31\u201358<br \/>\n[3] The Big data technology map: http:\/\/mattturck.com\/wp-content\/uploads\/2020\/09\/2020-Data-and-AI-Landscape-Matt-Turck-at-FirstMark-v1.pdf<br \/>\n[4] Yesheng Cui and Sami Kara and Ka C. Cha . Manufacturing big data ecosystem: A systematic literature review. Robotics and Computer-Integrated Manufacturing, 62: 101861, 2020.<br \/>\n[5] Article online: https:\/\/www.readitquik.com\/articles\/digital-transformation\/10-big-data-advances-that-are-changing-the-game\/<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Big Data to stosunkowo nowy obszar bada\u0144, kt\u00f3ry \u0142\u0105czy r\u00f3\u017cne obszary, takie jak przetwarzanie w chmurze, analiza danych i sztuczna inteligencja. Jej definicj\u0119 zaproponowano w 2012 r. [1], gdzie przetwarzano du\u017c\u0105 ilo\u015b\u0107 danych (ang. Velocity), r\u00f3\u017cnorodnych \u00a0w naturze (ang. Variety), oraz uwzgl\u0119dniono jej pr\u0119dko\u015b\u0107 (ang. Velocity &#8211; st\u0105d wi\u0119c 3V). Obecnie definicja ewoluowa\u0142a do 5V &hellip; <\/p>\n<p class=\"read-more\"><a class=\"btn btn-default\" href=\"https:\/\/ibigworld.ath.edu.pl\/index.php\/2021\/03\/22\/big-data-dzisiaj\/\"> Read More<span class=\"screen-reader-text\">  Read More<\/span><\/a><\/p>\n","protected":false},"author":5,"featured_media":0,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[2],"tags":[],"_links":{"self":[{"href":"https:\/\/ibigworld.ath.edu.pl\/index.php\/wp-json\/wp\/v2\/posts\/176"}],"collection":[{"href":"https:\/\/ibigworld.ath.edu.pl\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/ibigworld.ath.edu.pl\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/ibigworld.ath.edu.pl\/index.php\/wp-json\/wp\/v2\/users\/5"}],"replies":[{"embeddable":true,"href":"https:\/\/ibigworld.ath.edu.pl\/index.php\/wp-json\/wp\/v2\/comments?post=176"}],"version-history":[{"count":2,"href":"https:\/\/ibigworld.ath.edu.pl\/index.php\/wp-json\/wp\/v2\/posts\/176\/revisions"}],"predecessor-version":[{"id":181,"href":"https:\/\/ibigworld.ath.edu.pl\/index.php\/wp-json\/wp\/v2\/posts\/176\/revisions\/181"}],"wp:attachment":[{"href":"https:\/\/ibigworld.ath.edu.pl\/index.php\/wp-json\/wp\/v2\/media?parent=176"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/ibigworld.ath.edu.pl\/index.php\/wp-json\/wp\/v2\/categories?post=176"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/ibigworld.ath.edu.pl\/index.php\/wp-json\/wp\/v2\/tags?post=176"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}