Hive Là Gì – Giới Thiệu Những Kiến Thức Cơ Bản Về Apache Hive

Bài viết Hive Là Gì – Giới Thiệu Những Kiến Thức Cơ Bản Về Apache Hive thuộc chủ đề về Thắc Mắt đang được rất nhiều bạn lưu tâm đúng không nào !! Hôm nay, Hãy cùng HappyMobile.vn tìm hiểu Hive Là Gì – Giới Thiệu Những Kiến Thức Cơ Bản Về Apache Hive trong bài viết hôm nay nha !
Các bạn đang xem bài : “Hive Là Gì – Giới Thiệu Những Kiến Thức Cơ Bản Về Apache Hive”

ngôn từ Big Data được dùng cho các bộ tập dữ liệu khổng lồ bao gồm khối lượng lớn, tốc độ cao và rất nhiều loại dữ liệu đang tăng lên từng ngày. dùng các hệ thống quản lý dữ liệu truyền thống, rất khó để xử lý Big data. vì thế, Quỹ phần mềm Apache (Apache Software Foundation) đã giới thiệu một framework tên là Hadoop để giải quyết các thách thức quản lý và xử lý Big data.

Bạn đang xem: Hive là gì

Hadoop

Hadoop là một framework open-source để lưu trữ và xử lý Big data trong môi trường phân tán. Nó chứa hai mô-đun, một là MapReduce và một mô-đun khác là Hệ thống tệp phân tán Hadoop (Hadoop Distributed File System – HDFS).

MapReduce: Đây là mô hình lập trình song song để xử lý một lượng lớn dữ liệu có cấu trúc, bán cấu trúc và không cấu trúc trên các cụm lớn của phần cứng thương mại (commodity hardware).HDFS: Hệ thống tệp phân tán Hadoop là một phần của framework Hadoop, được dùng để lưu trữ và xử lý các bộ dữ liệu. Nó cung cấp một hệ thống tập tin chịu lỗi để chạy trên phần cứng thương mại.

Hệ sinh thái Hadoop chứa các sub-project (tool) khác nhau như Sqoop, Pig và Hive được dùng để trợ giúp các mô-đun Hadoop.

Sqoop: Nó được dùng để nhập và xuất dữ liệu đến và đi giữa HDFS và RDBMS.Pig: Đây là một nền tảng ngôn ngữ giấy tờ được dùng để phát triển tập lệnh cho các vận hành của MapReduce.

Bài Viết Đọc Nhiều  Tam sao thất bản tiếng anh là gì

Xem thêm: Criteria Là Gì – Nghĩa Của Từ Criterion

Hive: Đây là một nền tảng được dùng để phát triển các tập lệnh loại SQL để thực hiện các vận hành MapReduce.

Chú ý: Có nhiều cách khác nhau để thực hiện các vận hành MapReduce:

Cách tiếp cận truyền thống dùng chương trình Java MapReduce cho dữ liệu có cấu trúc, bán cấu trúc và không cấu trúc.Cách tiếp cận dùng câu lệnh cho MapReduce để xử lý dữ liệu có cấu trúc và bán cấu trúc bằng Pig.Ngôn ngữ truy vấn Hive (HiveQL hoặc HQL) cho MapReduce để xử lý dữ liệu có cấu trúc bằng Hive.Hive là gì?

Hive là một công cụ cơ sở hạ tầng kho dữ liệu để xử lý dữ liệu có cấu trúc trong Hadoop. Nó nằm trên đỉnh Hadoop để tóm tắt Dữ liệu lớn và giúp truy vấn và phân tích đơn giản.

Ban đầu Hive được phát triển bởi Facebook, sau đó Quỹ Phần mềm Apache đã lấy và phát triển nó thành một nguồn mở dưới tên Apache Hive. Nó được dùng bởi các công ty khác nhau. Ví dụ: Amazon dùng nó trong Amazon Elastic MapReduce.

Hive không phải là:Một CSDL quan hệMột thiết kế để xử lý giao dịch Online (OnLine Transaction Processing – OLTP)Một ngôn ngữ cho các truy vấn thời gian thực và cập nhật cấp hàngĐặc trưng của HiveNó lưu trữ lược đồ trong cơ sở dữ liệu và xử lý dữ liệu vào HDFS.Nó được thiết kế cho OLAP.Nó cung cấp ngôn ngữ kiểu SQL để truy vấn được gọi là HiveQL hoặc HQL.Nó là quen thuộc, nhanh chóng, khả năng mở rộng.Kiến trúc của Hive

Sơ đồ sau đây mô tả kiến trúc của Hive:

*

Sơ đồ thành phần này chứa các đơn vị khác nhau.

User Interface: Hive là một phần mềm cơ sở hạ tầng kho dữ liệu khả năng tạo ra sự tương tác giữa người dùng và HDFS. Các giao diện người dùng mà Hive hỗ trợ là Hive Web UI, Hive command line và Hive HD Insight (Trong máy chủ Windows).Meta Store: Hive chọn các máy chủ cơ sở dữ liệu tương ứng để lưu trữ lược đồ hoặc metadata của các bảng, cơ sở dữ liệu, các cột trong một bảng, những loại dữ liệu của chúng và ánh xạ HDFS.HiveQL Process Engine: HiveQL tương tự như SQL để truy vấn thông tin lược đồ trên Metastore. Đây là một trong số những thay thế của phương pháp truyền thống cho chương trình MapReduce. Thay vì viết chương trình MapReduce bằng Java, chúng ta khả năng viết một truy vấn cho công việc MapReduce và xử lý nó.Execution Engine: Phần kết hợp của công cụ xử lý HiveQL và MapReduce là Công cụ thực thi Hive (Hive Execution Engine). Công cụ thực thi xử lý truy vấn và tạo kết quả giống như kết quả MapReduce.HDFS hoặc HBASE: Hệ thống tệp phân tán Hadoop hoặc HBASE là các kỹ thuật lưu trữ dữ liệu để lưu trữ dữ liệu vào hệ thống tệp.Cách làm việc của Hive

Bài Viết Đọc Nhiều  Đau Lưng Là Bệnh Gì - Đau Lưng Dưới Gần Mông Ở Phụ Nữ Là Bệnh Gì

Sơ đồ sau mô tả quy trình làm việc giữa Hive và Hadoop.

*

Cách Hive tương tác với framework Hadoop:

Thực thi query: Giao diện Hive như Command line hoặc Giao diện người dùng web gửi truy vấn đến Trình điều khiển (bất kỳ trình điều khiển cơ sở dữ liệu nào như JDBC, ODBC, v.v.) để thực thi.Nhận kế hoạch: Trình điều khiển có sự trợ giúp của trình biên dịch truy vấn để phân tích cú pháp truy vấn để kiểm tra cú pháp và kế hoạch truy vấn hoặc bắt buộc của truy vấn.Nhận metadata: Trình biên dịch gửi bắt buộc metadata đến Metastore (bất kỳ cơ sở dữ liệu nào).Gửi metadata: Metastore gửi metadata như một phản hồi cho trình biên dịch.Gửi kế hoạch: Trình biên dịch kiểm tra bắt buộc và gửi lại kế hoạch cho trình điều khiển. Đến đây, việc phân tích cú pháp và biên dịch một truy vấn đã hoàn tất.Kế hoạch thực hiện: Trình điều khiển gửi kế hoạch thực hiện đến công cụ thực thi.Thực thi công việc: Trong nội bộ, quy trình thực thi công việc là một công việc MapReduce. Công cụ thực thi gửi công việc đến JobTracker, trong node Name và nó gán công việc này cho TaskTracker, trong node Data. Ở đây, truy vấn thực thi công việc MapReduce.

Xem thêm: Bounce Rate Là Gì – Và Làm Sao để nâng cao hơn Chúng

vận hành metadata: Trong khi thực hiện, công cụ thực thi khả năng thực thi các vận hành metadata với Metastore.Lấy kết quả: Công cụ thực thi nhận kết quả từ các node Data.Gửi kết quả: Công cụ thực thi gửi các tổng giá trị kết quả đó đến trình điều khiển.Gửi kết quả: Trình điều khiển gửi kết quả đến Giao diện Hive.

Bài Viết Đọc Nhiều  Operant Conditioning Là Gì, Positive Reinforcement And Operant Conditioning

Chuyên mục:

Các câu hỏi về Hive Là Gì – Giới Thiệu Những Kiến Thức Cơ Bản Về Apache Hive


Nếu có bắt kỳ câu hỏi thắc mắt nào vê Hive Là Gì – Giới Thiệu Những Kiến Thức Cơ Bản Về Apache Hive hãy cho chúng mình biết nha, mõi thắt mắt hay góp ý của các bạn sẽ giúp mình nâng cao hơn hơn trong các bài sau nha

Các Hình Ảnh Về Hive Là Gì – Giới Thiệu Những Kiến Thức Cơ Bản Về Apache Hive

Hive Là Gì - Giới Thiệu Những Kiến Thức Cơ Bản Về Apache Hive

Các từ khóa tìm kiếm cho bài viết #Hive #Là #Gì #Giới #Thiệu #Những #Kiến #Thức #Cơ #Bản #Về #Apache #Hive

Tra cứu thêm thông tin tại WikiPedia

Bạn hãy tra cứu thông tin chi tiết về Hive Là Gì – Giới Thiệu Những Kiến Thức Cơ Bản Về Apache Hive từ trang Wikipedia tiếng Việt.◄

source: https://happymobile.vn/

Xem thêm các bài viết về Giải Đáp tại : https://happymobile.vn/hoi-dap/

Related Posts

About The Author

Add Comment