Datasets (Movies.csv) : IMDB Movies Dataset (kaggle.com)

Working with CSV:

import pandas as pd

# Reading data from a CSV file
df = pd.read_csv('movies.csv')

# Displaying the DataFrame
print(df.head())
print(df.shape)

# Writing DataFrame to a CSV file
df.to_csv('movies.csv', index=False)

Basic Theory:

  • CSV (Comma-Separated Values) is a simple file format used to store tabular data, such as a spreadsheet or a database.
  • Pandas provides the read_csv() function to read data from a CSV file into a DataFrame, and the to_csv() function to write a DataFrame to a CSV file.

Working with JSON:

Datasets (train.json) : working with JSON/SQL files (kaggle.com)

import pandas as pd

# Reading data from a JSON file
df = pd.read_json('train.json')

# Displaying the DataFrame
print(df.head())
print(df.shape)

Basic Theory:

  • JSON (JavaScript Object Notation) is a lightweight data-interchange format commonly used for transmitting data between a server and a web application.
  • Pandas provides the read_json() function to read data from a JSON file into a DataFrame.

Working with SQL:

import pandas as pd
import mysql.connector

# Establishing connection to the MySQL database
conn = mysql.connector.connect(host='localhost', user='root', password='', database='world')

# Querying data from the database
df = pd.read_sql_query("SELECT * FROM countrylanguage", conn)

# Displaying the DataFrame
print(df.head())
print(df.shape)

Basic Theory:

  • SQL (Structured Query Language) is a domain-specific language used in programming and designed for managing data held in a relational database management system (RDBMS).
  • Pandas provides the read_sql_query() function to execute an SQL query and load the result set into a DataFrame.

API to DataFrame:

import pandas as pd
import requests

# Making a GET request to an API and converting the response to a DataFrame
response = requests.get('https://api.exchangerate-api.com/v4/latest/INR')
df = pd.DataFrame(response.json()['rates'])

# Displaying the DataFrame
print(df.head())
print(df.shape)

Basic Theory:

  • APIs (Application Programming Interfaces) allow different software systems to communicate with each other.
  • Pandas can be used to convert API responses, typically in JSON format, into DataFrame objects for further analysis.

Pandas DataFrame using Web Scraping:

import pandas as pd
import requests
from bs4 import BeautifulSoup
import numpy as np

# Retrieving webpage content using requests
webpage = requests.get('https://www.ambitionbox.com/list-of-companies?page=1').text

# Creating BeautifulSoup object
soup = BeautifulSoup(webpage, 'lxml')

# Extracting information from the webpage
company = soup.find_all('div', class_='company-content-wrapper')

# Initializing lists to store extracted data
name = []
rating = []
reviews = []
ctype = []
hq = []
how_old = []
no_of_employee = []

# Extracting specific information about companies
for i in company:
    name.append(i.find('h2').text.strip())
    rating.append(i.find('p', class_='rating').text.strip())
    reviews.append(i.find('a', class_='review-count').text.strip())
    ctype.append(i.find_all('p', class_='infoEntity')[0].text.strip())
    hq.append(i.find_all('p', class_='infoEntity')[1].text.strip())
    how_old.append(i.find_all('p', class_='infoEntity')[2].text.strip())
    no_of_employee.append(i.find_all('p', class_='infoEntity')[3].text.strip())

# Creating a DataFrame with the extracted information
df = pd.DataFrame({'name': name,
                   'rating': rating,
                   'reviews': reviews,
                   'company_type': ctype,
                   'Head_Quarters': hq,
                   'Company_Age': how_old,
                   'No_of_Employee': no_of_employee})

# Displaying the DataFrame
print(df.head())
print(df.shape)

Basic Theory:

  • Web scraping is a technique for extracting data from websites.
  • Libraries like BeautifulSoup can parse HTML and extract data from web pages.
  • Pandas can be used to organize the extracted data into a DataFrame for further analysis.

39 Replies to “Data Gathering”

  1. I have recently started a web site, the information you offer on this website has helped me tremendously. Thanks for all of your time & work. “‘Tis our true policy to steer clear of permanent alliances with any portion of the foreign world.” by George Washington.

  2. Здравствуйте!
    Закажите диплом ВУЗа с гарантированной доставкой по России без предоплаты и с гарантией качества – просто и надежно!
    http://www.idiplomanys.ru

  3. В нашем обществе, где диплом – это начало отличной карьеры в любом направлении, многие ищут максимально быстрый и простой путь получения образования. Наличие документа об образовании трудно переоценить. Ведь диплом открывает двери перед людьми, желающими вступить в сообщество квалифицированных специалистов или учиться в высшем учебном заведении.
    Мы предлагаем быстро получить этот важный документ. Вы имеете возможность приобрести диплом, что будет удачным решением для всех, кто не смог закончить обучение или утратил документ. Все дипломы выпускаются с особой тщательностью, вниманием ко всем элементам. В результате вы сможете получить 100% оригинальный документ.
    Превосходство данного решения состоит не только в том, что можно оперативно получить свой диплом. Весь процесс организован комфортно, с нашей поддержкой. Начиная от выбора нужного образца документа до правильного заполнения личной информации и доставки в любой регион страны — все под абсолютным контролем квалифицированных мастеров.
    В результате, всем, кто хочет найти быстрый и простой способ получения требуемого документа, наша компания предлагает отличное решение. Приобрести диплом – это значит избежать продолжительного обучения и сразу перейти к достижению своих целей: к поступлению в университет или к началу удачной карьеры.

    http://wish-club.ru/forums/index.php?showtopic=6517

  4. В нашем обществе, где диплом – это начало успешной карьеры в любой сфере, многие пытаются найти максимально простой путь получения образования. Наличие официального документа переоценить просто невозможно. Ведь именно он открывает дверь перед каждым человеком, который желает вступить в профессиональное сообщество или учиться в высшем учебном заведении.
    В данном контексте наша компания предлагает очень быстро получить любой необходимый документ. Вы сможете приобрести диплом старого или нового образца, что является выгодным решением для человека, который не смог закончить обучение, утратил документ или хочет исправить свои оценки. дипломы производятся с особой тщательностью, вниманием ко всем деталям. На выходе вы получите продукт, полностью соответствующий оригиналу.
    Преимущества данного подхода заключаются не только в том, что вы максимально быстро получите свой диплом. Весь процесс организовывается комфортно, с нашей поддержкой. Начиная от выбора нужного образца диплома до консультаций по заполнению личных данных и доставки в любой регион России — все под абсолютным контролем квалифицированных мастеров.
    Для всех, кто ищет максимально быстрый способ получения требуемого документа, наша компания может предложить отличное решение. Купить диплом – значит избежать продолжительного обучения и сразу переходить к важным целям, будь то поступление в ВУЗ или старт удачной карьеры.
    thespotlightnewsglobal.com/2023/02/28/sharpes-doom-day-withdraws-20-million-billboard-lawsuit/В 
    ctege.info/ege-2019/rezultatyi-ege-2019.htmlВ 
    http://www.kindakinks.es/casino-ggbet/В 
    opekaspb.ru/za-zreniem-nuzhen-uxod/В 
    addcatalogs.manyweb.ru/review/edu03.ru.htmlВ 

  5. Делаем отличное предложение для вас сделать консультацию (аудит) по усилению продаж и прибыли в вашем бизнесе. Формат аудита: индивидуальная встреча или сессия по скайпу. Делая очевидные, но простые усилия, прибыль от ВАШЕГО коммерциала удастся превознести в много раз. В нашем багаже более 100 опробованных фактических схем умножения результатов а также доходов. В зависимости от вашего бизнеса выберем для вас максимально сильные и будем шаг за шагом внедрять.
    https://vniikukuruzy.ru/

  6. Предлагаем для вас провести консультацию (аудит) по подъему продаж и доходы в вашем бизнесе. Формат аудита: личная встреча или сессия по скайпу. Делая верные, но не сложные действия, доход от ВАШЕГО коммерциала получится увеличить в много раз. В нашем запасе более 100 опробованных практических инструментов увеличения результатов и доходов. В зависимости от вашего коммерциала выберем для вас максимально крепкие и будем постепенно реализовывать.
    https://vniikukuruzy.ru/

  7. Делаем отличное предложение для вас пройти консультацию (аудит) по усилению продаж а также доходы в вашем бизнесе. Формат аудита: индивидуальная встреча или онлайн конференция по скайпу. Делая верные, но простые усилия, результат от ВАШЕГО коммерциала можно поднять в несколькио раз. В нашем арсенале более 100 проверенных практических методологий увеличения торгов и прибыли. В зависимости от вашего бизнеса подберем для вас максимально лучшие и начнем постепенно реализовывать.
    https://vniikukuruzy.ru/

  8. Делаем отличное предложение для вас провести консультацию (аудит) по подъему продаж также доходы в вашем бизнесе. Формат аудита: персональная встреча или конференция по скайпу. Делая верные, но простые действия, прибыль от ВАШЕГО бизнеса можно поднять в несколькио раз. В нашем багаже более 100 испытанных утилитарных схем увеличения продаж а также прибыли. В зависимости от вашего бизнеса разработаем для вас наиболее сильные и начнем шаг за шагом претворять в жизнь.
    https://vniikukuruzy.ru/

  9. Simply wish to say your article is as astounding. The clarity in your post is just spectacular and i can assume you are an expert on this subject. Well with your permission allow me to grab your RSS feed to keep up to date with forthcoming post. Thanks a million and please carry on the enjoyable work.

    gamesdrive.net/User-robertgaminc 
    bestcoolfun.ru/page/32 
    forum.anime.org.ua/bbs/showthread.php?p=129042 
    parkdivan.ru/evro-knizhki 
    iafabric.ru/category/futbol 

  10. Fantastic items from you, man. I have keep in mind
    your stuff previous to and you are just extremely excellent.
    I really like what you have received here, certainly like what you are
    stating and the best way wherein you assert it. You make it entertaining and
    you still take care of to keep it wise. I cant wait
    to learn much more from you. That is actually a tremendous web site.

  11. Do you mind if I quote a few of your posts as long as I provide credit and
    sources back to your site? My blog is in the exact same area
    of interest as yours and my visitors would definitely benefit from some of the information you present here.
    Please let me know if this ok with you. Cheers!

  12. Attractive section of content. I just stumbled upon your website and in accession capital
    to claim that I acquire in fact enjoyed account your blog
    posts. Anyway I’ll be subscribing for your
    feeds or even I achievement you get entry to constantly fast.

  13. I was recommended this blog by my cousin. I am not positive
    whether or not this submit is written by him as
    nobody else understand such specific approximately my difficulty.
    You are wonderful! Thank you!

  14. This is some nice material. It took me a while to finally find this site but
    it was worth the time. I noticed this content was hidden in google and not the number one spot.
    This webpage has a ton of high-quality stuff and it doesnt deserve to be
    burried in the search engines like that. By the way I am
    going to add this web page to my list of favorites.
    Have you considered promoting your blog? add it to SEO Directory right now 🙂 https://katalog.xmc.pl

  15. Профессиональные seo https://seo-optimizaciya-kazan.ru услуги для максимизации онлайн-видимости вашего бизнеса. Наши эксперты проведут глубокий анализ сайта, оптимизируют контент и структуру, улучшат технические аспекты и разработают индивидуальные стратегии продвижения.

  16. The woman also said that she will usually be grateful for the time she spent at Google and that she loved the function that she did there.

    Have a look at my blog … 프릴

  17. Изготовление памятников и надгробий https://uralmegalit.ru по низким ценам. Собственное производство. Высокое качество, широкий ассортимент, скидки, установка.

  18. With havin so much content and articles do you ever run into any issues of plagorism or copyright infringement? My website has a lot of exclusive content I’ve either authored myself or outsourced but it looks like a lot of it is popping it up all over the web without my authorization. Do you know any ways to help protect against content from being stolen? I’d genuinely appreciate it.

  19. Официальный сайт онлайн-казино Vavada https://vavada-kz-game.kz это новый адрес лучших слотов и джекпотов. Ознакомьтесь с бонусами и играйте на реальные деньги из Казахстана.

Leave a Reply

Your email address will not be published. Required fields are marked *